ASRock Rack使用EDSFF存储模块的1U 4GPU服务器一览

不像Dell、HPE这些大名鼎鼎的服务器厂家,台资企业ASRock Rack(永擎电子)是在品牌服务器厂家背后从事白盒服务器开发的企业。作为一家由华擎(ASRock)科技在2013年成立的公司,其主要业务是开发高效率、高性能服务器主板和整机系统。ASRock Rack的母公司华擎科技则最早是由华硕在2002年投资成立的子公司,后来在2008年将其归属到华硕旗下的和硕联合科技股份有限公司。在了解了企业渊源之后,我们重点还是来看看ASRock Rack开发的这款1U4GPU服务器。除了高密设计之外,尤其让人感兴趣的是ASRock Rack在机箱里使用了新一代的EDSFF存储介质。

由于PCIe形态的GPU卡尺寸通常都较大,因此对于大部分的GPU服务器而言,2U或4U的机箱高度更为常见。但ASRock Rack的这款服务器只有1U的高度,同时还要放下4块GPU卡,因此在机箱密度上会比较高。当然,这也带来了其它各方面性能的取舍。

ASRock Rack 1U4GPU服务器前部

首先受到影响的就是机箱深度。通常1U服务器机箱深度在840~860mm左右,但ASRock Rack的这款服务器机箱深度达到了880mm(34.6英寸)。为了方便在机架上的安装,这款1U服务器在前面板左右两侧没有配备挂耳,而是提供了金属拉手。

在前置了GPU模块的情况下,服务器的前面板无法像常规1U服务器那样水平放置2.5英寸硬盘。于是ASRock Rack使用了EDSFF规范里定义的尺寸更小的E1.S存储模块,通过垂直放置的方式,在机箱前面板左侧总共配置了8个E1.S模块。

ASRock Rack 1U4GPU服务器前部的硬盘

ASRock Rack使用的是8.01mm厚的E1.S存储模块,而不是业界更为主流的9.5mm厚度模块。在当前市面上E1.S存储模块还没有大规模使用开来的情况下,这样的配置问题不大。除了直接支持E1.S存储模块之外,用户还可以使用上图中所展示的M.2到E1.S转换器,在机箱上的存储模块区域使用现有的2280或22110尺寸M.2 NVMe SSD存储模块。当配备4TB M.2 SSD模块时,该服务器就可以在前面板总计提供32TB的存储容量了。

由于E1.S存储模块采用垂直方式放置,因此其后部与其相连的连接器也是垂直固定在硬盘小背板的PCB上。这些连接器的高度并不高,彼此间留有一定的空隙,因此可以为E1.S模块提供散热所需的气流。在这块硬盘小背板的另一侧,通过高速电缆,实现了CPU和E1.S存储模块之间的PCIe Gen4信号互连。随着E1.S存储模块在服务器中的广泛使用,这种设计方式将变得越来越普遍。

ASRock Rack 1U4GPU服务器E1.S模块后部

转到ASRock Rack 1U4GPU服务器的后部,可以看到所配备的一次电源模块和各种常规IO接口。

ASRock Rack 1U4GPU服务器后部

在1+1备份的一次电源模块右侧,是2个USB 3.0端口、1个管理网口、1个VGA端口和2个1GbE网口。这2个1GbE网口由主板上的Intel i350-am2芯片引出,作为低速数据网口使用。虽然只有1U的高度,但ASRock Rack仍然通过两块PCIe Gen4 x16 Rise卡在机箱后部中间位置为用户提供了low-profile PCIe卡的扩展空间,可用来扩展高速网口。

ASRock Rack 1U4GPU服务器后部的PCIe Riser卡

由于在主板CPU之外还要支持4块GPU卡的功率消耗,因此ASRock Rack为该服务器配备的是2000W 80Plus铂金一次电源模块。

ASRock Rack 1U4GPU服务器的一次电源模块

在一次电源模块的后部,有一块电源分配板。由于机箱空间有限,在将一次电源进行AC-DC转换后,通过电源线缆将直流电源引入到主板、硬盘背板等部件上去。

ASRock Rack 1U4GPU服务器内部的电源分配板

ASRock Rack的这款服务器机箱在1U高度的情况下,对前后部的配置做了非常有针对性的调整,其目的就是要在机箱内部为4块GPU卡提供足够的放置空间。这四块GPU卡中的三块放置在机箱前部,最后一块则放置在机箱的后部。

ASRock Rack 1U4GPU服务器机箱前部的GPU卡空间

在机箱前部左侧,紧邻着E1.S存储模块区域,放置了一块提供PCIe Gen4 x16连接器的Riser卡,用于支持第一块GPU卡。在这块Riser卡的后部有两个连接器,每一个都与主板上引过来的PCIe x8电缆相连,额外的白色接头电源连接器则为GPU卡提供所需电源。

机箱前部最左侧GPU对应的PCIe Riser卡

在机箱前部右侧,还有另一块PCIe Riser卡。这块Riser卡右面顶部也有一个PCIe Gen4 x16连接器,用于支持机箱前部最右侧的GPU卡。

机箱前部最右侧GPU对应的PCIe Riser卡

在这块Riser卡的左面底部,放置着第二个PCIe Gen4 x16连接器。机箱前部最中间的GPU卡为了与这个连接器相连,就需要反过来插拔。这样的安装方式并不是太方便,但这个位置也没有更好的设计方法了。为了避免中间GPU卡安装时可能会与机箱底部产生的碰撞,ASRock Rack在机箱中间这个位置放置了一块黑色的保护材料。

机箱前部中间GPU对应的PCIe Riser卡插槽

顺着该服务器机箱向后看,在中间的位置放置了8个反向旋转的散热风扇。最左边的两个风扇用于给8个E1.S存储模块散热,剩下的6个风扇分别给3块GPU卡散热,每个GPU卡可以获得2个风扇的散热气流。在这里可以看到有大量的信号和电源电缆,这些电缆需要进行良好的捆扎和理线,从而避免对散热气流产生阻挡。

ASRock Rack 1U4GPU服务器中置散热风扇

散热风扇都是支持热插拔的,但ASRock Rack在这里所采用的热插拔方式比较独特。没有设计一块单独的PCB板,而是完全通过结构件的方式,将风扇的控制和电源信号通过连接器与机箱连接在一起。这种设计方式的好处是结构牢固、插拔方便,缺点则是会有较多的信号电缆。由于主板在机箱后部,因此在这里使用电缆方式连接风扇会更为方便一些,在成本上也会略低一点。

散热风扇的热插拔方式

在风扇的后部,就是放置了AMD EPYC单路CPU的主板。从下图中可以看到前文介绍过的机箱后部一次电源模块和与其相连的电源分配板。

ASRock Rack 1U4GPU服务器机箱内部的后部区域

这块单路主板可以支持AMD EPYC Rome和Milan两代Socket兼容的CPU。由于受到机箱宽度限制,CPU两侧总共只配置了8个DIMM插槽,采用了1 DIMM/Channel的设计方式,而不是常见的2 DIMM/Channel方式。

主板上的CPU和Riser卡插槽

中置的散热风扇即要给机箱前部的GPU模块散热,还要给机箱后部的CPU和DIMM散热,这必然会限制这款服务器上所能使用的CPU功率等级。ASRock Rack宣称该服务器可以支持200-280W的AMD EPYC处理器,但此时需要对数据中心环境温度有一定要求。对于1U高的这种高密GPU服务器,要想配置最高功耗等级的CPU,冷板式液冷才是最有效的散热解决方案。

主板上CPU的散热模块

在主板CPU和机箱后墙之间的PCB上,主要用来放置BMC芯片和两个PCIe Riser卡插槽。在这里,ASRock Rack仍然使用的是常规的ASPEED AST2500 BMC芯片。在BMC芯片旁边那块小散热器之下,放置的就是前文提过的Intel i350-am2网卡芯片。

主板上的两个PCIe Rise卡插槽

机箱后部最右侧的空间用来放置该服务器的第四块GPU卡。和前面三块GPU卡槽位一样,这里也有一块PCIe Gen4 x16 Riser卡,通过电缆获得高速信号和电源,GPU卡则通过该Riser卡上部的插槽与其相连。

ASRock Rack 1U4GPU服务器机箱后部的GPU卡槽位

除了纯服务器硬件产品之外,ASRock Rack也有自己的服务器管理软件,提供各种标准的服务器管理功能。基于现代的HTML5图形用户界面,用户可以很方便地进行服务器的远程管理和监控。

ASRock Rack的服务器管理软件

总 结

ASRock Rack的这款1U4GPU服务器很显然是一款高密的设备,通过加长机箱深度,实现了在1U空间里对4块高性能GPU卡的支持。由于机箱高度为1U,因此该机型不仅能够配置NVIDIA T4这样的低功耗GPU卡,也能够配置如A100这样的高功耗GPU卡。在CPU和GPU构成1:4的比例后,这款服务器即可以用于AI推理和HPC计算,也可以在一定程度上用于AI训练。

不过由于受到布局空间的限制,这四块GPU卡只能水平放置,导致GPU卡之间无法使用NVLink Bridge来进行通信,只能依靠PCIe通道来实现GPU卡之间的数据传输,因此在整体性能上要比使用了NVLink的4GPU系统略差一点。

除了在1U空间里提供4块高性能GPU卡的特性外,前置的EDSFF E1.S存储模块是这款服务器的第二个亮点。如果不采用新一代的E1.S存储模块,该服务器在前面板上最多只能提供2块2.5英寸硬盘。8个前置的E1.S存储模块增强了ASRock Rack的这款服务器在数据存储方面的性能,使其不仅仅只是一款纯GPU服务器。这正是新一代存储模块会对服务器整机系统所带来的变化。

下一篇
« Prev Post
上一篇
Next Post »