OCP NIC 3.0网卡介绍

作为OCP组织迄今为止最为成功的项目之一,OCP NIC 3.0网卡已经成为了服务器事实上的标配部件。采用今年Intel主打的Ice Lake处理器和AMD主打的EPYC Milan 7003系列处理器的新款服务器,基本都提供了OCP NIC 3.0网卡或对应的插槽。从Intel到Broadcom的芯片公司,再到各个服务器系统厂家,也都向市场上提供了单独的OCP NIC 3.0网卡的销售。业界所发生的这一切,正如本公众号在一年前的即将一统天下的OCP NIC 3.0及其未来一文中所预计的那样。

OCP NIC 3.0标准规范既然如此的成功,OCP NIC小组显然想要继续推动其发展壮大下去。当前的OCP NIC 3.0规范中已经支持了RJ45、SFP和QSFP这样的可插拔IO模块,对应10GbE、25GbE和100GbE带宽的网络端口。然而数据中心内部用于网络互连的IO端口带宽仍然在快速发展之中,400GbE带宽的可插拔IO模块正在逐渐成熟,下一代800GbE带宽的IO模块也在开发之中,更不要说在规划路标上高达1.6TbE的更新一代光模块了。

数据中心网络互连可插拔模块的演进

随着从2022年开始的新一代服务器CPU上普遍使用PCIe Gen5速率,x16的网卡接口支持400G网络带宽也将不成问题。为了满足用户未来对400G网卡的需求,本着规范先行的原则,OCP NIC小组开始考虑现有的15.1mm高度NIC 3.0网卡对于400G光模块支持的可行性。

400G光模块的使用,需要用到QSFP-DD和OSFP-RHS这样更新的IO模块形态。由于400G光模块会有更高的功耗,只有使用这些经过优化后的IO模块形态,才能确保光模块本体的良好散热。而在这些IO模块上,为提升散热性能所做的最主要的改进就是放上更高的散热器。

400G OSFP模块将会用到的RHS散热器

更高散热器的加入,以及更大散热气流的要求,使得OCP NIC 3.0网卡目前在用的15.1mm高度尺寸显得有些捉衿见肘。于是,OCP NIC小组提出了两种新的NIC高度尺寸,分别是17.8mm和20.1mm。这样一来,OCP NIC 3.0网卡就将会具有三种不同高度的规格。目前在用的15.1mm高度网卡被称为SFF(Small Form Factor),17.8mm高度网卡被称为TSFF(Tall Small Form Factor),而更高的20.1mm网卡则会被称为ETSFF(Extra Tall Small Form Factor)。

OCP NIC小组规划中的三种不同高度网卡

增加网卡的高度固然可以提高光模块散热的效果,但万事有一利必有一弊。在服务器机箱这个寸土寸金的地方,OCP NIC 3.0网卡高度的增加将会显著地影响到PCIe标卡槽位。

对于1U的服务器机箱,水平放置的15.1mm高度OCP NIC 3.0网卡之上还可以水平放置一块PCIe标卡,这是当前市场上在售服务器的常规设计方式。如果采用17.8mm高度的TSFF OCP NIC 3.0网卡,其上的高度就不能再放置一块PCIe标卡了,只能再放置一块TSFF OCP NIC 3.0网卡。对于服务器整机而言,这就意味着损失了一个PCIe标卡槽位。如果使用的是20.1mm高度的ETSFF OCP NIC 3.0网卡,垂直方向上剩余的空间就更小了,只能再放下一块15.1mm高的SFF OCP NIC 3.0网卡。

从对服务器规格影响最小的角度出发,OCP社区里的很多厂家更倾向于在未来使用17.8mm高的TSFF OCP NIC 3.0网卡来支持400G网络端口。正是基于之一原因,在最新的OCP NIC 3.0规范V1.11的Draft版本中,只列入了TSFF网卡模块形态,暂时没有加入ETSFF网卡模块。

对于SFF、TSFF和ETSFF这三种高度规格情况下的NIC 3.0网卡散热效果,Facebook、HPE、Dell等厂家均做了一些仿真分析。从仿真结果来看,在17.8mm高度下,是可以支持QSFP-DD和OSFP-RHS这样的IO模块在9W情况下的散热。

不同高度400G网卡散热效果实测结果

对于17.8mm高度的TSFF OCP NIC 3.0网卡在1U服务器上的堆叠使用,Dell也给出了一些机箱后部的结构布局分析数据,供用户和服务器系统设计厂家参考。如果决定服务器要支持TSFF OCP NIC 3.0网卡,那么该服务器所能提供的OCP NIC 3.0网卡的数量最少就是2个。

Dell对于TSFF NIC 3.0网卡堆叠设计的建议

OCP NIC小组在不久前结束的7月份小组会议上给出了在OCP社区里的调研结果,从反馈结果来看,将近90%的社区成员都支持TSFF网卡形态的引入。当然,现阶段这一调研所覆盖的厂家还比较有限,在今年11月份举行的OCP Global Summit大会上,相信OCP NIC小组还会获得更多业界的反馈。

OCP社区对于TSFF NIC 3.0网卡的接收程度

总 结

目前来看,OCP NIC SFF和TSFF网卡规格是业界服务器厂家最能接受的网卡形态。OCP NIC小组在做上述调研的时候,也顺便调研了一下业界对于OCP NIC LFF网卡规格的看法。从反馈的结果来看,在大尺寸的LFF网卡上,大部分厂家和用户都还处于观望状态。这也很好理解,在小尺寸的网卡规格能够满足使用需求的情况下,谁还会去用更大尺寸的网卡呢?

OCP社区对于LFF网卡的应用现状

不管LFF NIC 3.0网卡是否能够成为主流,至少SFF NIC 3.0网卡已经广受业界欢迎,接下来的TSFF NIC 3.0网卡也有望从2022年开始延续这一辉煌。

下一篇
« Prev Post
上一篇
Next Post »