即将一统天下的OCP NIC 3.0及其未来

在Facebook发起的Open Compute Project(OCP)组织里,NIC 3.0(网络接口卡:Network Interface Card)项目可以算是最成功的项目之一。到如今为止,该项目不仅完成了OCP NIC 3.0 Spec V1.0的制定,还获得了业界绝大部分服务器厂家的支持。可以预计,在下一代服务器产品上,OCP NIC 3.0网卡将会是标准的配置项。

在OCP NIC项目成立之前,服务器主板上也会通过PCIe插槽出高速网络接口,这些能够从主板上提供高速网络接口的卡被统称为LOM(LAN On Motherboard)卡。由于业界没有一个明确的LOM卡标准,因此各个服务器厂家按照自己产品的需要,开发了多种样式的LOM卡,比如mLOM、sLOM、Flex LOM卡等。这些LOM卡形态各异,彼此接口定义也存在差异,使得互相之间无法通用。

对用户而言,这意味着用在HPE服务器上的LOM卡是无法用在Dell服务器上的。更有甚者,同一个厂家的LOM卡,可能只能用在某几款该厂家服务器上,在该厂家其它服务器上则无法使用。这样一来,不仅增加了用户的额外费用投入,还使得设备维护变得更为复杂。

Facebook在2011年发起OCP组织,其目的就是为了实现开源和开放。通过开放和归一化,可以有效地减少这些大型互联网厂家在硬件设备投入上的费用,并减少设备维护的成本。于是服务器里的LOM卡成为了OCP成员们的目标之一,在2012年就启动了OCP NIC项目。

OCP NIC的发展历程

OCP NIC项目组最初定义的网卡是扣卡形态(Mezz),并在2015年发布了OCP Mezz v2.0 Spec。OCP Mezz 2.0规范的定义基本是由Facebook主导的,因为这种扣卡形态的网卡在Facebook的Yosemite服务器中大量地使用。然而OCP Mezz 2.0的维护需要服务器机箱开盖维护,灵活性上并不好。因此,除了Facebook大量使用之外,其它服务器厂家使用得较少。

OCP Mezz 2.0形态

在吸取了OCP Mezz 2.0的经验教训之后,从2017年开始,OCP NIC项目组开始定义新一代的网卡。OCP NIC 3.0采用了大卡(LFF)和小卡(SFF)两种尺寸规格,通过拉手条或螺钉从面板上插入服务器机箱中,实现机箱不开盖维护。信号速率从PCIe Gen4起步,可以支持到PCIe Gen5,提供x16和x32两种PCIe接口带宽,并改善了NIC卡的散热性能。

OCP NIC 3.0两种形态前维护插卡

OCP NIC 3.0规范明确了SFF和LFF网卡的尺寸规格,并借用了SFF-TA-1002规范中定义的“4C”和“4C+”这两种规格的连接器,作为NIC 3.0与服务器主板联接的接口。“4C”和“4C+”这两个金手指连接器分别支持16个PCIe Lane,在“4C+”连接器的OCP Bay区域提供了管理、控制和Multi-Host PCIe状态信号定义。这样一来,OCP NIC 3.0在物理形态和电气性能不仅满足了Facebook的要求,也符合了绝大多数服务器用户的使用需求。

SFF和LFF的OCP NIC 3.0框图

为使用SFF OCP NIC 3.0网卡,Facebook对应地修改了其Yosemite服务器设计,使得SFF OCP NIC 3.0网卡可以从Yosemite Sled前面板直接插入进去。关于Facebook下一代服务器的相关信息,在Facebook基于Intel Cooper Lake Xeon平台的下一代服务器揭秘一文中有详细介绍。

对OCP NIC 3.0网卡在业界的接受程度,OCP社区在今年1月份的时候进行了一番调研。从调研结果来看,由于SFF规格NIC 3.0的尺寸较小,在服务器机箱中不会占用太多的空间,因此在业界受欢迎的程度较高。绝大部分服务器厂家在下一代服务器中都会支持OCP NIC 3.0,并且这些NIC卡将会在今年下半年陆续推向市场。

OCP社区对NIC 3.0网卡业界接受度的调研结果
不论是LFF还是SFF的OCP NIC 3.0网卡,都可以支持多种端口规格。2个QSFP端口、4个SFP端口、4个RJ45 10GBase-T端口,考虑到Facebook的用量和ODM/OEM服务器厂家对OCP NIC 3.0的支持,这些不同端口类型的NIC 3.0网卡在接下来的几年里必将充斥在市场的各个角落。
SFF形态的OCP NIC 3.0多种规格

Intel在网卡市场上一直占有较多的份额,对于OCP NIC 3.0规范,Intel一样是大力支持,在2019年的时候就展出过一系列的SFF NIC 3.0网卡实物。
Intel一系列OCP NIC 3.0实物

在这里还想多提一句,OCP NIC 3.0网卡与主板相连的“4C”和“4C+”金手指连接器有两种规格,分别为Right Angle形态和Straddle Mount形态。根据服务器内部设计的不同,这两种形态的金手指连接器都有其使用场景。正是因为OCP NIC 3.0网卡未来会有大规模的销量,所以各个连接器厂家都已准备好在“4C”和“4C+”连接器上发力了。

OCP NIC 3.0 Right Angle和Straddle Mount连接器

OCP NIC 3.0规范的成功大大激励了该项目组的成员,他们开始进一步地考虑拓展该规范的覆盖面。对于PCIe Gen4 x16带宽(~64GB/s),OCP NIC 3.0网卡上最多只能提供2QSFP28端口或4SFP28端口。


支持QSFP-DD的OCP NIC 3.0

当PCIe速率提升到32Gbps(Gen5)时,x16带宽将会达到128GB/s,此时在NIC卡上可以支持4个QSFP28端口,也就是可以支持QSFP-DD28 Form Factor。这样一来,双高的OCP NIC 3.0网卡可以提供更大的带宽、支持更高的功率模块。OCP NIC 3.0规范的成功大大激励了该项目组的成员,他们开始进一步地考虑拓展该规范的覆盖面。对于PCIe Gen4 x16带宽(~64GB/s),OCP NIC 3.0网卡上最多只能提供2个QSFP28端口或4个SFP28端口。

PCIe Gen4/5/6对应的速率和带宽

支持QSFP-DD28 Form Factor还只是一小步,项目组更大的愿景是在服务器机箱内部的其它插卡上复制OCP NIC 3.0的成功。RAID卡是存储型服务器里的一个重要插卡,用于管理服务器里的磁盘阵列,实现数据的冗余备份存储。和之前的LOM卡一样,目前服务器里的RAID卡也是由各个服务器厂家自行开发的,没有统一的标准。如果能够借鉴OCP NIC 3.0的经验,制定OCP RAID Spec,则有助于标准化服务器里面的RAID卡。这一设计思想还可以进一步扩展到Re-time卡、各类计算加速卡和外部存储卡上。

在其它插卡上复制OCP NIC 3.0的成功

为了保证各个厂家开发的OCP NIC 3.0具有互换性,OCP NIC 3.0小组还在协商确定一致性认证流程,明确NIC 3.0卡的测试验证方法,确保用户购买的NIC 3.0卡可以即插即用。

OCP NIC 3.0规范一致性认证

总 结

开放合作一直是OCP组织的宗旨,OCP NIC 3.0 Spec的推出正是这一宗旨的最佳体现。对于普通用户和大型数据中心用户而言,标准化的硬件设备可以拓宽采购渠道、降低硬件成本、更快地使用上最新的技术。但从另一个方面来说,硬件的标准化和白牌化会压缩OEM厂家的利润空间,迫使这些厂家向软硬件融合的方向发展。正如最近几年大热的SmartNIC,硬件只是载体,软件才是其灵魂。总的来看,随着OCP的蓬勃发展,整个业界生态也在发生着巨大的变化。


下一篇
« Prev Post
上一篇
Next Post »