PhoenixNAP数据中心探秘

提到大规模数据中心的内部,人们往往会将其与“神秘”二字联系在一起。的确,对于绝大部分的数据中心拥有者而言,数据中心是其最重要的资产之一,不会轻易对外开放,这也就进一步增加了其神秘色彩。在本公众号以往的两篇文章Google数据中心6级安全防护措施大揭密和没见过超算中心?那我们来远程参观一下吧!中,对数据中心内部的构成做了一定的介绍。最近,国外的数据中心爱好者获准进入PhoenixNAP的数据中心,拍摄了大量的照片。通过这些照片,可以让外界一窥PhoenixNAP数据中心内部的景象。

PhoenixNAP也就是人们常说的美国亚利桑那州的凤凰城机房,这是最早一批基础设施服务商(IaaS)之一,也是凤凰城AZ区的网络接入节点(NAP:Network Access Point),其业务可以追溯到上个世纪九十年代,以极其稳定的机房保障而闻名。除了场地出租之外,PhoenixNAP也为用户提供自己专有的服务器和裸金属云服务。时不时的,能够看到国内外的网友们在PhonexNAP上租用到性能高、价格便宜的服务器实例(Instance)。

PhoenixNAP从2001年开始正式进行商业化运作,至今已经运营的数据中心分布在凤凰城、洛杉矶、阿什本(Ashburn)、亚特兰大、阿姆斯特丹(荷兰)、贝尔格莱德 (塞尔维亚)和新加坡。在这些数据中心里,凤凰城是核心中的核心,其余的地位次之。多年来,PhoenixNAP以曲线前进的方式保持着技术领先,通过其创新的解决方案以及高度冗余的数据中心系统支持着当前和未来市场的需求。

凤凰城这个地方位于沙漠地区,从PhoenixNAP数据中心建筑入口处的照片可以看到当地特有的植物。对于沙漠地区而言,发生地震、台风、龙卷风等自然灾害的风险相对要低很多,这有助于降低数据中心基础设施的建设成本。凤凰城还是美国西海岸除洛杉矶之外第二个与亚洲的连接点,PhoenixNAP数据中心距离凤凰城机场只有10分钟左右的车程。

PhoenixNAP数据中心建筑入口


在PhoenixNAP数据中心建筑入口处,安装了一些圆柱形的道路阻隔柱,作为数据中心建筑外围的第一层安全保障设施。这些保障设施很常见,在Google数据中心的安全保障等级中属于最低一层,主要目的是阻隔汽车直接驶入数据中心内部。

进入数据中心建筑大厅,首先碰到的就是安全岗。PhoenixNAP数据中心的安全岗不仅始终有人值守,而且还配备了防弹玻璃。门禁系统是数据中心最为常见的安全保障设施,每一个进入数据中心的人都需要佩戴门禁卡,从而确保你能在被授权的房间通行。

PhoenixNAP数据中心入口的安全岗

经过了入口处的安全岗之后,就可以进入PhoenixNAP数据中心的大厅。这个大厅里有很多的房间,作为休息室和会客室。当然,只有通过门禁卡才能打开被授权的房间。

PhoenixNAP数据中心大厅

在大厅之后,就能隔着玻璃窗看到PhoenixNAP数据中心里的网络运营中心NOC(Network Operations Center)。由于仍然处于COVID-19疫情期间,因此PhoenixNAP数据中心的网络运营还是采用远程操作的方式,在NOC房间里只有1、2个人。

PhoenixNAP数据中心的网络运营中心

走过NOC室,再经过一个需要进行虹膜扫描、密码验证和门禁系统确认的高安全等级通道之后,就可以进入数据中心设备大厅了。刚一进入设备大厅,就可以看到在过道尽头处放置了一个刻有合作伙伴名称的玻璃墙。在这里可以看到不少知名公司的铭牌,如AWS、Google Cloud等。在图片左下角处,还能够看到国人所熟悉的中国电信的名牌。

PhoenixNAP数据中心机房里的合作伙伴墙


在合作伙伴墙之后,就是托管数据中心里最为重要的区域之一:Meet Me Room(MMR)。MMR是作为共享(中立)数据中心里一个专属区域,为用户和电信运营商(ISP)之间提供了一个进行连接的独立空间。用户不需要出数据中心之后在电信运营商的本地电路中进行中转,直接在MMR中就可以实现与ISP之间的直接连接。MMR是一个只允许运营商工程师进入的区域,这有助于提高网络物理连接的安全性。

在PhoenixNAP数据中心机房的MMR区域里有很多铁笼子,AWS、Google Cloud等不同厂家的机架及其设备被锁在不同的笼子里,从而确保其在物理上的隔离和安全。通过高速直连的方式,用户接入到这些公有云网络。存放机架和设备的铁笼子根据不同厂家的要求使用不同的安全协议进行开关,从而确保铁笼子不会被人随意进入,进一步增强设备的安全可靠性。AWS和Google Cloud这样的超大规模云计算厂家不会轻易将其网络扩展到其它数据中心里,只有具有较高的安全等级,用户才能放心地租用场地并安放其基础设施设备。

PhoenixNAP数据中心机房里的MMR区域

在MMR区域里,还有一些其它厂家的机架和设备没有放在安全铁笼里。这样做的原因有可能是这些设备所属的厂家在PhoenixNAP数据中心机房里部署的业务安全等级较低,或者这是多年前部署的设备,不需要再做额外的安全强化处理。

PhoenixNAP数据中心机房MMR区域未放在铁笼里的机架

在MMR区域靠近天花板的位置,布置了大量的管线,用于和机架中的设备进行连接。从照片中可以看到,部分管线在其外层还提供了增强保护的塑料护套。

PhoenixNAP数据中心机房MMR区域顶部的管线

数据中心里会用到大量的铜缆和光纤。铜缆通常用于机架内部连接,光纤则主要用于机架之间的连接,这基本算是一个常识了。在PhoenixNAP数据中心机房用于设备连接的各种光缆交汇处,可以通过切身感受加深这一理念。对于数据中心而言,实现设备间的连接是很重要的一项功能。因此,每一个新建的数据中心都会采购大量的铜缆和光缆。对于运行之中的数据中心,随着内部设备的升级,也会定期更新一部分铜缆和光纤。

PhoenixNAP数据中心机房顶部大量的连接光缆

通过另一组安全门,就可以进入PhoenixNAP数据中心机房位于一楼的设备间。这里是数据中心非常核心的地方,放置了大量来自不同设备商的服务器和交换机。在该区域的参观者需要执行更高等级的安保措施,因此不可能详细地拍摄各个机柜内部的设备照片。而且,不同厂家所用到的服务器设备都有各自的隐私保密要求,因此是无法公开展示的。

PhoenixNAP数据中心机房一楼设备间里的过道

PhoenixNAP在建筑一楼用于存放ICT设备的空间非常庞大。整个数据中心建筑占地20万平方英尺(1.86万平方米),将近3个足球场那么大。PhoenixNAP还有另一块土地,正在建设比当前这个数据中心大两倍的新的数据中心机房。由此可见,当前市场上对于数据机房的需求是非常旺盛的。

PhoenixNAP数据中心机房一楼设备间另一侧的过道

从照片中可以看到,很多安装有服务器和交换机的机架放置在安全笼中。这些对安全性能要求较高的厂家通常还会在安全笼上加上电子锁、RFID门禁卡识别和密码输入设备,进一步增强安全性。通常这些安全笼都是在底部进行固定的,但对于那些放置了用于处理支付业务设备的安全笼,其顶部和底部都被固定住了。

PhoenixNAP数据中心机房安全笼固定点

作为托管数据中心,PhoenixNAP不仅有大客户,也有一些小客户。对于只需要租赁小规模场地的用户,可以选择1/4高机柜、半高机柜和全高机柜,对用户而言这些机柜规格可以有效地降低运营成本。

PhoenixNAP数据中心机房里不同高度的机柜

PhoenixNAP数据中心机房宣称可以支持48U的机架,但目前布置的主要还是42U高的机架。这些机架大部分采用的都是208V/30A供电(~6KW功率/机架),这在北美地区非常普遍。但实际上,PhoenixNAP的数据中心机房可以容纳高达44KW功率的机架。

PhoenixNAP数据中心机房里机柜的供电

PhoenixNAP数据中心机房里的温度保持在72 F +/- 5F(22 ℃ +/- 0.55 ℃),湿度保持在45% RH +/-15%。由于Phoenix所在的亚利桑那州属于沙漠地带,要保持足够的湿度并不容易。过于干燥的空气会使得静电累积,产生不可预计的静电损害。因此,在PhoenixNAP数据中心机房每一层的天花板上,每隔一定距离就会放置一台湿度调节器,往数据中心机房内的空气里注入湿气。

PhoenixNAP数据中心机房里的湿度调节器

对于场地租赁的数据中心基础设施而言,通常都会有好几层楼,从而充分利用空间。PhoenixNAP最开始使用当前建筑的一楼来放置设备,随着用户设备的增加,二楼的场地空间也开始被使用上。

PhoenixNAP数据中心机房二楼

PhoenixNAP数据中心机房二楼的设备大厅目前并没有使用满,在空置空间处可以看到一些支架和地上的标线。随着业务的发展,这些空置空间会逐块逐块地被出租给用户。

PhoenixNAP数据中心机房二楼的空置空间

与数据中心设备大厅一墙之隔的地方,放置了德国世图兹(STULZ)的机房空气处理机(Computer Room Air Handler)设备。这是一台重达80吨的大型设备,通过该设备可以实现机房内部空气的循环流动,从而控制机架上ICT设备的温度。

PhoenixNAP数据中心里的机房空气处理机

给ICT设备进行制冷的机组则放置在建筑外部。在下图钢结构的白色房间里,放置了热交换设备和冷水机组。在图片前景的空地上,PhoenixNAP正计划再增加一套新的制冷机组设备。

PhoenixNAP数据中心建筑外部放置制冷机组的房间

在制冷机组房间里,有两台700吨重的冷水机组和两台720吨重的全磁冷水机组,总计4套制冷机组。

PhoenixNAP数据中心制冷机组房间内部

这四套冷水机组会接收来自于数据中心机房的55F(13℃左右)的水,将其冷却到44F(7℃左右)后重新注入到数据中心机房内部。考虑到所处沙漠地带的气温,PhoenixNAP数据中心将冷却水的温度设定得这么低,不知道是出于什么方面的考虑。

PhoenixNAP数据中心冷水机组全景

在制冷房间外部,还可以看到巨大的冷却塔,在这里可以增加水与空气之间的热交换。

PhoenixNAP数据中心的冷却塔

每个冷水机组对应8500加仑的冷却塔,在断电状态下,仍然能够在20-25分钟内对循环水进行冷却,从而确保冷却水的充足供应。

PhoenixNAP数据中心户外设施一览

在数据中心建筑内,有互为备份的两套冷却水供应管线。如果一套管线出现故障,另一套管线仍然能够保证冷却水的供应。

PhoenixNAP数据中心两套冷却水供应管线

在下图远处还可以看到有两个75,000加仑的水箱,为数据中心储存备用冷却水。不论Phoenix是否是沙漠地区,储备对数据中心冷却至关重要的水量是确保基础设施稳定运行必须要考虑的问题。

PhoenixNAP数据中心的备用水箱

Phoenix所在地区的水源含有一定量的矿物质,因此当地很多家庭都安装有净水器,经过净化后的水才拿来饮用。在数据中心里,冷却水中的矿物质和偏高/偏低的PH值会给冷却水管带来矿物质沉积、锈蚀等问题。因此,PhoenixNAP数据中心的基础设施里也配置了净水器,确保用于循环冷却的水满足指标要求。

PhoenixNAP数据中心里的净水器

配电系统是数据中心基础设施里另一个重要的组成部分。除了常见的机架内部设备所使用的一次电源供电模块之外,在数据中心里还有为整个设施供电的配电系统。PhoenixNAP数据中心使用了480V配电系统,这是符合美国国情的。在美国,两相供电是220V,三相的工业用电则是240V和480V这两种。

PhoenixNAP数据中心里的480V配电系统

很多数据中心基础设施里都会采用A+B两路供电方式,每路供电设施放在不同的位置,确保彼此的安全和互为备份。PhoenixNAP数据中心的UPS集群放置在建筑外部单独的房间里面,从照片中可以看到占据了很大一片空间。

PhoenixNAP数据中心里的供配电UPS

配电系统的功率调节装置和UPS电池都放置在户外的标准机柜里,PhoenixNAP数据中心将这些机柜并排放在一起,并在其顶部配置了足够的空调进行设备温度控制。对于沙漠地区而言,阳光照射非常强烈,户外温度很容易就可以达到38℃或以上。因此,为户外设备配置足够的空调是非常有必要的。

PhoenixNAP数据中心户外UPS

根据设计规格,这里的A+B两路备份电池组可以在数据中心设施掉电之后提供至少60秒的电力供应,这可以帮助整个数据中心里的设备将大部分正在处理中的数据保存到硬盘上。

除了UPS电池组外,一旦断电,在3秒内数据中心里的6个2MW柴油发电机就会开始发电。1MW功率通常可以满足400-900户家庭的用电需求,因此总计12MW的功率可以维持数据中心正常运行一段时间,这段时间可以用来进行紧急故障排除。这些柴油发电机体积庞大,看起来就像带有孔洞和烟囱的货运集装箱。

和有些数据中心不同的是,在PhoenixNAP数据中心建筑的屋顶上,还放置了一些无线接入点设备,这些设备是根据用户需要安装的,为用户机架提供无线、卫星等信号接入。

PhoenixNAP数据中心机房屋顶的无线接入点


总 结

数据中心一般不对外开放,即使是用户,通常也只能进入自家设备所在的区域。因此,国外数据中心爱好者提供的PhoenixNAP数据中心参观图片,是难得的了解数据中心内部构造的机会。

PhoenixNAP的数据中心在构造上良好地适应了周边沙漠地带的环境。根据所处地点的不同,不同厂家的数据中心也有各自的特点。比如,Apple的数据中心在节能减排方面走在世界前列,宣布将会完全使用可再生能源为数据中心供电。阿里巴巴在中国张北的数据中心则使用了一层楼的浸没式液冷机柜,并利用张北凉爽的自然环境进行自然散热。阿里巴巴在浙江千岛湖的数据中心更是使用千岛湖深层湖水作为整个基础设施的冷却来源。

数据中心内部设备图景

从PhoenixNAP数据中心的参观中可以看到,数据中心基础设施的建设是一项复杂的工作,既要考虑风、火、水、电这四项与基础设施密切相关的因素,也要考虑最核心的ICT设备对环境的需求。在5G时代,除了传统的云数据中心外,还会有更多边缘数据中心出现,人们对数据中心的关注度只会越来越高。希望对PhoenixNAP数据中心的介绍可以揭开数据中心神秘面纱的一角,让更多的人对数据中心内部有所了解。

下一篇
« Prev Post
上一篇
Next Post »