在今年年初OCP 2013峰会上，Facebook发布了最新的数据中心建设思路RDDC(rapid deployment data center)，其模块化、标准化、预制化水平到达一个新的高度。本文将回顾RDDC的前世今生和Facebook IDC发展之路，并从技术上分析数据中心建筑、电气、暖通、微模块等，最后谈谈RDDC对国内的影响和启示。本文有不少笔者个人观点和猜想，加之资料和个人水平有限，未免有不少错误，希望读者多多指正(本文相关图片材料均来自网络视频等资料)。

1 Facebook 数据中心发展之路

在分析RDDC之前，我们不妨回顾一下Facebook数据中心发展之路。Facebook从早期租赁数据中心，到去俄勒冈建自己的数据中心，再到去欧洲瑞典Lulea建新数据中心，虽然中间时间并不长，但其标准化程度和成熟度都很高。这有赖于美国IDC的技术水平发展较高，以及Facebook可以借鉴各种互联网公司经验。总体来说，Facebook IDC演进经历了若干阶段：

1) 定制服务器、存储等ICT设备;

2) 改变供配电架构，定制冷冻水末端空调[ZY1] ，采用一路480V市电与一路48V电池柜的供电系统架构，发布OCP open rack V1.0[ZY2] 规格。

3) 使用Penthouse设计。干燥新风通过蒸发散热，等焓加湿降温[ZY3] ，可以选配DX盘管(Facebook只有一个数据中心有配DX盘管)。

4) 和CA合作。CA提供DCIM软件，Facebook在CA DCIM基础上通过开放接口二次开发相关应用。

5) 采用RDDC方法，发布OCP open rack V2.0。改为480V直接到服务器机柜分布式电源[ZY4] ，输出12V，锂电池直挂12V母排架构。

图1 Facebook 数据中心发展之路

Facebook一开始定制服务器和存储等设备时候，就希望能优化供配电架构，当时发布的OCP open rack V1.0规范其实就是配合定制服务器电源做成的微模块。具体电源系统单线图如图2所示。

图2 OCP open rack V1.0规范中的电源系统单线图

当然，图2关于UPS的效率86%是非常不合理，实际上现在高频交流UPS的效率可高达96%。关于直流电和交流电在效率上比较，笔者推荐参考施耐德APC 第127号白皮书《数据中心交流配电与直流配电的量化比较》(http://www.apcmedia.com/salestools/NRAN-76TTJY/NRAN-76TTJY_R2_CH.pdf)

此白皮书比较中立分析了交直流配电的系统效率。但难以否认的是，Facebook通过整合服务器电源和前端直流UPS，使得效率从73%(修正值)提升到87%。即使换到国内380V电压应用环境，减少北美480V/208V降压变压器，Facebook的设计也能提高约7%。但是，笔者认为这种整合虽然能够提升效能减少成本，但至少目前而言，对于大部分企业客户，这种对ICT设备的供电架构改造并不现实。另外，有不少人会认为Facebook这种模式通过牺牲系统可靠性来获取效率提升，而可靠性通过软件、多个数据备份等保证，类似Google的方式。但根据Facebook做过相关电气系统可靠性分析，结论却让人感到惊讶，这种简单而高效的系统反而可靠性更高!图3与图4是Facebook工程师分析配电系统可靠性的比较：

图3 典型数据中心可靠性分析

图4 Facebook数据中心可靠性分析

笔者认为Facebook的分析相对较为简单，缺乏整体配电系统架构量化分析，比较科学严谨的方法要使用可用性计算软件，通过单线图和相关电源设计故障时间和维护时间等参数具体计算。但从系统简单即可靠的角度来看，Facebook的配电架构确实未必比传统金融行业Tier4级数据中心配电设计的可靠性低，特别是直流系统的电源运维更简单。所以，从某种意义上说，国内240V直流配电技术的流行，并不是为了效率上的一点提升，而更多是基于系统可靠性相对一致，采购成本和运维比传统交流UPS更优。

同样的道理，我们不妨看看为什么国外用同轴飞轮UPS的用户较多，其实同样因为系统简单。如思科Allen数据中心、雅虎数据中心都用了飞轮UPS，因为配电系统设计非常简单，使用机械系统降低电子控制难度和故障率，配合其无电池设计、非常紧凑的占地面积，还可以作为外置预制电力模块受到极大欢迎。由于国内用户、设计院等对飞轮UPS认识不足，同时飞轮UPS的初期采购价格较高，厂家选择面相对较少而导致应用案例非常少。笔者认为，若没有整合服务器电源，从系统简单性、效能来说，使用同轴飞轮UPS(飞轮+发电机)确实对于企业客户是一个不错选择，比交流双变换UPS系统要优。但Facebook的做法是采用后备式直流UPS，效能极大提高同时，维护容易很多，个人也更喜欢使用分布式电源方式。

图5 Facebook定制的48V DC UPS，输出给6个OCP V1.0机架供电

OCP的机架内部配置48V/12V直流转换器，即机架的服务器电源采用整体设计;服务器集中式电源如下图所示：

 

图6 Facebook OCP V1.0 服务器集中式电源

在Open Rack V1.0中，可以放置3个4.2kW功率模块，支持12kW机架功率密度。如果是8kW的话，放置2个功率模块即可，输出12V母排接到服务器输入侧。

除了配电系统，针对俄勒冈的干燥环境，Facebook使用penthouse阁楼设计其制冷系统，其典型的内部构造如下图：

图7 Facebook 俄勒冈数据中心内部制冷建筑结构图整体使用无冷机设计，制冷先后经过过滤、混合舱、加湿蒸发散热、风机墙、排风阀等。

总体来说，Facebook第一代数据中心更多集中在微模块的建设和末端电源技术改进，OCP open rack配合定制服务器整机架交付。更多信息可以参见下列视频链接：http://v.youku.com/v_show/id_XNTcwOTU5Njg0.html

可以看出，在电气系统与配电架构上Facebook已经做了较多产品化和标准化，但是penthouse设计需要较多的工程化并且与建筑配合。由于机械系统(HVAC/Mechanical system)采用工程化设计需要配合建筑施工，同时微模块外的电气系统也为工程实施，导致数据中心整体交付速度滞后于服务器和微模块交付速度。因此，Facebook针对这个问题，希望对微模块外的机电、IDC建筑通过产品化、标准化预制、预构件等方式改进，同时并行作业，从而达到业务部署速度、ICT设备部署速度、机电部署速度、建筑部署速度几乎同时匹配，做到快速交付(Rapid deployment)。这个就是RDDC快速部署数据中心的概念由来。

2 RDDC的构成

2.1 建筑布局、分区

图8 Facebook的RDDC整体园区布局渲染图

Facebook并没有采用多层结构或俄勒冈式的两层结构，相反，其采用了大平面一层的设计方式放置所有设备，通过提高层高来满足布线、热通道回风等要求。

图9 Facebook RDDC 区域平面布局图

其中，中间部分放置电气模块(详细会在电气系统章节介绍)，MECH UNITS为机械制冷模块，使用AHU的方式(详细会在机械系统章节介绍)。A和B为数据中心白区(white space)，放置服务器、存储、网络等微模块。如果我们细心看，其实整体布局类似传统数据中心的设计，即两边为精密空调，一侧为UPS等配电系统。传统设计方法如图10所示

图10 数据中心布局传统设计方法

在布局图Elec Skids电气模块下部，实际上是放置泵房模块，泵房模块的作用，笔者认为主要用于AHU的蒸发散热泵组。由于Lulea的地区温度很低，可以全年100%使用新风自然冷却，蒸发散热估计用于夏季。

图11为Facebook Lulea数据中心其中两个微模块的截面图。可以看得出Facebook建筑上参考了雅虎鸡舍设计，顶部有倾斜，使得热气流更容易上升，同时鸡舍式的热气流排出口(图左侧)，令废热可以从顶部排出，热气流可通过风机调节。

截面图可以看出，右侧是AHU模块，中间为2个微模块，而左边突出为热气排出口。层高较高主要考虑热通道回风。附图12雅虎2007年公布的鸡舍式DC建筑设计。

我们不妨对比一下Lulea一期的DC设计，沿用俄勒冈设计理念，采用传统建筑建造模式。

图13 Facebook Lulea数据中心一期设计

新型的RDDC，采取了钢结构预构件Pre-engineered metal building(一般简称PEB)的方式设计，钢结构吊装部署，钢结构和微模块不同。部署方法如图14所示。

图14 Facebook Lulea RDDC数据中心PEB设计

在这里，笔者认为有必要介绍一下PEB(Pre engineered Building英文全称)和PFB(Prefabricated building)之间的差异，大家就会理解集装箱和这种方法的差异。PEB和PFB之间难以有一个非常明确的界定，两者看上去有点像成品和半成品的关系。PEB定义了部件，损失了现场交付时间，但更改设计灵活性比PFB高，同时运输成本更低。而PFB相比集成度高，提高了交付时间，但设计相对固定，更改设计灵活性差，运输成本通常较高。PEB和PFB优劣性更多基于不同系统用户实际应用情况，难以有定论，如IT集装箱是PFB，而Facebook的微模块是PEB做法，就目前来看，谷歌抛弃了IT集装箱做法，笔者认为PEB+PFB混合做法更优。而Facebook的RDDC做法，在建筑上使用PEB，在机电模块上使用PFB，而在微模块上又使用PEB。对于IDC建筑使用PFB设计，英国Bladeroom数据中心堪称使用类集装箱Containerized DC的经典。该数据中心用标准集装箱尺寸，但不是标准集装箱的钢构做成PFB，然后运现场后拼装的模式，达到快速部署。更多详情可以参看下列链接，http://v.youku.com/v_show/id_XNjI5MTEyMDky.html

而如果采用PEB做法，国内其实已经有不少案例，典型如远大建筑和上海城建，商业大楼和住宅楼都可以使用PEB的做法加快整体建造速度。

远大建筑的PEB设计可以参考下面链接：http://v.youku.com/v_show/id_XNjk5NDQyMjY0.html

国外也有不少PEB建筑，可以适应多层或单层建筑模型，单层结构设计跟Facebook的RDDC也比较类似：

[page]使用PEB钢构设计，比传统建筑设计提升是显然的，主要体现在物料节省，部署速度更快，网络上有很多相关比较PEB和传统建筑的比较，可以参考下面链接：

http://theconstructor.org/structural-engg/pre-engineered-building-vs-conventional-building-comparison/7009/

图15 使用外置AHU带风管设计

根据Facebook工程师研究结果，采用RDDC模式，可以节省约一半的建筑材料和提升一倍建造部署时间(如图16所示)。

图16 RDDC模式带来的好处

有人可能会问，Facebook在规划RDDC的时候怎么能够从概念推断出物料的成本和部署时间会节省那么多?还是做出来的时候才得出?

当然不是做出来才验证，答案在于Facebook规划RDDC时候使用BIM设计。整个过程利用BIM的5D特性，可以非常精确模拟出整体交付速度和交付计划、整体物料成本BOM，以及相应绿色节能分析等。关于BIM的介绍可以参阅以下百度百科链接：

http://baike.baidu.com/link?url=QEvi66ChoSDy07NBu6YNy7EsVMRqwO23GLFcwSgkG1WFzrhMAcBmKO01Ed_BAQ0yrOAFOMOBVnxXBpuTfzs4QK

附上两个Lulea一期的BIM图

图17 Facebook Lulea数据中心一期BIM图A

图18 Facebook Lulea数据中心一期BIM图B

据笔者国内调研，暂时未发现有一个国内数据中心使用BIM做整体建筑和机电设计、项目施工管理和设施运维等，所以从这点看，国内外的数据中心设计水平和能力相差甚远。关于Facebook在工具流程上如何规划RDDC，笔者在RDDC可能的研发流程章节中会给出个人猜想观点供读者参考。

在电气模块布局上，Facebook采用Skid底座的预制电力模块，即把相应的电力设备集成在Skid钢架上，同时相关电气线缆已经预制和预连接，相关电气模块技术会在电气系统章节介绍。

图19 Facebook Lulea数据中心一期电气模块布局

写到这里，大家应该大致理解Facebook模块化、标准化、预制化的思路。但是依然有一个问题：数据中心不能全部在工厂集成好，然后整体打包运到现场，现场必然会有模块之间的工程连接，如何保证不会出现模块之间连接工程不会出现手工作坊一样的人为错误呢?难道老外就比中国人好?

国外做法是通过BIM在设计层面尽可能做到所见即所得，通过标准化设计和产品化的手段做成不同系统模块，整个IDC工程会尽可能拆分成很多标准模块，这些模块在工厂做预制并搭建好调试好，拆了之后运到现场拼装就行。笔者总结为：工厂化的预制和施工、BIM标准化设计和管理，把施工现场变成汽车装配流水线一样，类似富士康生产苹果手机的流程，达到快速标准作业。这是笔者对RDDC理念的理解，其实这也是贯穿无论谷歌、微软、亚马逊等IDC的建设理念。