2011年中,谷歌公布了其在2010年全年的数据中心耗电情况。根据谷歌提供的数据,这家互联网公司一年的电力消耗量高达近23亿千瓦时,比21万个美国家庭一年的用电量加一块儿还要多。据斯坦福大学的Jonathan Koomey估计,截至2010年底,谷歌共拥有近90万台服务器,约占全球3%的服务器数量,但只使用全球数据中心1%的电力,目前其部分数据中心的年均PUE约为1.12左右,显然谷歌数据中心的运作比其他数据中心更为高效。我们知道除了制冷系统外,数据中心的供电系统也是能耗很大的一块,因此有必要研究一下其供电系统,虽然不一定适合中国国情和一般用户,但其理念和思路却是非常值得借鉴的。
图1是谷歌某个数据中心外部供电照片,由于谷歌的数据中心体量通常都很大,比如达到30-40M以上的用电,因此往往机房周边专门区域建设有专用的变电站给庞大的机房供电。
由于篇幅有限,变电站及中压部分就不再展开,但其总体思路是采用中压配电输送到机房周边,靠近负载就近经变压器降压成低压,再通过低压母线输电到机房内的IT机柜上。从图1我们可以看到模块化的户外型变压器及低压配电柜环绕机房周边,采用集装箱型的柴油发电机组作为变配电的供电投切备份,柴发风管直立到屋顶上排风。经过变压器变压后的市电通过母线槽或者线缆直连到机房内的机柜上方,直接给自带分布式UPS的服务器供电。
图2则是谷歌数据中心内部的俯视图,从这个照片我们可以看到市电经前面描述的室外变压器降压后直接通过母线槽的方式架设在每排机柜顶部,再用机柜顶部的配线盒连接到每个机柜PDU,具体细节我们后面会介绍。由于谷歌定制的服务器上自带有分布式小UPS,因此谷歌的数据中心内部不再有UPS室和电池室等,也没有列头柜等二次配电环节,每个服务器直接采用市电直供技术,达到接近99.9%的供电效率。如图3(a)所示的每个机柜直接从机柜顶部母线槽上安装的配线盒取电,这种供电架构非常简单清爽,大大减少了线缆的采购和工程施工,而且非常灵活便于机柜扩充和带电检修维护等,运营起来也非常简单,还可以根据机柜的功率和用电可靠性情况灵活调整配线盒来满足不同设备的供电需求。此外,变压器、中低压以及柴发供电外置,且无集中UPS和电池等,机房内的空间利用率也非常高。
如图3(b)所示谷歌的带小UPS的市电直供服务器大家都应该非常了解了,这里不再详述,只简做要介绍。其原理是在服务器内安装底部的12V黑色铅酸电池用于市电停电保护,市电正常时候,由于没有外部UPS,市电直接给服务器供电,达到99.9%的供电效率;当市电停电后,直接挂接在12V输出上的电池短时放电,直至室外的柴发启动恢复服务器电源带载。电池参与放电的时间基本不到一两分钟,因此电池的容量很小,大约只有3.2Ah,备电时间远远小于传统数据中心15到30分钟的电池备电需求,因此对柴发的启动要求很高。
我们前面知道谷歌的柴发是模块化直接安装在变压器旁边的,很有可能是低压柴发,其启动很快。而且每台柴发对应一个变压器,没有复杂的柴发并机以及启动时序等问题,因此正常情况下柴发启动时间可以控制在十几秒以内,一两分钟的电池备电时间基本上是够了,但这对运维水平要求就非常高了。当然谷歌的软件架构和业务备份方面也足够强壮,甚至部分设备停电也不会影响到业务正常运行,因此只有强大的技术实力才可以采用这种供电架构。
图4是谷歌三联柜102a-c的正视图,以及顶部配电系统100,后者不仅给三联柜服务器供电,还给相关的空调等支撑设备供电,比如机柜顶部的风扇等。三联柜底部装有滚轮105,用于支撑机柜,并且方便现场运营人员灵活搬运,每个机柜高度约为30个导轨,估计每个设备高度约1.5U,总计高度45U左右,整个三联柜总共有90个设备安装空间。这种设计使得整个三联柜不会太高,无需凳子或者梯子等来协助。三联柜横向宽度方面也不会太宽,叉车等工具可以简易搬迁,甚至现场安装人员可以徒手在数据中心内很容易搬动到需要的地方。
空气循环单元107会被安装在背靠背的两组三联柜之间,该单元包含两组三联柜之间的锁固框架,以及一到两个的空调盘管,还有热通道顶部的一些风扇等。三联柜排出的热空气可以进入框架内,然后被空调盘管制冷,最后从顶部的风扇被吹回整个机房冷环境中。空气循环单元107的框架上还架设有支撑架108,支撑架108用于安装线槽110和112等,分别用于布设供电线缆和光纤或铜缆等。空气循环单元上还有一些网线等,用于控制风扇的转速,并将收集到的压力、温度、设备故障信息等送回到机房监控中。
三联柜顶部的配电系统100则包括IT机柜供电的配线盒116,该配线盒向上可通过118接入口从一根或者两根供电母排上获得电力,向下则通过配电空开122以及线缆120等给102a-c的三联柜每个机柜分别供电。比如每个机柜有三根线120到机柜PDU,那么122配电空开就总共有9个微断连接到9条输出线缆120上,或者3个3P的空开。
由于三联柜通常都是工厂预制并安装好TOR的整机柜,当三联柜被滚动安装锁固在空气循环框架107后,就可以直接从线槽110或者112上连接上联光纤。然后供电的配线盒116向上则从供电母线取电,向下则给三联柜机柜的PDU供电。最后等所有的线缆都连接好并带电后,三联柜内的服务器上电开始加载系统开始工作。如前面所述,每个机柜有30个导轨安装30台服务器,每个机柜采用三相空开,每相空开带载10台设备,每组三联柜共有9路输出空开,如果任何部分发生故障,那么最多也只会影响到1/9的设备,在保证人身安全的同时,尽量缩小故障影响面。
图5(a)是谷歌三联柜更为详细的展示,三联柜202a-c内的三个机柜整个连为一体,导轨205用于支撑服务器的安装。标识为204a-c为机柜上的PDU垂直安装在机柜前面的左侧,PDU上有30个左右的母头插座用于安装服务器电源插头。由于PDU和服务器非常靠近,而且插座基本平齐于服务器前面板,因此可以采用非常短的电源线用于连接服务器和PDU,电源线缆安装美观且管理方便。图5(b)是安装了服务器的三联柜,这些服务器可以是计算、存储等各种类型的IT设备。整个三联柜通过底部的滚轮方便搬运和安装,并且这些三联柜以及要安装的服务器会以整机柜的方式在工厂整体安装调试好,搬运到现场后整体交付,即插即用,满足快速部署和建设的需求。
图6(a)是PDU及机柜一角的俯视图,其中302是用于支撑待安装服务器的导轨,而304则是PDU的支撑架,用于固定垂直的PDU 306到机柜上。PDU内部包含三根导线308、310和312,每根导线连接PDU上1/3的插座,比如导线312连接到PDU顶部的10个插座314,310负责中间的10个插座,而308则负责底部的10个插座。图6(b)则描述了服务器主板316被安装在导轨302上,以及和PDU的电源线连接示意。服务器316通过电源线320以及电源插头318从PDU上取电,当然这里电源线只是示意,实际上谷歌的服务器电源往往安装在热通道侧,电源线穿过服务器到机柜前面的冷通道来取电,满足谷歌服务器全正面冷通道维护的需求。图6(c)更为详细的展示了导轨302和PDU 306之间的位置,插座314和导轨302一一对应逐个匹配,所以服务器电源线可以就近很好得连结到每个插座,当然如果有需要,也可能会有冗余的插座用于安装其他需要的设备,比如交换机等。