戈特弗里德·莱布尼茨，德国哲学家、数学家、律师，同时也是一位男爵，是一位德意志历史上的传奇人物，他最为让人们“印（shen）象（wu）深（tong）刻（jue）”的发明被我们叫做“微积分”，此外，他也是数据分析、现代逻辑学和二进制等学科的重要奠基人。

以这位贵族命名的莱布尼茨超级计算中心（LRZ）位于德国加尔兴，在这里部署的通用计算HPC系统“SuperMUC”是全球高性能计算TOP500排行榜上的常客，2012年第一次上榜时位列TOP4，2013年6月的榜单上仍排在前十位以内，在2014年11月的榜单上排在Cray一套“不可以说名字的”系统之后，位列14位。

2015年7月12日，ISC 2015大会现场，在最新一期全球高性能计算TOP500榜单上，SuperMUC系统有两套上榜，一套看起来是旧的2012年第一次上榜的系统，位列第20位；另一套称为SuperMUC Phase 2（阶段2），紧挨在前一套之后，排在21位，两套系统的性能合计约6.763PFlops，与官方网站公布的6.8PFlops基本相同（想要了解为什么是两套系统而不“合二为一”的请直接拉至文末）。

需要指出的是，阶段2（Phase 2）是一套全新的、以英特尔至强E5-2697 v3（Haswell）及至强融核（Xeon Phi）为核心处理器，由联想Lenovo NeXtScale nx360M5 WCT为基本系统单元构建的SuperMUC系统。

在如此众多的媒体争相报道天河二号再度夺冠的时候，我们为什么要将这套系统单独拿出来说呢？原因我们暂且按下不表，首先让我们大致介绍一下这套系统。

联想System x iDataPlex构建SuperMUC

这套HPC是欧洲高级计算合作关系（PRACE）在高性能计算领域内的项目之一，是这一计划在欧洲最核心的、“Tier-0层”的计算平台，将面向全欧洲的科学及工程计算研究人员开放。

全新的SuperMUC采用的是联想System x iDataPlex服务器系统，初期以32GB（阶段1）和64GB（阶段2）内存配置的瘦节点以及少量256GB内存的胖节点为主要架构，它包括了18个以英特尔Sandy Bridge EP为核心的瘦节点“岛”、6个英特尔Haswell EP为核心的瘦节点岛以及1个以英特尔Westmere EX为核心的胖节点岛。

每个节点岛拥有512个服务器节点，每节点皆为双路服务器，单个节点岛最大的处理器核数为8192个核心，按照512 x 2 x8计算，这一数字应当为八核心的Westmere EX处理器的胖节点岛，目前英特尔至强E5 v3的处理器（Haswell EP）核心数量最多为18个核心。

阶段1和阶段2的瘦节点分别采用FDR10和FDR14 Infiniband连接，胖节点则通过QDR InfiniBand连接。此外，在这一集群中还包括一个名为SuperMIC的集群，这是一个每节点都安装两个英特尔Xeon Phi加速卡的共计32节点英特尔Sandy Bridge EP处理器的混合计算集群。

据官网显示，它的内存容量总数约为194TB，仅是第一阶段系统的占地面积就高达21m x 26m，耗电量只有大约1.1兆瓦特，后端并行存储容量约为15PB，归档和备份系统的容量则超过30PB。

全新的SuperMUC采用SuSE Linux企业服务器（SLES）作为操作系统，GPFS并行文件系统，通过Icinga和Splunk进行系统监控。

SuperMUC阶段1加阶段2的架构示意图，可以看到左侧是全新的英特尔至强E5 v3的计算集群。

为什么SuperMUC要单独拿出来说一说呢？当然，这是联想收购IBM System x之后，位列在全球TOP500排行榜中排位最高的HPC系统，而联想也是此次TOP500排行榜最大的赢家，这不仅是联想的成功，也是中国HPC行业有机会尝试触碰到全球最高领域的机会，但这还不是SuperMUC备受关注的主要原因。

温水散热？用在SuperMUC上可不是玩笑

2014年收到为LRZ设计建造这套HPC的邀约时，设计团队计算采用创新的温水散热系统（Warm Water cooling），这一系统据称效率是常规风冷散热技术的4000多倍，可大幅节省40%的制冷散热成本。

LRZ的SuperMUC水冷的进水温度高达40-45摄氏度（据联想方面透露，应该是45度），冷却用水由被称为“free-cooling”的外部散热供水系统系统，由于德国常年气温不超过35度，因此40-45度的水温可以很轻松的获得。

SuperMUC系统，里面每个部件都布满了水冷管，是全球首款采用温水散热的商用HPC系统。

听起来40-45度的“温水（接近热水）”散热与传统数据中心的散热完全不是一个概念，毕竟传统数据中心的冷却水温度都在16摄氏度左右，出口的水温也只是在20摄氏度左右，几乎没有温水的使用，因为“人们总是想要更低温度的水”。

但其实40-45度的温水进行冷却完全没问题，早在2010年，瑞士苏黎世理工学院安装的HPC系统Aquasar就采用了温水散热系统，碳足迹减少高达85%，那么Aquasar的温水是多少摄氏度？60摄氏度！据称，处理器可以承受的最高温度为85-90摄氏度，出口水温65摄氏度的Aquasar为苏黎世理工学院的园区提供了取暖及其他用途的热水。

SuperMUC出水口的热水可以为园区内的其他生活建筑供热或用于其他用途，据称这一系统可以节省125万美元的开支。

在温水散热的低能源消耗帮助下，SuperMUC的PUE值高达1.1，整机效能高达90.95%，联想方面给出的资料显示：5年整体电费下降37%（从27.6M欧元降至17.4M欧元，节省超过1000万欧元）

SuperMUC（阶段1）的占地面积示意图，上方的黄色和橘黄色管线就是水冷系统及水冷管。

此外，还有一些与SuperMUC有关的细节包括：

·SuperMUC的磁带备份和存档系统使用来自IBM的TSM（Tivoli Storage Manager），至今一直使用磁带系统作为作为灾难恢复的最后一道防线。

·SuperMUC连接到一套非常强大的可视化系统，科学家们也非常爱护自己的眼睛，新的LRZ办公楼内有一个大型的4K清晰度Powerwall显示系统，以及5面CAVE虚拟现实环境系统。

·SuperMUC的出水口温度通常高达70摄氏度，国内大部分小区集中供暖的水温在60-80摄氏度左右，常见的是入户80摄氏度，回水60摄氏度，而地暖的入户水问题通常为60-65摄氏度就已经足够了。

那么，在“温水”都可以用来散热的今天，水冷是否在数据中心、高性能计算系统里面成为主流？是否即将开始较大规模的商用？从SuperMUC和许多业界正在推动的水冷HPC系统来看，至少第一步已经迈出去了。

水冷效率更高 为什么不呢？

服务器水冷技术并不是一个很新的技术，像是Google在2006年之前就开始研究这一技术，并在2009年申请且得到了水冷服务器的专利，http://谷歌水冷服务器专利的主要技术特点是服务器主板两两成对安装在散热片的两个外侧，由散热片内流过温度较低的冷冻水来带走热量。

其中高发热的元件，比如CPU和南北桥芯片组等靠近散热片内的冷冻水来安装，从而发出的热量被散热片内的冷冻水就近带走;而一些发热量不高的器件，比如内存和硬盘等则直接安装在稍远离三明治散热片中心的位置，部分案例中还有服务器风扇或电源风扇安装在某侧的服务器主板上，用于将内存和硬盘等的热量带，走。

谷歌认为水的比热容远远大于空气，而且水和电一样，总体是可以控制在管路范围内，而气体体积太大且四处游散较难控制，风扇的功耗还高于水泵的功耗，因此采用水冷技术更优。

System x是行业内水冷技术比较超前的产品系列，除了2010年的首款“热水”水冷HPC系统Aquasar、前面介绍过的“温水”系统SuperM，System x团队还在2012年尝试在现有冷水、温水、热水等水冷技术之外，开发出一种可以直接使用自然水进行冷却的技术，通过这项技术，人们还可以进一步降低功耗，而且还无需对水进行加热或者制冷即可实现系统冷却。

供应商Asetek在2012年推出了面向服务器的水冷散热解决方案，其一体化水冷的1U服务器一体化水冷散热器解决方案是当时较为廉价其能够为商业企业所应用的非常实际的解决方案。

Asetek是Cray和富士通在液冷技术领域的合作伙伴，为富士通的PRIMERGY CX400服务器和Cray的CS300/400-LC集群超级计算机提供水冷解决方案，以及针对英特尔至强融核Knights Landing的水冷解决方案。这家公司有一项被称为Direct to Chip（直达芯片D2C）的HPC系统冷却技术，目前在美国的桑迪亚锁甲实验室、密西西比州州立大学以及美国国家可再生能源实验室得到了应用。

在今年的ISC 2015大会上，Asetek也展示了其RackCDU温水水冷解决方案。

联想NeXtscale System（绰号飞虎）的服务器采用了联想先进的水冷技术，单节点浮点计算性能超过1万亿次，得益于水冷技术，英特尔至强处理器E5-2600v3可以持续运行在Turbo模式下， 性能提升30%，同时，无风扇设计可以让噪音减少80%。

水冷技术在服务器特别是HPC领域的应用如今已经日益成熟，虽然在过去几年里，水冷技术都处于Demo甚至是“走秀”的阶段，但是随着超大规模数据中心、高性能计算机建设的加速以及水冷技术本身的进展，水冷技术更进一步走出特殊定制化领域已经看到了极大的可能性。

在冷水难得的时候，Google选择水温较低的哥伦比亚河流域建立数据中心，但此后我们见到了温水甚至是热水技术；很多国内HPC及数据中心的建设者们担忧水质量的问题，System x团队又开始尝试使用自然水进行冷却，总的来说“遇到问题，解决问题，利用问题实现技术进步”不止是HPC行业，更是整个IT行业的基础规则，从这一角度来讲，为什么水冷（也包括各种液冷技术）不会是未来非常可行的技术呢？这一次ISC 2015上所展示的技术，或许用不了多久就会在数据中心内见到。

有关“两套SuperMUC”的疑问：

正如前文所说，TOP500榜单上有两套SuperMUC系统，一套是2012年上榜的系统，另一套的Phase 2（阶段2）系统，在官方网站上LRZ只是指出这是两个阶段的系统，但为什么会成为排名20和21名的两套系统呢？

阶段1架构图，可以看到SB-EP和WM-EX的计算岛都是在一个InfiniBand高速网络中。

阶段2，两套系统通过互联网/网格服务进行连接，而不是一个InfiniBand高速网络。

据联想集团中国区大客户事业部System x解决方案销售总监么石磊表示，可以推测之所以SuperMUC分为两套系统，主要原因就是高速互联网络上，LRZ的Linpack测试应当是进行拆分计算的，毕竟中间的连接不是高性能网络而是表现一般的互联网。

不过，这两套系统都是联想System x温水水冷技术的HPC系统。