当前位置:数据中心服务器 → 正文

不输Amazon?Facebook炫示开放计算成果

责任编辑:editor007 |来源:企业网D1Net  2014-03-07 09:08:06 本文摘自:ZDNetserver频道

Amazon快逃吧……硬件领域的无人机正蓄势待发

我们到底该如何评价Facebook的硬件开发实验室?是天堂、是商业机遇、还是可怕的地狱?答案取决于大家的发言立场。

如果各位身为硬件发烧友,喜欢鼓捣数据中心设备、尝试精简多余的组件并尽量压缩基础设施的整体成本,那么这座实验室绝对堪称大家梦寐以求的奇幻之地。

但如果大家身为惠普、戴尔、联想、思科、博科、瞻博、EMC或者NetApp等企业巨头的高管,那么这间实验室则弥漫着一种阴森恐怖的气氛。实验室中那一小队辛勤的Facebook员工正在努力尝试不同的服务器及存储阵列制造方案—如今甚至连网络交换机也加入进来,而这一切都将给各位旗下的产品带来威胁。

同时,如果大家代表的是广达电脑、富士康或者纬颖科技等亚洲组件制造商,那么这座实验室很可能成为各位口中津津乐道的话题。理由很简单,Facebook就是在这里设计其“开放计算”设备的,而设计方案最终将向业界广泛公开。拿到了最新的设计方案,上述亚洲企业就开始紧锣密鼓地将其转化为产品并进行出售—当然,他们的每一分利润都是从惠普、戴尔、联想等厂商手中抢夺而来。

很明显,要想切实了解这座实验室,我们必须亲身前往。因此本月早些时候,我们乘加州铁路的火车赶赴社交网络巨头总结所在地,并精心准备了一系列问题。首当其冲的就是:作为一家社交网络企业,你们为什么要花这么大力气设计并制造自己的数据中心硬件?

事实证明,理由很多也很充分。

尽管Facebook推出的应用程序看起来似乎平平无奇,但其背后却蕴藏着无比巨大的能量—这套社交平台在运作时需要面对超过十亿名用户、高达数十PB的存储数据,其全球三座数据中心(另有一座在建)当中每一座都拥有数十万台服务器(据我们估算)。在如此庞大的设备用量之下,Facebook确实有理由认真考虑如何才能以最低成本完成设备的采购与消费。

整体来看,社交网络体系的现有工作负载可以被划分为五种不同类型,因此其只需要五种不同的服务器设计方案即可顺利驾驭这艘庞大的信息巨轮。

这些SKU往往只面临单一种类的性能瓶颈—对于数据库服务器来说,这种瓶颈可能源自内存或者闪存容量;对图片服务器而言,磁盘存储容量则是主要障碍;而在Hadoop服务器方面,CPU速度则成为决定性能表现的关键因素。

“推动我们硬件SKU实现进化的最大动力源自主要组件,”Facebook公司基础设施负责人Jason Stowe解释道。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

Facebook开放计算成果展示——雪橇式服务器

出于这个原因,Facebook始终在服务器设计工作中将可升级特性作为必要前提。换言之,其服务器方案需要能在无需从数据中心内卸下或者进行复杂维护的条件下正常运作。为了达到这一目标,雪橇式服务器(如上图所示)应用运而生,它能在尽可能压缩成本的情况下实现快速维护。

“纵观整套硬件体系,我们首先想到的就是自己建立的方案面临着怎样的关键性瓶颈,”Stowe解释称。“我认为这是过去四年以来我们最擅长的工作方式,即在面对显著变化时成为第一批采用者。”

梦想开始的地方

Facebook实现卓越速度表现的主要功臣正是这座硬件实验室,它帮助社交网络巨头对现有设计进行优化,同时在新机架设备上充分发挥不同技术带来的各类优势。

通过鼓励实验性尝试,Facebook允许员工快速提交自己的原型设计思路、考虑如何安排并配置硬件,从而为社交网络巨头带来适合特定用例的新方案。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

一块正处于测试当中的服务器开发板

在开发服务器方案的过程中,Facebook会利用由硬件合作伙伴提供的开发板(如图所示)帮助进行硬件测试。有时候Facebook还允许好奇的参观者亲手利用这些设备对开放计算项目的设施方案进行测试—但根据我们了解到的情况,这并不符合官方管理政策的要求。

万板合一的“寿司船(sushi boat)”

“寿司船”服务器(如下图所示)正是Facebook在软件及硬件开发领域拥有“快速行动、有所突破”信心的直观实例。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

“寿司船”服务器能够容纳最多80块SSD卡

通过图片可以看到,这台由Facebook工程师团队在一次“黑客马拉松”竞赛中打造的服务器实用性颇高、足以容纳大量2.5英寸笔记本规格SSD卡。

利用轻质木材、纸板与一台Makerbot 3D打印机,开发团队得以构建起一套能够容纳80块SSD的原型服务器。
“他们设计出了包括I/O系统在内的整套方案,”硬件工程高级经理Matt Corddry解释道。“设计成果真的非常简洁。”

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

“寿司船”利用小型容纳接入驱动器

令Facebook惊喜万分的是,当这套设计方案投付实际评估时,他们发现其功耗水平、自身重量以及存储资源承载能力都远远优于Facebook目前所使用的“冷门存储”服务器。

“系统中的所有SSD排布都具备严格的工程考量,”Stowe解释称。“如果我们将其用作归档存储机制并与SSD进行映射,则可以得到一套容量密度更高而读写性能较低的理想方案。由此看来,利用SSD解决方案充当归档存储机制并非毫无可能。”

尽管Facebook还没有将方案立即投付生产的打算,但Corddry坦言这项设计将“成为理想的后备机制”,而且Facebook可以利用原型机在短时间内批量生产出众多生产服务器。

正是这种丰富想象力与灵活性之间碰撞出的精彩火花,让社交网络巨头下决心将硬件实验室坚持搞下去。

大罐头(Big Tin

虽然Facebook的主要工作内容在于让工程师与其它设备厂商合作,进而打造出可用于创建规范化产品的组件;但他们同样也乐于亲自动手制造一些小玩意儿。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱不只是主板与机架——Facebook的工程师们也会利用来自上世纪五十年代的车床实现自己的构想

在公司总部的另一栋楼里,我们顶级Fortus 250mc 3D打印机旁边摆放着一台来自上世纪五十年代的金属车床。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

Fortus 250mc打印机能帮助Facebook快速完成原型机设计

这两台设备的作用都是快速制造原型机零部件。以3D打印机为例,其与Facebook网络相连接,因此工程师们能够坐在自己的办公桌前操作其进行打印。

“这正是我们实现高效工作的途径—工作人员们酝酿出思路,然后将其以模型形式呈现出来并实际观察,”Corddry表示。“在我们的工作当中,3D打印机是打造早期原型机以及初步调整的神器。即使是非常微小的细节—例如回型针或者张力装置,都可以借它之手表现出来。如果我们生活在硬件世界中,它们就是这个世界里的奇观。”

生于车库:三十块驱动器、一个小型容器

下面我们关注的对象是“Knox”,这款先进的存储机架很好地诠释了创新型方案给社交网络巨头带来的实际价值—它帮助Facebook将三十块驱动器塞进了一个小型容器当中。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

Facebook“Knox”系统的一套早期版本。

正如硅谷作为Facebook最理想的诞生地,Knox原型机(如上图所示)最初也恰如其分地出现在了Facebook公司工程师John Ehlen自家的车库中,他在邮件中告诉我们。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

在原型设计的帮助下,Facebook得以对滑轨式硬盘驱动器机制进行测试。

这套原型机利用“胶合板作为服务器托盘,并以50磅重物来模拟设备的总体重量,同时通过泡沫板(如图所示)代表硬盘驱动器,”他在邮件中解释道。

通过建立原型方案,工程师们能够对开放计算项目的早期设计进行了解并掌握其特性,Ehlen指出。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

ODM合作伙伴负责制造原型机的后续版本,Facebook将借此敲定最终设计方案。

 

随着设计工作的进行,工程师们会不断引入其它材料、直到最终将木质雏形打造成全金属原型机(如上图所示)。这里看到的设备是由原始设备制造商负责提供的。

“但这还只是理论方案,因为其设计细节还非常粗糙,而且Facebook的机械工程师会在钣金厂的车间内对现有零件进行修改并利用钣金冲床制造新的零件,”Ehlen表示。

最终的成果就是Knox:这款存储阵列目前已经正式在Facebook位于俄勒冈州普赖恩维尔市的存储设施内服役。

不过除了实际作用之外,硬件实验室也在很多发烧友心目中成为一块令人魂牵梦绕的圣地。在我们的参观过程中,Corddry坦言他们也曾经设计出过一些不太成功的方案。他回忆称,大约十个月之前一些工程师制造出一台具备四个旋翼、足以将便携式硬盘驱动器带上天空的设备。“有一天晚上,这架四翼直升机带着一块硬盘在园区里到处乱飞,”Corddry告诉我们。Amazon,知道怕了吧?

关键字:Facebook开放计算

本文摘自:ZDNetserver频道

x 不输Amazon?Facebook炫示开放计算成果 扫一扫
分享本文到朋友圈
当前位置:数据中心服务器 → 正文

不输Amazon?Facebook炫示开放计算成果

责任编辑:editor007 |来源:企业网D1Net  2014-03-07 09:08:06 本文摘自:ZDNetserver频道

Amazon快逃吧……硬件领域的无人机正蓄势待发

我们到底该如何评价Facebook的硬件开发实验室?是天堂、是商业机遇、还是可怕的地狱?答案取决于大家的发言立场。

如果各位身为硬件发烧友,喜欢鼓捣数据中心设备、尝试精简多余的组件并尽量压缩基础设施的整体成本,那么这座实验室绝对堪称大家梦寐以求的奇幻之地。

但如果大家身为惠普、戴尔、联想、思科、博科、瞻博、EMC或者NetApp等企业巨头的高管,那么这间实验室则弥漫着一种阴森恐怖的气氛。实验室中那一小队辛勤的Facebook员工正在努力尝试不同的服务器及存储阵列制造方案—如今甚至连网络交换机也加入进来,而这一切都将给各位旗下的产品带来威胁。

同时,如果大家代表的是广达电脑、富士康或者纬颖科技等亚洲组件制造商,那么这座实验室很可能成为各位口中津津乐道的话题。理由很简单,Facebook就是在这里设计其“开放计算”设备的,而设计方案最终将向业界广泛公开。拿到了最新的设计方案,上述亚洲企业就开始紧锣密鼓地将其转化为产品并进行出售—当然,他们的每一分利润都是从惠普、戴尔、联想等厂商手中抢夺而来。

很明显,要想切实了解这座实验室,我们必须亲身前往。因此本月早些时候,我们乘加州铁路的火车赶赴社交网络巨头总结所在地,并精心准备了一系列问题。首当其冲的就是:作为一家社交网络企业,你们为什么要花这么大力气设计并制造自己的数据中心硬件?

事实证明,理由很多也很充分。

尽管Facebook推出的应用程序看起来似乎平平无奇,但其背后却蕴藏着无比巨大的能量—这套社交平台在运作时需要面对超过十亿名用户、高达数十PB的存储数据,其全球三座数据中心(另有一座在建)当中每一座都拥有数十万台服务器(据我们估算)。在如此庞大的设备用量之下,Facebook确实有理由认真考虑如何才能以最低成本完成设备的采购与消费。

整体来看,社交网络体系的现有工作负载可以被划分为五种不同类型,因此其只需要五种不同的服务器设计方案即可顺利驾驭这艘庞大的信息巨轮。

这些SKU往往只面临单一种类的性能瓶颈—对于数据库服务器来说,这种瓶颈可能源自内存或者闪存容量;对图片服务器而言,磁盘存储容量则是主要障碍;而在Hadoop服务器方面,CPU速度则成为决定性能表现的关键因素。

“推动我们硬件SKU实现进化的最大动力源自主要组件,”Facebook公司基础设施负责人Jason Stowe解释道。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

Facebook开放计算成果展示——雪橇式服务器

出于这个原因,Facebook始终在服务器设计工作中将可升级特性作为必要前提。换言之,其服务器方案需要能在无需从数据中心内卸下或者进行复杂维护的条件下正常运作。为了达到这一目标,雪橇式服务器(如上图所示)应用运而生,它能在尽可能压缩成本的情况下实现快速维护。

“纵观整套硬件体系,我们首先想到的就是自己建立的方案面临着怎样的关键性瓶颈,”Stowe解释称。“我认为这是过去四年以来我们最擅长的工作方式,即在面对显著变化时成为第一批采用者。”

梦想开始的地方

Facebook实现卓越速度表现的主要功臣正是这座硬件实验室,它帮助社交网络巨头对现有设计进行优化,同时在新机架设备上充分发挥不同技术带来的各类优势。

通过鼓励实验性尝试,Facebook允许员工快速提交自己的原型设计思路、考虑如何安排并配置硬件,从而为社交网络巨头带来适合特定用例的新方案。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

一块正处于测试当中的服务器开发板

在开发服务器方案的过程中,Facebook会利用由硬件合作伙伴提供的开发板(如图所示)帮助进行硬件测试。有时候Facebook还允许好奇的参观者亲手利用这些设备对开放计算项目的设施方案进行测试—但根据我们了解到的情况,这并不符合官方管理政策的要求。

万板合一的“寿司船(sushi boat)”

“寿司船”服务器(如下图所示)正是Facebook在软件及硬件开发领域拥有“快速行动、有所突破”信心的直观实例。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

“寿司船”服务器能够容纳最多80块SSD卡

通过图片可以看到,这台由Facebook工程师团队在一次“黑客马拉松”竞赛中打造的服务器实用性颇高、足以容纳大量2.5英寸笔记本规格SSD卡。

利用轻质木材、纸板与一台Makerbot 3D打印机,开发团队得以构建起一套能够容纳80块SSD的原型服务器。
“他们设计出了包括I/O系统在内的整套方案,”硬件工程高级经理Matt Corddry解释道。“设计成果真的非常简洁。”

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

“寿司船”利用小型容纳接入驱动器

令Facebook惊喜万分的是,当这套设计方案投付实际评估时,他们发现其功耗水平、自身重量以及存储资源承载能力都远远优于Facebook目前所使用的“冷门存储”服务器。

“系统中的所有SSD排布都具备严格的工程考量,”Stowe解释称。“如果我们将其用作归档存储机制并与SSD进行映射,则可以得到一套容量密度更高而读写性能较低的理想方案。由此看来,利用SSD解决方案充当归档存储机制并非毫无可能。”

尽管Facebook还没有将方案立即投付生产的打算,但Corddry坦言这项设计将“成为理想的后备机制”,而且Facebook可以利用原型机在短时间内批量生产出众多生产服务器。

正是这种丰富想象力与灵活性之间碰撞出的精彩火花,让社交网络巨头下决心将硬件实验室坚持搞下去。

大罐头(Big Tin

虽然Facebook的主要工作内容在于让工程师与其它设备厂商合作,进而打造出可用于创建规范化产品的组件;但他们同样也乐于亲自动手制造一些小玩意儿。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱不只是主板与机架——Facebook的工程师们也会利用来自上世纪五十年代的车床实现自己的构想

在公司总部的另一栋楼里,我们顶级Fortus 250mc 3D打印机旁边摆放着一台来自上世纪五十年代的金属车床。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

Fortus 250mc打印机能帮助Facebook快速完成原型机设计

这两台设备的作用都是快速制造原型机零部件。以3D打印机为例,其与Facebook网络相连接,因此工程师们能够坐在自己的办公桌前操作其进行打印。

“这正是我们实现高效工作的途径—工作人员们酝酿出思路,然后将其以模型形式呈现出来并实际观察,”Corddry表示。“在我们的工作当中,3D打印机是打造早期原型机以及初步调整的神器。即使是非常微小的细节—例如回型针或者张力装置,都可以借它之手表现出来。如果我们生活在硬件世界中,它们就是这个世界里的奇观。”

生于车库:三十块驱动器、一个小型容器

下面我们关注的对象是“Knox”,这款先进的存储机架很好地诠释了创新型方案给社交网络巨头带来的实际价值—它帮助Facebook将三十块驱动器塞进了一个小型容器当中。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

Facebook“Knox”系统的一套早期版本。

正如硅谷作为Facebook最理想的诞生地,Knox原型机(如上图所示)最初也恰如其分地出现在了Facebook公司工程师John Ehlen自家的车库中,他在邮件中告诉我们。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

在原型设计的帮助下,Facebook得以对滑轨式硬盘驱动器机制进行测试。

这套原型机利用“胶合板作为服务器托盘,并以50磅重物来模拟设备的总体重量,同时通过泡沫板(如图所示)代表硬盘驱动器,”他在邮件中解释道。

通过建立原型方案,工程师们能够对开放计算项目的早期设计进行了解并掌握其特性,Ehlen指出。

Facebook工程实验室大揭秘:硬件的天堂、惠普的地狱

ODM合作伙伴负责制造原型机的后续版本,Facebook将借此敲定最终设计方案。

 

随着设计工作的进行,工程师们会不断引入其它材料、直到最终将木质雏形打造成全金属原型机(如上图所示)。这里看到的设备是由原始设备制造商负责提供的。

“但这还只是理论方案,因为其设计细节还非常粗糙,而且Facebook的机械工程师会在钣金厂的车间内对现有零件进行修改并利用钣金冲床制造新的零件,”Ehlen表示。

最终的成果就是Knox:这款存储阵列目前已经正式在Facebook位于俄勒冈州普赖恩维尔市的存储设施内服役。

不过除了实际作用之外,硬件实验室也在很多发烧友心目中成为一块令人魂牵梦绕的圣地。在我们的参观过程中,Corddry坦言他们也曾经设计出过一些不太成功的方案。他回忆称,大约十个月之前一些工程师制造出一台具备四个旋翼、足以将便携式硬盘驱动器带上天空的设备。“有一天晚上,这架四翼直升机带着一块硬盘在园区里到处乱飞,”Corddry告诉我们。Amazon,知道怕了吧?

关键字:Facebook开放计算

本文摘自:ZDNetserver频道

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^