IBM推出新产品 文件扫描速度创纪录

责任编辑:FLORA

2011-07-25 15:00:45

来源:企业网D1Net

原创

据国外媒体报道,为了帮助将来需要处理大量数据的企业用户,IBM的研究者设计出了一种超快速的存储系统,这种系统能够在43分钟内扫描100亿个文件。

企业网D1Net(全球IP通信联盟旗下媒体)7月24日(上海),据国外媒体报道,为了帮助将来需要处理大量数据的企业用户,IBM的研究者设计出了一种超快速的存储系统,这种系统能够在43分钟内扫描100亿个文件。此次IBM将扫描速度提升了37倍。

这个存储系统明显优于IBM 2007年演示的系统。早在美国2007年超级计算机大会(Supercomputing 2007)上,IBM就推出了一个存储系统,它能够在3个小时内扫描10亿个文件。

存储系统的性能得以改善的关键原因是,使用了高速闪存来保存存储系统使用的定位需求信息的元数据。而传统的方法是将元数据库存储在普通硬盘上,在访问这个数据库时,就会减缓存储系统的运行速度。

"如果把数据存储在高速存储器上,那么我们做这些操作时,速度会加快很多。" IBM 阿尔马登研究中心的存储系统负责人Bruce Hillsberg说,"相对于在磁盘上存储元数据来说,利用固态存储器存储元数据确实能够极大地提高我们执行管理任务的速度。"

IBM预计,在未来几年内,它的客户将需要处理更多的信息。"由于客户长期内需要存储和处理大量的数据,因此,他们需要高效的管理这些数据。" Hillsberg说。

在新演示的存储系统中,IBM建立了10个八核服务器集群,共装备了6.8TB的固态存储器。IBM使用了4款Violin Memory公司的3205固态存储系统。最终组建好的存储系统能够以大约5 GB/s的速度阅读文件。

Hillsberg称,这个系统还使用了IBM 3.4版本的通用并行文件系统(GPFS),并进行了相应的调整。这款GPFS系统最初是为高性能计算系统设计的,现在也越来越适用于帮助数据量大的企业处理庞大的工作量。GPFS系统允许所有的处理器核心并行在硬盘上读写数据,从而极大地提高了存储系统的反应速度。

无独有偶,在美国计算机协会(Association for Computing Machinery)本月的通讯上,来自卡内基梅隆大学和英特尔实验室的一组研究人员描述了一种整合有低能耗处理器和闪存存储器的服务器架构,这种设计能够极大地提高交易量巨大的大型网站的运行速度。

与IBM的架构类似,这组研究人员推出的名为Fast Array of Wimpy Nodes(简称FAWN)的架构只需要有极少量的闪存存储器,把访问频率最高的数据存储在上面即可。他们指出,尽管固态存储器的价格可能是传统硬盘的10倍,但是它们能把整个存储系统的性能提高一倍。

用闪存存储器协助建立服务器的想法"并不久,但是这种技术已经存在了。"谷歌着名工程师、参与FAWN架构设计的鲁伊兹-安德鲁-巴罗索Luiz André Barroso说。(By Joab Jackson, IDG News Service FLORA编译 )

链接已复制,快去分享吧

企业网版权所有©2010-2025 京ICP备09108050号-6京公网安备 11010502049343号