东方物探“尝鲜”软件定义存储

责任编辑:editor006

2014-09-09 17:12:38

摘自:网界网

通过反复调研,东方物探将目光锁定闪存阵列与软件定义存储等新型存储技术,并最终采用了IBM软件定义存储解决方案来解决海量数据并行处理难题。赖能和还透露,未来计划将东方物探不同区域的数据中心整合到一起,其间也打算利用IBM软件定义存储技术。

尽管许多人认为软件定义存储[注]和大数据[注]都是还处于概念炒作阶段的热门词汇,东方物探(中国石油集团东方地球物理勘探有限责任公司)却已经率先利用软件定义存储技术解决所遇到的大数据难题——

在9月4日举行的IBM 存储大会“ROCK EDGE CHINA 2014”上,中国石油集团东方地球物理勘探有限责任公司研究院副总工程师赖能和表示,东方物探采用IBM GPFS并行文件系统和FlashSystem全闪存阵列组成的软件定义存储解决方案,为地震数据分析提供了大容量、快速、稳定的存储支撑,在大幅提升元数据查询速度的同时,还提高了地震数据处理和分析的效率,让石油勘探工作变得更高效。

“随着高性能计算技术的发展和宽方位高密度采集技术的采用,我们油气勘探业已经进入大数据时代。例如,在地震采集数据中,不少单一数据体高达30~50TB,传统存储设备与技术很难解决我们的问题。”赖能和说。

通过反复调研,东方物探将目光锁定闪存阵列与软件定义存储等新型存储技术,并最终采用了IBM软件定义存储解决方案来解决海量数据并行处理难题。

据悉,IBM软件定义存储解决方案实际上是一套可横向扩展的文件存储系统,包括软件和硬件两部分:软件就是IBM GPFS并行文件系统,存储硬件系统主要由大容量、低成本的IBM DCS3700存储阵列与IBM FlasySystem 810闪存阵列组成。东方物探目前部署了两套IBM软件定义存储系统,总存储容量达到1.4PB。单套系统包括集群NAS机头(配置16 台IBM X3650 M4)、加速模块(配置2台IBM Flashsystem 810+2台3650 M4)和存储柜(8台IBM DCS3700磁盘阵列)三部分。

为提升存储访问体验,东方物探将元数据与生产数据分离,元数据存储在高性能的IBM Flashsystem 810上,海量的生产数据则存储在大容量、低成本的IBM DCS3700磁盘阵列上,这样一来可以将元数据的查询速度提升上千倍。经测试,将元数据集中式存放在高速闪存阵上,顺序读性能提升了1495倍 。以1.4PB的数据处理总量计算,其中元数据大约为3TB-4TB,而单台IBM Flashsystem 810的可用容量是6TB,不仅可以满足当前的元数据存储需求,而且预留了足够的扩展空间。东方物探共部署了两套IBM Flashsystem 810,通过IBM GPFS的镜像复制功能实现了系统冗余,进一步提高了数据处理的可靠性。

IBM相关专家则表示,IBM软件定义存储解决方案在并发存储访问、数据的分层,以及数据在不同层级间的迁移全部都是以软件为核心实现的,其独特的优势表现在以下三个方面:第一,系统的伸缩性好,可实现模块化的灵活扩展,存储容量能够随着用户的需求从几十TB扩展到PB级;第二,实现灵活的配置和功能的调整(+微信关注网络世界),可以针对客户的具体需求进行调整和优化;第三,架构灵活,系统的所有组件都是松耦合的关系,交换模块、存储模块等不同模块可以自由组合,不受限制,比如存储模块既可以是大容量、低成本的磁盘阵列,也可以是高性能的固态硬盘(SSD)。

“简言之,闪存阵列的效果还是非常明显的,解决了很多用普通的磁盘阵列很难解决的疑难问题。软件定义存储技术,比如说像IBM的SOSS+FlashS810,架构很灵活,非常的简单,性价比也是非常好的。而且可以根据需要,随时进行横向扩展,而且对其扩展性我们做过对比,性能是线性增加的。因此它的可靠性、可扩展性完全能够满足我们海量数据的并行处理。”赖能和说。

此外,赖能和还透露,未来计划将东方物探不同区域的数据中心整合到一起,其间也打算利用IBM软件定义存储技术。

链接已复制,快去分享吧

企业网版权所有©2010-2025 京ICP备09108050号-6京公网安备 11010502049343号