当前位置:大数据采集存储 → 正文

存储产业链越来越关注大数据时代所带来的变化

责任编辑:editor004 |来源:企业网D1Net  2014-06-19 11:36:19 本文摘自:论坛

整个存储产业链越来越关注大数据时代所带来的变化,并涌现了大量的技术创新。在这种背景下,中国电信不仅自身正经历着IT架构的变革,同时也在密切关注并实践存储业界的4个重要趋势:软件定义存储、横向扩展、全闪存阵列、存储与计算的融合。中国电信研究院资深经理龚靖与记者分享了中国电信的观点看法、实践经验以及未来规划。

方向一:软件定义存储 软件定义存储是以软件定义的方式把存储服务从存储系统中抽象出来。龚靖认为,这个概念还是一个比较新鲜的概念,标准化也才刚刚起步。 中国电信2014年关注四大存储方向 从图中可以看出,中国电信存储架构的设备层支持SAN、NAS和对象存储等设备类型,存储层则分为控制平面和数据平面,将软件层与硬件层解耦,硬件变得不再重要,软件开始在系统优化和业务灵活性方面发挥重要作用。

她表示,希望标准化进程能加速推进,标准化意味着成本降低,可选择的范围也更大了,这其中包括从硬件标准化(硬件管理的适配),到策略标准化(去重压缩、加密以及多版本策略等),再到管理接口的标准化。

方向二:存储系统横向扩展 龚靖认为,今年横向扩展(Scale-out)技术开始向传统存储领域延伸,满足大数据等未来的容量需求。传统存储设备厂商推出了全新架构的块存储云化系统,通过改变前端交换矩阵结构、通过分布式算法管理的网格存储等在设计上实现块存储系统的横向扩展。

但她也指出,目前这个扩展方案存在横向不兼容,向上兼容不一致的问题,这是不利于内部多品牌存储资源利旧的。“在这方面,我们是抱着一种谨慎和尝试的态度在关注和实践。”

方向三:全闪存阵列 闪存技术具有极高IOPS性能和吞吐带宽,可以有效地减少物理空间和能耗,降低综合成本。但由于成本原因SSD在短期不会完全取代HDD,不过在存储系统中增加闪存作为缓存或元数据存储可显著改善大多数访问操作的性能。

龚靖介绍了中国电信在闪存技术上的初步实践:“在闪存上的尝试要一步步来,开始的时候我们以1:9的比例配置SSD与HDD。举例来说,如果在系统中某个地方成为数据访问的瓶颈,我们会尝试用SSD来取代HDD,提高系统的访问效率。”

方向四:存储与计算的融合 存储与计算的融合,主要是充分利用存储系统中存储节点越来越强的计算能力,来实现数据存储资源的提供,或同时实现大数据分析能力的供给。

龚靖认为,存储与计算的融合体现在3个方面:首先,在存储系统架构上,体现为分布式架构;在数据保存方式上,体现为非共享方式,即每个存储节点都保存一部分数据,同时具有一定计算能力;在IP海量存储中,IP硬盘承担部分数据事务计算。

“存储与计算的融合在大数据存储中体现得更为明显,能提升整个大数据存储系统的处理和分析能力,同时IP硬盘对于我们日后对象存储和内存系统的扩容非常有意义,这方面我们也会重点关注。”她这样说道。

海量存储部署遭遇多重挑战 中国电信在力拓互联网和大数据等业务的同时也产生了对海量存储的需求,并且需求更为复杂,包括互联网、网管、BI系统、数据保护和大数据在内5大类业务,所涵盖的数据存储形式与特征不尽相同,存储类型覆盖块存储、文件存储以及对象存储。

中国电信2014年关注四大存储方向 龚靖认为:“中国电信在海量存储方面是面临多重难题的,不只是存储需求复杂,而且业务部署的周期长,从提交需求、采购到部署通常持续半年到一年的时候,跟不上像互联网这样迭代速度很快的业务发展步伐。” 据她介绍,以前中国电信内部的各个业务建设中存储系统都是独立不共享的,并且会按照3到5年的需求进行峰值配置,这可能会导致利用率不均的问题,同时由于采用了多个存储厂商的产品,管理和运维上也是极为复杂的。

因此,中国电信从2007年开始云计算方面的研究和探索,在2009年提出了云计算战略,2011年开始云资源体系的建设,形成现有的4个体系:

- 业务平台云资源池体系:已形成2(集团)+24(省级)业务平台资源池体系,统筹满足集团、省公司各类平台资源需求。

- IT基础设施云资源体系:IT系统采用“1+31”的部署架构,IT基础设施从“分系统建设、独立使用” 逐步向“统一规划建设、集约调配使用”的管理模式转变。

- 集中管理平台:全网已集中部署云资源池管理平台,将统筹管理全网业务云资源,近期完成8个省资源池纳管,2014年完成全网资源池纳管。

- IDC云资源体系:已形成“4+2”云数据中心体系(上海、广东、四川、贵州、北京+内蒙古),统筹满足云产品资源承载需求。

但是,当前中国电信在海量存储资源部署方面还存在很多问题,例如存储建设成本较高,存储利用率不均,扩容压力逐渐向云数据中心传递;各家厂商之间技术不兼容,实现存储虚拟化较为复杂,不利于实现存储资源整合;不同存储技术无法实现统一存储管理和分配,存储配置复杂的问题依然存在。

为了解决这些问题,中国电信自身做出诸多努力,除了与厂商积极沟通之外,中国电信启动大量研究工作,建设了中国电信三个研究院的联合实验室,并搭建了OpenStack和HDFS研究平台,未来中国电信将作为海量存储生态圈的重要一环发挥作用。

关键字:存储层OpenStack云化

本文摘自:论坛

x 存储产业链越来越关注大数据时代所带来的变化 扫一扫
分享本文到朋友圈
当前位置:大数据采集存储 → 正文

存储产业链越来越关注大数据时代所带来的变化

责任编辑:editor004 |来源:企业网D1Net  2014-06-19 11:36:19 本文摘自:论坛

整个存储产业链越来越关注大数据时代所带来的变化,并涌现了大量的技术创新。在这种背景下,中国电信不仅自身正经历着IT架构的变革,同时也在密切关注并实践存储业界的4个重要趋势:软件定义存储、横向扩展、全闪存阵列、存储与计算的融合。中国电信研究院资深经理龚靖与记者分享了中国电信的观点看法、实践经验以及未来规划。

方向一:软件定义存储 软件定义存储是以软件定义的方式把存储服务从存储系统中抽象出来。龚靖认为,这个概念还是一个比较新鲜的概念,标准化也才刚刚起步。 中国电信2014年关注四大存储方向 从图中可以看出,中国电信存储架构的设备层支持SAN、NAS和对象存储等设备类型,存储层则分为控制平面和数据平面,将软件层与硬件层解耦,硬件变得不再重要,软件开始在系统优化和业务灵活性方面发挥重要作用。

她表示,希望标准化进程能加速推进,标准化意味着成本降低,可选择的范围也更大了,这其中包括从硬件标准化(硬件管理的适配),到策略标准化(去重压缩、加密以及多版本策略等),再到管理接口的标准化。

方向二:存储系统横向扩展 龚靖认为,今年横向扩展(Scale-out)技术开始向传统存储领域延伸,满足大数据等未来的容量需求。传统存储设备厂商推出了全新架构的块存储云化系统,通过改变前端交换矩阵结构、通过分布式算法管理的网格存储等在设计上实现块存储系统的横向扩展。

但她也指出,目前这个扩展方案存在横向不兼容,向上兼容不一致的问题,这是不利于内部多品牌存储资源利旧的。“在这方面,我们是抱着一种谨慎和尝试的态度在关注和实践。”

方向三:全闪存阵列 闪存技术具有极高IOPS性能和吞吐带宽,可以有效地减少物理空间和能耗,降低综合成本。但由于成本原因SSD在短期不会完全取代HDD,不过在存储系统中增加闪存作为缓存或元数据存储可显著改善大多数访问操作的性能。

龚靖介绍了中国电信在闪存技术上的初步实践:“在闪存上的尝试要一步步来,开始的时候我们以1:9的比例配置SSD与HDD。举例来说,如果在系统中某个地方成为数据访问的瓶颈,我们会尝试用SSD来取代HDD,提高系统的访问效率。”

方向四:存储与计算的融合 存储与计算的融合,主要是充分利用存储系统中存储节点越来越强的计算能力,来实现数据存储资源的提供,或同时实现大数据分析能力的供给。

龚靖认为,存储与计算的融合体现在3个方面:首先,在存储系统架构上,体现为分布式架构;在数据保存方式上,体现为非共享方式,即每个存储节点都保存一部分数据,同时具有一定计算能力;在IP海量存储中,IP硬盘承担部分数据事务计算。

“存储与计算的融合在大数据存储中体现得更为明显,能提升整个大数据存储系统的处理和分析能力,同时IP硬盘对于我们日后对象存储和内存系统的扩容非常有意义,这方面我们也会重点关注。”她这样说道。

海量存储部署遭遇多重挑战 中国电信在力拓互联网和大数据等业务的同时也产生了对海量存储的需求,并且需求更为复杂,包括互联网、网管、BI系统、数据保护和大数据在内5大类业务,所涵盖的数据存储形式与特征不尽相同,存储类型覆盖块存储、文件存储以及对象存储。

中国电信2014年关注四大存储方向 龚靖认为:“中国电信在海量存储方面是面临多重难题的,不只是存储需求复杂,而且业务部署的周期长,从提交需求、采购到部署通常持续半年到一年的时候,跟不上像互联网这样迭代速度很快的业务发展步伐。” 据她介绍,以前中国电信内部的各个业务建设中存储系统都是独立不共享的,并且会按照3到5年的需求进行峰值配置,这可能会导致利用率不均的问题,同时由于采用了多个存储厂商的产品,管理和运维上也是极为复杂的。

因此,中国电信从2007年开始云计算方面的研究和探索,在2009年提出了云计算战略,2011年开始云资源体系的建设,形成现有的4个体系:

- 业务平台云资源池体系:已形成2(集团)+24(省级)业务平台资源池体系,统筹满足集团、省公司各类平台资源需求。

- IT基础设施云资源体系:IT系统采用“1+31”的部署架构,IT基础设施从“分系统建设、独立使用” 逐步向“统一规划建设、集约调配使用”的管理模式转变。

- 集中管理平台:全网已集中部署云资源池管理平台,将统筹管理全网业务云资源,近期完成8个省资源池纳管,2014年完成全网资源池纳管。

- IDC云资源体系:已形成“4+2”云数据中心体系(上海、广东、四川、贵州、北京+内蒙古),统筹满足云产品资源承载需求。

但是,当前中国电信在海量存储资源部署方面还存在很多问题,例如存储建设成本较高,存储利用率不均,扩容压力逐渐向云数据中心传递;各家厂商之间技术不兼容,实现存储虚拟化较为复杂,不利于实现存储资源整合;不同存储技术无法实现统一存储管理和分配,存储配置复杂的问题依然存在。

为了解决这些问题,中国电信自身做出诸多努力,除了与厂商积极沟通之外,中国电信启动大量研究工作,建设了中国电信三个研究院的联合实验室,并搭建了OpenStack和HDFS研究平台,未来中国电信将作为海量存储生态圈的重要一环发挥作用。

关键字:存储层OpenStack云化

本文摘自:论坛

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^