当前位置:存储行业动态 → 正文

软件定义介质?希捷携手华为构建业务驱动存储

责任编辑:editor006 |来源:企业网D1Net  2014-09-22 16:43:39 本文摘自:论坛

互联网企业所提出的对介质的细颗粒度管理,现在已经成为企业用户的共识,受限于软件开发及技术研究实力的传统企业用户,即将转而寻求从企业级IT系统级供应商那里获得这样的能力。

在规模化的互联网数据中心用户,如阿里巴巴、百度、腾讯等公司的IT团队眼里,对数据中心细颗粒度的不懈追求,不仅意味着更好的控制、透明度以及可管理性,更重要的是,能够从极其细微的颗粒度——磁盘的盘片、内存或闪存的颗粒的级别——对数据中心进行管理和编排,不会再因为“一颗腐朽的大树,而放弃所有的森林”。

这一举措的初始意愿或许是为了追求更高的透明度,并藉此获得更好的经济性,但提出这一建设思路的BAT及其他规模化数据中心企业慢慢发现,当业务负载-调度与编排平台-底层细颗粒度控制结合在一起时,无论是上层的应用还是中间的orchestrator层,都能够获得最大化的经济效益与灵活的IT基础设施管理及配置,对企业来说,这意味着更进一步的服务业务的需求,甚至是实现所谓“业务驱动的数据中心”这一远大的目标。

当华为IT产品线总裁郑叶来提出“未来的数据中心应当是业务来驱动的,软件定义只是一种手段”的观点,意味着华为将不懈余力的寻求可以从上至下建立“业务驱动的IT基础设施”的方法及可能性,这一过程也最终不断下探IT平台的颗粒度,并最终下探到磁盘的内部、内存与闪存的颗粒等介质层的“基础组成单元”。

这就像在我们寻找人体奥秘的过程中,最终会深受RNA和DNA的影响一样,介质的供应商,也正在被裹挟到——无论是主动还是被动——类似华为这样的供应商的“业务驱动的IT基础设施”的浪潮之中。

作为全球最大的存储介质供应商,希捷显然希望主导或者说主动参与到这一进程中来,特别是当华为——这个在中国企业级IT市场异军突起的企业——提出这一需求之后,双方的深入合作只是时间的问题。

9月17日,2014华为云计算大会第二天上午,郑叶来代表华为公司与希捷科技全球市场与客户总裁Rocky Pimentel签署了《(华为与希捷的)战略供应商合作协议》,这一协议的细节虽然暂未向媒体披露,但郑叶来在现场表示:“这不是简单的买与卖的关系,而是面向未来的研发上的深度合作。”

郑叶来表示,希捷面向的是存储介质的专业领域,华为希望能够从介质这一几乎是最底层的IT基础设施层面,帮助用户解决业务如何驱动IT、驱动数据中心发展的难题。

Rocky Pimentel则表示,希捷意识到,华为是与希捷志同道合的IT行业的领导者——将更多的业务驱动力释放到介质及介质基础控制上——实现业务驱动、软件定义的IT架构。

从技术出发的战略合作

根据《战略供应商合作协议》,华为和希捷将调整双方的产品和技术发展路线图以保持一致,建立联合实验室,并在云存储解决方案领域的产品、技术、市场等方面展开合作——换句话说,这并非是因为担心受到未来硬盘产能的影响,而建立的供应链保证协议,华为和希捷将展开介质层面的技术联合研发设计与应用研究。

作为华为方面的代表,郑叶来在谈到双方的合作时非常直白的表示:“这不是买卖的关系,双方的合作就像是男女结婚,第一要有双方的意愿,第二是双方都互相认可。”他表示,面向未来的IT市场,存储的不确定性越来越大,而全球数据的增长已经难以被存储介质容量的新增所消化:“双方希望在存储介质上有更好的技术,进行前瞻性的研究,(这里面)有大量值得探索的地方。”郑叶来强调,“合作不会针对某个类型的客户或是某个行业。”

在互联网、物联网、移动宽带、云计算等趋势的影响下,数据量的激增正变得不可控制,按照分析机构IDC的研究结果,2013年到2020年数据量将增长10倍,从4.4万亿GB到44万亿GB。

但问题是,全世界所有媒介类型的可用存储容量(未使用字节)的增长速度比数字宇宙增速要慢。在2013年,可用的存储容量可以容纳数字宇宙的33%。到2020年,能容纳的数据量不足15%——即便世界上大部分的数据是暂时性的(如Netflix公司或HuluStream,XboxONE游戏互动,数字电视),无需存储。

除此以外,我们处理数据的方式正发生巨大的改变:按照数据的“热度”——数据的价值、使用的频繁度以及所处生命周期——对数据的进行分层(分离及分割)的手段正越来越多的用户所接受,企业用户认识到,数据的存储将不再是粗放型的,而是集中的、精细的、自动化的以及具有智能的。

在这样的背景下,作为IT基础设施系统及解决方案供应商的华为,以及作为作为基础的构建模块——存储介质——的供应商希捷,就有了更加紧密进行合作,构建从存储介质到存储系统,再到数据管理与业务资源编排的IT技术架构的动力:“我们的战略合作更多是技术层面的合作,对每个公司来说,大数据、云计算是很大的机会,而基础则是企业宝贵的资产——数据,深入的进行数据的管理和挖掘,有赖于华为和希捷这样的功能能够合作提供更好的数据存储,在各个方面都能够为客户提供更好的客户体验。”Rocky Pimentel表示。

谈到合作伙伴华为,Rocky Pimentel表示,华为是IT行业的领导者,对希捷来说,双方互相有在技术领域方面的优势与独到之处:“我们意识到华为在软硬件上都有好的发展,能够与希捷建立技术领域更好的合作,我们也希望能够更进一步进行合作。”

从公司层面来说,华为与希捷的合作意味着介质与系统厂商首次结合在一起,针对数据的存储及其自身的特性进行合作研究,正如文章开头所说的,在这背后是业务驱动的巨大动力,而最终将由软件定义和设计。

介质的变革:业务驱动 软件定义

企业级存储的主流介质正在逐步转变为闪存,而不是希捷更为擅长的传统磁盘,通过从Avago手中收购LSI的加速解决方案部门(ASD)以及闪存组件部门(FCD),希捷一跃成为企业级PCIe SSD闪存加速卡市场“第二重要的供应商(LSI时代的著名‘定位’)”。

作为一种速度更快、响应时间更及时的介质,利用闪存的方式需要考虑到性能、寿命、类型以及经济性,这意味着它需要更多的“软件定义”或者说是业务驱动——针对不同类型、不同级别、不同相应需求的业务负载需求。可以说,闪存与业界普遍关注的软件定义及华为提出的业务驱动(存储)密不可分。

但这一控制过程并非仅限于闪存盘(卡)本身,或者是存储系统、计算系统本身,正如EMC所收购的XtremIO公司的CTO 任宇翔所说,这应当也必须是一个介质和系统配合的过程,比如在XtremIO全闪存阵列中,垃圾回收就被完全下放给SSD的Firmware来处理,而非负载在阵列的控制器上——这不仅需要对SSD品质的100%信任,更需要阵列控制器能够得到来自SSD 100%的信息反馈。

另一方面,当越来越多的控制力传递给用户,后者所获得的管理能力或者说透明度,不是基于一个新的、控制单个盘片、单颗颗粒的全新GUI界面,而是基于硬件系统甚至操作系统,比如OpenStack(华为的Fusionsphere 5.0亦是如此)的响应于业务的策略以及智能,介质、介质的控制、系统的管理与操作平台编排,必须深度结合,并基于用户的策略开放给用户业务的选择,而不是介质、颗粒的选择与管理。

无论是哪一种需求,华为与希捷的合作都应当被加深,郑叶来对于华为与希捷合作的“背后推动力”表示:“(双方合作的)需求是从上到下明确的需求,技术层面需要知道及响应上面需要什么,建立自上而下的合作。”郑叶来的潜台词可以理解为:两家公司的合作目的是要建立全程可管理、技术透明以及细颗粒度的技术体系,“这是来自用户的需求。”

可想而知,未来对希捷及更多介质的管理,从存储系统来说,将交由华为存储的OceanStor OS存储操作系统完成,从编排、管理平台来说,FusionSphere及下一阶段的FusionStorage也都将涉足——在2014HCC大会上,华为宣布将在FusionSphere下建立FusionStorage——可以管理到每一块磁盘、每一颗闪存的分布式存储智能管理编排工具。

当然,业务驱动、软件定义的基础架构也不仅仅只是来自于上层系统供应商,对希捷来说,在海量存储成为现实的今天,希捷Kinetic平台是这家“硬件公司”最新也是最具希望的尝试。

海量存储的未来:希捷Kinetic

在文章《海量存储趋势:IP化已成共识》中曾提到,以传统的LBA方式——在动辄数千块4TB甚至6TB硬盘的数据中心内——使用硬盘来进行大规模存储,对于存储管理员和应用平台的开发人员来说,简直就是一场噩梦。传统硬盘厂商正在寻找更加适用于大规模存储平台,尤其是冷存储平台的硬盘接口。

因此,将IP接口与硬盘相融合成为了业界在面向高密度、大规模的存储系统的技术需求时的共识,包括希捷、WD、HGST、东芝等在内的主流硬盘供应商当下都在这一领域投入了相当程度的精力,尤其是希捷。

IP硬盘在海量存储领域的优势十分明显,首先IP硬盘都是采用Key/Value的方式访问的,这是一个类似数据库访问的机制:“在用户存储数据的时候,硬盘会返回一个Key,这个Key‘指向’Value,也就是实际的数据,而Key采用哈希算法生成,不会重复、计算效率高。如果需要提取数据,只需要提供对应的Key就可以得到Value。”

这一Key对应Value的架构,某种意义上来说,就是一种对象存储。在对象存储中,不存在文件目录、层级的概念,其“将NAS垂直的树形结构改变成平等的扁平结构,从而提高了扩展性、增强了可靠性、具备了平台无关性等重要存储特性”,而IP硬盘的这种机制,与对象存储“将树形的“目录”和“文件”替换为扁平化的“ID”与“对象””是完全一样的,这也就难怪,就IP硬盘本身就有人认为“天然就是一个对象存储”,而这也让IP硬盘成为对象存储的最好选择。

其次,海量存储必然存在大规模并行访问的需求,而IP硬盘的优点恰恰在此。因为每一个IP硬盘上都必然有一颗处理器,也就意味着访问点是分布的,“有多少磁盘就有多少访问点,那么应用或者客户端程序可以直接并行地访问所有连接到以太网上的磁盘,体系效率较高”,在支持大规模并行访问上,显然是有着得天独厚的优势。

希捷科技高级存储部首席技术官裘剑一(即James Hughes)在大会间隙的采访中表示:“存储的需求发生了变化,以前是文件、块,但现在是对象存储。”他表示,新的机会就像是一张白纸,可以通过设计一种新的存储方式,从云、数据中心、互联网以及大数据的角度出发,“要知道,数据可不是来自Fiber Channel、SAS或是SATA,而是来自以太网。”

希捷Kinetic及其API所提供的Key/Value访问方式正是以对象的方式,在存储系统中建立联通外部IP网络与底层介质的访问通道,它更安全、成本不高、数据读取迅速、更符合数据访问的随机形式:“能够为云、海量的存储节约大量的在存储介质上寻找数据的时间。”

但在与WatchStor记者的沟通中,裘剑一首度承认,希捷Kinetic并不是仅为硬盘设计的,虽然它提升了硬盘在海量存储中的数据访问速度和可靠性,但“它不只是为硬盘,更是为了海量存储。”

他透露,希捷Kinetic的脚步甚至都不会停留在Flash存储(SSD)上,希捷Kinetic on RAM甚至都会有:“或许(希捷Kinetic on RAM)更为重要,其实如果有一个编程的语言及访问数据方式解决所有层的问题,那会是更加简单的存储。”

放弃传统的LBA方式,改以Key/Value的方式访问介质,正是一种“业务驱动、软件定义”的实现:海量存储正成为越来越多企业的业务,而还有什么比一个开放的希捷Kinetic API更称得上是“定义硬件的软件”呢?

关键字:希捷介质软件存储介质

本文摘自:论坛

x 软件定义介质?希捷携手华为构建业务驱动存储 扫一扫
分享本文到朋友圈
当前位置:存储行业动态 → 正文

软件定义介质?希捷携手华为构建业务驱动存储

责任编辑:editor006 |来源:企业网D1Net  2014-09-22 16:43:39 本文摘自:论坛

互联网企业所提出的对介质的细颗粒度管理,现在已经成为企业用户的共识,受限于软件开发及技术研究实力的传统企业用户,即将转而寻求从企业级IT系统级供应商那里获得这样的能力。

在规模化的互联网数据中心用户,如阿里巴巴、百度、腾讯等公司的IT团队眼里,对数据中心细颗粒度的不懈追求,不仅意味着更好的控制、透明度以及可管理性,更重要的是,能够从极其细微的颗粒度——磁盘的盘片、内存或闪存的颗粒的级别——对数据中心进行管理和编排,不会再因为“一颗腐朽的大树,而放弃所有的森林”。

这一举措的初始意愿或许是为了追求更高的透明度,并藉此获得更好的经济性,但提出这一建设思路的BAT及其他规模化数据中心企业慢慢发现,当业务负载-调度与编排平台-底层细颗粒度控制结合在一起时,无论是上层的应用还是中间的orchestrator层,都能够获得最大化的经济效益与灵活的IT基础设施管理及配置,对企业来说,这意味着更进一步的服务业务的需求,甚至是实现所谓“业务驱动的数据中心”这一远大的目标。

当华为IT产品线总裁郑叶来提出“未来的数据中心应当是业务来驱动的,软件定义只是一种手段”的观点,意味着华为将不懈余力的寻求可以从上至下建立“业务驱动的IT基础设施”的方法及可能性,这一过程也最终不断下探IT平台的颗粒度,并最终下探到磁盘的内部、内存与闪存的颗粒等介质层的“基础组成单元”。

这就像在我们寻找人体奥秘的过程中,最终会深受RNA和DNA的影响一样,介质的供应商,也正在被裹挟到——无论是主动还是被动——类似华为这样的供应商的“业务驱动的IT基础设施”的浪潮之中。

作为全球最大的存储介质供应商,希捷显然希望主导或者说主动参与到这一进程中来,特别是当华为——这个在中国企业级IT市场异军突起的企业——提出这一需求之后,双方的深入合作只是时间的问题。

9月17日,2014华为云计算大会第二天上午,郑叶来代表华为公司与希捷科技全球市场与客户总裁Rocky Pimentel签署了《(华为与希捷的)战略供应商合作协议》,这一协议的细节虽然暂未向媒体披露,但郑叶来在现场表示:“这不是简单的买与卖的关系,而是面向未来的研发上的深度合作。”

郑叶来表示,希捷面向的是存储介质的专业领域,华为希望能够从介质这一几乎是最底层的IT基础设施层面,帮助用户解决业务如何驱动IT、驱动数据中心发展的难题。

Rocky Pimentel则表示,希捷意识到,华为是与希捷志同道合的IT行业的领导者——将更多的业务驱动力释放到介质及介质基础控制上——实现业务驱动、软件定义的IT架构。

从技术出发的战略合作

根据《战略供应商合作协议》,华为和希捷将调整双方的产品和技术发展路线图以保持一致,建立联合实验室,并在云存储解决方案领域的产品、技术、市场等方面展开合作——换句话说,这并非是因为担心受到未来硬盘产能的影响,而建立的供应链保证协议,华为和希捷将展开介质层面的技术联合研发设计与应用研究。

作为华为方面的代表,郑叶来在谈到双方的合作时非常直白的表示:“这不是买卖的关系,双方的合作就像是男女结婚,第一要有双方的意愿,第二是双方都互相认可。”他表示,面向未来的IT市场,存储的不确定性越来越大,而全球数据的增长已经难以被存储介质容量的新增所消化:“双方希望在存储介质上有更好的技术,进行前瞻性的研究,(这里面)有大量值得探索的地方。”郑叶来强调,“合作不会针对某个类型的客户或是某个行业。”

在互联网、物联网、移动宽带、云计算等趋势的影响下,数据量的激增正变得不可控制,按照分析机构IDC的研究结果,2013年到2020年数据量将增长10倍,从4.4万亿GB到44万亿GB。

但问题是,全世界所有媒介类型的可用存储容量(未使用字节)的增长速度比数字宇宙增速要慢。在2013年,可用的存储容量可以容纳数字宇宙的33%。到2020年,能容纳的数据量不足15%——即便世界上大部分的数据是暂时性的(如Netflix公司或HuluStream,XboxONE游戏互动,数字电视),无需存储。

除此以外,我们处理数据的方式正发生巨大的改变:按照数据的“热度”——数据的价值、使用的频繁度以及所处生命周期——对数据的进行分层(分离及分割)的手段正越来越多的用户所接受,企业用户认识到,数据的存储将不再是粗放型的,而是集中的、精细的、自动化的以及具有智能的。

在这样的背景下,作为IT基础设施系统及解决方案供应商的华为,以及作为作为基础的构建模块——存储介质——的供应商希捷,就有了更加紧密进行合作,构建从存储介质到存储系统,再到数据管理与业务资源编排的IT技术架构的动力:“我们的战略合作更多是技术层面的合作,对每个公司来说,大数据、云计算是很大的机会,而基础则是企业宝贵的资产——数据,深入的进行数据的管理和挖掘,有赖于华为和希捷这样的功能能够合作提供更好的数据存储,在各个方面都能够为客户提供更好的客户体验。”Rocky Pimentel表示。

谈到合作伙伴华为,Rocky Pimentel表示,华为是IT行业的领导者,对希捷来说,双方互相有在技术领域方面的优势与独到之处:“我们意识到华为在软硬件上都有好的发展,能够与希捷建立技术领域更好的合作,我们也希望能够更进一步进行合作。”

从公司层面来说,华为与希捷的合作意味着介质与系统厂商首次结合在一起,针对数据的存储及其自身的特性进行合作研究,正如文章开头所说的,在这背后是业务驱动的巨大动力,而最终将由软件定义和设计。

介质的变革:业务驱动 软件定义

企业级存储的主流介质正在逐步转变为闪存,而不是希捷更为擅长的传统磁盘,通过从Avago手中收购LSI的加速解决方案部门(ASD)以及闪存组件部门(FCD),希捷一跃成为企业级PCIe SSD闪存加速卡市场“第二重要的供应商(LSI时代的著名‘定位’)”。

作为一种速度更快、响应时间更及时的介质,利用闪存的方式需要考虑到性能、寿命、类型以及经济性,这意味着它需要更多的“软件定义”或者说是业务驱动——针对不同类型、不同级别、不同相应需求的业务负载需求。可以说,闪存与业界普遍关注的软件定义及华为提出的业务驱动(存储)密不可分。

但这一控制过程并非仅限于闪存盘(卡)本身,或者是存储系统、计算系统本身,正如EMC所收购的XtremIO公司的CTO 任宇翔所说,这应当也必须是一个介质和系统配合的过程,比如在XtremIO全闪存阵列中,垃圾回收就被完全下放给SSD的Firmware来处理,而非负载在阵列的控制器上——这不仅需要对SSD品质的100%信任,更需要阵列控制器能够得到来自SSD 100%的信息反馈。

另一方面,当越来越多的控制力传递给用户,后者所获得的管理能力或者说透明度,不是基于一个新的、控制单个盘片、单颗颗粒的全新GUI界面,而是基于硬件系统甚至操作系统,比如OpenStack(华为的Fusionsphere 5.0亦是如此)的响应于业务的策略以及智能,介质、介质的控制、系统的管理与操作平台编排,必须深度结合,并基于用户的策略开放给用户业务的选择,而不是介质、颗粒的选择与管理。

无论是哪一种需求,华为与希捷的合作都应当被加深,郑叶来对于华为与希捷合作的“背后推动力”表示:“(双方合作的)需求是从上到下明确的需求,技术层面需要知道及响应上面需要什么,建立自上而下的合作。”郑叶来的潜台词可以理解为:两家公司的合作目的是要建立全程可管理、技术透明以及细颗粒度的技术体系,“这是来自用户的需求。”

可想而知,未来对希捷及更多介质的管理,从存储系统来说,将交由华为存储的OceanStor OS存储操作系统完成,从编排、管理平台来说,FusionSphere及下一阶段的FusionStorage也都将涉足——在2014HCC大会上,华为宣布将在FusionSphere下建立FusionStorage——可以管理到每一块磁盘、每一颗闪存的分布式存储智能管理编排工具。

当然,业务驱动、软件定义的基础架构也不仅仅只是来自于上层系统供应商,对希捷来说,在海量存储成为现实的今天,希捷Kinetic平台是这家“硬件公司”最新也是最具希望的尝试。

海量存储的未来:希捷Kinetic

在文章《海量存储趋势:IP化已成共识》中曾提到,以传统的LBA方式——在动辄数千块4TB甚至6TB硬盘的数据中心内——使用硬盘来进行大规模存储,对于存储管理员和应用平台的开发人员来说,简直就是一场噩梦。传统硬盘厂商正在寻找更加适用于大规模存储平台,尤其是冷存储平台的硬盘接口。

因此,将IP接口与硬盘相融合成为了业界在面向高密度、大规模的存储系统的技术需求时的共识,包括希捷、WD、HGST、东芝等在内的主流硬盘供应商当下都在这一领域投入了相当程度的精力,尤其是希捷。

IP硬盘在海量存储领域的优势十分明显,首先IP硬盘都是采用Key/Value的方式访问的,这是一个类似数据库访问的机制:“在用户存储数据的时候,硬盘会返回一个Key,这个Key‘指向’Value,也就是实际的数据,而Key采用哈希算法生成,不会重复、计算效率高。如果需要提取数据,只需要提供对应的Key就可以得到Value。”

这一Key对应Value的架构,某种意义上来说,就是一种对象存储。在对象存储中,不存在文件目录、层级的概念,其“将NAS垂直的树形结构改变成平等的扁平结构,从而提高了扩展性、增强了可靠性、具备了平台无关性等重要存储特性”,而IP硬盘的这种机制,与对象存储“将树形的“目录”和“文件”替换为扁平化的“ID”与“对象””是完全一样的,这也就难怪,就IP硬盘本身就有人认为“天然就是一个对象存储”,而这也让IP硬盘成为对象存储的最好选择。

其次,海量存储必然存在大规模并行访问的需求,而IP硬盘的优点恰恰在此。因为每一个IP硬盘上都必然有一颗处理器,也就意味着访问点是分布的,“有多少磁盘就有多少访问点,那么应用或者客户端程序可以直接并行地访问所有连接到以太网上的磁盘,体系效率较高”,在支持大规模并行访问上,显然是有着得天独厚的优势。

希捷科技高级存储部首席技术官裘剑一(即James Hughes)在大会间隙的采访中表示:“存储的需求发生了变化,以前是文件、块,但现在是对象存储。”他表示,新的机会就像是一张白纸,可以通过设计一种新的存储方式,从云、数据中心、互联网以及大数据的角度出发,“要知道,数据可不是来自Fiber Channel、SAS或是SATA,而是来自以太网。”

希捷Kinetic及其API所提供的Key/Value访问方式正是以对象的方式,在存储系统中建立联通外部IP网络与底层介质的访问通道,它更安全、成本不高、数据读取迅速、更符合数据访问的随机形式:“能够为云、海量的存储节约大量的在存储介质上寻找数据的时间。”

但在与WatchStor记者的沟通中,裘剑一首度承认,希捷Kinetic并不是仅为硬盘设计的,虽然它提升了硬盘在海量存储中的数据访问速度和可靠性,但“它不只是为硬盘,更是为了海量存储。”

他透露,希捷Kinetic的脚步甚至都不会停留在Flash存储(SSD)上,希捷Kinetic on RAM甚至都会有:“或许(希捷Kinetic on RAM)更为重要,其实如果有一个编程的语言及访问数据方式解决所有层的问题,那会是更加简单的存储。”

放弃传统的LBA方式,改以Key/Value的方式访问介质,正是一种“业务驱动、软件定义”的实现:海量存储正成为越来越多企业的业务,而还有什么比一个开放的希捷Kinetic API更称得上是“定义硬件的软件”呢?

关键字:希捷介质软件存储介质

本文摘自:论坛

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^