当前位置:存储行业动态 → 正文

存储专栏:无痛数流和无痛人流的异同

责任编辑:editor004 |来源:企业网D1Net  2014-08-05 10:47:31 本文摘自:存储在线

随着性观念的开放,大家的观念都很开放了,比如现在上海的拆奶罩(ChinaJoy)展会上,无数的ShowGirls的“秀沟”行为,活脱脱的办成了一个硅胶展。西瓜哥对这种乳沟隆胸秀的行为非常气愤,怎么不在北京搞一场,弄得我都没有机会看看。

不说了,现在的青年男女嘛也是很开放,高校都可以结婚了。哎,西瓜哥又没有赶上好时候。但年轻人嘛,容易一时冲动,偶尔可能邪恶了一把。

但是邪恶过后发现惨了,忘记做保护措施了。因此,做无痛人流的广告现在都发到高校了。当然,无痛人流的广告也充斥着电视、电梯甚至电线杆。因此,小孩子都懂。网上流传的一个笑话是这样的:

朋友研究生毕业,找不到合适工作,一日在家正发愁。

小侄子走近说:“叔叔,你去做个人流吧。”

朋友惊问“为什么?”

答:“广播上说今天做人流明天就可以上班。”……

这个无痛人流广告做的太好了,可把不少人都害惨了。无数的惨痛经历告诉我们,还是应该选择正规的机构。

在存储界,也上演了相似的一幕。

随着存储竞争的白热化,新的存储厂商采用激进的价格攻势和也许夸大的功能抢占市场,忽悠用户抛弃旧的存储,购买他们的新存储。因此,大量的数据迁移(数据流动)产生了,就算是同一个厂商,由于更新换代,也可能造成复杂的数据迁移问题。随着存储技术的发展,很多厂商开始宣传无痛的数据迁移过程,就如无痛人流一样,吸引了很多用户的注意力。

这些新技术的出现,使得“无痛数流”成为现实,甚至可以实现不中断业务的数据迁移。今天,西瓜哥就来谈谈市场上常见的无痛迁移的技术。

根据IDC的统计,大企业有60%的IT项目是数据迁移,其中又只有60%的数据迁移项目能够按时完成。根据451 Research公司的研究,企业有 一半的IT费用用在运维方面。因此,如何进行无痛的数据迁移就是对企业非常有意义的一个话题,怪不得现在无痛迁移比无痛人流还火。

数据迁移市场目前常用的主流手段还是基于主机的迁移,第二是采用虚拟化网关,第三是用存储本身的复制技术。

迁移的风险,用户最担心的就是非计划的停机,第二是迁移的成本超过预算,第三是对公司品牌和公共形象的影响。

从技术的角度,迁移最头痛的原因有:

复杂性。现在的存储环境很复杂,各种网络连接技术,阵列上实现的各种增值功能,使得迁移后能否保持原有功能变得更加不确定。

技术依赖性。系统的软硬件经过多年开发测试,兼容性很好。如果迁移到新存储,其他相关的配套硬件和软件是否可以工作,是一个问题。

业务依赖性。大部分的企业IT环境都是全天候工作,一个应用停止工作,可能影响到相关系统的正常运行。

规模。现在的迁移数据量都非常大,经常会达到PB级别。这个对迁移的时间和性能都是一个巨大的挑战。

成本。迁移的成本是巨大的,经常会超过购买成本的一本以上。这个成本分析我们以前分享过,具体可以参看西瓜哥以前的帖子。

当然,这些问题主要是设备到设备间迁移的问题。如果迁移到公共云上,还有其他的问题,如安全问题等等。

还好,现在科技在发展。一些相关的迁移技术出现并且逐渐成熟。

陈列到阵列的迁移

陈列间的迁移主要就是块协议数据的迁移,典型的方法有:

基于主机。数据在主机级别进行迁移,通过数据的卷到卷的复制,主机可以看到老的卷和新的卷。这个可以利用主机的逻辑卷管理功能来实现。

基于阵列。数据的移动使用阵列级的迁移工具。如果新旧设备是一个厂商的,用阵列的复制功能就可以了。如果是异构的迁移就比较麻烦了,但也有一些工具,如HP 3PAR Online Import可以支持把第三方的阵列的数据迁移到3PAR阵列上。EMC和华为也提供了类似的工具。

基于Hypervisor。服务器虚拟化现在都有能力实现VM的数据迁移,如 VMware's vSphere Storage vMotion和 Microsoft Hyper-V Live Migration。基于Hypervisor的迁移虽然需要增加License费用,但可以实现block到NFS的迁移,对业务的运维影响也比较少。

基于虚拟化网关。IBM的SVC,EMC的VPLEX和华为的VIS这些虚拟化网关都可以实现数据的迁移。大部分情况下需要中断一下业务,把虚拟化网关接入到数据路径中,然后就可以实现迁移。现在一些新兴的存储厂商已经实现了无中断的数据迁移技术,可惜目前这些存储大厂们都没有集成进去。具体实现原理就是利用数据的多路径技术,多条数据路径顺序逐步切换,保证系统的连续性。预计这些存储大厂很快会收购或者自己开发这个不中断业务的迁移功能,帮助用户实现不停机迁移问题。

基于虚拟阵列。这个也容易理解,就如HDS的高端存储VSP G1000,本身就集成了虚拟化网关的功能。

文件到文件的迁移

使用基于文件的协议,数据迁移也一样复杂。文件共享一般采用统一命名空间来进行管理,如Microsoft的Distributed File System,抽取文件共享名并且使用全局命名空间,允许无缝的数据迁移。

对象存储迁移

对象存储现在非常流行,是保存非结构化数据的非常理想的方式。不仅仅用在云存储方面,甚至很多地方也用来代替NAS设备。一般对象存储都采用REST API接口来进行数据访问和迁移。对象存储一般采用纠删码或者多副本技术,任意节点的更换都不需要中断业务。

迁移数据到公有云

使用混合云的企业越来越多。有许多的方法可以使用公有云,包括整个VM迁移到公有云或者把block或者file级别的数据迁移到云里。

需要云服务提供商提供VM导入功能,如Amazon Web Services' VM Import功能允许各种VM image导入到AWS中。不幸的是,这种方式限制比较多,因此现在比较常见的还是把数据迁移到全新的VM中。

现在EMC收购了一个云网关产品,将在VMAX3上集成云网关功能,可以把公有云作为数据的一层进行分层管理。而NETAPP也集成把数据迁移到Azure的能力。因此,传统阵列和云网关结合是一个大趋势。

Scale-out存储和大数据

云和传统的存储不再是当今唯一的数据存储平台。我们看到scale-out存储和数据湖泊(data lake)也用来存储大量的数据。

开源的平台如Ceph和Gluster提供scale-out文件和块能力,数据迁移相对容易。节点可以按需增加或者减少。

Hadoop是一个最著名的流行大数据平台,其内置工具DistCp可以用来在Hadoop集群间复制数据。当然,Hadoop不是真正为数据移动而设计的,因此把数据导入和迁出Hadoop集群不是给用户一个文件系统或者LUN那么简单。

新的架构一样有新的迁移问题

从Facebook的经验来看,大型的数据湖泊增长很快让物理的数据中心空间成为问题,而集群的移动需要大量的规划和努力。这让我们的讨论一下子又回到传统存储一样的问题,即如果更简单和减少成本。然而,新的存储技术在管理数据移动性方面还相对幼稚,这将是一个巨大的创新领域,聚焦这方面的技术将变得更加流行。

虽然不是小公司看起来有很好的迁移技术,但迁移过程其实比人流还复杂。人流都需要选择正规的机构,数据的迁移也是如此。技术是以方面,专业的迁移规划和流程,包括应急措施,迁移的经验也一样重要。因此,数据迁移请选择专业厂商的服务。

到那个时候,也许我们才有可能像无痛人流的广告词一样说,“痛苦,再见!幸福重现!“。

关键字:信互动ceph逻辑卷管理

本文摘自:存储在线

x 存储专栏:无痛数流和无痛人流的异同 扫一扫
分享本文到朋友圈
当前位置:存储行业动态 → 正文

存储专栏:无痛数流和无痛人流的异同

责任编辑:editor004 |来源:企业网D1Net  2014-08-05 10:47:31 本文摘自:存储在线

随着性观念的开放,大家的观念都很开放了,比如现在上海的拆奶罩(ChinaJoy)展会上,无数的ShowGirls的“秀沟”行为,活脱脱的办成了一个硅胶展。西瓜哥对这种乳沟隆胸秀的行为非常气愤,怎么不在北京搞一场,弄得我都没有机会看看。

不说了,现在的青年男女嘛也是很开放,高校都可以结婚了。哎,西瓜哥又没有赶上好时候。但年轻人嘛,容易一时冲动,偶尔可能邪恶了一把。

但是邪恶过后发现惨了,忘记做保护措施了。因此,做无痛人流的广告现在都发到高校了。当然,无痛人流的广告也充斥着电视、电梯甚至电线杆。因此,小孩子都懂。网上流传的一个笑话是这样的:

朋友研究生毕业,找不到合适工作,一日在家正发愁。

小侄子走近说:“叔叔,你去做个人流吧。”

朋友惊问“为什么?”

答:“广播上说今天做人流明天就可以上班。”……

这个无痛人流广告做的太好了,可把不少人都害惨了。无数的惨痛经历告诉我们,还是应该选择正规的机构。

在存储界,也上演了相似的一幕。

随着存储竞争的白热化,新的存储厂商采用激进的价格攻势和也许夸大的功能抢占市场,忽悠用户抛弃旧的存储,购买他们的新存储。因此,大量的数据迁移(数据流动)产生了,就算是同一个厂商,由于更新换代,也可能造成复杂的数据迁移问题。随着存储技术的发展,很多厂商开始宣传无痛的数据迁移过程,就如无痛人流一样,吸引了很多用户的注意力。

这些新技术的出现,使得“无痛数流”成为现实,甚至可以实现不中断业务的数据迁移。今天,西瓜哥就来谈谈市场上常见的无痛迁移的技术。

根据IDC的统计,大企业有60%的IT项目是数据迁移,其中又只有60%的数据迁移项目能够按时完成。根据451 Research公司的研究,企业有 一半的IT费用用在运维方面。因此,如何进行无痛的数据迁移就是对企业非常有意义的一个话题,怪不得现在无痛迁移比无痛人流还火。

数据迁移市场目前常用的主流手段还是基于主机的迁移,第二是采用虚拟化网关,第三是用存储本身的复制技术。

迁移的风险,用户最担心的就是非计划的停机,第二是迁移的成本超过预算,第三是对公司品牌和公共形象的影响。

从技术的角度,迁移最头痛的原因有:

复杂性。现在的存储环境很复杂,各种网络连接技术,阵列上实现的各种增值功能,使得迁移后能否保持原有功能变得更加不确定。

技术依赖性。系统的软硬件经过多年开发测试,兼容性很好。如果迁移到新存储,其他相关的配套硬件和软件是否可以工作,是一个问题。

业务依赖性。大部分的企业IT环境都是全天候工作,一个应用停止工作,可能影响到相关系统的正常运行。

规模。现在的迁移数据量都非常大,经常会达到PB级别。这个对迁移的时间和性能都是一个巨大的挑战。

成本。迁移的成本是巨大的,经常会超过购买成本的一本以上。这个成本分析我们以前分享过,具体可以参看西瓜哥以前的帖子。

当然,这些问题主要是设备到设备间迁移的问题。如果迁移到公共云上,还有其他的问题,如安全问题等等。

还好,现在科技在发展。一些相关的迁移技术出现并且逐渐成熟。

陈列到阵列的迁移

陈列间的迁移主要就是块协议数据的迁移,典型的方法有:

基于主机。数据在主机级别进行迁移,通过数据的卷到卷的复制,主机可以看到老的卷和新的卷。这个可以利用主机的逻辑卷管理功能来实现。

基于阵列。数据的移动使用阵列级的迁移工具。如果新旧设备是一个厂商的,用阵列的复制功能就可以了。如果是异构的迁移就比较麻烦了,但也有一些工具,如HP 3PAR Online Import可以支持把第三方的阵列的数据迁移到3PAR阵列上。EMC和华为也提供了类似的工具。

基于Hypervisor。服务器虚拟化现在都有能力实现VM的数据迁移,如 VMware's vSphere Storage vMotion和 Microsoft Hyper-V Live Migration。基于Hypervisor的迁移虽然需要增加License费用,但可以实现block到NFS的迁移,对业务的运维影响也比较少。

基于虚拟化网关。IBM的SVC,EMC的VPLEX和华为的VIS这些虚拟化网关都可以实现数据的迁移。大部分情况下需要中断一下业务,把虚拟化网关接入到数据路径中,然后就可以实现迁移。现在一些新兴的存储厂商已经实现了无中断的数据迁移技术,可惜目前这些存储大厂们都没有集成进去。具体实现原理就是利用数据的多路径技术,多条数据路径顺序逐步切换,保证系统的连续性。预计这些存储大厂很快会收购或者自己开发这个不中断业务的迁移功能,帮助用户实现不停机迁移问题。

基于虚拟阵列。这个也容易理解,就如HDS的高端存储VSP G1000,本身就集成了虚拟化网关的功能。

文件到文件的迁移

使用基于文件的协议,数据迁移也一样复杂。文件共享一般采用统一命名空间来进行管理,如Microsoft的Distributed File System,抽取文件共享名并且使用全局命名空间,允许无缝的数据迁移。

对象存储迁移

对象存储现在非常流行,是保存非结构化数据的非常理想的方式。不仅仅用在云存储方面,甚至很多地方也用来代替NAS设备。一般对象存储都采用REST API接口来进行数据访问和迁移。对象存储一般采用纠删码或者多副本技术,任意节点的更换都不需要中断业务。

迁移数据到公有云

使用混合云的企业越来越多。有许多的方法可以使用公有云,包括整个VM迁移到公有云或者把block或者file级别的数据迁移到云里。

需要云服务提供商提供VM导入功能,如Amazon Web Services' VM Import功能允许各种VM image导入到AWS中。不幸的是,这种方式限制比较多,因此现在比较常见的还是把数据迁移到全新的VM中。

现在EMC收购了一个云网关产品,将在VMAX3上集成云网关功能,可以把公有云作为数据的一层进行分层管理。而NETAPP也集成把数据迁移到Azure的能力。因此,传统阵列和云网关结合是一个大趋势。

Scale-out存储和大数据

云和传统的存储不再是当今唯一的数据存储平台。我们看到scale-out存储和数据湖泊(data lake)也用来存储大量的数据。

开源的平台如Ceph和Gluster提供scale-out文件和块能力,数据迁移相对容易。节点可以按需增加或者减少。

Hadoop是一个最著名的流行大数据平台,其内置工具DistCp可以用来在Hadoop集群间复制数据。当然,Hadoop不是真正为数据移动而设计的,因此把数据导入和迁出Hadoop集群不是给用户一个文件系统或者LUN那么简单。

新的架构一样有新的迁移问题

从Facebook的经验来看,大型的数据湖泊增长很快让物理的数据中心空间成为问题,而集群的移动需要大量的规划和努力。这让我们的讨论一下子又回到传统存储一样的问题,即如果更简单和减少成本。然而,新的存储技术在管理数据移动性方面还相对幼稚,这将是一个巨大的创新领域,聚焦这方面的技术将变得更加流行。

虽然不是小公司看起来有很好的迁移技术,但迁移过程其实比人流还复杂。人流都需要选择正规的机构,数据的迁移也是如此。技术是以方面,专业的迁移规划和流程,包括应急措施,迁移的经验也一样重要。因此,数据迁移请选择专业厂商的服务。

到那个时候,也许我们才有可能像无痛人流的广告词一样说,“痛苦,再见!幸福重现!“。

关键字:信互动ceph逻辑卷管理

本文摘自:存储在线

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^