当前位置:存储云存储 → 正文

聚焦:一种基于分布式技术的云存储技术

责任编辑:editor006 |来源:企业网D1Net  2014-06-24 17:30:40 本文摘自:赛迪网-通信产业网

作为近几年兴起的云计算的一大重要组成部分,云存储承担着最底层以服务形式收集、存储和处理数据的任务。

企业用户和个人将数据托管给第三方,通过公有云、私有云或混合云形式对数据进行按需存取操作。云存储的优势主要在于:按需使用,按需付费;无需增加额外的硬件设施或配备专人负责维护,减少管理难度;将数据复制、备份、服务器扩容等工作交由第三方执行;快速部署配置,随时扩展增减,更加灵活可控。

在商业前景方面,以“用户创造内容”和“分享”为精神的Web2.0推动了全网域用户对在线服务的认知。随着相关背景技术的完善,云存储在技术上已经趋于成熟。

云存储的关键技术

随着如语音、数据、图像等业务需求的多样化,网络建设不断向宽带化方向发展。网速越来越快,能承载的业务种类越来越多,传输质量越来越高。

只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到优于本地存储的云存储服务。

云存储的关键技术包括CDN、Web2.0、数据编码技术、虚拟化存储技术等这些技术的发展都成为云计算和云存储发展的内在需求和关键动力。

CDN即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。

WEB2.0的用户既是网站内容的浏览者,也是网站内容的制造者。用户使用互联网的同时提供了云计算的接入模式,也为云计算培养了用户习惯。用户更加习惯将自己的数据在网络上存储共享。

云存储不仅仅是存储,更多的是应用。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本。它还能减少系统中由服务器造成单点故障和性能瓶颈,在减少数据传输环节、提高系统性能和效率和保证整个系统的高效稳定运行方面起着重要作用。

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。多个存储设备之间的协同工作,对外提供同一种服务,并提供更大、更强、更好的数据访问性能。如果没有分布式技术,云存储只能是一个个独立系统,更谈不上云了。

对于云存储的运营单位来讲,必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此,云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台,可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控,该平台就建立在存储虚拟化技术之上。

云存储的典型架构

Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统,运行在廉价的普遍硬件设备上,提供灾难冗余的能力,为大量客户机提供了高性能的服务,是基于分布式技术实现云存储的典型架构。

一个GFS集群包含一个单独的Master节点、多台Chunk服务器,并且同时被多个客户端访问。所有的这些机器通常都是普通的Linux机器,运行着用户级别的服务进程。

GFS存储的文件都被分割成固定大小的Chunk。在Chunk创建的时候,Master服务器会给每个Chunk分配一个不变的、全球唯一的64位的Chunk标识。Chunk服务器把Chunk以linux文件的形式保存在本地硬盘上,并且根据指定的Chunk标识和字节范围来读写块数据。出于可靠性的考虑,每个块都会复制到多个块服务器上。

Master节点管理所有的文件系统元数据,同时还管理着系统范围内的活动。Master节点使用心跳信息周期地和每个Chunk服务器通讯,发送指令到各个Chunk服务器并接收Chunk服务器的状态信息。

GFS客户端代码以库的形式被链接到客户程序里。客户端代码实现了GFS文件系统的API接口函数、应用程序与Master节点和Chunk服务器通讯,以及对数据进行读写操作。客户端和Master节点的通信只获取元数据,所有的数据操作都是由客户端直接和Chunk服务器进行交互的。

杰赛云存储

以上典型的云存储架构同样有几个典型的问题:对于互联网应用,GFS缺乏一套同样可扩展的服务提供方式,例如亚马逊的S3服务;由于Master节点管理所有文件系统的元数据,随着文件数量的急剧增加,单点的访问压力和高可用压力越发明显;对象存储、文件存储、块存储的需求需要适配相应的协议进行开发;多数据中心的容灾备份,甚至多活同步未能实现。

杰赛科技研发的云存储基于以上典型架构同时解决了典型的问题。在性能、可靠性、可扩展性、灵活性上均有优异的表现。由多台X86服务器组成的存储节点通过分布式算法组成的一套分布式统一存储系统,可以通过底层访问接口直接访问到分布式统一存储系统(支持C、JAVA、C++、python等主流开发语言),同时Client也可以通过上层的对象存储服务、文件存储服务、块存储服务进行相应的存储服务访问。

杰赛云存储共分对象存储服务、文件存储服务、块存储服务,具体功能如下。

对象存储服务:全面兼容S3接口,包含对象、容器及用户相关的具体功能。

文件存储服务:文件存储服务实现基于文件的新建、删除、修改、获取文件权限、设置文件权限等功能,能够兼容主流的Windows/Linux系统,具有极大的跨平台兼容性。

块存储服务:块存储服务提供的块存储挂载进客户端主机后的使用方式与现有普通硬盘的使用方式完全一致。同时提供弹性扩展、导入/导出、快照创建与回滚。

管理平台:提供业务控制、系统运维监控和业务使用门户操作等。业务控制包括对存储服务的开通和关闭、计量信息查询、用户状态变更等;系统运维监控包括设备状态查询、系统扩容操作、系统性能状态监控等;支持存储服务操作的REST API。

同时还实现了异地灾备:例如上海、济南、西安、广州4个资源节点统一连接到北京管理节点,通过北京中心管理节点实现对各地资源节点的集中管控。

关键字:杰赛存储系统存储设备存储技术

本文摘自:赛迪网-通信产业网

x 聚焦:一种基于分布式技术的云存储技术 扫一扫
分享本文到朋友圈
当前位置:存储云存储 → 正文

聚焦:一种基于分布式技术的云存储技术

责任编辑:editor006 |来源:企业网D1Net  2014-06-24 17:30:40 本文摘自:赛迪网-通信产业网

作为近几年兴起的云计算的一大重要组成部分,云存储承担着最底层以服务形式收集、存储和处理数据的任务。

企业用户和个人将数据托管给第三方,通过公有云、私有云或混合云形式对数据进行按需存取操作。云存储的优势主要在于:按需使用,按需付费;无需增加额外的硬件设施或配备专人负责维护,减少管理难度;将数据复制、备份、服务器扩容等工作交由第三方执行;快速部署配置,随时扩展增减,更加灵活可控。

在商业前景方面,以“用户创造内容”和“分享”为精神的Web2.0推动了全网域用户对在线服务的认知。随着相关背景技术的完善,云存储在技术上已经趋于成熟。

云存储的关键技术

随着如语音、数据、图像等业务需求的多样化,网络建设不断向宽带化方向发展。网速越来越快,能承载的业务种类越来越多,传输质量越来越高。

只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到优于本地存储的云存储服务。

云存储的关键技术包括CDN、Web2.0、数据编码技术、虚拟化存储技术等这些技术的发展都成为云计算和云存储发展的内在需求和关键动力。

CDN即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。

WEB2.0的用户既是网站内容的浏览者,也是网站内容的制造者。用户使用互联网的同时提供了云计算的接入模式,也为云计算培养了用户习惯。用户更加习惯将自己的数据在网络上存储共享。

云存储不仅仅是存储,更多的是应用。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本。它还能减少系统中由服务器造成单点故障和性能瓶颈,在减少数据传输环节、提高系统性能和效率和保证整个系统的高效稳定运行方面起着重要作用。

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。多个存储设备之间的协同工作,对外提供同一种服务,并提供更大、更强、更好的数据访问性能。如果没有分布式技术,云存储只能是一个个独立系统,更谈不上云了。

对于云存储的运营单位来讲,必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此,云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台,可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控,该平台就建立在存储虚拟化技术之上。

云存储的典型架构

Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统,运行在廉价的普遍硬件设备上,提供灾难冗余的能力,为大量客户机提供了高性能的服务,是基于分布式技术实现云存储的典型架构。

一个GFS集群包含一个单独的Master节点、多台Chunk服务器,并且同时被多个客户端访问。所有的这些机器通常都是普通的Linux机器,运行着用户级别的服务进程。

GFS存储的文件都被分割成固定大小的Chunk。在Chunk创建的时候,Master服务器会给每个Chunk分配一个不变的、全球唯一的64位的Chunk标识。Chunk服务器把Chunk以linux文件的形式保存在本地硬盘上,并且根据指定的Chunk标识和字节范围来读写块数据。出于可靠性的考虑,每个块都会复制到多个块服务器上。

Master节点管理所有的文件系统元数据,同时还管理着系统范围内的活动。Master节点使用心跳信息周期地和每个Chunk服务器通讯,发送指令到各个Chunk服务器并接收Chunk服务器的状态信息。

GFS客户端代码以库的形式被链接到客户程序里。客户端代码实现了GFS文件系统的API接口函数、应用程序与Master节点和Chunk服务器通讯,以及对数据进行读写操作。客户端和Master节点的通信只获取元数据,所有的数据操作都是由客户端直接和Chunk服务器进行交互的。

杰赛云存储

以上典型的云存储架构同样有几个典型的问题:对于互联网应用,GFS缺乏一套同样可扩展的服务提供方式,例如亚马逊的S3服务;由于Master节点管理所有文件系统的元数据,随着文件数量的急剧增加,单点的访问压力和高可用压力越发明显;对象存储、文件存储、块存储的需求需要适配相应的协议进行开发;多数据中心的容灾备份,甚至多活同步未能实现。

杰赛科技研发的云存储基于以上典型架构同时解决了典型的问题。在性能、可靠性、可扩展性、灵活性上均有优异的表现。由多台X86服务器组成的存储节点通过分布式算法组成的一套分布式统一存储系统,可以通过底层访问接口直接访问到分布式统一存储系统(支持C、JAVA、C++、python等主流开发语言),同时Client也可以通过上层的对象存储服务、文件存储服务、块存储服务进行相应的存储服务访问。

杰赛云存储共分对象存储服务、文件存储服务、块存储服务,具体功能如下。

对象存储服务:全面兼容S3接口,包含对象、容器及用户相关的具体功能。

文件存储服务:文件存储服务实现基于文件的新建、删除、修改、获取文件权限、设置文件权限等功能,能够兼容主流的Windows/Linux系统,具有极大的跨平台兼容性。

块存储服务:块存储服务提供的块存储挂载进客户端主机后的使用方式与现有普通硬盘的使用方式完全一致。同时提供弹性扩展、导入/导出、快照创建与回滚。

管理平台:提供业务控制、系统运维监控和业务使用门户操作等。业务控制包括对存储服务的开通和关闭、计量信息查询、用户状态变更等;系统运维监控包括设备状态查询、系统扩容操作、系统性能状态监控等;支持存储服务操作的REST API。

同时还实现了异地灾备:例如上海、济南、西安、广州4个资源节点统一连接到北京管理节点,通过北京中心管理节点实现对各地资源节点的集中管控。

关键字:杰赛存储系统存储设备存储技术

本文摘自:赛迪网-通信产业网

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^