当前位置:存储行业动态 → 正文

对象存储的兴起

责任编辑:editor005 作者:litao984lt编译 |来源:企业网D1Net  2016-10-12 14:46:10 本文摘自:机房360

在本文中,作者斯科特·辛克莱尔将为广大读者诸君分析对象存储存在于当今的数字化市场的必要性,同时,还将为您重点介绍Cleversafe公司的解决方案。斯科特·辛克莱尔撰写了关于对象存储的理想使用案例,并介绍了购买这种技术时需要考虑的相关要素。他认为,Cleversafe公司的对象存储解决了归档/内容存储库、归档合规性、内容分发、数据湖/hub枢纽、备份目标、协同和企业内部部署云的使用案例等一系列问题。最终得出的结论是,对象存储为“数据的保护和规模化提供了一个相当卓越的方法”,建议客户保持领先于数据爆炸似增长的曲线,并尽早部署对象存储,而不要拖延。

什么是对象存储?

当涉及到在过去的十年里的信息技术时,如果说存在一个普遍性的共识的话,那就是:数据的增长是不可避免,不可阻挡的!无论是由个人或专业动机的驱动,我们每个个体所创造出的数字资产比以往任何时候都要多得多。无论是任何行业,当前企业组织的成功运营均取决于其利用数字化资产的能力。无论是充分利用更高分辨率的视频数据的媒体和娱乐业界或是对数字化的影响进行更现实的开发,捕获详细的3D或4D地震数据的能源勘探企业;又或是安全系统公司捕捉高分辨率的安全性素材;还是在线内容分发、创作行业。对于几乎每一个行业,有效利用数字资产对于保持其市场竞争力都是至关重要的。

随着数字化内容的激增,以及我们一贯的尽量避免法律诉讼的企业文化的事实,从而带来了对于监管法规的遵守、加强企业内部控制和对于流程的审查的日渐增加,并要求现如今的企业组织在存储和策划管理内容时,要比以往任何时候都负担起更多的责任。在某些情况下,企业组织甚至需要为了应对未来可能面临的法律诉讼,而打造一种需要将数据保存几十年,乃至更长时间的企业文化。而随着机器数据、以及物联网(IoT)的出现,内容创作有望扩展到远远超出了以前的仅由人类创造内容的限制。最终的结果是,在未来,几乎每个人、每件事物都将创建某种形式的数据,而这些数据将必须被存储和保护一段时间(即使不是无限期的)。而较之任何其他存储架构,对象存储就是专为存储和保护由此所产生的巨大的内容库而设计的。

正如固态技术的兴起出现是为了响应对于性能需求的增加一样,旋转介质已经开始专注于高容量和成本最优化的存储,以更低的成本提供更大的容量。尽管这些成本降低在底层的存储硬件基础设施、存储系统容量已经达到了一个临界点,传统存储和保护技术的一个阈值,如文件系统已经不再是可行的选择方案了。而对象存储架构则提供了存储和保护大容量内容环境中至关重要的必要功能。而鉴于数字化内容在未来几年的预期增长,对象存储看起来或将占到企业存储部署的一个更大的比重。

RAID的局限性和对象存储的需要

对象技术为应对存储和保护大量非结构化的数据所带来的挑战提供了一个直接的响应。传统的存储阵列往往利用RAID技术,在规模化方面具有严重的局限性。

2015年,由ESG集团所进行的一项研究调查显示了一般存储行业的发展趋势。作为这项研究的一部分,ESG集团采访了373名负责其所在企业组织的数据存储环境的IT决策者。而受访者们所被要求回答的问题之一便是其所在企业组织当前所面临的最大的存储挑战是什么。答案毫不奇怪:数据的快速增长被认为是当前企业组织所面临的一个最大的挑战。有趣的是(当然其实也不算太奇怪),在排名前10的挑战中,剩下的几项挑战均可以被归纳为是由于数据增长所带来的症状。诸如硬件成本、数据保护成本、人员成本的增加等挑战都是由数据的增长而创建或加剧的。

此外,与大规模的数据保护相关的,还有一些细微的差别。虽然传统存储系统的磁盘阵列RAID的设计主要是为了防止单个驱动器故障,更大的硬盘容量已经转化为多故障事件可能性的增加,这让面临丢失数据风险的企业可能会在相当长的与高密度驱动器相关的重建期间面临第二驱动器故障的发生。

多故障的情况以几种不同的方式出现:在一个重建期间,额外的驱动器可能会失败;或一款预先指定的健康驱动器上的坏领域在一个重建期间可能未被覆盖,进而导致数据不可恢复。在过去,数据不可恢复的可能性是低的。然而,由于有了更大容量的驱动器,不能恢复某些数据的几率近年来已经显著增加。其结果是,该行业已经从推荐的RAID 5转至推荐的RAID 6,其能够在一个双驱动故障的情况下保护数据。而尽管一个第二校验位(parity bit)的增加已经缓解了对于在重建过程中发现不可恢复的数据的一些担心,但更大的驱动器的引入也同样导致了更长的重建时间,增加了数据暴露于可能的次级或三级失败的时间。虽然发生多故障事件的可能性仍然很低,但对于那些具有数百或数千驱动器的企业组织而言,它们可以提高到不被受欢迎的有害水平。

  图1、企业组织在其存储环境方面所面临的最大的挑战。

Q:一般而言,当涉及到存储环境时,您认为贵公司当前所面临的最大的挑战是什么?您认为上述哪一点能够被列为您所在企业的最首要的存储挑战?(受访者百分比,N = 373,前十大挑战)

而由于大量的容量环境往往太大而无法使用传统的备份方法进行备份,使得这些风险进一步恶化,这意味着在许多情况下,这些存储库可能存储着的可用数据的唯一副本。对象存储提供了一个新的规模化和保护水平

如下,我们将为大家提供一些对于对象存储技术的技术洞察,并带来关于对象存储技术的背景和历史的一些讨论。传统的文件系统被设计为以分级的方式存储内容,经常是在文件和文件夹的树状结构中。在这些系统中,用户可以通过遵循一个路径到达某个特定位置以访问一个文件。尽管这种方法可以直观的用于存储少量的文件,但当内容存储爆炸似得增长至十亿甚至万亿的文件时,这样的一个层级访问方法就太复杂了,在某些情况下,淹没了传统的文件系统的存储体系架构。一旦文件和文件夹达到了一定的数量,某些基于文件系统的解决方案的运行会遇到限制。此外,某些文件系统架构不能有效地扩展元数据,一旦系统超过一定的容量或文件的数目,将极大的影响到元数据操作的性能。

对象系统的设计使用一个替代方法,具备一个单一的和大规模可扩展的平面地址空间,其中文件的访问通过一个唯一的标识符提供。打个比方,这种差异是,在一个文件系统中访问一个特定的文件就如同遵循一组方向指引以找到一个位置,例如,“先左转,然后右转,等”。而另一方面,对象存储就像是使用全球GPS定位系统。采用这种更有效的方式确定特定的内容,有助于使对象存储能够比传统的文件系统规模化扩展到实现更高的容量。

对象存储解决方案,旨在解决保护大容量环境下的挑战,在这种环境下传统备份往往不是一种选择。对象存储架构通过让预期的多故障情形变得屡见不鲜来提供强大的保护。对象存储提供了多种创新,以帮助实现一个更强大的系统:

副本或编码擦除vs. RAID磁盘阵列:对象存储通常利用对象复制、删除编码,或两者的组合来提供数据保护,而不是采用传统的RAID。较之传统的RAID,这些技术提供了几大优点,包括利用商品化硬件的能力;采用适用于特定对象或对象分组的特定保护方案,而无需采用一个高强度级别保护方案的能力;以及保护方案能够随时间而不断演变的能力,例如,随时间的推移将副本保护从四个减少到三个。此外,通过使用副本或编码擦除技术,对象存储可以通过将数据散布到多个驱动器、节点、甚至地域,跨多个站点自动扩展保护。

· 重建到可用容量空间:大多数传统的RAID存储环境都是典型的“热备用磁盘”,一款等待生产驱动器失败后进行接管的免驱动。然而,在出现故障的情况下,只有一个驱动器是用于数据重建的写入目标,而随着驱动器容量的增加,带来了一个显著进一步恶化的瓶颈。绝大多数的对象存储解决方案提供了在系统中跨多个驱动器和节点从一款故障驱动器重建数据到可用容量的功能,并由于多个(而不是一个)驱动器的大规模并行属性的使用显著的加快了恢复进程,因此大大减少了系统处于退化或脆弱状态的时间。

· 自愈:其为大大加快恢复时间,并几乎消除在重建过程中遇到数据不可恢复的风险的另一项创新设计是能够自愈。对象存储解决方案通常提供读取健康数据的后台进程,并验证内容是否完好无损。当一个不可恢复的数据被确定,该对象将被重建到可用空间,以确保该数据始终是健康的和可读的。此外,由于驱动器出现故障往往是在少数领域,而不会全部同时出现故障,借助其自愈性,使得当问题驱动器最终被确定为发生故障失败时,大部分数据都已经被重建到其他驱动器的健康领域成为了可能。

· 自动地理保护:传统的存储阵列往往依赖于文件系统或卷/基于LUN的复制以保护多个站点。这些传统的存储容器也经常受到一些架构容量限制的约束,例如16 TB。在这些限制下,为大容量内容存储环境提供多站点保护会导致笨拙的复制管理政策。多对象存储解决方案支持一个庞大的,近乎无限扩展的平面地址空间,具有自动多站点保护的功能,大大简化了多站点的保护,并大大降低了相关的管理成本。

可扩展性和弹性的增强并不是对象存储基础设施的唯一优势,但它们是对象技术区别于更传统的文件和块级存储方法的关键架构功能。但是,尽管有许多优点,对象存储并不是能够解决所有存储问题的万应灵药。

关于对象存储的其他注意事项

对象存储系统是围绕着存储和检索整个对象而设计的,而不是旨在读取和写入各个数据块的基于块或文件系统技术而设计的。该差异最显著的影响是写入性能体验方面,特别是当用户或应用程序想要修改一个文件时。不是简单地修改数据块,对象存储系统需要在其能够被修改之前,读取全部对象。并且,一旦被修改,则该对象的全部整体将被重写入存储平台。这种架构上的差异引导对象存储系统到原始的工作负载环境中,其常常是写入一次而读取多次(write-once-read-many,WORM)的环境,如医疗成像、能源勘探、或其他具有图像或视频媒体内容的工作负载。这些典型的由内容创建的环境很少被修改,但需要保持在线,并能够被检索。例如,Cleversafe公司就提供了不可变的数据库,使得数据不能被删除,并记录下对于数据所有的变更,以便其可以在一个非常详细的级别进行跟踪。

繁重的事务性工作负载通常更适合于文件或块存储环境。然而,伴随着处理和存储器技术的进步,集成的固态大大提高了对象存储解决方案的性能。例如,Cleversafe公司已经提供了一种集装箱模型,提高利用效率和更小的对象的性能。使得Cleversafe公司得以能够宣称,其客户通过采用他们的模型,较之以往的基于文件的存储机制,每秒性能提升了300%。在一些情况下,对象存储解决方案可以被设计为服务于交易事务使用案例,虽然其可能不如其他存储技术一样有效。

对于对象存储而言,其另一个需要考虑的因素和潜在的局限性是有限的存储协议支持。传统上,访问对象存储是通过HTTP协议的编程访问实现的。虽然HTTP访问可以提供某些优势,但缺乏较为流行的存储协议限制了其对应用程序的支持。在本文的稍候部分还将对这一挑战进行更详细讨论,但需要注意的是,最近,大多数对象的存储解决方案均扩展了协议支持,以包括更多的通用型存储协议,如NFS和CIFS。此外,S3已经成为一个更广泛支持的对象协议。

尽管对于高事务性工作负载的效率低下或存在协议支持的局限性,但随着企业组织处理数据增长方面的经验的增加,对象存储系统正在成为他们IT存储策略的一个更重要的部分。因此,市场上出现了越来越多的能够解决高容量存储挑战的对象存储产品。

对象存储的使用案例

当在进行对象存储解决方案的评估时,我们建议您企业务必要将一些重要的考虑因素纳入到您的调查中。如下,我们将为您逐一介绍在考察对象存储核心功能时需要考虑和权衡的特定要素,以及相关的功能特点对于特定用例的影响。本部分章节的目标是为一般用例和特殊用例在使用对象存储解决方案时提供一个框架。并将包括一些能够为一个特定的环境提供相关优势的例子。然而,企业组织必须始终确保在评估任何对象存储解决方案时,所使用的是最新的信息。

对象存储:核心功能的注意事项

对象存储是由其规模化功能及其能够提供规模化的保护的能力所定义的。然而,并非所有的解决方案都是以同样的方式来提供数据的保护或规模化的。故而当您企业组织在进行技术评估时,应考虑如下几个类别的功能:

复制与擦除编码:绝大多数的对象存储解决方案均是通过利用一种复制方法、一种擦除编码的方法,或二者的某种组合来保护数据。当其被写入存储对象,并将每个对象跨环境中的多个节点存储到多个副本(通常三个或更多个)时,复制保护方案复制一个对象。因此,通常的对象存储系统将需要在存储池中至少有三个节点,以提供必要的弹性水平。通过证明三个独立的物理节点,该解决方案可以丢失两个,而不用担心数据丢失。该方案的权衡是,该系统的原始容量需要是所存储内容的三倍。而对象存储系统往往将这种保护方案与利用成本较低的硬件的能力结合起来,只使用一个基于复制保护方案本质上可带来相当大的硬件基础设施部署的能力。而重复数据删除或数据压缩技术可以帮助缓解对于原始容量问题的担忧,当较之类似的擦除编码方案时,只提供基于复制保护的解决方案需要原始容量的显著增加。

另一方面,擦除编码类似于RAID,可以通过使用类似的信息来提供故障保护,而无需直接增加原始容量。擦除编码和RAID之间的区别在于,擦除编码是更灵活的,并且可以在多个驱动器、节点、或甚至在多站点故障生存性的站点之间分发。由于海量内容存储库和多站点故障生存的自然调整,最早部署的对象存储中有擦除编码。Cleversafe公司声称,他们是第一家将擦除编码技术带入企业存储系统市场的供应商。而尽管擦除编码提供了多故障保护比利用基于复制保护方案所需的原始容量要少得多,但擦除编码需要更多的处理能力来计算编码方案,这可能会影响性能,或可能需要更多的处理硬件来实现相同的性能水平。此外,读取一个对象需要从多个节点以及可能的多个站点访问内容,这可能会影响到读取性能。然而,擦除编码方案可提供灵活性以保护防止大量的故障同时发生,如果需要的话,当使用基于复制保护方案时则可能是不可行的。当然,系统被配置构造为能够承受的故障越多,所需的硬件投资也就越大,因此,了解更高弹性对于解决方案的成本的影响,并相应地进行平衡是很重要的。

对于响应权衡,一些解决方案提供了一个擦除编码和复制功能的结合,允许管理员提高的性能和改进的容量优化之间进行选择。例如,Cleversafe公司就提供了数据复制和基于擦除编码的保护之间的选择。

地理分散和多站点保护:数据复制,无论是异步或同步,已经成为传统的存储系统的一个共同的特点有一段时间了。虽然一些应用程序可能能够依靠单独的备份实施保护,但对于大规模的容量环境,备份则可能不是好的选项了,因为备份所花费时间可能甚至会超过是最广泛的可接受的窗口。正如本文前面所讨论的,随着容量的增加,主要关注的问题是跨环境管理进行复制政策的管理。多对象存储解决方案提供自动多站点保护,要么通过一个分布式的擦除编码方案;要么通过复制功能。毫无疑问,如果您的企业组织支持多个站点,或需要多站点保护,您应该确保您所考虑的任何对象存储解决方案都要支持自动的多站点保护。

然而,对象存储解决方案可以以不同的方式提供多站点保护。无论是利用基于副本、或基于擦除编码模式的基本保护方案,一款多站点的配置可以简单地将基本保护方案扩展到包括了除主站点上的节点之外的其他站点节点,或在基本保护方案之上复制一个单独的层。例如,如果系统使用擦除编码来提供数据保护,该体系架构可以跨物理上各自独立的站点的多个节点擦除编码对象或者解决方案可以简单地复制擦除编码的部分数据到一个第二或第三站点。另外,如果解决方案利用副本作为主保护方法,该系统可以简单地始终确保额外的副本被放置在物理上分开的位点的节点中。

例如,Cleversafe公司结合使用其智能阅读技术,其读取总是从最快响应的节点执行,并同时使用广域网优化技术,如利用并行连接,以提高性能。此外,自动站点保护在内容分发或协作用例中是非常有用的,因为内容是自动分发到远程站点上的。虽然有多家供应商均提供地理分散或多站点保护的解决方案,但当企业用户在选择一家供应商时,考察该供应商是否能够提供关于其是否已有成熟的分布式或全球分布式部署验证是非常重要的。简单地声称支持全球分布式存储系统和真正能够在实践中提供一个全球范围内的存储环境有着本质的区别。

多代架构:大规模环境的一个副作用是,它们通常很难进行迁移。大规模的内容存储和底层对象存储基础设施不能存在于传统的存储基础设施的连续3年的升级周期,因此,对象存储系统的设计具备了支持多个世代的能力。能够将多代的硬件合并到一个单一的池,使得对象存储得以能够充分利用新的硬件技术,同时消除了对大数据迁移的需要。由于节点需要淘汰,迁移只需要对于那些亟待进行升级的个别节点上完成。由于系统的并行属性,较之传统的SAN和NAS的迁移,其淘汰的过程是相对快速和容易的。当一个节点被淘汰后,该节点的数据被简单地复制到整个集群的自由空间,利用多个驱动器的能力,并行写入数据。

对象存储解决方案以不同的方式提供多代支持。一种方法是提供多个设备装置的选择,随着硬件技术的发展演化而不断开发和提供新的设备解决方案。每一代的设备是都能够在一个单一的池与前几代合并和匹配。这种选择可以提供一个简单的部署模型,但最终在可用的硬件选择方面是受限制的。在某些情况下,某些设备型号可能达到其支持的寿命终点时,需要至少进行部分的迁移。虽然这种方法提供了多代的支持,但其灵活性不如第二种方法,第二种方法是简单地提供对象存储技术作为软件,并且允许软件支持几乎任何硬件选项。

软件定义与设备:跨存储行业的多个解决方案利用软件定义的存储术语,每个都有不同的定义。但软件定义的存储技术通过提供存储功能提供了部署的灵活性。在这种情况下,对象存储功能作为一个软件包。这一解决方案可以部署在商品化的服务器硬件中,在硬件选择方面提供了灵活性,进而为IT企业组织提供了一些好处。 通过提供选择硬件的能力,IT企业组织可以直接降低他们的资本或运营费用。在某些情况下,一家企业组织可以选择选择成本较低的商品硬件,而在其他情况下,企业组织则可能会选择利用一家熟悉的制造商的服务器硬件,以减少管理的复杂性和相关的成本。

此外,虽然传统的存储系统最近一直在利用更多的商品化组件,但服务器系统往往比存储系统提供了一个更快的硬件更新周期。在某些情况下,每12个或18个月就有新技术诞生,而不像存储系统需要等待三至四年的时间。最终的结果是能够利用更快的组件,如更迅速的内存和处理,进而带来了能力的增加或价格的降低。

最后,通过将软件许可授权从硬件升级周期中分离出来,可以更容易的管理购买周期。但是,传统的存储或设备产品也可以提供这些好处。借助硬件和软件产品的集成,整个解决方案进行了验证,确保硬件将在软件中得到性能的优化。此外,有时,传统的存储或设备产品部署的复杂性较小。因此,软件定义的对象存储解决方案通常还提供一个设备部署选项。 例如,Cleversafe公司就同时提供软件和设备的选择。

专有与开源技术:随着当前企业客户对于云部署和多租户IT资源流程解决方案兴趣的增加,推动了各种企业内部部署的云计算解决方案的出现,其中的一些,如OpenStack,是作为一款开源解决方案提供的。与任何IT环境一样,云解决方案需要一个存储组件。企业客户希望能够获得与其云计算的核心原则相一致的存储解决方案,如硬件独立性、无限的可扩展性和可负担性,使得许多云计算解决方案已经转向对象存储,提供了开源版本的存储技术。这些解决方案,如OpenStack Swift或Ceph,有纯开源的形式或由存储合作伙伴提供支持的捆绑产品的形式可供选择。开源解决方案的最显著的优点是其软件的资本支出,或者换句话说,价格优势。开源技术免费分发。如果一家企业组织想要从一家供应商处购买企业许可证,是有成本的,但该许可证的定价仍普遍较低。

当评估开源技术与专有产品之间各自的优势时,注意到更多的存储成本而不仅仅只是看到单纯的软件许可费用是非常重要的。支持和存储管理的成本也是相当显著的一笔费用。开源技术可能缺乏某些更先进的功能及其专用版本的管理功能。

对象存储:关于使用案例的注意事项

对象存储的存储和保护海量内容的能力适用于各种用例。如下,我们将试图为广大读者介绍一些当前较流行的使用案例和这些使用案例所使用到的一些重要功能。这并不是一个详尽的功能列表清单,而仅仅只是试图介绍更受欢迎的用例,并强调企业用户在评估解决方案时需要考察的关键功能。

主动归档/内容存储库:一个归档并不是一个备份,虽然这经常被混淆为一体。备份是为了作为生产数据的辅助副本,以便在灾难发生和数据需要恢复时,提供一定程度的保护。相反,归档则是为了作为长期保存的数据的主副本。在许多情况下,归档在一定程度上是为了减少备份基础设施的压力。尽管事实上,在许多企业组织中,归档与备份往往都是不同的,但磁带一直是深度归档的媒介选择,一种长时间保留数据,并将数据从主基础设施中删除的方式。但是,在过去的十年中,由于政府监管机构的合规性要求和行业内部法律要求施加给企业IT部门的必须能够以更及时的方式来存档数据的压力,推动了按需归档内容,并保持内容在线的需求。对内容的需求的增加也带来了主动归档需求的上升,其中数据经常通过磁盘技术而非磁带,以保持活跃状态。然而,朝着以磁盘为基础的基础设施的转变,为主动归档的存储基础设施带来了一个新的需求清单。环境通常是需要进行少次写入而大量多次重复的读取操作,往往是在特定垂直行业的解决方案,再加上垂直行业的软件应用程序,如医疗归档,媒体和娱乐业,或能源勘探行业。而由于物联网所带来的由机器产生的数据的增加,这种使用情况在这一领域也开始看到激增。大容量的主动归档也使得备份变得很难,即使不是不可能的话。其结果是,环境必须作为归档内容的存储和保护的第一和最后一道防御。因此,积极的档案必须有足够的弹性,以承受多种故障,并在多故障事件更常见和预期的环境中运行。对象存储技术的核心原则,如无限的可扩展性,提供规模化的高水平的弹性的能力,以及承受能力,使对象存储成为主动归档部署的理想平台。因此,一个主动归档可以被认为是在本文稍候所列出的众多使用案例中的对象存储的基本用例,许多附加的用例只是一个主动归档的变体。

此外,归档是为了将数据存储五年、七年,在某些情况下,甚至几十年或更长的时间。而企业组织希望存储数据的时间段会看到无数的硬件版本和升级周期。多代的支持与前面讨论的软件定义的存储的好处在这种用例情况下尤其有用。企业用户所需考查的另一个重要特性是能够与主要解决方案的集成,以便将数据内容从主存储迁移到一个归档对象存储平台,而不会影响应用程序。 Cleversafe公司积极配合CommVault和Qstar公司等合作伙伴,并为主动归档提供综合解决方案。其他需要考虑的功能是在对象存储系统内或云,以及集成的搜索和检索中的策略驱动的活动或分层功能。

归档合规性:类似于传统的主动归档的用例,合规性归档需要对象存储的规模化和保护的功能,以及额外的旨在满足政府监管机构或行业要求的内容记录和保存。对于受到多重规定的企业组织而言,包括遵守如商品期货交易委员会(CFTC)、美国健康保险携带和责任法案(HIPAA)、证券交易委员会(SEC)17a-4(f)规定、萨班斯-奥克斯利法案(SOX)和电子记录管理模型要求规范(MoREQ),等等。

内容存储解决方案不仅应该保存关键和敏感的信息,同时也提供审计报告,以在内部或外部的审计、调查、或诉讼事件中,保护企业组织。一些供应商,如Cleversafe公司在用户界面维护审计日志和REST API。当部署一个合规性归档时,有几项功能是非常重要的。合规的工作负载往往需要具备确定特定内容的能力,并提供必要的跟踪和报告,以验证特定的内容在一定的时间内是否保持不变。通常,使某一特定内容不可变的能力被称为一次写入多次读取( write- once-read-many,WORM)或锁定。

此功能指定在一个特定的时间段或直到管理员改变内容的状态之前,某特定类型的内容为只读。差异往往是通过更大的粒度控制而交付的,其中一些解决方案在卷或文件夹级别适用只读标签,而其他解决方案具备基于独特的元数据信息适用于指定的具体对象的能力。例如,Cleversafe公司提供指定不可变的,消除了删除任何内容的需求,并记录所有文件修改的能力的功能。虽然已经有多款解决方案提供了WORM功能,但每款解决方案适用指定只读功能的方式各有不同。因此企业用户务必要确保该解决方案符合您行业相应的法规或行业标准。

基于不同的保护级别,解决方案也各不相同。故而企业客户需要基于预定的时间跨度,如五年或七年,来寻求不可改变的解决方案,而不再需要人工干预。对于许多这类环境,最终的目标是要证明一个特定的对象没有被修改。如果一个诉讼事件发生,证明一个文件没有被篡改越是容易,企业组织的运行也就越容易。企业组织同时也需要寻找可以提供版本不变性的解决方案,一个文件可能被修改,但存储解决方案可以按照指定的时间间隔将不可变的快照或版本存储起来。一些供应商,如Cleversafe公司就要么通过副本,要么通过不变的时间点快照提供内容的不变性以及版本支持。

对于主动归档解决方案,强大的搜索能力对归档合规性而言是至关重要的。当一个诉讼行为发生时,适当的材料越容易被隔离,企业操作运行受影响的程度就越小。而解决方案如若没有搜索功能,在实际法律诉讼期间,如果该企业不能孤立和验证所有的适当的内容已被提供,则可能需要交出比实际需要更多的信息。最后,企业客户需要寻找当对象到期的时候可以提供审计和核查的内容是否被破坏,删除内容以及数据粉碎功能的解决方案。

内容分发:第三个用例需要性能的改进和多站点分布的一个组合。无论是在线数字内容分发、内容聚合(如视频监控),这种使用案例需要对象存储的主动归档功能,如能够规模化和保护数据的功能,同时控制存储成本,而且需要大量的内容在多个物理站点被移动或更新。该解决方案往往需要能够通过添加更多的存储节点提供高水平的吞吐量,以及规模化吞吐量性能的能力。此外,还需要具备控制性能的规模化与服务质量(QoS)的能力,以确保其他业务不干扰可用的带宽。

内容分发网络(CDN)解决方案旨在支持大量地理上分散的用户,如用于数字媒体流的向外扩展的Web应用程序。除了必要的性能,这些解决方案还需要具备如果一款存储解决方案、数据中心,或甚至因特网服务提供商(ISP)出现故障失败,服务来自多个节点和多个站点的内容,以保护内容交付的能力。例如,Cleversafe公司的智能读取技术,预测最优的网络路由和存储节点来最有效地返回数字内容。然后,数字内容重新组合,同时Cleversafe不断优化路径,以实时的以数据流返回内容。如果发生连接故障或服务器放缓,这在互联网上是屡见不鲜的,内容的再创建围绕失败路由和内容交付无缝地发生。对于内容分发体系,也要查看对象存储解决方案,借助自动的内容地理分发,以及从多个节点和地点提供任何部分内容的能力以提供多站点保护。一些对象存储供应商,如Cleversafe公司,与多家CDN合作伙伴达成合作伙伴关系并验证解决方案。

企业内部部署的云计算解决方案:正如前文所提到的,对象存储解决方案旨在为海量内容的存储提供经济实惠的方式,而专有软件和开源对象存储解决方案具备云计算的经济水平和规模化,使企业内部部署的私有云成为可能。随着云架构层的崛起,无论是以VMware、OpenStack、还是CloudStack的形式,对象存储的功能均具备匹配一款云基础设施或超大规模模型的能力。企业用户需要考察的一个明显的特征是其是否支持S3和Swift API协议,以及是否是认证的云解决方案,如OpenStack认证。例如, Cleversafe公司支持S3和Swift API协议以实现更好的云集成。除了对协议的支持,软件定义的存储架构,实现了硬件的灵活性,可以使存储部署模型能够按照硬件的云部署模型进行调整,有助于保持存储成本的经济实惠。

具备提供计量和计费报表功能的能力,可以让企业客户享受到在多家客户或租户之间分离和分配云存储资源的益处。 Cleversafe公司便是能够提供多租户对象存储提供商的一个例子。企业客户应该寻找那些可以指定哪些租户可以访问基础架构的组件的解决方案。此外,如果您的组织正在计划,甚至正在考虑扩大到公共云存储,混合云的支持也是有益的。

数据湖泊/hub:大数据分析的崛起和源自业务洞察力的改善所带来的潜在的竞争优势,使得企业组织近来开始把重点放在采用适当的方法进行数据存储和数据保护解决方案。正如前面提到的,需要数据湖泊或hub进行规模化,以便跟上内容创建的步伐,进而保护内容,从多个不同协议存储各种数据类型。

当在评估一款对象存储解决方案时,除了规模化和对于规模化的保护之外, 还有几个关键性的功能需要考察,其在数据湖泊或hub环境中会有所帮助。寻找能支持多种协议的解决方案,以确保其具备充当多款应用程序工作负载的存储库的能力。数据湖环境还可以通过强大的元数据标记得到更好的服务,以保证更好更快的搜索功能。一些解决方案,如Cleversafe公司的解决方案,支持HDFS,并提供与Hadoop环境的集成。直接在既定的存储环境中运行分析的能力可以减少或消除将数据从存储系统物理移动以运行分析的需要。

协作:随着多站点或全球内容协作的普及,对象存储解决方案可以提供一个可扩展的,企业负担得起的,和多站点架构,以支持协作应用程序,如文件同步和共享;或视频编辑。而在线文件同步和共享解决方案,如Dropbox,已经变得越来越流行,许多企业组织希望拥有公共云解决方案的可访问性但同时又要求将内容保管在企业现场。在ESG集团针对下一代的存储架构进行调研的过程中,几家为该项调研做出贡献的相关机构回应说:他们希望充分享有云服务的可访问性,但出于对安全问题的担忧,又将他们排除在采用场外异地内容存储之外。作为这一发现的一个验证,该报告发现部署了文件同步和共享应用程序软件的多家企业组织利用了企业内部部署的内容存储,如Citrix ShareFile。当企业用户在寻找一款对象存储解决方案作为后端的文件同步和共享解决方案时,务必要考察如下几个关键特征: 除了具备对象存储的可扩展性和规模化保护的主要能力,协作解决方案往往能够提供更好的自动地理分布的服务能力,使内容可以跨全球环境自动分布。作为这方面的一个例子,Cleversafe公司为其协作解决方案设计了基于地理分布提供消息的能力。此外,通过文件系统协议支持,Cleversafe可以增加其所支持的协作应用程序的数量。因此,Cleversafe提供认证的应用程序同步和与合作伙伴的共享。

备份目标和文件服务器整合:对象存储也成为了备份目标。随着备份软件应用程序支持NAS协议,并于最近加入了云协议的支持,如S3。使得企业的IT部门发现,对象存储解决方案提供的可扩展性和可负担性恰好能够作为备份目标。而企业用户需要考察的功能特点则包括高带宽和吞吐量的支持,容量和性能的扩展能力,价格的可承受性,以及重复数据删除和压缩功能。包括Cleversafe公司在内的多家存储供应商,也被证实能够与各种备份软件供应商的产品兼容,如赛门铁克、Veeam公司、CommVault公司和Unitrends公司。

虽然文件服务器整合是典型的NAS使用案例,将NAS协议纳入多个对象存储解决方案,结合一些文件系统供应商利用擦除编码技术进行数据保护的事实,使得在最近几年间,NAS与对象之间的界线已经变得模糊了。一些供应商提供了特定的功能以服务于传统NAS工作负载,例如部署家庭和文件共享。

对象存储具备跨多个IT环境服务大量不断增加的使用案例的可能性。虽然该技术在占据存储市场的主导地位之前,仍然尚有很长的一段路要走,但目前多个行业的趋势是有利于对象存储的发展的。而在不太遥远的未来,存储将不再被诸如光纤通道或NAS等协议来定义,甚至被定义为块和文件是可能的。随着对象存储和固态的组合创新,未来的存储可能会转移到划分为低延迟的事务存储和海量内容库。如果这样的转变发生,对象存储可能会以能力平台的选择方式出现,提供了一个具备高度可扩展性和企业负担得起的存储基础,以支持各种各样的工作负载。

更全面的真相

无论是我们个人或企业组织的专业用途,现如今的我们已经对数据变得“贪得无厌”了。而随着硬盘驱动容量能力的不断增加,现有的存储架构已经突破了其过去的极限。对象存储提供了一种优越的方法在高容量点来保护和规模化数据存储。而随着诸如企业内部部署云存储、物联网和大数据分析等新的趋势的兴起,对于对象存储能力的需求将有可能继续增加。考察该问题的最简单的方法是:以目前的增长率,一家典型的企业组织内所存储的内容终将达到其以传统的手段所无法再被保护的地步。传统的外部存储解决方案,旨在整合数据存储以实现更容易管理,将无法跟上数据增长的步伐,并将使自己成为孤岛。由此产生的孤立的数据池将不仅是更难以管理和保护,但也更难以利用和分析。即使企业组织在今天能够使用,但一个引爆点很可能在地平线上的某处。当到达临界点时,一个潜在的痛苦的迁移事件会发生。在早期,您企业可以过渡到一个架构,可以更好的规模化。有了恰当的架构,以前的单纯地保持发展速度的负担被释放,IT资源可以更多地被用于专注于商业价值的增加。在这个不断变化的世界中,企业组织一直在寻找利用数据,以找到竞争优势。 消除基础设施规模化缩放的负担,进而转移企业IT的工作重点,以最大限度地提高数据的价值将是领先和落后企业之间最大的差异。

关键字:存储系统���路径

本文摘自:机房360

x 对象存储的兴起 扫一扫
分享本文到朋友圈
当前位置:存储行业动态 → 正文

对象存储的兴起

责任编辑:editor005 作者:litao984lt编译 |来源:企业网D1Net  2016-10-12 14:46:10 本文摘自:机房360

在本文中,作者斯科特·辛克莱尔将为广大读者诸君分析对象存储存在于当今的数字化市场的必要性,同时,还将为您重点介绍Cleversafe公司的解决方案。斯科特·辛克莱尔撰写了关于对象存储的理想使用案例,并介绍了购买这种技术时需要考虑的相关要素。他认为,Cleversafe公司的对象存储解决了归档/内容存储库、归档合规性、内容分发、数据湖/hub枢纽、备份目标、协同和企业内部部署云的使用案例等一系列问题。最终得出的结论是,对象存储为“数据的保护和规模化提供了一个相当卓越的方法”,建议客户保持领先于数据爆炸似增长的曲线,并尽早部署对象存储,而不要拖延。

什么是对象存储?

当涉及到在过去的十年里的信息技术时,如果说存在一个普遍性的共识的话,那就是:数据的增长是不可避免,不可阻挡的!无论是由个人或专业动机的驱动,我们每个个体所创造出的数字资产比以往任何时候都要多得多。无论是任何行业,当前企业组织的成功运营均取决于其利用数字化资产的能力。无论是充分利用更高分辨率的视频数据的媒体和娱乐业界或是对数字化的影响进行更现实的开发,捕获详细的3D或4D地震数据的能源勘探企业;又或是安全系统公司捕捉高分辨率的安全性素材;还是在线内容分发、创作行业。对于几乎每一个行业,有效利用数字资产对于保持其市场竞争力都是至关重要的。

随着数字化内容的激增,以及我们一贯的尽量避免法律诉讼的企业文化的事实,从而带来了对于监管法规的遵守、加强企业内部控制和对于流程的审查的日渐增加,并要求现如今的企业组织在存储和策划管理内容时,要比以往任何时候都负担起更多的责任。在某些情况下,企业组织甚至需要为了应对未来可能面临的法律诉讼,而打造一种需要将数据保存几十年,乃至更长时间的企业文化。而随着机器数据、以及物联网(IoT)的出现,内容创作有望扩展到远远超出了以前的仅由人类创造内容的限制。最终的结果是,在未来,几乎每个人、每件事物都将创建某种形式的数据,而这些数据将必须被存储和保护一段时间(即使不是无限期的)。而较之任何其他存储架构,对象存储就是专为存储和保护由此所产生的巨大的内容库而设计的。

正如固态技术的兴起出现是为了响应对于性能需求的增加一样,旋转介质已经开始专注于高容量和成本最优化的存储,以更低的成本提供更大的容量。尽管这些成本降低在底层的存储硬件基础设施、存储系统容量已经达到了一个临界点,传统存储和保护技术的一个阈值,如文件系统已经不再是可行的选择方案了。而对象存储架构则提供了存储和保护大容量内容环境中至关重要的必要功能。而鉴于数字化内容在未来几年的预期增长,对象存储看起来或将占到企业存储部署的一个更大的比重。

RAID的局限性和对象存储的需要

对象技术为应对存储和保护大量非结构化的数据所带来的挑战提供了一个直接的响应。传统的存储阵列往往利用RAID技术,在规模化方面具有严重的局限性。

2015年,由ESG集团所进行的一项研究调查显示了一般存储行业的发展趋势。作为这项研究的一部分,ESG集团采访了373名负责其所在企业组织的数据存储环境的IT决策者。而受访者们所被要求回答的问题之一便是其所在企业组织当前所面临的最大的存储挑战是什么。答案毫不奇怪:数据的快速增长被认为是当前企业组织所面临的一个最大的挑战。有趣的是(当然其实也不算太奇怪),在排名前10的挑战中,剩下的几项挑战均可以被归纳为是由于数据增长所带来的症状。诸如硬件成本、数据保护成本、人员成本的增加等挑战都是由数据的增长而创建或加剧的。

此外,与大规模的数据保护相关的,还有一些细微的差别。虽然传统存储系统的磁盘阵列RAID的设计主要是为了防止单个驱动器故障,更大的硬盘容量已经转化为多故障事件可能性的增加,这让面临丢失数据风险的企业可能会在相当长的与高密度驱动器相关的重建期间面临第二驱动器故障的发生。

多故障的情况以几种不同的方式出现:在一个重建期间,额外的驱动器可能会失败;或一款预先指定的健康驱动器上的坏领域在一个重建期间可能未被覆盖,进而导致数据不可恢复。在过去,数据不可恢复的可能性是低的。然而,由于有了更大容量的驱动器,不能恢复某些数据的几率近年来已经显著增加。其结果是,该行业已经从推荐的RAID 5转至推荐的RAID 6,其能够在一个双驱动故障的情况下保护数据。而尽管一个第二校验位(parity bit)的增加已经缓解了对于在重建过程中发现不可恢复的数据的一些担心,但更大的驱动器的引入也同样导致了更长的重建时间,增加了数据暴露于可能的次级或三级失败的时间。虽然发生多故障事件的可能性仍然很低,但对于那些具有数百或数千驱动器的企业组织而言,它们可以提高到不被受欢迎的有害水平。

  图1、企业组织在其存储环境方面所面临的最大的挑战。

Q:一般而言,当涉及到存储环境时,您认为贵公司当前所面临的最大的挑战是什么?您认为上述哪一点能够被列为您所在企业的最首要的存储挑战?(受访者百分比,N = 373,前十大挑战)

而由于大量的容量环境往往太大而无法使用传统的备份方法进行备份,使得这些风险进一步恶化,这意味着在许多情况下,这些存储库可能存储着的可用数据的唯一副本。对象存储提供了一个新的规模化和保护水平

如下,我们将为大家提供一些对于对象存储技术的技术洞察,并带来关于对象存储技术的背景和历史的一些讨论。传统的文件系统被设计为以分级的方式存储内容,经常是在文件和文件夹的树状结构中。在这些系统中,用户可以通过遵循一个路径到达某个特定位置以访问一个文件。尽管这种方法可以直观的用于存储少量的文件,但当内容存储爆炸似得增长至十亿甚至万亿的文件时,这样的一个层级访问方法就太复杂了,在某些情况下,淹没了传统的文件系统的存储体系架构。一旦文件和文件夹达到了一定的数量,某些基于文件系统的解决方案的运行会遇到限制。此外,某些文件系统架构不能有效地扩展元数据,一旦系统超过一定的容量或文件的数目,将极大的影响到元数据操作的性能。

对象系统的设计使用一个替代方法,具备一个单一的和大规模可扩展的平面地址空间,其中文件的访问通过一个唯一的标识符提供。打个比方,这种差异是,在一个文件系统中访问一个特定的文件就如同遵循一组方向指引以找到一个位置,例如,“先左转,然后右转,等”。而另一方面,对象存储就像是使用全球GPS定位系统。采用这种更有效的方式确定特定的内容,有助于使对象存储能够比传统的文件系统规模化扩展到实现更高的容量。

对象存储解决方案,旨在解决保护大容量环境下的挑战,在这种环境下传统备份往往不是一种选择。对象存储架构通过让预期的多故障情形变得屡见不鲜来提供强大的保护。对象存储提供了多种创新,以帮助实现一个更强大的系统:

副本或编码擦除vs. RAID磁盘阵列:对象存储通常利用对象复制、删除编码,或两者的组合来提供数据保护,而不是采用传统的RAID。较之传统的RAID,这些技术提供了几大优点,包括利用商品化硬件的能力;采用适用于特定对象或对象分组的特定保护方案,而无需采用一个高强度级别保护方案的能力;以及保护方案能够随时间而不断演变的能力,例如,随时间的推移将副本保护从四个减少到三个。此外,通过使用副本或编码擦除技术,对象存储可以通过将数据散布到多个驱动器、节点、甚至地域,跨多个站点自动扩展保护。

· 重建到可用容量空间:大多数传统的RAID存储环境都是典型的“热备用磁盘”,一款等待生产驱动器失败后进行接管的免驱动。然而,在出现故障的情况下,只有一个驱动器是用于数据重建的写入目标,而随着驱动器容量的增加,带来了一个显著进一步恶化的瓶颈。绝大多数的对象存储解决方案提供了在系统中跨多个驱动器和节点从一款故障驱动器重建数据到可用容量的功能,并由于多个(而不是一个)驱动器的大规模并行属性的使用显著的加快了恢复进程,因此大大减少了系统处于退化或脆弱状态的时间。

· 自愈:其为大大加快恢复时间,并几乎消除在重建过程中遇到数据不可恢复的风险的另一项创新设计是能够自愈。对象存储解决方案通常提供读取健康数据的后台进程,并验证内容是否完好无损。当一个不可恢复的数据被确定,该对象将被重建到可用空间,以确保该数据始终是健康的和可读的。此外,由于驱动器出现故障往往是在少数领域,而不会全部同时出现故障,借助其自愈性,使得当问题驱动器最终被确定为发生故障失败时,大部分数据都已经被重建到其他驱动器的健康领域成为了可能。

· 自动地理保护:传统的存储阵列往往依赖于文件系统或卷/基于LUN的复制以保护多个站点。这些传统的存储容器也经常受到一些架构容量限制的约束,例如16 TB。在这些限制下,为大容量内容存储环境提供多站点保护会导致笨拙的复制管理政策。多对象存储解决方案支持一个庞大的,近乎无限扩展的平面地址空间,具有自动多站点保护的功能,大大简化了多站点的保护,并大大降低了相关的管理成本。

可扩展性和弹性的增强并不是对象存储基础设施的唯一优势,但它们是对象技术区别于更传统的文件和块级存储方法的关键架构功能。但是,尽管有许多优点,对象存储并不是能够解决所有存储问题的万应灵药。

关于对象存储的其他注意事项

对象存储系统是围绕着存储和检索整个对象而设计的,而不是旨在读取和写入各个数据块的基于块或文件系统技术而设计的。该差异最显著的影响是写入性能体验方面,特别是当用户或应用程序想要修改一个文件时。不是简单地修改数据块,对象存储系统需要在其能够被修改之前,读取全部对象。并且,一旦被修改,则该对象的全部整体将被重写入存储平台。这种架构上的差异引导对象存储系统到原始的工作负载环境中,其常常是写入一次而读取多次(write-once-read-many,WORM)的环境,如医疗成像、能源勘探、或其他具有图像或视频媒体内容的工作负载。这些典型的由内容创建的环境很少被修改,但需要保持在线,并能够被检索。例如,Cleversafe公司就提供了不可变的数据库,使得数据不能被删除,并记录下对于数据所有的变更,以便其可以在一个非常详细的级别进行跟踪。

繁重的事务性工作负载通常更适合于文件或块存储环境。然而,伴随着处理和存储器技术的进步,集成的固态大大提高了对象存储解决方案的性能。例如,Cleversafe公司已经提供了一种集装箱模型,提高利用效率和更小的对象的性能。使得Cleversafe公司得以能够宣称,其客户通过采用他们的模型,较之以往的基于文件的存储机制,每秒性能提升了300%。在一些情况下,对象存储解决方案可以被设计为服务于交易事务使用案例,虽然其可能不如其他存储技术一样有效。

对于对象存储而言,其另一个需要考虑的因素和潜在的局限性是有限的存储协议支持。传统上,访问对象存储是通过HTTP协议的编程访问实现的。虽然HTTP访问可以提供某些优势,但缺乏较为流行的存储协议限制了其对应用程序的支持。在本文的稍候部分还将对这一挑战进行更详细讨论,但需要注意的是,最近,大多数对象的存储解决方案均扩展了协议支持,以包括更多的通用型存储协议,如NFS和CIFS。此外,S3已经成为一个更广泛支持的对象协议。

尽管对于高事务性工作负载的效率低下或存在协议支持的局限性,但随着企业组织处理数据增长方面的经验的增加,对象存储系统正在成为他们IT存储策略的一个更重要的部分。因此,市场上出现了越来越多的能够解决高容量存储挑战的对象存储产品。

对象存储的使用案例

当在进行对象存储解决方案的评估时,我们建议您企业务必要将一些重要的考虑因素纳入到您的调查中。如下,我们将为您逐一介绍在考察对象存储核心功能时需要考虑和权衡的特定要素,以及相关的功能特点对于特定用例的影响。本部分章节的目标是为一般用例和特殊用例在使用对象存储解决方案时提供一个框架。并将包括一些能够为一个特定的环境提供相关优势的例子。然而,企业组织必须始终确保在评估任何对象存储解决方案时,所使用的是最新的信息。

对象存储:核心功能的注意事项

对象存储是由其规模化功能及其能够提供规模化的保护的能力所定义的。然而,并非所有的解决方案都是以同样的方式来提供数据的保护或规模化的。故而当您企业组织在进行技术评估时,应考虑如下几个类别的功能:

复制与擦除编码:绝大多数的对象存储解决方案均是通过利用一种复制方法、一种擦除编码的方法,或二者的某种组合来保护数据。当其被写入存储对象,并将每个对象跨环境中的多个节点存储到多个副本(通常三个或更多个)时,复制保护方案复制一个对象。因此,通常的对象存储系统将需要在存储池中至少有三个节点,以提供必要的弹性水平。通过证明三个独立的物理节点,该解决方案可以丢失两个,而不用担心数据丢失。该方案的权衡是,该系统的原始容量需要是所存储内容的三倍。而对象存储系统往往将这种保护方案与利用成本较低的硬件的能力结合起来,只使用一个基于复制保护方案本质上可带来相当大的硬件基础设施部署的能力。而重复数据删除或数据压缩技术可以帮助缓解对于原始容量问题的担忧,当较之类似的擦除编码方案时,只提供基于复制保护的解决方案需要原始容量的显著增加。

另一方面,擦除编码类似于RAID,可以通过使用类似的信息来提供故障保护,而无需直接增加原始容量。擦除编码和RAID之间的区别在于,擦除编码是更灵活的,并且可以在多个驱动器、节点、或甚至在多站点故障生存性的站点之间分发。由于海量内容存储库和多站点故障生存的自然调整,最早部署的对象存储中有擦除编码。Cleversafe公司声称,他们是第一家将擦除编码技术带入企业存储系统市场的供应商。而尽管擦除编码提供了多故障保护比利用基于复制保护方案所需的原始容量要少得多,但擦除编码需要更多的处理能力来计算编码方案,这可能会影响性能,或可能需要更多的处理硬件来实现相同的性能水平。此外,读取一个对象需要从多个节点以及可能的多个站点访问内容,这可能会影响到读取性能。然而,擦除编码方案可提供灵活性以保护防止大量的故障同时发生,如果需要的话,当使用基于复制保护方案时则可能是不可行的。当然,系统被配置构造为能够承受的故障越多,所需的硬件投资也就越大,因此,了解更高弹性对于解决方案的成本的影响,并相应地进行平衡是很重要的。

对于响应权衡,一些解决方案提供了一个擦除编码和复制功能的结合,允许管理员提高的性能和改进的容量优化之间进行选择。例如,Cleversafe公司就提供了数据复制和基于擦除编码的保护之间的选择。

地理分散和多站点保护:数据复制,无论是异步或同步,已经成为传统的存储系统的一个共同的特点有一段时间了。虽然一些应用程序可能能够依靠单独的备份实施保护,但对于大规模的容量环境,备份则可能不是好的选项了,因为备份所花费时间可能甚至会超过是最广泛的可接受的窗口。正如本文前面所讨论的,随着容量的增加,主要关注的问题是跨环境管理进行复制政策的管理。多对象存储解决方案提供自动多站点保护,要么通过一个分布式的擦除编码方案;要么通过复制功能。毫无疑问,如果您的企业组织支持多个站点,或需要多站点保护,您应该确保您所考虑的任何对象存储解决方案都要支持自动的多站点保护。

然而,对象存储解决方案可以以不同的方式提供多站点保护。无论是利用基于副本、或基于擦除编码模式的基本保护方案,一款多站点的配置可以简单地将基本保护方案扩展到包括了除主站点上的节点之外的其他站点节点,或在基本保护方案之上复制一个单独的层。例如,如果系统使用擦除编码来提供数据保护,该体系架构可以跨物理上各自独立的站点的多个节点擦除编码对象或者解决方案可以简单地复制擦除编码的部分数据到一个第二或第三站点。另外,如果解决方案利用副本作为主保护方法,该系统可以简单地始终确保额外的副本被放置在物理上分开的位点的节点中。

例如,Cleversafe公司结合使用其智能阅读技术,其读取总是从最快响应的节点执行,并同时使用广域网优化技术,如利用并行连接,以提高性能。此外,自动站点保护在内容分发或协作用例中是非常有用的,因为内容是自动分发到远程站点上的。虽然有多家供应商均提供地理分散或多站点保护的解决方案,但当企业用户在选择一家供应商时,考察该供应商是否能够提供关于其是否已有成熟的分布式或全球分布式部署验证是非常重要的。简单地声称支持全球分布式存储系统和真正能够在实践中提供一个全球范围内的存储环境有着本质的区别。

多代架构:大规模环境的一个副作用是,它们通常很难进行迁移。大规模的内容存储和底层对象存储基础设施不能存在于传统的存储基础设施的连续3年的升级周期,因此,对象存储系统的设计具备了支持多个世代的能力。能够将多代的硬件合并到一个单一的池,使得对象存储得以能够充分利用新的硬件技术,同时消除了对大数据迁移的需要。由于节点需要淘汰,迁移只需要对于那些亟待进行升级的个别节点上完成。由于系统的并行属性,较之传统的SAN和NAS的迁移,其淘汰的过程是相对快速和容易的。当一个节点被淘汰后,该节点的数据被简单地复制到整个集群的自由空间,利用多个驱动器的能力,并行写入数据。

对象存储解决方案以不同的方式提供多代支持。一种方法是提供多个设备装置的选择,随着硬件技术的发展演化而不断开发和提供新的设备解决方案。每一代的设备是都能够在一个单一的池与前几代合并和匹配。这种选择可以提供一个简单的部署模型,但最终在可用的硬件选择方面是受限制的。在某些情况下,某些设备型号可能达到其支持的寿命终点时,需要至少进行部分的迁移。虽然这种方法提供了多代的支持,但其灵活性不如第二种方法,第二种方法是简单地提供对象存储技术作为软件,并且允许软件支持几乎任何硬件选项。

软件定义与设备:跨存储行业的多个解决方案利用软件定义的存储术语,每个都有不同的定义。但软件定义的存储技术通过提供存储功能提供了部署的灵活性。在这种情况下,对象存储功能作为一个软件包。这一解决方案可以部署在商品化的服务器硬件中,在硬件选择方面提供了灵活性,进而为IT企业组织提供了一些好处。 通过提供选择硬件的能力,IT企业组织可以直接降低他们的资本或运营费用。在某些情况下,一家企业组织可以选择选择成本较低的商品硬件,而在其他情况下,企业组织则可能会选择利用一家熟悉的制造商的服务器硬件,以减少管理的复杂性和相关的成本。

此外,虽然传统的存储系统最近一直在利用更多的商品化组件,但服务器系统往往比存储系统提供了一个更快的硬件更新周期。在某些情况下,每12个或18个月就有新技术诞生,而不像存储系统需要等待三至四年的时间。最终的结果是能够利用更快的组件,如更迅速的内存和处理,进而带来了能力的增加或价格的降低。

最后,通过将软件许可授权从硬件升级周期中分离出来,可以更容易的管理购买周期。但是,传统的存储或设备产品也可以提供这些好处。借助硬件和软件产品的集成,整个解决方案进行了验证,确保硬件将在软件中得到性能的优化。此外,有时,传统的存储或设备产品部署的复杂性较小。因此,软件定义的对象存储解决方案通常还提供一个设备部署选项。 例如,Cleversafe公司就同时提供软件和设备的选择。

专有与开源技术:随着当前企业客户对于云部署和多租户IT资源流程解决方案兴趣的增加,推动了各种企业内部部署的云计算解决方案的出现,其中的一些,如OpenStack,是作为一款开源解决方案提供的。与任何IT环境一样,云解决方案需要一个存储组件。企业客户希望能够获得与其云计算的核心原则相一致的存储解决方案,如硬件独立性、无限的可扩展性和可负担性,使得许多云计算解决方案已经转向对象存储,提供了开源版本的存储技术。这些解决方案,如OpenStack Swift或Ceph,有纯开源的形式或由存储合作伙伴提供支持的捆绑产品的形式可供选择。开源解决方案的最显著的优点是其软件的资本支出,或者换句话说,价格优势。开源技术免费分发。如果一家企业组织想要从一家供应商处购买企业许可证,是有成本的,但该许可证的定价仍普遍较低。

当评估开源技术与专有产品之间各自的优势时,注意到更多的存储成本而不仅仅只是看到单纯的软件许可费用是非常重要的。支持和存储管理的成本也是相当显著的一笔费用。开源技术可能缺乏某些更先进的功能及其专用版本的管理功能。

对象存储:关于使用案例的注意事项

对象存储的存储和保护海量内容的能力适用于各种用例。如下,我们将试图为广大读者介绍一些当前较流行的使用案例和这些使用案例所使用到的一些重要功能。这并不是一个详尽的功能列表清单,而仅仅只是试图介绍更受欢迎的用例,并强调企业用户在评估解决方案时需要考察的关键功能。

主动归档/内容存储库:一个归档并不是一个备份,虽然这经常被混淆为一体。备份是为了作为生产数据的辅助副本,以便在灾难发生和数据需要恢复时,提供一定程度的保护。相反,归档则是为了作为长期保存的数据的主副本。在许多情况下,归档在一定程度上是为了减少备份基础设施的压力。尽管事实上,在许多企业组织中,归档与备份往往都是不同的,但磁带一直是深度归档的媒介选择,一种长时间保留数据,并将数据从主基础设施中删除的方式。但是,在过去的十年中,由于政府监管机构的合规性要求和行业内部法律要求施加给企业IT部门的必须能够以更及时的方式来存档数据的压力,推动了按需归档内容,并保持内容在线的需求。对内容的需求的增加也带来了主动归档需求的上升,其中数据经常通过磁盘技术而非磁带,以保持活跃状态。然而,朝着以磁盘为基础的基础设施的转变,为主动归档的存储基础设施带来了一个新的需求清单。环境通常是需要进行少次写入而大量多次重复的读取操作,往往是在特定垂直行业的解决方案,再加上垂直行业的软件应用程序,如医疗归档,媒体和娱乐业,或能源勘探行业。而由于物联网所带来的由机器产生的数据的增加,这种使用情况在这一领域也开始看到激增。大容量的主动归档也使得备份变得很难,即使不是不可能的话。其结果是,环境必须作为归档内容的存储和保护的第一和最后一道防御。因此,积极的档案必须有足够的弹性,以承受多种故障,并在多故障事件更常见和预期的环境中运行。对象存储技术的核心原则,如无限的可扩展性,提供规模化的高水平的弹性的能力,以及承受能力,使对象存储成为主动归档部署的理想平台。因此,一个主动归档可以被认为是在本文稍候所列出的众多使用案例中的对象存储的基本用例,许多附加的用例只是一个主动归档的变体。

此外,归档是为了将数据存储五年、七年,在某些情况下,甚至几十年或更长的时间。而企业组织希望存储数据的时间段会看到无数的硬件版本和升级周期。多代的支持与前面讨论的软件定义的存储的好处在这种用例情况下尤其有用。企业用户所需考查的另一个重要特性是能够与主要解决方案的集成,以便将数据内容从主存储迁移到一个归档对象存储平台,而不会影响应用程序。 Cleversafe公司积极配合CommVault和Qstar公司等合作伙伴,并为主动归档提供综合解决方案。其他需要考虑的功能是在对象存储系统内或云,以及集成的搜索和检索中的策略驱动的活动或分层功能。

归档合规性:类似于传统的主动归档的用例,合规性归档需要对象存储的规模化和保护的功能,以及额外的旨在满足政府监管机构或行业要求的内容记录和保存。对于受到多重规定的企业组织而言,包括遵守如商品期货交易委员会(CFTC)、美国健康保险携带和责任法案(HIPAA)、证券交易委员会(SEC)17a-4(f)规定、萨班斯-奥克斯利法案(SOX)和电子记录管理模型要求规范(MoREQ),等等。

内容存储解决方案不仅应该保存关键和敏感的信息,同时也提供审计报告,以在内部或外部的审计、调查、或诉讼事件中,保护企业组织。一些供应商,如Cleversafe公司在用户界面维护审计日志和REST API。当部署一个合规性归档时,有几项功能是非常重要的。合规的工作负载往往需要具备确定特定内容的能力,并提供必要的跟踪和报告,以验证特定的内容在一定的时间内是否保持不变。通常,使某一特定内容不可变的能力被称为一次写入多次读取( write- once-read-many,WORM)或锁定。

此功能指定在一个特定的时间段或直到管理员改变内容的状态之前,某特定类型的内容为只读。差异往往是通过更大的粒度控制而交付的,其中一些解决方案在卷或文件夹级别适用只读标签,而其他解决方案具备基于独特的元数据信息适用于指定的具体对象的能力。例如,Cleversafe公司提供指定不可变的,消除了删除任何内容的需求,并记录所有文件修改的能力的功能。虽然已经有多款解决方案提供了WORM功能,但每款解决方案适用指定只读功能的方式各有不同。因此企业用户务必要确保该解决方案符合您行业相应的法规或行业标准。

基于不同的保护级别,解决方案也各不相同。故而企业客户需要基于预定的时间跨度,如五年或七年,来寻求不可改变的解决方案,而不再需要人工干预。对于许多这类环境,最终的目标是要证明一个特定的对象没有被修改。如果一个诉讼事件发生,证明一个文件没有被篡改越是容易,企业组织的运行也就越容易。企业组织同时也需要寻找可以提供版本不变性的解决方案,一个文件可能被修改,但存储解决方案可以按照指定的时间间隔将不可变的快照或版本存储起来。一些供应商,如Cleversafe公司就要么通过副本,要么通过不变的时间点快照提供内容的不变性以及版本支持。

对于主动归档解决方案,强大的搜索能力对归档合规性而言是至关重要的。当一个诉讼行为发生时,适当的材料越容易被隔离,企业操作运行受影响的程度就越小。而解决方案如若没有搜索功能,在实际法律诉讼期间,如果该企业不能孤立和验证所有的适当的内容已被提供,则可能需要交出比实际需要更多的信息。最后,企业客户需要寻找当对象到期的时候可以提供审计和核查的内容是否被破坏,删除内容以及数据粉碎功能的解决方案。

内容分发:第三个用例需要性能的改进和多站点分布的一个组合。无论是在线数字内容分发、内容聚合(如视频监控),这种使用案例需要对象存储的主动归档功能,如能够规模化和保护数据的功能,同时控制存储成本,而且需要大量的内容在多个物理站点被移动或更新。该解决方案往往需要能够通过添加更多的存储节点提供高水平的吞吐量,以及规模化吞吐量性能的能力。此外,还需要具备控制性能的规模化与服务质量(QoS)的能力,以确保其他业务不干扰可用的带宽。

内容分发网络(CDN)解决方案旨在支持大量地理上分散的用户,如用于数字媒体流的向外扩展的Web应用程序。除了必要的性能,这些解决方案还需要具备如果一款存储解决方案、数据中心,或甚至因特网服务提供商(ISP)出现故障失败,服务来自多个节点和多个站点的内容,以保护内容交付的能力。例如,Cleversafe公司的智能读取技术,预测最优的网络路由和存储节点来最有效地返回数字内容。然后,数字内容重新组合,同时Cleversafe不断优化路径,以实时的以数据流返回内容。如果发生连接故障或服务器放缓,这在互联网上是屡见不鲜的,内容的再创建围绕失败路由和内容交付无缝地发生。对于内容分发体系,也要查看对象存储解决方案,借助自动的内容地理分发,以及从多个节点和地点提供任何部分内容的能力以提供多站点保护。一些对象存储供应商,如Cleversafe公司,与多家CDN合作伙伴达成合作伙伴关系并验证解决方案。

企业内部部署的云计算解决方案:正如前文所提到的,对象存储解决方案旨在为海量内容的存储提供经济实惠的方式,而专有软件和开源对象存储解决方案具备云计算的经济水平和规模化,使企业内部部署的私有云成为可能。随着云架构层的崛起,无论是以VMware、OpenStack、还是CloudStack的形式,对象存储的功能均具备匹配一款云基础设施或超大规模模型的能力。企业用户需要考察的一个明显的特征是其是否支持S3和Swift API协议,以及是否是认证的云解决方案,如OpenStack认证。例如, Cleversafe公司支持S3和Swift API协议以实现更好的云集成。除了对协议的支持,软件定义的存储架构,实现了硬件的灵活性,可以使存储部署模型能够按照硬件的云部署模型进行调整,有助于保持存储成本的经济实惠。

具备提供计量和计费报表功能的能力,可以让企业客户享受到在多家客户或租户之间分离和分配云存储资源的益处。 Cleversafe公司便是能够提供多租户对象存储提供商的一个例子。企业客户应该寻找那些可以指定哪些租户可以访问基础架构的组件的解决方案。此外,如果您的组织正在计划,甚至正在考虑扩大到公共云存储,混合云的支持也是有益的。

数据湖泊/hub:大数据分析的崛起和源自业务洞察力的改善所带来的潜在的竞争优势,使得企业组织近来开始把重点放在采用适当的方法进行数据存储和数据保护解决方案。正如前面提到的,需要数据湖泊或hub进行规模化,以便跟上内容创建的步伐,进而保护内容,从多个不同协议存储各种数据类型。

当在评估一款对象存储解决方案时,除了规模化和对于规模化的保护之外, 还有几个关键性的功能需要考察,其在数据湖泊或hub环境中会有所帮助。寻找能支持多种协议的解决方案,以确保其具备充当多款应用程序工作负载的存储库的能力。数据湖环境还可以通过强大的元数据标记得到更好的服务,以保证更好更快的搜索功能。一些解决方案,如Cleversafe公司的解决方案,支持HDFS,并提供与Hadoop环境的集成。直接在既定的存储环境中运行分析的能力可以减少或消除将数据从存储系统物理移动以运行分析的需要。

协作:随着多站点或全球内容协作的普及,对象存储解决方案可以提供一个可扩展的,企业负担得起的,和多站点架构,以支持协作应用程序,如文件同步和共享;或视频编辑。而在线文件同步和共享解决方案,如Dropbox,已经变得越来越流行,许多企业组织希望拥有公共云解决方案的可访问性但同时又要求将内容保管在企业现场。在ESG集团针对下一代的存储架构进行调研的过程中,几家为该项调研做出贡献的相关机构回应说:他们希望充分享有云服务的可访问性,但出于对安全问题的担忧,又将他们排除在采用场外异地内容存储之外。作为这一发现的一个验证,该报告发现部署了文件同步和共享应用程序软件的多家企业组织利用了企业内部部署的内容存储,如Citrix ShareFile。当企业用户在寻找一款对象存储解决方案作为后端的文件同步和共享解决方案时,务必要考察如下几个关键特征: 除了具备对象存储的可扩展性和规模化保护的主要能力,协作解决方案往往能够提供更好的自动地理分布的服务能力,使内容可以跨全球环境自动分布。作为这方面的一个例子,Cleversafe公司为其协作解决方案设计了基于地理分布提供消息的能力。此外,通过文件系统协议支持,Cleversafe可以增加其所支持的协作应用程序的数量。因此,Cleversafe提供认证的应用程序同步和与合作伙伴的共享。

备份目标和文件服务器整合:对象存储也成为了备份目标。随着备份软件应用程序支持NAS协议,并于最近加入了云协议的支持,如S3。使得企业的IT部门发现,对象存储解决方案提供的可扩展性和可负担性恰好能够作为备份目标。而企业用户需要考察的功能特点则包括高带宽和吞吐量的支持,容量和性能的扩展能力,价格的可承受性,以及重复数据删除和压缩功能。包括Cleversafe公司在内的多家存储供应商,也被证实能够与各种备份软件供应商的产品兼容,如赛门铁克、Veeam公司、CommVault公司和Unitrends公司。

虽然文件服务器整合是典型的NAS使用案例,将NAS协议纳入多个对象存储解决方案,结合一些文件系统供应商利用擦除编码技术进行数据保护的事实,使得在最近几年间,NAS与对象之间的界线已经变得模糊了。一些供应商提供了特定的功能以服务于传统NAS工作负载,例如部署家庭和文件共享。

对象存储具备跨多个IT环境服务大量不断增加的使用案例的可能性。虽然该技术在占据存储市场的主导地位之前,仍然尚有很长的一段路要走,但目前多个行业的趋势是有利于对象存储的发展的。而在不太遥远的未来,存储将不再被诸如光纤通道或NAS等协议来定义,甚至被定义为块和文件是可能的。随着对象存储和固态的组合创新,未来的存储可能会转移到划分为低延迟的事务存储和海量内容库。如果这样的转变发生,对象存储可能会以能力平台的选择方式出现,提供了一个具备高度可扩展性和企业负担得起的存储基础,以支持各种各样的工作负载。

更全面的真相

无论是我们个人或企业组织的专业用途,现如今的我们已经对数据变得“贪得无厌”了。而随着硬盘驱动容量能力的不断增加,现有的存储架构已经突破了其过去的极限。对象存储提供了一种优越的方法在高容量点来保护和规模化数据存储。而随着诸如企业内部部署云存储、物联网和大数据分析等新的趋势的兴起,对于对象存储能力的需求将有可能继续增加。考察该问题的最简单的方法是:以目前的增长率,一家典型的企业组织内所存储的内容终将达到其以传统的手段所无法再被保护的地步。传统的外部存储解决方案,旨在整合数据存储以实现更容易管理,将无法跟上数据增长的步伐,并将使自己成为孤岛。由此产生的孤立的数据池将不仅是更难以管理和保护,但也更难以利用和分析。即使企业组织在今天能够使用,但一个引爆点很可能在地平线上的某处。当到达临界点时,一个潜在的痛苦的迁移事件会发生。在早期,您企业可以过渡到一个架构,可以更好的规模化。有了恰当的架构,以前的单纯地保持发展速度的负担被释放,IT资源可以更多地被用于专注于商业价值的增加。在这个不断变化的世界中,企业组织一直在寻找利用数据,以找到竞争优势。 消除基础设施规模化缩放的负担,进而转移企业IT的工作重点,以最大限度地提高数据的价值将是领先和落后企业之间最大的差异。

关键字:存储系统���路径

本文摘自:机房360

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^