当前位置:云计算企业动态 → 正文

破解数据暴涨下的三大存储挑战 亚马逊云科技加速云端存储服务创新

责任编辑:shjiaz 作者:查士加 |来源:企业网D1Net  2022-07-18 09:15:48 本文摘自:企业网D1Net

伴随数字化转型升级和新技术的普及应用,数据成为创新应用的基础和驱动力,与此同时全球数据量每两年以翻倍的速度增长,预计到2025年,企业数据会在现有的基础上增长到3倍,87%的企业数据会存储在公8有云上,海量数据的存储成为信息产业的新挑战。如何存储庞大的数据,是企业和云厂商面临的首要问题。

在近日举办的亚马逊云科技存储服务媒体沟通会上,亚马逊云科技宣布加速云端存储服务创新,通过智能分层、专门构建以及统一数据保护三大层面,帮助企业进一步应对海量数据上云面临的诸多存储挑战,重塑云中数据活力。

数据爆涨带来三大存储挑战

亚马逊云科技大中华区产品部总经理陈晓建在主题演讲中提到:“数据的爆发性增长,尤其是云上的数据增长已经是新常态,数据增长也会带来诸多挑战。”

一是敏捷与成本,如何应对海量数据增长所带来的成本急速上升,与数据存储服务敏捷性能之间根深蒂固的矛盾。

二是多样化需求,如何设计不同的存储服务满足不同业务的需求。

三是数据保护,数据安全与合规问题也是企业考虑的重中之重。

为破解上述挑战,重塑云中数据活力,亚马逊云科技仅在2021年就发布了130多项存储新服务和功能特性,如今,其存储服务已经全面覆盖了对象存储、块存储、文件存储、数据备份、数据容灾、以及数据传输与边缘处理各个方面,客户可根据自身需求灵活选择,在云端开展业务创新。

亚马逊云科技大中华区产品部总经理 陈晓建

亚马逊云科技存储服务的持续创新

一、智能分层——成本与敏捷的自动平衡

为平衡敏捷与成本之间的矛盾,亚马逊云科技就存储服务的成本与敏捷性开展持续创新。以Amazon S3这一经典的对象存储产品为例,从2006至2022年的16年间,整个存储成本降低了7倍。

2021年12月,借助于更智能的存储分层技术,亚马逊云科技将全球九大可用区域的两款主要产品Amazon S3标准非频繁访问层(Amazon S3 Standard-Infrequent Access)和Amazon S3单区非频繁访问层(Amazon S3 One Zone-Infrequent Access)的存储价格降低了31%,可见降低用户的存储成本一直是其努力的重要方向。

根据数据被使用的不同频率,可以简单把数据分为热、温、冷、冻四个层次,而亚马逊云科技已开发了8层存储层级,用户可以根据自己的数据类型、需要的读写性能、可接受的成本,选择合适的存储层级应对业务需求。

为满足医疗影像数据这类实时性高、数据很大、访问频率低的数据存储需求,亚马逊云科技在几个月前推出Amazon S3 Glacier Instant Retrieval即时检索归档存储,与普通归档存储产品不同的是,采用这款产品用户数的取回速度达到毫秒级,可以把冷数据当成热数据来处理,让音频视频、手机相册、日志归档、影像资料等数据以低成本实现归档数据的快速检索。

数据的冷热并非是一成不变的,如果业务要上线新功能,数据冷热发生较大变化,存储逻辑势必要大改。为了满足这类需求,亚马逊云科技于2018年推出Amazon S3智能分层功能,专门面向未知访问模式的海量数据而设计。据悉,Amazon S3可以根据数据的实际访问智能判断合适的存储层级,自动在不同层级的存储之间移动数据,既降低了用户运营的复杂性,又将运营成本大幅降低,至多可节省68%的成本。据悉,智能分层功能现已拓展到了共享文件存储Amazon EFS。Amazon EFS提供四种存储等级,可节省高达72%的存储成本。

Nagarro(奈佳罗)是一家从事软件服务和咨询的公司。Nagarro中国区的首席架构师郭亮在会上提到:构建数据资产SaaS平台面临存储成本、传输效率、容量预测、可靠性和灾备、数据安全五大方面的挑战,Nagarro通过使用Amazon S3智能分层功能,解决了构建数字资产SaaS平台过程中的诸多挑战,覆盖了客户所需存储的全部类型,支持全球多区域部署确保了数据的持久性和可靠性;无需关心数据如何分层存储,让业务人员能够更专注于应用,同时还节省了70%的存储费用,实现成本和敏捷的自动平衡。目前,Nagarro的数字资产SaaS平台已服务于5,000多家企业级用户。

此外,结合Amazon S3,Nagarro还通过使用亚马逊云科技AI服务,智能挖掘数据价值。Amazon S3的海量存储为Nagarro未来打造数据湖仓奠定了基础,郭亮透露:“我们数字资产产品未来的方向是CaaS(内容即服务),Nagarro会继续加深和亚马逊云科技的合作,进一步深度挖掘数据潜力。我们也希望亚马逊云科技能推出更多更好的功能,为我们节省成本,提供更好的服务。”

二、专门构建——满足多样化的上云需求

如今,数据类型多种多样,既有云原生应用产生的数据,也有传统应用产生的数据,而这两类应用所需要的云存储服务也不尽相同。

针对云原生现代化应用,企业客户可以使用云原生Serverless文件存储Amazon EFS,获得简单、无管理成本、海量弹性扩展、高度集成、自动优化的体验。

针对ERP等传统的企业级应用,如果应用上云时需要按照云存储产品的接口重新改写代码,没有企业用户愿意这样做,保证兼容性对企业和云厂商而言都是非常重要的工作。为此,针对ERP/CRM、数据库、自动驾驶、混合云等云端企业级应用,亚马逊云科技提供了Amazon EBS IO2 BX和Amazon FSx系列服务,前者为运行在线下数据中心SAN存储上的应用而设计,而后者是为各类企业应用而专门构建的共享文件存储。

考虑到不同行业、各类不同的业务场景对共享存储的不同要求,亚马逊云科技将企业应用分为四个类别:一是以Windows为主的应用,底层服务要完全满足Windows的环境,包括ACL文件访问控制权限,以及Active Directory兼容等;二是高性能计算,对整个存储的性能和吞吐率有着非常高的要求;三是各类企业应用,上云时必须完美的兼容和支持之前的功能;四是大数据环境,往往需要高吞吐、低延时等技术支持。

为满足以上四类场景的不同需求,亚马逊云科技专门构建了一个场景化应用FSx家族,目前可提供四种Amazon FSx产品:一是Amazon FSx for windows;二是为支持高性能计算特别设计的Amazon FSx for Lustre;三是全方位、全托管的云上存储Amazon FSx for NetApp ONTAP,可支持各类企业应用;四是面向大数据分析Linux工作负载而设计的Amazon FSx for OpenZFS,提供高达1百万IOPS ,而延迟仅有几百微秒,非常适合运行机器学习、音视频实时处理等数据密集型的工作负载。

陈晓建提到:全球领先的风电智能化服务商金风慧能采用亚马逊云科技的HPC集群和Amazon FSx for Lustre高性能共享文件系统,在一周内完成气象预测系统搭建,整个系统让金风慧能的气象数据计算时间缩短了1/3, 每年节约了70%的成本,并且大大简化了运维过程。

ONTAP是联想凌拓母公司之一NetApp的文件存储系统,联想凌拓产品管理与营销高级总监林佑声在会上提到:“联想凌拓专注于智能数据管理领域,帮助客户最大限度地挖掘数据价值。ONTAP及其数据管理功能在许多关键工作任务中发挥着不可或缺的作用。我们通过Amazon FSx for NetApp ONTAP,将NetApp广受信赖的文件存储和数据管理能力带到了亚马逊云科技上。由亚马逊云科技支持、运行和销售的全面托管服务,让客户能够轻松地将ONTAP的强大功能部署于几乎所有应用程序。”

全球领先的物流提供商嘉里物流采用Amazon FSx for NetApp ONTAP公有云方案, 通过系统自带的SnapMirror功能,快速把线下数据中心NetApp ONTAP的数据迁移到亚马逊云科技上,在云上,利用Amazon FSx for ONTAP Snapshots 做跨区域灾备,实现关键数据的快速备份保护,并利用亚马逊云科技实现存储空间和备份空间的按需使用,随时扩容;同时也免除了复杂的管理开销,方便的实现了业务数据在各个国家不同部门之间的安全快速共享,提升了嘉里物流业务系统的安全性和可靠性。

三、统一数据保护——一站式数据备份服务

为了保障业务的连续性以及数据安全,企业对数据备份的重视程度越来越高,然而很多数据备份系统十分复杂,大多数企业都面临着管理复杂、安全合规以及成本高昂三大挑战。

为有效解决以上三大挑战,亚马逊云科技将Amazon Backup扩展至Amazon S3和VMware工作负载,让客户使用统一的数据保护策略,即可配置、管理和监督数据的备份与恢复。Amazon Backup 一站式备份服务现已支持15种以上的数据源备份,包括全部的存储服务(块、文件、对象),以及各类数据库,计算和存储网关。

为降低备份管理的复杂度,Amazon Backup一站式备份服务提供图形化管理控制台,帮助用户简化备份管理,降低了整体运维的成本,同时用户还可以通过预设的备份策略进行自动化备份,从而大幅降低手动备份可能带来的诸多问题。

在安全合规方面,Amazon Backup深度集成了亚马逊云科技自带的KMS数据加密服务,备份操作权限和数据访问权限都可以通过IAM进行细颗粒度监控,可满足个人信息安全规范、等保等安全合规要求。此外,利用Amazon Backup的集中数据备份,以及备份库锁定功能,可有效防止勒索病毒的攻击,将生产数据备份到备份库,设置备份库锁定功能,病毒或恶意操作都无法改变或者删除备份库中的数据。

据悉,澳大利亚领先的独立石油和天然气生产商Santos起初将数据放在块存储服务Amazon EBS上,通过Amazon Lambda脚本做手动备份,但是随着业务的发展,数据量激增,手动备份的时间越来越长,整个备份的成功率只有80%左右。经过再三考量,Santos选择Amazon Backup,通过自动设定备份策略在后台由系统进行备份,极大减轻了IT人员的工作负担,不仅备份时间减少了80%,相关运营成本也降低了50%,最重要的是,备份任务的成功率从 80% 提高到 100%,完全满足了企业数据的合规需求。

助力全球各行业用户开展业务创新

陈晓建提到:“亚马逊云科技存储服务已经成为IT行业的‘水’和‘电’,让各行各业的业务都能从存储服务中获得价值。”据悉,亚马逊云科技存储服务覆盖制造业、化工、媒体、社交网站、视频、汽车、航空航天等行业,广泛服务于全球各地、各个行业、各个规模的企业客户,同时为国内嘉里物流、金风慧能、苏泊尔、OPPO、首汽约车,中集集团、金蝶,桐树基因、我爱我家等客户提供广泛存储服务。

x 破解数据暴涨下的三大存储挑战 亚马逊云科技加速云端存储服务创新 扫一扫
分享本文到朋友圈
当前位置:云计算企业动态 → 正文

破解数据暴涨下的三大存储挑战 亚马逊云科技加速云端存储服务创新

责任编辑:shjiaz 作者:查士加 |来源:企业网D1Net  2022-07-18 09:15:48 本文摘自:企业网D1Net

伴随数字化转型升级和新技术的普及应用,数据成为创新应用的基础和驱动力,与此同时全球数据量每两年以翻倍的速度增长,预计到2025年,企业数据会在现有的基础上增长到3倍,87%的企业数据会存储在公8有云上,海量数据的存储成为信息产业的新挑战。如何存储庞大的数据,是企业和云厂商面临的首要问题。

在近日举办的亚马逊云科技存储服务媒体沟通会上,亚马逊云科技宣布加速云端存储服务创新,通过智能分层、专门构建以及统一数据保护三大层面,帮助企业进一步应对海量数据上云面临的诸多存储挑战,重塑云中数据活力。

数据爆涨带来三大存储挑战

亚马逊云科技大中华区产品部总经理陈晓建在主题演讲中提到:“数据的爆发性增长,尤其是云上的数据增长已经是新常态,数据增长也会带来诸多挑战。”

一是敏捷与成本,如何应对海量数据增长所带来的成本急速上升,与数据存储服务敏捷性能之间根深蒂固的矛盾。

二是多样化需求,如何设计不同的存储服务满足不同业务的需求。

三是数据保护,数据安全与合规问题也是企业考虑的重中之重。

为破解上述挑战,重塑云中数据活力,亚马逊云科技仅在2021年就发布了130多项存储新服务和功能特性,如今,其存储服务已经全面覆盖了对象存储、块存储、文件存储、数据备份、数据容灾、以及数据传输与边缘处理各个方面,客户可根据自身需求灵活选择,在云端开展业务创新。

亚马逊云科技大中华区产品部总经理 陈晓建

亚马逊云科技存储服务的持续创新

一、智能分层——成本与敏捷的自动平衡

为平衡敏捷与成本之间的矛盾,亚马逊云科技就存储服务的成本与敏捷性开展持续创新。以Amazon S3这一经典的对象存储产品为例,从2006至2022年的16年间,整个存储成本降低了7倍。

2021年12月,借助于更智能的存储分层技术,亚马逊云科技将全球九大可用区域的两款主要产品Amazon S3标准非频繁访问层(Amazon S3 Standard-Infrequent Access)和Amazon S3单区非频繁访问层(Amazon S3 One Zone-Infrequent Access)的存储价格降低了31%,可见降低用户的存储成本一直是其努力的重要方向。

根据数据被使用的不同频率,可以简单把数据分为热、温、冷、冻四个层次,而亚马逊云科技已开发了8层存储层级,用户可以根据自己的数据类型、需要的读写性能、可接受的成本,选择合适的存储层级应对业务需求。

为满足医疗影像数据这类实时性高、数据很大、访问频率低的数据存储需求,亚马逊云科技在几个月前推出Amazon S3 Glacier Instant Retrieval即时检索归档存储,与普通归档存储产品不同的是,采用这款产品用户数的取回速度达到毫秒级,可以把冷数据当成热数据来处理,让音频视频、手机相册、日志归档、影像资料等数据以低成本实现归档数据的快速检索。

数据的冷热并非是一成不变的,如果业务要上线新功能,数据冷热发生较大变化,存储逻辑势必要大改。为了满足这类需求,亚马逊云科技于2018年推出Amazon S3智能分层功能,专门面向未知访问模式的海量数据而设计。据悉,Amazon S3可以根据数据的实际访问智能判断合适的存储层级,自动在不同层级的存储之间移动数据,既降低了用户运营的复杂性,又将运营成本大幅降低,至多可节省68%的成本。据悉,智能分层功能现已拓展到了共享文件存储Amazon EFS。Amazon EFS提供四种存储等级,可节省高达72%的存储成本。

Nagarro(奈佳罗)是一家从事软件服务和咨询的公司。Nagarro中国区的首席架构师郭亮在会上提到:构建数据资产SaaS平台面临存储成本、传输效率、容量预测、可靠性和灾备、数据安全五大方面的挑战,Nagarro通过使用Amazon S3智能分层功能,解决了构建数字资产SaaS平台过程中的诸多挑战,覆盖了客户所需存储的全部类型,支持全球多区域部署确保了数据的持久性和可靠性;无需关心数据如何分层存储,让业务人员能够更专注于应用,同时还节省了70%的存储费用,实现成本和敏捷的自动平衡。目前,Nagarro的数字资产SaaS平台已服务于5,000多家企业级用户。

此外,结合Amazon S3,Nagarro还通过使用亚马逊云科技AI服务,智能挖掘数据价值。Amazon S3的海量存储为Nagarro未来打造数据湖仓奠定了基础,郭亮透露:“我们数字资产产品未来的方向是CaaS(内容即服务),Nagarro会继续加深和亚马逊云科技的合作,进一步深度挖掘数据潜力。我们也希望亚马逊云科技能推出更多更好的功能,为我们节省成本,提供更好的服务。”

二、专门构建——满足多样化的上云需求

如今,数据类型多种多样,既有云原生应用产生的数据,也有传统应用产生的数据,而这两类应用所需要的云存储服务也不尽相同。

针对云原生现代化应用,企业客户可以使用云原生Serverless文件存储Amazon EFS,获得简单、无管理成本、海量弹性扩展、高度集成、自动优化的体验。

针对ERP等传统的企业级应用,如果应用上云时需要按照云存储产品的接口重新改写代码,没有企业用户愿意这样做,保证兼容性对企业和云厂商而言都是非常重要的工作。为此,针对ERP/CRM、数据库、自动驾驶、混合云等云端企业级应用,亚马逊云科技提供了Amazon EBS IO2 BX和Amazon FSx系列服务,前者为运行在线下数据中心SAN存储上的应用而设计,而后者是为各类企业应用而专门构建的共享文件存储。

考虑到不同行业、各类不同的业务场景对共享存储的不同要求,亚马逊云科技将企业应用分为四个类别:一是以Windows为主的应用,底层服务要完全满足Windows的环境,包括ACL文件访问控制权限,以及Active Directory兼容等;二是高性能计算,对整个存储的性能和吞吐率有着非常高的要求;三是各类企业应用,上云时必须完美的兼容和支持之前的功能;四是大数据环境,往往需要高吞吐、低延时等技术支持。

为满足以上四类场景的不同需求,亚马逊云科技专门构建了一个场景化应用FSx家族,目前可提供四种Amazon FSx产品:一是Amazon FSx for windows;二是为支持高性能计算特别设计的Amazon FSx for Lustre;三是全方位、全托管的云上存储Amazon FSx for NetApp ONTAP,可支持各类企业应用;四是面向大数据分析Linux工作负载而设计的Amazon FSx for OpenZFS,提供高达1百万IOPS ,而延迟仅有几百微秒,非常适合运行机器学习、音视频实时处理等数据密集型的工作负载。

陈晓建提到:全球领先的风电智能化服务商金风慧能采用亚马逊云科技的HPC集群和Amazon FSx for Lustre高性能共享文件系统,在一周内完成气象预测系统搭建,整个系统让金风慧能的气象数据计算时间缩短了1/3, 每年节约了70%的成本,并且大大简化了运维过程。

ONTAP是联想凌拓母公司之一NetApp的文件存储系统,联想凌拓产品管理与营销高级总监林佑声在会上提到:“联想凌拓专注于智能数据管理领域,帮助客户最大限度地挖掘数据价值。ONTAP及其数据管理功能在许多关键工作任务中发挥着不可或缺的作用。我们通过Amazon FSx for NetApp ONTAP,将NetApp广受信赖的文件存储和数据管理能力带到了亚马逊云科技上。由亚马逊云科技支持、运行和销售的全面托管服务,让客户能够轻松地将ONTAP的强大功能部署于几乎所有应用程序。”

全球领先的物流提供商嘉里物流采用Amazon FSx for NetApp ONTAP公有云方案, 通过系统自带的SnapMirror功能,快速把线下数据中心NetApp ONTAP的数据迁移到亚马逊云科技上,在云上,利用Amazon FSx for ONTAP Snapshots 做跨区域灾备,实现关键数据的快速备份保护,并利用亚马逊云科技实现存储空间和备份空间的按需使用,随时扩容;同时也免除了复杂的管理开销,方便的实现了业务数据在各个国家不同部门之间的安全快速共享,提升了嘉里物流业务系统的安全性和可靠性。

三、统一数据保护——一站式数据备份服务

为了保障业务的连续性以及数据安全,企业对数据备份的重视程度越来越高,然而很多数据备份系统十分复杂,大多数企业都面临着管理复杂、安全合规以及成本高昂三大挑战。

为有效解决以上三大挑战,亚马逊云科技将Amazon Backup扩展至Amazon S3和VMware工作负载,让客户使用统一的数据保护策略,即可配置、管理和监督数据的备份与恢复。Amazon Backup 一站式备份服务现已支持15种以上的数据源备份,包括全部的存储服务(块、文件、对象),以及各类数据库,计算和存储网关。

为降低备份管理的复杂度,Amazon Backup一站式备份服务提供图形化管理控制台,帮助用户简化备份管理,降低了整体运维的成本,同时用户还可以通过预设的备份策略进行自动化备份,从而大幅降低手动备份可能带来的诸多问题。

在安全合规方面,Amazon Backup深度集成了亚马逊云科技自带的KMS数据加密服务,备份操作权限和数据访问权限都可以通过IAM进行细颗粒度监控,可满足个人信息安全规范、等保等安全合规要求。此外,利用Amazon Backup的集中数据备份,以及备份库锁定功能,可有效防止勒索病毒的攻击,将生产数据备份到备份库,设置备份库锁定功能,病毒或恶意操作都无法改变或者删除备份库中的数据。

据悉,澳大利亚领先的独立石油和天然气生产商Santos起初将数据放在块存储服务Amazon EBS上,通过Amazon Lambda脚本做手动备份,但是随着业务的发展,数据量激增,手动备份的时间越来越长,整个备份的成功率只有80%左右。经过再三考量,Santos选择Amazon Backup,通过自动设定备份策略在后台由系统进行备份,极大减轻了IT人员的工作负担,不仅备份时间减少了80%,相关运营成本也降低了50%,最重要的是,备份任务的成功率从 80% 提高到 100%,完全满足了企业数据的合规需求。

助力全球各行业用户开展业务创新

陈晓建提到:“亚马逊云科技存储服务已经成为IT行业的‘水’和‘电’,让各行各业的业务都能从存储服务中获得价值。”据悉,亚马逊云科技存储服务覆盖制造业、化工、媒体、社交网站、视频、汽车、航空航天等行业,广泛服务于全球各地、各个行业、各个规模的企业客户,同时为国内嘉里物流、金风慧能、苏泊尔、OPPO、首汽约车,中集集团、金蝶,桐树基因、我爱我家等客户提供广泛存储服务。

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^