当前位置:CIO技术探讨 → 正文

云端分析的关键挑战以及克服方法

责任编辑:cres 作者:Bob Violino |来源:企业网D1Net  2021-04-20 10:24:23 原创文章 企业网D1Net

像许多其他的IT功能一样,数据分析也正在向云端转移。但与其他基于云的努力一样,这既带来了机遇,也带来了挑战。
 
Gartner所列举的2021年十大数据和分析技术的趋势之一是使用开放的、容器化的分析架构,使分析功能更加具备可组合性。该研究公司表示,这使企业能够快速的创建灵活、智能的应用程序,帮助数据分析师将见解与行动联系起来。
 
“随着数据重心开始向云端转移,可组合的数据和分析将成为构建由云市场、低代码和无代码解决方案所支持的分析应用程序的更灵活的方式,”Gartner指出。
 
云技术可以将公司的数据分析提升到一个新的水平。
 
“云实现了我们高计算工作负载所需的可扩展性,”创意服务机构Loveurope and Partners (LEAP)的系统和技术总监Aidan Taub表示。
 
“随着世界的数字化进程不断发展,组织需要能够以指数级的规模构建文件数据,”Taub说。“当你拥有大量繁重的非结构化数据时,比如我们在LEAP所处理的视频、图像和音频,你永远不会知道下一项工作可能有多大。传统的分析无法像云计算那样进行扩展。”
 
然而,与传统的内部批量分析方法相比,在云端的分析需要不同的方法、技能、架构和经济性。随着所有的这些变化的出现,肯定会有一些障碍需要克服。
 
以下是组织可能面临的一些挑战,以及当他们转向在云中执行数据分析时可以解决这些挑战的方法。
 
害怕失去控制和未知
 
数据分析对企业来说具有很高的战略意义,对于习惯于完全控制此类资源的技术领导者来说,将分析流程迁移到云的想法可能是令人生畏的。
 
“我们看到客户面临的关键挑战之一是组织惯性和对失去控制的恐惧,”德勤咨询公司高级分析支持负责人Anthony Abbattista说,他曾与众多IT高管合作,致力于转向基于云的分析。
 
“IT和首席信息官的传统角色一直是保护数据资产并成为其监护人,”Abbattista说。对一些人来说,云计算挑战了现状,因为它可以更快地推向市场;例如,会有更多有限的产品选择和评估,点击式供应,不需要大量的增量资本支出,等等,他说。
 
“首席数据官和首席信息官需要共同努力来审查和适应云平台,这样他们就可以至少像竞争对手一样快速地获得业务价值和竞争优势了,”Abbattista说。“这可能需要采用市场上可接受的、经过验证的新兴模型,而不是从头开始设计/构建一个分析环境。”
 
保险提供商世界公共机构雇员保险公司(WAEPA)的首席信息官Brandon Jones说,由于现有分析流程的不灵活性,许多组织在探索新的分析能力方面进展缓慢。“这导致了尝试新能力和推动创新的激励和主动性有所减少,”他说。
 
为了克服这一点,WAEPA的IT部门使用了一个支持云的沙盒环境来建立一个反复试验的构思过程,使用了来自关键利益相关者的关键性能指标,并创建了一个原型优先的分析环境。
 
做出转变
 
除了要克服感知到的失控之外,IT领导者还需要处理向云的实际迁移,并确保服务不会中断。
 
“这是令人生畏的。对于许多IT领导者来说,他们最难做的事情就是在云计算的道路上进行导航,”Taub说。“但如果他们选择了正确的解决方案,情况就不必如此了。”
 
将数据分析迁移到云端时,很多情况下IT领导者都是从提升和迁移的方法开始,将现有的操作移植到云端的,Taub说。“通常,这意味着需要重新配置应用程序和系统以重新构建云的架构,”他补充说。
 
作为2019年对其传统数据基础架构进行全面改革的一部分,LEAP使用了Qumulo的分析平台来将大量非结构化文件数据迁移到云中。LEAP的文件数据以前是分布在一系列不同的遗留存储系统中的,对于数据管理员来说,需要在工作流的不同点管理和定位数据是非常耗费人力的。
 
“幸运的是,Qumulo帮助我们迁移了所有的数据,而不需要为云重构应用程序,”Taub说。“我建议找到一个工具来使跨多个环境的数据复制和提取变得简单。”
 
这一转变使得该公司能够优化其数据分析,并将性能提高了240倍。通过分析,公司可以了解连接了多少个客户端,谁使用了最多的带宽,以及系统在哪里快速增长。
 
“我们创造性工作流程的成功在很大程度上依赖于我们在云中访问数据分析的能力,”Taub说。“我们有一个由数百名远程工作的艺术家、设计师和运动图形编辑组成的全球网络,因此我们需要利用云来高效、安全地协作创意项目。如果没有基于云的数据分析,我们的生产过程就将陷入停顿。”
 
获得正确的技能
 
成功的IT努力似乎总是归结为拥有必要的技能。将分析迁移到云端也不例外。
 
德勤咨询公司看到,对技能的需求也开始发生转变。“云分析环境需要更多的‘全栈’思维,而不是专家所支持的传统分析/商业智能技术栈的每一部分,”Abbattista说。
 
“为了应对这一挑战,支持这些新时代环境的技术团队需要了解云平台上的产品,采用标准模式,然后随着新技术、工具和产品的出现而发展,”他补充道。
 
Josh Jewett表示,选择在云环境中构建自己的分析平台或依赖供应商系统的公司需要具备特定的内部技术专长。Josh Jewett最近辞去了零售商Dollar Tree首席信息官的职务。
 
这些技能包括了创建、维护和从数据湖中获得分析的技能,以及如何最好地利用云本地或第三方人工智能和机器学习的能力,以便从环境中获得更多的见解,Jewett说。
 
“这些缺点可以通过有经验的合作伙伴和顾问来克服,”Jewett说。理想的安排是从这些外部专家那里获得经验,这样一旦合同到期,公司就拥有了知识和专业技能,可以根据需要继续发展基于云的分析,Josh Jewett说。
 
在Dollar Tree任职期间,Jewett帮助公司实现了许多系统的现代化,包括数据分析。“像许多其他零售商一样,我的公司也采取了混合策略,”他说。我们部署了软件即服务平台来为关键业务功能提供特定的分析能力。
 
“这方面的例子包括了用于库存生产率、定价优化、损失预防和缓解、人才获取和绩效管理等方面的工具,”Jewett说。该公司还在云环境中开发了一些自己的分析应用程序,以利用云的灵活性,可扩展性和快速的市场优势。
 
保护数据
 
无论云服务提供商如何强调其基础设施的安全性,许多客户都会一直关注他们的数据在云中的安全性。
 
这在分析方面尤其是如此,因为从数据分析中获得的洞察力可以成为竞争优势。人们还会担心暴露客户信息等高度敏感的数据。
 
“当你把公司的宝贵数据从私人数据中心转移出去的时候,安全性是最重要的”,Taub说。“LEAP利用了包括自由职业人才在内的全球员工网络,这意味着我们必须确保我们的数据在内部和外部用户访问的云中能够得到保护。”
 
最大的安全问题之一是控制对云应用程序和数据的访问。
 
“人们可以轻松使用云应用程序也带来了挑战,其中的许多挑战源于这样一个事实,即人们可能会在无意中造成安全、隐私和经济方面的担忧,”软件提供商Precisely的首席数据和信息官Amy O'Connor表示。
 
“在云账户之间切换以及安全地存储和交换密钥就成为了一个安全问题,”O'Connor说。“需要围绕数据的适当使用进行强有力的治理。这在云中比在本地更为紧迫,因为人们很容易就会复制数据并以未经授权的方式使用它。”
 
你需要精确地拥有混合的多云模型,利用多个云供应商来满足其计算和存储需求。“我们基于云的数据湖是我们存储大量数据的地方,”O'Connor说。“如果数据来源于云,我们就从那里开始处理。如果我们有突发性的分析需求,我们就会利用云。如果我们需要快速的开始分析处理,我们就会从云开始。当我们需要处理非结构化的数据以及使用包括机器学习在内的高级分析处理时,我们就会利用我们基于云的数据湖。”
 
避开云计算消费陷阱
 
虽然使用云服务可以帮助组织避免内部存储系统等成本,但费用也可能会很快失控或超出预期。
 
“预算始终会是一个问题,”Taub说。“一刀切的数据架构就可能是一个IT支出陷阱。在决定将分析迁移到云时,企业通常会感到压力,因为不得不支付高昂的前期成本,并签订一份不符合其当前需求的长期合同。”
 
关键是找到一个不强制云锁定的提供商。“在评估云平台时,不要害怕去寻找一个合适的解决方案来满足你当前的分析需求,并根据你未来的需求进行灵活扩展,”Taub说。
 
虽然在云中很容易上手,但也很容易将错误类型的工作转移到云中,并在不再需要云应用程序和资源后让它们继续运行,O'Connor说。
 
控制云成本的两个最有效的方法是控制云帐户的创建方式,并对谁在消耗云资源完全透明,O'Connor说。
 
“为了解决第一个问题,我们需要将每个提供商的所有云帐户迁移到一个‘主’帐户中,”O'Connor说。“我们集中了谁可以创建新的云帐户。需要新的云资源的个人和团体需要经过正式的申请流程。申请必须包括业务理由、部门预算信息和业务所有者。“
 
至于透明度,每当申请被批准时,任何新的云帐户都是由中心团队在主帐户下创建的。“该治理政策将允许我们对云提供商向我们收取的费用提供透明度,”O'Connor说。“每个帐户都是用申请中所提供的信息创建的,然后我们就可以使用云提供商的门户或控制台来监控与每个初始请求所匹配的支出。”
 
可以精确地利用内部退款模型的支出信息,将云成本累积到请求者的预算当中。IT能够使用这些方法“来推动云成本的问责制,并确保我们能够出于正确的业务原因来进行适当的支出”,O'Connor说。
 
版权声明:本文为企业网D1Net编译,转载需注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

关键字:CIO云端分析

原创文章 企业网D1Net

x 云端分析的关键挑战以及克服方法 扫一扫
分享本文到朋友圈
当前位置:CIO技术探讨 → 正文

云端分析的关键挑战以及克服方法

责任编辑:cres 作者:Bob Violino |来源:企业网D1Net  2021-04-20 10:24:23 原创文章 企业网D1Net

像许多其他的IT功能一样,数据分析也正在向云端转移。但与其他基于云的努力一样,这既带来了机遇,也带来了挑战。
 
Gartner所列举的2021年十大数据和分析技术的趋势之一是使用开放的、容器化的分析架构,使分析功能更加具备可组合性。该研究公司表示,这使企业能够快速的创建灵活、智能的应用程序,帮助数据分析师将见解与行动联系起来。
 
“随着数据重心开始向云端转移,可组合的数据和分析将成为构建由云市场、低代码和无代码解决方案所支持的分析应用程序的更灵活的方式,”Gartner指出。
 
云技术可以将公司的数据分析提升到一个新的水平。
 
“云实现了我们高计算工作负载所需的可扩展性,”创意服务机构Loveurope and Partners (LEAP)的系统和技术总监Aidan Taub表示。
 
“随着世界的数字化进程不断发展,组织需要能够以指数级的规模构建文件数据,”Taub说。“当你拥有大量繁重的非结构化数据时,比如我们在LEAP所处理的视频、图像和音频,你永远不会知道下一项工作可能有多大。传统的分析无法像云计算那样进行扩展。”
 
然而,与传统的内部批量分析方法相比,在云端的分析需要不同的方法、技能、架构和经济性。随着所有的这些变化的出现,肯定会有一些障碍需要克服。
 
以下是组织可能面临的一些挑战,以及当他们转向在云中执行数据分析时可以解决这些挑战的方法。
 
害怕失去控制和未知
 
数据分析对企业来说具有很高的战略意义,对于习惯于完全控制此类资源的技术领导者来说,将分析流程迁移到云的想法可能是令人生畏的。
 
“我们看到客户面临的关键挑战之一是组织惯性和对失去控制的恐惧,”德勤咨询公司高级分析支持负责人Anthony Abbattista说,他曾与众多IT高管合作,致力于转向基于云的分析。
 
“IT和首席信息官的传统角色一直是保护数据资产并成为其监护人,”Abbattista说。对一些人来说,云计算挑战了现状,因为它可以更快地推向市场;例如,会有更多有限的产品选择和评估,点击式供应,不需要大量的增量资本支出,等等,他说。
 
“首席数据官和首席信息官需要共同努力来审查和适应云平台,这样他们就可以至少像竞争对手一样快速地获得业务价值和竞争优势了,”Abbattista说。“这可能需要采用市场上可接受的、经过验证的新兴模型,而不是从头开始设计/构建一个分析环境。”
 
保险提供商世界公共机构雇员保险公司(WAEPA)的首席信息官Brandon Jones说,由于现有分析流程的不灵活性,许多组织在探索新的分析能力方面进展缓慢。“这导致了尝试新能力和推动创新的激励和主动性有所减少,”他说。
 
为了克服这一点,WAEPA的IT部门使用了一个支持云的沙盒环境来建立一个反复试验的构思过程,使用了来自关键利益相关者的关键性能指标,并创建了一个原型优先的分析环境。
 
做出转变
 
除了要克服感知到的失控之外,IT领导者还需要处理向云的实际迁移,并确保服务不会中断。
 
“这是令人生畏的。对于许多IT领导者来说,他们最难做的事情就是在云计算的道路上进行导航,”Taub说。“但如果他们选择了正确的解决方案,情况就不必如此了。”
 
将数据分析迁移到云端时,很多情况下IT领导者都是从提升和迁移的方法开始,将现有的操作移植到云端的,Taub说。“通常,这意味着需要重新配置应用程序和系统以重新构建云的架构,”他补充说。
 
作为2019年对其传统数据基础架构进行全面改革的一部分,LEAP使用了Qumulo的分析平台来将大量非结构化文件数据迁移到云中。LEAP的文件数据以前是分布在一系列不同的遗留存储系统中的,对于数据管理员来说,需要在工作流的不同点管理和定位数据是非常耗费人力的。
 
“幸运的是,Qumulo帮助我们迁移了所有的数据,而不需要为云重构应用程序,”Taub说。“我建议找到一个工具来使跨多个环境的数据复制和提取变得简单。”
 
这一转变使得该公司能够优化其数据分析,并将性能提高了240倍。通过分析,公司可以了解连接了多少个客户端,谁使用了最多的带宽,以及系统在哪里快速增长。
 
“我们创造性工作流程的成功在很大程度上依赖于我们在云中访问数据分析的能力,”Taub说。“我们有一个由数百名远程工作的艺术家、设计师和运动图形编辑组成的全球网络,因此我们需要利用云来高效、安全地协作创意项目。如果没有基于云的数据分析,我们的生产过程就将陷入停顿。”
 
获得正确的技能
 
成功的IT努力似乎总是归结为拥有必要的技能。将分析迁移到云端也不例外。
 
德勤咨询公司看到,对技能的需求也开始发生转变。“云分析环境需要更多的‘全栈’思维,而不是专家所支持的传统分析/商业智能技术栈的每一部分,”Abbattista说。
 
“为了应对这一挑战,支持这些新时代环境的技术团队需要了解云平台上的产品,采用标准模式,然后随着新技术、工具和产品的出现而发展,”他补充道。
 
Josh Jewett表示,选择在云环境中构建自己的分析平台或依赖供应商系统的公司需要具备特定的内部技术专长。Josh Jewett最近辞去了零售商Dollar Tree首席信息官的职务。
 
这些技能包括了创建、维护和从数据湖中获得分析的技能,以及如何最好地利用云本地或第三方人工智能和机器学习的能力,以便从环境中获得更多的见解,Jewett说。
 
“这些缺点可以通过有经验的合作伙伴和顾问来克服,”Jewett说。理想的安排是从这些外部专家那里获得经验,这样一旦合同到期,公司就拥有了知识和专业技能,可以根据需要继续发展基于云的分析,Josh Jewett说。
 
在Dollar Tree任职期间,Jewett帮助公司实现了许多系统的现代化,包括数据分析。“像许多其他零售商一样,我的公司也采取了混合策略,”他说。我们部署了软件即服务平台来为关键业务功能提供特定的分析能力。
 
“这方面的例子包括了用于库存生产率、定价优化、损失预防和缓解、人才获取和绩效管理等方面的工具,”Jewett说。该公司还在云环境中开发了一些自己的分析应用程序,以利用云的灵活性,可扩展性和快速的市场优势。
 
保护数据
 
无论云服务提供商如何强调其基础设施的安全性,许多客户都会一直关注他们的数据在云中的安全性。
 
这在分析方面尤其是如此,因为从数据分析中获得的洞察力可以成为竞争优势。人们还会担心暴露客户信息等高度敏感的数据。
 
“当你把公司的宝贵数据从私人数据中心转移出去的时候,安全性是最重要的”,Taub说。“LEAP利用了包括自由职业人才在内的全球员工网络,这意味着我们必须确保我们的数据在内部和外部用户访问的云中能够得到保护。”
 
最大的安全问题之一是控制对云应用程序和数据的访问。
 
“人们可以轻松使用云应用程序也带来了挑战,其中的许多挑战源于这样一个事实,即人们可能会在无意中造成安全、隐私和经济方面的担忧,”软件提供商Precisely的首席数据和信息官Amy O'Connor表示。
 
“在云账户之间切换以及安全地存储和交换密钥就成为了一个安全问题,”O'Connor说。“需要围绕数据的适当使用进行强有力的治理。这在云中比在本地更为紧迫,因为人们很容易就会复制数据并以未经授权的方式使用它。”
 
你需要精确地拥有混合的多云模型,利用多个云供应商来满足其计算和存储需求。“我们基于云的数据湖是我们存储大量数据的地方,”O'Connor说。“如果数据来源于云,我们就从那里开始处理。如果我们有突发性的分析需求,我们就会利用云。如果我们需要快速的开始分析处理,我们就会从云开始。当我们需要处理非结构化的数据以及使用包括机器学习在内的高级分析处理时,我们就会利用我们基于云的数据湖。”
 
避开云计算消费陷阱
 
虽然使用云服务可以帮助组织避免内部存储系统等成本,但费用也可能会很快失控或超出预期。
 
“预算始终会是一个问题,”Taub说。“一刀切的数据架构就可能是一个IT支出陷阱。在决定将分析迁移到云时,企业通常会感到压力,因为不得不支付高昂的前期成本,并签订一份不符合其当前需求的长期合同。”
 
关键是找到一个不强制云锁定的提供商。“在评估云平台时,不要害怕去寻找一个合适的解决方案来满足你当前的分析需求,并根据你未来的需求进行灵活扩展,”Taub说。
 
虽然在云中很容易上手,但也很容易将错误类型的工作转移到云中,并在不再需要云应用程序和资源后让它们继续运行,O'Connor说。
 
控制云成本的两个最有效的方法是控制云帐户的创建方式,并对谁在消耗云资源完全透明,O'Connor说。
 
“为了解决第一个问题,我们需要将每个提供商的所有云帐户迁移到一个‘主’帐户中,”O'Connor说。“我们集中了谁可以创建新的云帐户。需要新的云资源的个人和团体需要经过正式的申请流程。申请必须包括业务理由、部门预算信息和业务所有者。“
 
至于透明度,每当申请被批准时,任何新的云帐户都是由中心团队在主帐户下创建的。“该治理政策将允许我们对云提供商向我们收取的费用提供透明度,”O'Connor说。“每个帐户都是用申请中所提供的信息创建的,然后我们就可以使用云提供商的门户或控制台来监控与每个初始请求所匹配的支出。”
 
可以精确地利用内部退款模型的支出信息,将云成本累积到请求者的预算当中。IT能够使用这些方法“来推动云成本的问责制,并确保我们能够出于正确的业务原因来进行适当的支出”,O'Connor说。
 
版权声明:本文为企业网D1Net编译,转载需注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

关键字:CIO云端分析

原创文章 企业网D1Net

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^