包括社交媒体、移动端和云计算在内，分析技术和相关数据技术已成为数字时代核心业务的颠覆者。随着2017年企业开始从数据生成组织转向数据驱动组织，数据和分析已成为许多企业的工作重心。在2018年，这些技术需要开始实现其价值。以下是在未来一年将推动数据分析战略发展的一些方法、岗位角色和关注点。
数据湖需要体现其商业价值，否则死路一条
多年来，数据已经在企业中不断快速地积累。物联网(IoT)只会随着数据源从网络端转移到移动端或设备端过程中加速数据的生成。
“这实际上迫切需要以具有成本效益的方式扩展数据管道，”实时流数据平台提供商DataTorrent首席执行官Guy Churchward说。
对于许多企业来说，如果使用像Apache Hadoop这样的技术为其提供业务支持，那么答案就是创建数据湖，即建立企业范围的数据管理平台，用来以本机格式存储企业的所有数据。数据湖会通过提供一个单一的数据存储库来打破信息孤岛，整个组织都可以使用该数据湖进行各项应用，包括业务分析和数据挖掘等。原始的和无人管理的数据湖已被视为一个全方位的和万能的大数据集。
但尽管数据湖已被证明可以存储大量数据，但从这些数据中获取可执行洞察力已被证明是极为困难的。
“数据湖通过‘静态’和‘批处理’时代的数据为企业提供了非常好的服务，”Churchward说。“早在2015年，人们就开始清晰地认识到，这个架构被过度使用，但现在它已经成为实时数据分析的致命弱点。首先要存放数据，然后再立即进行分析，这使企业处于极大的劣势。当人们希望获得洞察力并尽快通过计算采取业务举措时，而企业却仍然依赖于陈旧的事件数据，这就会对企业的判断力、业务举措以及应立即采取的补救措施造成不利影响。这一方面就证明了，“好东西”也会造成严重的战略性错误。”
Splice Machine公司首席执行官蒙特·兹韦本(Monte Zweben)表示赞同。
“因为基于Hadoop的管道胶带计算引擎很复杂，所以Hadoop时代的破灭将达到顶峰，许多公司因使用数据湖而惨败，无法获得投资回报，”兹韦本对2018年进行预测，说道。
数据目录专业公司--Alation的战略和联盟副总裁肯·黄(Ken Hoang)说，数据湖要想在2018年存在下去，将必须证明其具备商业价值。
“数据湖(即新的数据倾倒场)在过去几年中经历了实验性部署，除非它可以证明其自身具有价值，否则将不会被使用下去”，黄说道。“数据湖的一个成功标志就是拥有一个企业目录，该目录具备信息发掘、人工智能和信息汇集功能，从而为企业提供新的见解。”
然而，黄并不认为数据湖是完全失败的产品。他预测数据湖和其他大型数据中心可以通过他称之为“超级枢纽”的方式找到新的契机，该“枢纽”可通过机器学习提供“情境即服务”。
“在过去的25年，大型数据中心的部署(例如，数据仓库、主数据管理、数据湖、Salesforce和ERP系统)导致产生更多难以读懂、难以关联，或难以共享的数据孤岛，”黄说。“大型枢纽中心的中心将能够使这些枢纽中心的数据资产关联起来，从而实现情境即服务，这反过来将促进获取更多相关和强大的预测性洞察力，从而实现更快和更好的运营业务成果。”
MapR公司首席软件应用架构师特德·邓宁(Ted Dunning)预测会出现类似的转变：随着大数据系统在存储、访问和运营方面成为重点，企业将着眼于构建全局数据结构，从而可以全面访问来自多个来源的数据，并且可真正地为多租户系统提供计算。
“我们将看到越来越多的企业利用数据流进行计算，而不是仅仅处理数据，然后存入数据库，”邓宁说。“这些数据流收集了一些关键业务事件并可反映出业务结构。统一的数据结构将成为构建这些大规模数据流系统的基础。”
自助服务数据分析专业公司Alteryx的首席战略官兰利·艾德(Langley Eide)表示，在数据湖实现其价值的过程中，IT人员并非孤军作战：在2018年业务线(LOB)分析师和首席数字官(CDO)也将必须负责。
艾德说：“大多数分析师并没有利用这些在数据湖中大量存在的非结构化资源(如点击流数据、物联网数据、日志数据等)，这主要是因为这些数据难以处理。但事实上，如果分析师不来处理这些数据的话，那么他们就没有尽职。人们普遍认为，许多数据湖是一些被低估的资产，人们不知道其含有什么数据，如何来访问它，或者如何从这些数据中获取洞察力。随着更多的首席数字官和企业希望从他们的数据湖获得更好的投资回报，这一现实将在2018年发生改变。”
艾德预测，2018年将会有分析师使用(如数据编目等)更多编程技巧和技术来替代一些(诸如Excel和SQL的)“强大”工具，以从数据中发掘和获取更多价值。
首席数字官(CDO)将变得日益成熟
随着新推动力的出现，使我们能够从数据中更好地获取洞察力，艾德还预测首席数字官角色将在2018年获得成功。
“数据本质上就如同新的石油资源，而人们开始认识到首席数字官是解决当今企业最重要问题之一的关键角色，即从数据中获取价值，”艾德说。“通常预算不到1000万美元，首席数字官所面临的最大挑战和机遇之一就是通过让公司数据资产更贴近业务用户，从而使备受追捧的自助服务变为现实。2018年，致力于在集中功能和业务线功能之间寻求平衡的首席数字官最终将陷入更大的预算中。”
艾德认为，如果首席数字官能够使资源、技能和功能在卓越中心和业务线之间迅速转换，那么他将取得最大的成功。对此，艾德说，敏捷平台和方法是关键。
数据管理员角色的崛起?
数据分析创业公司Dremio的首席执行官兼共同创始人托莫·希兰(Tomer Shiran)，是开源Apache Arrow项目的主要推动者，他预测道，企业将对这一新角色产生需求，即数据管理员。
希兰说，数据管理员处于数据使用者(即分析师和数据科学家，他们使用Tableau和Python等工具，利用数据来解答重要问题)和数据工程师(使用脚本语言、Spark、Hive和MapReduce在系统间移动和转换数据的人员)之间。为了胜任这一角色，数据管理员必须了解数据的含义以及掌握应用于数据的一些技术。
“数据管理员应清楚整个组织内不同团队所需要执行的分析类型，清楚哪些数据集最适合这项工作，以及掌握将数据从原始状态转换为相应形态和形式所需的步骤，以满足数据使用者工作的需要，”希兰说。“数据管理者会使用一些系统(如自助服务数据平台等)来加速数据使用者访问基本数据集的端到端流程，而无需进行大量的数据复制。”
数据治理战略将成为所有高管的重要课题
欧盟的《通用数据保护条例》(GDPR)”将于2018年5月25日生效，它如同阴霾一样笼罩在数据分析领域，但并非所有企业都为此做好准备。
《通用数据保护条例》将直接适用于所有欧盟成员国，它将彻底改变企业处理个人数据的方式，企业必须征得欧盟公民的同意才能收集和处理其相关数据，美富律师事务所(Morrison&Foerster)全球隐私及数据安全工作组的律师们解释道，其中包括：全球隐私工作组联合主席Miriam Wugmeister、欧洲隐私专家Lokke Moerel和全球风险与危机管理集团主席(美国司法部国家安全司前助理总检察长)约翰·卡林。
“那些依赖于征得相关人同意才能进行所有业务处理的公司将不能以这种方式继续下去，而是需要具备其他法律依据(即必要的合同和合法权益)，”他们解释说。“企业将需要实施一套全新的制度来进行通知并获得同意。”
尽管《通用数据保护条例》处罚金额可能会很高--行政处罚金额可高达2000万欧元或企业全年总营业额的4%(以金额较高者为准)，但许多企业(特别是美国企业)尚未对此有充分准备。
“当千年虫问题来临时，每个人都在为他们可能会或可能不会面临的问题进行准备，”Hortonworks公司的首席技术官斯科特·格瑙 (Scott Gnau)说道。“今天，似乎没有多少人为2018年5月即将实施的《通用数据保护条例》做好准备。为什么会这样呢?我们目前正处于这样一个阶段，每个组织都不仅要处理‘接下来的工作’，而且他们还要努力维持目前的工作和处理现在要解决的问题。许多组织可能都依赖首席安全官来制定规则、制度和指标等，以帮助他们的全球系统集成商找出最佳的行动方案。但这项工作让一个人来承担，这种期望是不现实的。”
格瑙说，为了正确执行《通用数据保护条例》，这就要求高管们要对此充分了解，做好准备并与组织内各个方面进行沟通。组织需要对其数据资产的整体治理工作进行更好地处理。但是面对大规模的数据泄漏问题(例如2017年发生的Equifax公司泄漏事件)，这意味着他们要努力进行平衡，既要为员工提供服务，可以自助访问数据，同时还要保护这些数据免受潜在威胁。
因此，格瑙预测数据治理将成为2018年所有组织的重点工作。
“一个关键的目标应该是建立一种机制，它可以平衡数据、访问、自助服务分析和监管民主化，”格瑙说。“我们以安全的方式构建数据，这将会对每个人产生影响，包括美国国内和海外的客户、媒体、合作伙伴等等。”
多云数据管理专家Veritas Technologies公司的解决方案营销总监Zachary Bosin预测，美国某家公司将成为第一个依据《通用数据保护条例》受到处罚的企业。
“尽管截止日期日益临近，但Veritas公司在全球范围内对企业进行一项调查，其中只有31%的公司认为他们符合《通用数据保护条例》标准，”Bosin说。“对违规行为的处罚是非常严厉的，而且这一规定将影响到任何与欧盟公民打交道的公司。”
元数据管理工作仍在不断普及
当然，这不仅仅是《通用数据保护条例》。数据洪流持续增长，为此世界各国政府正在制定新的法规。在组织内部，各个团队对数据的访问量比以往任何时候都多。这一切都提升了数据治理以及数据质量、数据集成和元数据管理的重要性。
“进行元数据管理并确保《通用数据保护条例》等数据隐私法规融入到人工智能和物联网等早期技术发展潮流中，但2018年出乎意料的趋势将是数据管理技术的融合，”数据和分析软件提供商Infogix的产品管理高级副总裁艾米莉·华盛顿(Emily Washington)说。“如果企业想要成功利用大数据和分析来创造更好的客户体验，实现业务目标，获得竞争优势，并最终成为市场领导者，那么他们就需要不断地评估如何来简化整体技术堆栈。”
获取有用的见解并提高运营效率，这需要使用灵活的集成工具，这些工具使用户能够快速采集、准备、分析和管理数据，威廉姆斯说。元数据管理对于支持在企业数据环境中进行数据治理、法规遵从性和满足数据管理需求尤为重要。
预测分析有助于提高数据质量
随着数据项目投入生产，数据质量越来越受到关注。而随着物联网进一步发展，情况尤其如此。Infogix公司表示，2018年各个组织将转向使用机器学习算法，以加强数据质量异常检测。通过使用历史模式来预测未来的数据质量结果，企业可以动态检测可能会被忽略的异常数据，或者可能之后只会通过人工干预来发现异常数据。
“随着更多数据通过物联网等技术而产生，对其管理和利用变得越来越困难，”华盛顿说。 “集成的自助服务工具为企业数据格局提供了一个全面的视角，从而我们可做出有意义的和及时的决策。对于成功实施数据分析计划，解决数据治理和隐私需求，货币化数据资产，以及我们成功进入2018年，企业数据资产的完全透明是至关重要的。”
版权声明：本文为企业网D1Net编译，转载需注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。
京公网安备 11010502049343号