当前位置:CIO技术探讨 → 正文

数字化转型案例:Ticketmaster通过流式数据平台解决了技术债务

责任编辑:cres 作者:Peter Sayer |来源:企业网D1Net  2019-11-18 09:47:24 原创文章 企业网D1Net

在线票务系统在不重写所有代码的情况下将数据科学带入了整个企业。
 
当Chrizs Smith加入Ticketmaster担任数据科学副总裁时,这家有着40年历史的票务公司在其数据科学项目中面临着独特的挑战。
 
“我们的技术债务比我工作过的大多数公司都要老旧,”他说。
 
Ticketmaster通过与各种IT系统的定制数据集成,实现了早期数据科学的成功,而且也获得了很多这样的成功。经过40年的收购和内部软件开发,该公司拥有大约300个IT系统,每个系统都独立于自己的数据孤岛之上。
 
随着Ticketmaster开始进入门票转售等新兴市场,以及为场馆提供管理和报告工具,它需要一种新的方法来集成这些数据孤岛,并使其数据可供整个组织使用,而无需重写其所有的软件。
 
“我们需要一种通用的语言,可以教授给每个不同的系统,这将是一个不小的工作量,使我们能够获得系统的数据,并提供给每一个人,”Smith说。这种改变必须在对现有系统的干扰最小的情况下进行。“采用旧系统并将其应用于新问题的危险之一是它的设计可能会不合适,”他说。“它实际上会使系统更加不稳定,性能更差,而且随着时间的推移也更难进化。”
 
流处理
 
最初,Ticketmaster用Hadoop进行了批量处理大数据的实验,然后使用了Apache Storm,一个开源的流计算系统。
 
在该行业的其他地方,Ticketmaster正在使用另一个开源流处理平台Kafka,Smith以前在广告技术部门工作时就很熟悉这个平台。
 
Kafka最初是由领英的员工开发的,后来捐赠给了Apache软件基金会。它的创建者接着创建了Confluent,该公司雇佣了Kafka的大部分开发者,并提供围绕该平台构建的企业服务。
 
像消息队列或企业消息系统一样,Kafka允许用户发布和订阅信息流,但它也可以以高容错性的方式存储这些流,并记录到达时对其进行的处理。
 
Smith认识到Kafka可以将Ticketmaster的数据推送到一个占用空间非常小的流中,并使他的团队能够以更快的方式迭代数据科学问题。
 
“这就像是数据科学家的猫薄荷,”他说。“一旦他们能够访问所有的这些数据,他们就会变得更加感兴趣。”
 
为了将Kafka推荐给Ticketmaster的首席数据官,Smith必须展示该系统的高可用性和可扩展性。
 
“每次我们出售门票,本质上都是我们针对自己发起的一次分布式拒绝服务攻击,因此这带来了一些非常有趣的规模性的挑战,”他表示。“如果你在一群试图去听音乐会或参加体育赛事的人中间倒下了,这对任何参与其中的人来说便都不是一次愉快的经历。让事情成功是最重要的。”
 
Kafka的另一个好处是Confluent提供的支持,包括围绕Kafka构建的更大的数据平台。它开发的一个被称为模式注册中心的组件,Smith极力推荐了它。
 
“很多人,当他们开始的时候,他们不会马上使用模式注册中心,这就造成了一种很难走出的技术死胡同,”他说。使用注册表,公司可以在保持与现有应用程序向后兼容的同时,发展他们的与Kafka一起使用的数据库模式。“你必须保持快速的迭代速度,否则就可能会让你陷入非常脆弱且难以改变的环境当中。”
 
与业务部门合作
 
尽管Ticketmaster现在在整个企业中都使用了Kafka,但Smith的团队一开始的规模很小,他们与fan data团队合作,帮助他们创建通过Ticketmaster购买门票的球迷的单一视图,然后与其他三到四个团队一起构建了关键集成。
 
“我们会去找那些团队,说,看吧,我们需要你的数据。我们希望你能够使用这种你以前从未使用过的新技术,但我们也将为你提供专业知识,向你展示如何使用它。当然,这些团队对他们的系统如何工作有自己的专长,所以这是一个联合行动,”他说。
 
那些最初的、低风险的集成工作产生了一种网络效应,他说:“团队开始来找你,而不是反过来,因为能够将单个组件的数据与我们创建的更大的数据生态系统集成会有很大的价值。”
 
使用Ticketmaster门票转售和场馆登记服务的客户也可以从中受益,因为有了一项新功能,一旦门票被用于进入场馆,他们就可以拒绝转售。当粉丝主动提出转卖他们的票,而没有任何买家,并在最后一分钟决定去看演出时,而如果又有其他人主动提出购买现在无法买到的票时,就会很有用。“可能你会有一个令粉丝失望的经历,但是这最终可以通过我们不同系统之间的大量点对点的集成来解决,”Smith说。“但由于我们已经通过系统获得了相关数据,管理这些转售清单的人能够很容易地将他们的数据整合到Kafka”并获得自动退市功能。
 
尽管向Kafka的迁移最初是为了通过消除定制数据集成的需求来减少技术债务,但在系统上获取关键的实时数据却为实时处理带来了许多机会。
 
“这就是我们基于身份的售票平台的工作方式。这就是我们压榨系统性能的工作方式。这是我们不仅能够提供自己销售的实时视图,还能提供活动出席过程的实时视图的原因所在,”Smith说。“在实时情况下,客户可以看到人们在哪里进入了他们的场地,并可以注意到什么时候有VIP进入了场地,这样他们就可以接触到他们,给他们提供VIP级的体验。”
 
隐私处理
 
然而,并非所有公司的系统都是通过Kafka连接起来的。有些系统不是优先考虑的遗留系统,现在正在退役当中。其他公司还没有足够长的时间来进行整合,它们是Ticketmaster最近收购的一些初创公司或竞争对手的一部分。
 
但是,Smith说,如果你今天从Ticketmaster网站上购买了一张票,关于你购买的数据就会经过Kafka。
 
“我们的关键数据系统是绝对集成的,而且很多你通常认为不那么重要的系统也被集成了进来,这种集成非常有价值。”
 
出乎意料的是,Kafka也成了处理隐私数据的一个关键工具。
 
“它已经被连接到大多数拥有个人身份信息的系统中了,我们只是做了一点额外的工作来将其余的信息也整合到其中,”Smith说。“它变成了一种中枢神经系统,可以用于管理我们可能遇到的任何隐私请求或担忧。”
 
Smith下次会做的一件不同的事情将会是更早地向Confluent寻求帮助,以便在Kafka上培训员工。“我们最终做到了,”他说。
 
一旦组织内部对使用Kafka的需求开始上升,培训支持就变得特别重要了。“我们确实在中间花了很长一段时间……我们还没有完成训练,但是我们正在进行计划,嗯,比我想象的要混乱一点。从那时起,我便一直在清理一些烂摊子了,”他说。
 
版权声明:本文为企业网D1Net编译,转载需注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

关键字:CIO数字化转型

原创文章 企业网D1Net

x 数字化转型案例:Ticketmaster通过流式数据平台解决了技术债务 扫一扫
分享本文到朋友圈
当前位置:CIO技术探讨 → 正文

数字化转型案例:Ticketmaster通过流式数据平台解决了技术债务

责任编辑:cres 作者:Peter Sayer |来源:企业网D1Net  2019-11-18 09:47:24 原创文章 企业网D1Net

在线票务系统在不重写所有代码的情况下将数据科学带入了整个企业。
 
当Chrizs Smith加入Ticketmaster担任数据科学副总裁时,这家有着40年历史的票务公司在其数据科学项目中面临着独特的挑战。
 
“我们的技术债务比我工作过的大多数公司都要老旧,”他说。
 
Ticketmaster通过与各种IT系统的定制数据集成,实现了早期数据科学的成功,而且也获得了很多这样的成功。经过40年的收购和内部软件开发,该公司拥有大约300个IT系统,每个系统都独立于自己的数据孤岛之上。
 
随着Ticketmaster开始进入门票转售等新兴市场,以及为场馆提供管理和报告工具,它需要一种新的方法来集成这些数据孤岛,并使其数据可供整个组织使用,而无需重写其所有的软件。
 
“我们需要一种通用的语言,可以教授给每个不同的系统,这将是一个不小的工作量,使我们能够获得系统的数据,并提供给每一个人,”Smith说。这种改变必须在对现有系统的干扰最小的情况下进行。“采用旧系统并将其应用于新问题的危险之一是它的设计可能会不合适,”他说。“它实际上会使系统更加不稳定,性能更差,而且随着时间的推移也更难进化。”
 
流处理
 
最初,Ticketmaster用Hadoop进行了批量处理大数据的实验,然后使用了Apache Storm,一个开源的流计算系统。
 
在该行业的其他地方,Ticketmaster正在使用另一个开源流处理平台Kafka,Smith以前在广告技术部门工作时就很熟悉这个平台。
 
Kafka最初是由领英的员工开发的,后来捐赠给了Apache软件基金会。它的创建者接着创建了Confluent,该公司雇佣了Kafka的大部分开发者,并提供围绕该平台构建的企业服务。
 
像消息队列或企业消息系统一样,Kafka允许用户发布和订阅信息流,但它也可以以高容错性的方式存储这些流,并记录到达时对其进行的处理。
 
Smith认识到Kafka可以将Ticketmaster的数据推送到一个占用空间非常小的流中,并使他的团队能够以更快的方式迭代数据科学问题。
 
“这就像是数据科学家的猫薄荷,”他说。“一旦他们能够访问所有的这些数据,他们就会变得更加感兴趣。”
 
为了将Kafka推荐给Ticketmaster的首席数据官,Smith必须展示该系统的高可用性和可扩展性。
 
“每次我们出售门票,本质上都是我们针对自己发起的一次分布式拒绝服务攻击,因此这带来了一些非常有趣的规模性的挑战,”他表示。“如果你在一群试图去听音乐会或参加体育赛事的人中间倒下了,这对任何参与其中的人来说便都不是一次愉快的经历。让事情成功是最重要的。”
 
Kafka的另一个好处是Confluent提供的支持,包括围绕Kafka构建的更大的数据平台。它开发的一个被称为模式注册中心的组件,Smith极力推荐了它。
 
“很多人,当他们开始的时候,他们不会马上使用模式注册中心,这就造成了一种很难走出的技术死胡同,”他说。使用注册表,公司可以在保持与现有应用程序向后兼容的同时,发展他们的与Kafka一起使用的数据库模式。“你必须保持快速的迭代速度,否则就可能会让你陷入非常脆弱且难以改变的环境当中。”
 
与业务部门合作
 
尽管Ticketmaster现在在整个企业中都使用了Kafka,但Smith的团队一开始的规模很小,他们与fan data团队合作,帮助他们创建通过Ticketmaster购买门票的球迷的单一视图,然后与其他三到四个团队一起构建了关键集成。
 
“我们会去找那些团队,说,看吧,我们需要你的数据。我们希望你能够使用这种你以前从未使用过的新技术,但我们也将为你提供专业知识,向你展示如何使用它。当然,这些团队对他们的系统如何工作有自己的专长,所以这是一个联合行动,”他说。
 
那些最初的、低风险的集成工作产生了一种网络效应,他说:“团队开始来找你,而不是反过来,因为能够将单个组件的数据与我们创建的更大的数据生态系统集成会有很大的价值。”
 
使用Ticketmaster门票转售和场馆登记服务的客户也可以从中受益,因为有了一项新功能,一旦门票被用于进入场馆,他们就可以拒绝转售。当粉丝主动提出转卖他们的票,而没有任何买家,并在最后一分钟决定去看演出时,而如果又有其他人主动提出购买现在无法买到的票时,就会很有用。“可能你会有一个令粉丝失望的经历,但是这最终可以通过我们不同系统之间的大量点对点的集成来解决,”Smith说。“但由于我们已经通过系统获得了相关数据,管理这些转售清单的人能够很容易地将他们的数据整合到Kafka”并获得自动退市功能。
 
尽管向Kafka的迁移最初是为了通过消除定制数据集成的需求来减少技术债务,但在系统上获取关键的实时数据却为实时处理带来了许多机会。
 
“这就是我们基于身份的售票平台的工作方式。这就是我们压榨系统性能的工作方式。这是我们不仅能够提供自己销售的实时视图,还能提供活动出席过程的实时视图的原因所在,”Smith说。“在实时情况下,客户可以看到人们在哪里进入了他们的场地,并可以注意到什么时候有VIP进入了场地,这样他们就可以接触到他们,给他们提供VIP级的体验。”
 
隐私处理
 
然而,并非所有公司的系统都是通过Kafka连接起来的。有些系统不是优先考虑的遗留系统,现在正在退役当中。其他公司还没有足够长的时间来进行整合,它们是Ticketmaster最近收购的一些初创公司或竞争对手的一部分。
 
但是,Smith说,如果你今天从Ticketmaster网站上购买了一张票,关于你购买的数据就会经过Kafka。
 
“我们的关键数据系统是绝对集成的,而且很多你通常认为不那么重要的系统也被集成了进来,这种集成非常有价值。”
 
出乎意料的是,Kafka也成了处理隐私数据的一个关键工具。
 
“它已经被连接到大多数拥有个人身份信息的系统中了,我们只是做了一点额外的工作来将其余的信息也整合到其中,”Smith说。“它变成了一种中枢神经系统,可以用于管理我们可能遇到的任何隐私请求或担忧。”
 
Smith下次会做的一件不同的事情将会是更早地向Confluent寻求帮助,以便在Kafka上培训员工。“我们最终做到了,”他说。
 
一旦组织内部对使用Kafka的需求开始上升,培训支持就变得特别重要了。“我们确实在中间花了很长一段时间……我们还没有完成训练,但是我们正在进行计划,嗯,比我想象的要混乱一点。从那时起,我便一直在清理一些烂摊子了,”他说。
 
版权声明:本文为企业网D1Net编译,转载需注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

关键字:CIO数字化转型

原创文章 企业网D1Net

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^