当前位置:新闻中心行业动态 → 正文

Zalando公司使用Apache Flink进行微服务和流处理架构

责任编辑:editor004 作者: Srini Penchikala |来源:企业网D1Net  2016-11-07 12:35:59 本文摘自:INFOQ

Javier Lopez和Mihail Vieru日前在Reactive Summit 2016大会上发表了关于基于云的数据集成和分发平台的演讲,该平台可用于商业智能用户案例的流处理。

Zalando公司是欧洲在线时尚零售商,该公司正在从整体服务架构逐渐转变为微服务架构,并且从等级组织结构向敏捷组织结构转变。

事件流的处理方式使Zalando的技术团队能够实现几近实时的商业智能。他们使用诸如Flink、Kafka和Elasticsearch之类的技术来处理事件流。

在他们的架构中,各应用程序通过REST API互相沟通,而数据库隐藏在Amazon Virtual Private Cloud(VPC)基础架构里面。所有团队都将数据发布到中央事件总线。该架构模型由应用程序(调用微服务(REST API)来与事件总线交互)、Kafka、Exporter和AWS S3数据存储组成。他们还用Data Lake为数据提供分布式访问和精细的安全性保护。

Lopez和Vieru讨论了如何在微服务架构中使用Flink框架。 Flink用于处理基于事件、摄取和处理时间的流数据。它还负责背压处理,这种背压处理是通过系统架构隐式实现的。

Zalando公司的业务流程涉及1000多种事件类型,并且每个事件类型都有一个Kafka主题。他们通过关联的事件类型(如Join&Union)来分析流程,并根据业务规则完善数据。他们还使用滑动窗口(1分钟至48小时)的平台快照来进行流处理。

该架构还包括用于安全性的OAuth、基于Postgres DB的配置服务、告警服务和Python可视化组件。

两位演讲者还探讨了流处理的两个用例:几近实时的业务流程监控解决方案和流ETL。实时的流程监控有助于分析如订单速度、交付速度等数据流和控制服务水平协议(SLA)。流式ETL用于释放与关系型数据仓库相关的资源,这种解决方案有助于提高数据仓库的负载,减少延迟并使平台更具可扩展性。

他们还谈到了未来用于流处理的用例,比如几近实时的销售和价格监控以及检测欺诈性付款。BPM和Flink的CEP库及状态功能的复杂事件处理能力将用于这些用例。

有关他们的事件流处理架构的更多详细信息,请访问该公司的博客网站。

查看英文原文:Microservices and Stream Processing Architecture at Zalando Using Apache Flink

关键字:presentations

本文摘自:INFOQ

x Zalando公司使用Apache Flink进行微服务和流处理架构 扫一扫
分享本文到朋友圈
当前位置:新闻中心行业动态 → 正文

Zalando公司使用Apache Flink进行微服务和流处理架构

责任编辑:editor004 作者: Srini Penchikala |来源:企业网D1Net  2016-11-07 12:35:59 本文摘自:INFOQ

Javier Lopez和Mihail Vieru日前在Reactive Summit 2016大会上发表了关于基于云的数据集成和分发平台的演讲,该平台可用于商业智能用户案例的流处理。

Zalando公司是欧洲在线时尚零售商,该公司正在从整体服务架构逐渐转变为微服务架构,并且从等级组织结构向敏捷组织结构转变。

事件流的处理方式使Zalando的技术团队能够实现几近实时的商业智能。他们使用诸如Flink、Kafka和Elasticsearch之类的技术来处理事件流。

在他们的架构中,各应用程序通过REST API互相沟通,而数据库隐藏在Amazon Virtual Private Cloud(VPC)基础架构里面。所有团队都将数据发布到中央事件总线。该架构模型由应用程序(调用微服务(REST API)来与事件总线交互)、Kafka、Exporter和AWS S3数据存储组成。他们还用Data Lake为数据提供分布式访问和精细的安全性保护。

Lopez和Vieru讨论了如何在微服务架构中使用Flink框架。 Flink用于处理基于事件、摄取和处理时间的流数据。它还负责背压处理,这种背压处理是通过系统架构隐式实现的。

Zalando公司的业务流程涉及1000多种事件类型,并且每个事件类型都有一个Kafka主题。他们通过关联的事件类型(如Join&Union)来分析流程,并根据业务规则完善数据。他们还使用滑动窗口(1分钟至48小时)的平台快照来进行流处理。

该架构还包括用于安全性的OAuth、基于Postgres DB的配置服务、告警服务和Python可视化组件。

两位演讲者还探讨了流处理的两个用例:几近实时的业务流程监控解决方案和流ETL。实时的流程监控有助于分析如订单速度、交付速度等数据流和控制服务水平协议(SLA)。流式ETL用于释放与关系型数据仓库相关的资源,这种解决方案有助于提高数据仓库的负载,减少延迟并使平台更具可扩展性。

他们还谈到了未来用于流处理的用例,比如几近实时的销售和价格监控以及检测欺诈性付款。BPM和Flink的CEP库及状态功能的复杂事件处理能力将用于这些用例。

有关他们的事件流处理架构的更多详细信息,请访问该公司的博客网站。

查看英文原文:Microservices and Stream Processing Architecture at Zalando Using Apache Flink

关键字:presentations

本文摘自:INFOQ

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^