当前位置:新闻中心行业相关 → 正文

第62期CIO时代信息化大讲堂:智能运维与海量日志分析

责任编辑:xfuesx |来源:企业网D1Net  2017-09-28 15:27:40 本文摘自:CIO时代网

  近年来运维技术飞速发展,运维团队建设了各种系统,虚拟化、容器化、持续集成等等。但如何有效地利用这些系统最终实现站点的高可用、高性能、高可扩展?在大数据时代,智能运维是基于大数据之上的。大数据里90%都是非结构化数据,日志是重要的非结构化数据,日志无处不在,因此,从日志里面挖掘的价值非常高。  2017年9月27日,由中国新一代IT产业推进联盟主办,CIO时代APP承办的"第62期CIO时代信息化大讲堂"活动在北京CIO时代学院报告厅成功举行。日志易项目总监赵亮作为本次活动的特邀讲师,发表了题为《智能运维与海量日志分析》的主题演讲。本次活动吸引了企业技术人员、高校学生、业界CIO等40多人参会,活动现场提问不断,气氛活跃。本次讲座活动由CIO时代APP市场运营张林颖主持。


日志易项目总监 赵亮

  他主要从智能运维、小功能介绍、场景分析及价值以及机器学习四个方面进行了详细阐述。  日志是鲜活的,是可以发声的。他表示,要把机器学习、人工智能应用在运维领域,来实现智能运维,然后两者结合服务于三大模块:服务台、自动化、监控。机器学习、大数据在不同企业的落地技术是不一样的,机器学习在整个行业里还处于一个发展的阶段,跟实际要求的预期还存在一定的差距。

  智能运维架构

  1、数据采集,采集是基础,包括日志、事件、性能指标。  2、数据存储,主要是非结构化数据存储,日志这种数据是非常典型的。  3、数据分析,把整个数据源进行整体的分析,主要把握深度分析、实时分析两大模块,也是智能运维中最为关键的环节,要很精准的做到非结构化数据分析,来达到想要的指标。  4、数据展现。可以通过可视化、自然语言来实现。  大数据技术应用于IT运维,通过数据分析提升IT运维。Gartner估计,到2017年15%的大企业会积极使用ITOA,而在2014年这一数字只有5%。

  ITOA 四种数据源的比较

  1、机器数据(日志)。日志无所不在,但不同应用输出的日志内容的完整性、可用性不同。  2、通信数据(网络抓包)。网络流量信息全面,但一些事件未必触发网络流量。  3、代理数据(嵌入代码)。代码级精细监控,但侵入性,会带来安全、稳定、性能问题。  4、探针数据(模拟用户请求)。端到端监控,但不是真实用户度量(Real User Measurement)。

  日志管理系统演进

  1、日志1.0 数据库。固定的schema无法适任意日志格式,无法处理大数据量。  2、日志2.0 Hadoop/NoSQL。需要开发成本,批处理、实时性差,不支持全文检索。  3、日志3.0 实时搜索分析。实时、灵活、全文检索。  4、日志4.0。主要是应用机器学习、人工智能技术。  日志易的“小功能”主要表现在丰富的数据采集手段、多种数据整理方式、内置多种解析规则、细粒度权限设置、数据脱敏、日志生命周期管理、简单多样的告警手段几个方面,使日志易的“小功能”专业而全面。

  场景分析及价值

  一、安全审计及合规  2017年6月1日,《中华人民共和国网络安全法》正式实施,其对业务系统安全审计提出了新的要求。日志易既对外做SOC(安全运营中心)的支撑平台,又对内做UBA(用户行为分析)。很多企业在使用之后,满足了合规要求。  二、统一日志管理  目前接入600多个子系统应用日志,202台网络设备日志,45台F5设备日志,47台存储设备日志,每秒产生的200万条日志,由于日志量庞大,为了降低防火墙策略的复杂度以及防火墙流量压力,将网络设备、服务器、业务应用日志通过专门网口接入到内网万兆交换机,直接转发到日志易集群。各业务系统服务器中部署日志易采集agent,用于增量读取业务日志,目前已部署1300多个。

  活动现场

  在此次讲座中,赵亮先生深度讲解了日志易的内部技术原理,深入浅出。嘉宾们认真听讲,纷纷表示不虚此行。  “CIO时代信息化大讲堂”活动每隔周三下午19:00-20:30定期举办公开讲座,更多干货分享以及活动动态,请关注CIO时代APP。扫描下方二维码即可下载。

关键字:CIO嵌入代码子系统应用

本文摘自:CIO时代网

x 第62期CIO时代信息化大讲堂:智能运维与海量日志分析 扫一扫
分享本文到朋友圈
当前位置:新闻中心行业相关 → 正文

第62期CIO时代信息化大讲堂:智能运维与海量日志分析

责任编辑:xfuesx |来源:企业网D1Net  2017-09-28 15:27:40 本文摘自:CIO时代网

  近年来运维技术飞速发展,运维团队建设了各种系统,虚拟化、容器化、持续集成等等。但如何有效地利用这些系统最终实现站点的高可用、高性能、高可扩展?在大数据时代,智能运维是基于大数据之上的。大数据里90%都是非结构化数据,日志是重要的非结构化数据,日志无处不在,因此,从日志里面挖掘的价值非常高。  2017年9月27日,由中国新一代IT产业推进联盟主办,CIO时代APP承办的"第62期CIO时代信息化大讲堂"活动在北京CIO时代学院报告厅成功举行。日志易项目总监赵亮作为本次活动的特邀讲师,发表了题为《智能运维与海量日志分析》的主题演讲。本次活动吸引了企业技术人员、高校学生、业界CIO等40多人参会,活动现场提问不断,气氛活跃。本次讲座活动由CIO时代APP市场运营张林颖主持。


日志易项目总监 赵亮

  他主要从智能运维、小功能介绍、场景分析及价值以及机器学习四个方面进行了详细阐述。  日志是鲜活的,是可以发声的。他表示,要把机器学习、人工智能应用在运维领域,来实现智能运维,然后两者结合服务于三大模块:服务台、自动化、监控。机器学习、大数据在不同企业的落地技术是不一样的,机器学习在整个行业里还处于一个发展的阶段,跟实际要求的预期还存在一定的差距。

  智能运维架构

  1、数据采集,采集是基础,包括日志、事件、性能指标。  2、数据存储,主要是非结构化数据存储,日志这种数据是非常典型的。  3、数据分析,把整个数据源进行整体的分析,主要把握深度分析、实时分析两大模块,也是智能运维中最为关键的环节,要很精准的做到非结构化数据分析,来达到想要的指标。  4、数据展现。可以通过可视化、自然语言来实现。  大数据技术应用于IT运维,通过数据分析提升IT运维。Gartner估计,到2017年15%的大企业会积极使用ITOA,而在2014年这一数字只有5%。

  ITOA 四种数据源的比较

  1、机器数据(日志)。日志无所不在,但不同应用输出的日志内容的完整性、可用性不同。  2、通信数据(网络抓包)。网络流量信息全面,但一些事件未必触发网络流量。  3、代理数据(嵌入代码)。代码级精细监控,但侵入性,会带来安全、稳定、性能问题。  4、探针数据(模拟用户请求)。端到端监控,但不是真实用户度量(Real User Measurement)。

  日志管理系统演进

  1、日志1.0 数据库。固定的schema无法适任意日志格式,无法处理大数据量。  2、日志2.0 Hadoop/NoSQL。需要开发成本,批处理、实时性差,不支持全文检索。  3、日志3.0 实时搜索分析。实时、灵活、全文检索。  4、日志4.0。主要是应用机器学习、人工智能技术。  日志易的“小功能”主要表现在丰富的数据采集手段、多种数据整理方式、内置多种解析规则、细粒度权限设置、数据脱敏、日志生命周期管理、简单多样的告警手段几个方面,使日志易的“小功能”专业而全面。

  场景分析及价值

  一、安全审计及合规  2017年6月1日,《中华人民共和国网络安全法》正式实施,其对业务系统安全审计提出了新的要求。日志易既对外做SOC(安全运营中心)的支撑平台,又对内做UBA(用户行为分析)。很多企业在使用之后,满足了合规要求。  二、统一日志管理  目前接入600多个子系统应用日志,202台网络设备日志,45台F5设备日志,47台存储设备日志,每秒产生的200万条日志,由于日志量庞大,为了降低防火墙策略的复杂度以及防火墙流量压力,将网络设备、服务器、业务应用日志通过专门网口接入到内网万兆交换机,直接转发到日志易集群。各业务系统服务器中部署日志易采集agent,用于增量读取业务日志,目前已部署1300多个。

  活动现场

  在此次讲座中,赵亮先生深度讲解了日志易的内部技术原理,深入浅出。嘉宾们认真听讲,纷纷表示不虚此行。  “CIO时代信息化大讲堂”活动每隔周三下午19:00-20:30定期举办公开讲座,更多干货分享以及活动动态,请关注CIO时代APP。扫描下方二维码即可下载。

关键字:CIO嵌入代码子系统应用

本文摘自:CIO时代网

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^