当前位置:数据网络行业动态 → 正文

加速数据包捕获以满足现代数据需求

责任编辑:editor006 |来源:企业网D1Net  2015-07-22 15:31:39 本文摘自:机房360

据思科最新公布的《视觉网络指数:全球移动数据流量预测》显示,2014到2019年,全球移动数据流量将增长十倍,年复合增长率将达到57%。这一流量的年度运行率将从2014年的30.3艾字节增长至2019年的291.8艾字节。也许,我们从思科的这份统计报告中得出的最令人吃惊的数据信息是,到2019年,54%的移动链接将来自“智能”链接。而这一比例在2014年仅为26%。

欢迎来到物联网(IoT)的世界。在这一物联网的世界,数据信息的量、传递速度和数据来源均在发生着极快的变化。今天的网络专业人士不仅需要利用相关的工具来保护企业网络,同时还需要确保数据实时的纳秒级的精度。

数据包捕获(PCAP)是其中的一种基本工具。这是一种采用拦截数据包遍历一个计算机网络的机制,PCAP是企业部署的一种常见的功能,用以安全事件和网络性能的监测,识别数据泄漏,排查问题,甚至进行取证分析,以确定网络漏洞的影响。

不过,现实情况则是:鉴于物联网对于网络需求的不断增加,使得数据的传输速度不断增加,现有的PCAP体系跟不上。企业用户所使用的是商业化的网络接口卡(NIC),并正在努力满足以10/40/100 Gbps的速率进行精确的捕捉和回放的要求。好消息是,我们今天已经有了一些解决方案,已经被用来实施速度超过100 Gbps的数据包捕获。利用网络加速技术,再加上开源的网络监控和捕获解决方案,可以使企业用户能够满足高速网络的精确数据包捕获和回放要求。

高速网络的分析与安全解决方案

工程师和管理人员需要的是对于当前网络基础设施中所发生状况的实时、精确的视图把控,而这就是有效的PCAP和分析系统可以提供的。同样,精密PCAP系统也给企业用户提供了创建具有高保真验证和架构变化验证,故障排除和分析网络事件的能力。

当进行高速网络和安全性解决方案的研究分析时,一个重要考虑的因素是与速度和可编程逻辑准确性开源工具的结合。如下三大关键因素是您企业比较相关的选择方案时值得考虑的:

高精度的时间戳:寻找能够提供高精度的、基于硬件的时间戳(time stamping),拥有纳秒分辨率进行每帧捕获和发送的解决方案。基于硬件的时间戳避免了以软件为基础的解决方案固有的不可预知的延迟,并实现了对通信流的精确记录。精密时间协议(PTP)的支持,还可以用于在分布式探测器网络的精确同步。

在流量入口处指挥流量:在流量入口直接识别流量的技术的实现对于保持立即捕获和在高转速下的性能分析是非常重要的。这样,用户空间应用程序的负载可以被最小化,管理员能够动态识别,并将相关的数据流直接导入到特定的处理器内核,以便根据流量的类型进行分析。

以各种速度进行数据包捕获和重放:如果企业的目标是以各种速度实现高速的数据包捕获和重放,包括1/10/40/100 Gbps,网络加速卡(NAC)基于现场可编程门阵列(FPGA)是理想的选择。此外,NAC允许精确的帧间间隙(IFG)控制,这在回放捕获的流量进行故障排除或模拟业务流时,是至关重要的。

标准的数据包捕获(PCAP)

对于网络基础设施进行数据包捕获和分析的重要功能,企业用户以往的历史上是依赖于软件工具。在这种情况下,软件是安装在指定的监控主机上,配置网络轮询包,将商业化的网络适配器置于混杂模式,并连接到网络使用一个交换机端口分析仪(SPAN)接口。下图1说明了低速的PCAP使用商业化的网络接口卡(NIC)和libpcap的典型结构。

  图1:传统的PCAP体系结构

在此架构下,每次网络适配器收到以太网帧时,它会产生一个中断请求,并从适配器的内存缓冲区复制数据到内核空间中。通常情况下,内核空间驱动器确定该数据包是否是用于该主机,或者丢弃数据包,或者将其传递给协议栈,直到它到达用户空间被指定的应用程序时。但是,当为混杂模式进行配置时,所有数据包均被捕获到内核缓冲区无论其目标主机如何。一旦内核缓冲区满时,上下文切换被执行以将数据传送到由libpcap管理的用户空间缓冲,这是一个与用户级数据包捕获无关的一个独立系统接口,使得数据可以由用户级应用程序进行访问。

内核缓冲区从用户级应用程序中移除,并且要保持应用程序访问内核管理内存。鉴于这种结构,很明显,当一个帧被适配器接收到,而其实际上是要交付给用户空间应用程序进行处理时,某些一定的时间间隔内会失效。

当数据传输速率低时,这一时间间隔并不会对PCAP的准确性产生显著影响,但在更高的速率下,情况是复合的,CPU趋于饱和,试图跟上传入的数据,则会导致捕获损失和时序问题。例如,我们可以考虑一个1 Gbps的网络链接可以推动每秒150万数据包,或一个数据包需要花费670纳秒。相反,在10和100 Gbps条件下,系统处理一个数据包,分别为每67或6.7纳秒。

对于传统的架构,以这种速率捕获数据包,而不增加时间,分类,流量识别和过滤精确度的复杂性已经很难了。在这种速率情况下,执行无损高保真的数据包捕获,回放和实时数据流分析需要采用与PCAP不同的方法,其中一种便是将大量的数据处理从用户空间移动到硬件,同时也消除了低效的用户到内核空间的相互作用。

面向未来的PCAP

相反,硬件加速,使得在高速网络实现PCAP的目标成为可能。有针对性地使用可编程逻辑加上开源的工具,允许将数据被传递到用户空间应用程序之前进行准确地捕获,并在网络加速卡处理(NAC)。图2说明了一款加速PCAP架构看起来的样子。

  图2:加速PCAP体系结构

对于线速数据包分析和在线事件处理,在硬件中以1/10/40/100 Gbps的速度,高性能的NAC使用FPGA。由于其可编程特性,FPGA在其中发挥了重要的作用,非常适合于许多不同的市场。这些半导体设备是基于通过可编程互连连接的可配置逻辑块(CLB)的矩阵。FPGA可重新编程,以满足应用程序所需或功能的要求。通过使用基于NAC的FPGA,网络管理员可以立即改善企业的监控,并具备了应对发生在其网络基础设施事件的能力。

该架构采用了线速率数据包分析,将大部分的帧处理推到硬件的捕获设备,其可以部署在一个商业化的服务器或工作站,为更高层次的分析维护处理器周期。这种方法确保了数据处理时,相关的数据已经传递给了用户的空间缓冲区,可以由应用程序访问,已被时间戳,并适当地进行分类和筛选。

将这些设备与开源应用程序结合创建了一种强大的且具有成本效益的解决方案,可以提供多种用途。一般来说,高性能的NAC使内部开发易于伸缩规模化,高性能的网络应用程序超过了PCAP。即使是复杂的载荷分析和网络广泛的相关算法可以很容易地使用有效的基于流的负载均衡机制建立在NAC。该应用程序执行更复杂的分析,更为关键的是,从捕获设备的PCAP流没有丢失数据包,框架是正确的顺序。诸如协议重建,重组,事件检测和QoS计算等任务由于PCAP性能的不足严重阻碍了。

另一个最佳实践是寻找IEEE 1588,或精密时间协议(PTP)解决方案的支持。这样做时,精确的时间同步被保持在分布式部署中,多个加速的PCAP探针被部署在整个网络的基础设施。这种方法允许从多个NAC的多个端口的帧合并成一个单一的时间排序的分析流。在数据捕获中保持时间保真度的这个水平,确保了企业可以以数据被捕获完全相同的方式进行回顾性分析网络事件,回放数据,完成精确定时和帧间间隙控制。

关键是要理解和衡量绩效,找出瓶颈所在,排查解决问题,并保护环境的安全性;要做到这一点,企业需要的是对于其企业网络中所发生状况的实时视图,以及执行活动的回顾性分析的能力。因此,数据包捕获和分析将继续在企业数据管理和保护各种规模的网络中发挥关键作用。

PCAP的现代数据负载

现代高速网络对于用传统手段来执行PCAP无疑是太快了,从而导致了大量数据包的丢弃和数据的不精确。随着移动数据流量的大增,企业需要在10/40/100 Gbps的速度和更高传输速率情况下执行PCAP。这将需要捕获的数据包的处理发生在入口点,同时确保精度进行维护,且数据包也不会丢失。企业可以创建使用可编程逻辑和开源软件部署在COTS服务器上的面向未来的解决方案,以满足PCAP对高速网络的需求。

关于作者

本文作者丹尼尔·乔瑟夫·巴里是Napatech公司的副总裁兼首席宣传官。他在IT和电信行业拥有超过20年的经验。在2009年加入Napatech之前,丹乔曾担任TPack公司的营销总监,这是一家电信行业领先的运输芯片解决方案供应商。从2001年到2005年,他曾担任光学组件供应商NKT Integration公司(现在的Ignis Photonyx)的销售和业务发展总监,之后又担任过爱立信公司的产品开发、业务发展和产品管理的各种职务。丹乔于1995年从爱立信的研发部门的一个职位跳槽到Jutland Telecom(现在的TDC公司)。他拥有都柏林圣三一学院电子工程学士学位以及MBA学位。

关键字:数据包数据捕获

本文摘自:机房360

x 加速数据包捕获以满足现代数据需求 扫一扫
分享本文到朋友圈
当前位置:数据网络行业动态 → 正文

加速数据包捕获以满足现代数据需求

责任编辑:editor006 |来源:企业网D1Net  2015-07-22 15:31:39 本文摘自:机房360

据思科最新公布的《视觉网络指数:全球移动数据流量预测》显示,2014到2019年,全球移动数据流量将增长十倍,年复合增长率将达到57%。这一流量的年度运行率将从2014年的30.3艾字节增长至2019年的291.8艾字节。也许,我们从思科的这份统计报告中得出的最令人吃惊的数据信息是,到2019年,54%的移动链接将来自“智能”链接。而这一比例在2014年仅为26%。

欢迎来到物联网(IoT)的世界。在这一物联网的世界,数据信息的量、传递速度和数据来源均在发生着极快的变化。今天的网络专业人士不仅需要利用相关的工具来保护企业网络,同时还需要确保数据实时的纳秒级的精度。

数据包捕获(PCAP)是其中的一种基本工具。这是一种采用拦截数据包遍历一个计算机网络的机制,PCAP是企业部署的一种常见的功能,用以安全事件和网络性能的监测,识别数据泄漏,排查问题,甚至进行取证分析,以确定网络漏洞的影响。

不过,现实情况则是:鉴于物联网对于网络需求的不断增加,使得数据的传输速度不断增加,现有的PCAP体系跟不上。企业用户所使用的是商业化的网络接口卡(NIC),并正在努力满足以10/40/100 Gbps的速率进行精确的捕捉和回放的要求。好消息是,我们今天已经有了一些解决方案,已经被用来实施速度超过100 Gbps的数据包捕获。利用网络加速技术,再加上开源的网络监控和捕获解决方案,可以使企业用户能够满足高速网络的精确数据包捕获和回放要求。

高速网络的分析与安全解决方案

工程师和管理人员需要的是对于当前网络基础设施中所发生状况的实时、精确的视图把控,而这就是有效的PCAP和分析系统可以提供的。同样,精密PCAP系统也给企业用户提供了创建具有高保真验证和架构变化验证,故障排除和分析网络事件的能力。

当进行高速网络和安全性解决方案的研究分析时,一个重要考虑的因素是与速度和可编程逻辑准确性开源工具的结合。如下三大关键因素是您企业比较相关的选择方案时值得考虑的:

高精度的时间戳:寻找能够提供高精度的、基于硬件的时间戳(time stamping),拥有纳秒分辨率进行每帧捕获和发送的解决方案。基于硬件的时间戳避免了以软件为基础的解决方案固有的不可预知的延迟,并实现了对通信流的精确记录。精密时间协议(PTP)的支持,还可以用于在分布式探测器网络的精确同步。

在流量入口处指挥流量:在流量入口直接识别流量的技术的实现对于保持立即捕获和在高转速下的性能分析是非常重要的。这样,用户空间应用程序的负载可以被最小化,管理员能够动态识别,并将相关的数据流直接导入到特定的处理器内核,以便根据流量的类型进行分析。

以各种速度进行数据包捕获和重放:如果企业的目标是以各种速度实现高速的数据包捕获和重放,包括1/10/40/100 Gbps,网络加速卡(NAC)基于现场可编程门阵列(FPGA)是理想的选择。此外,NAC允许精确的帧间间隙(IFG)控制,这在回放捕获的流量进行故障排除或模拟业务流时,是至关重要的。

标准的数据包捕获(PCAP)

对于网络基础设施进行数据包捕获和分析的重要功能,企业用户以往的历史上是依赖于软件工具。在这种情况下,软件是安装在指定的监控主机上,配置网络轮询包,将商业化的网络适配器置于混杂模式,并连接到网络使用一个交换机端口分析仪(SPAN)接口。下图1说明了低速的PCAP使用商业化的网络接口卡(NIC)和libpcap的典型结构。

  图1:传统的PCAP体系结构

在此架构下,每次网络适配器收到以太网帧时,它会产生一个中断请求,并从适配器的内存缓冲区复制数据到内核空间中。通常情况下,内核空间驱动器确定该数据包是否是用于该主机,或者丢弃数据包,或者将其传递给协议栈,直到它到达用户空间被指定的应用程序时。但是,当为混杂模式进行配置时,所有数据包均被捕获到内核缓冲区无论其目标主机如何。一旦内核缓冲区满时,上下文切换被执行以将数据传送到由libpcap管理的用户空间缓冲,这是一个与用户级数据包捕获无关的一个独立系统接口,使得数据可以由用户级应用程序进行访问。

内核缓冲区从用户级应用程序中移除,并且要保持应用程序访问内核管理内存。鉴于这种结构,很明显,当一个帧被适配器接收到,而其实际上是要交付给用户空间应用程序进行处理时,某些一定的时间间隔内会失效。

当数据传输速率低时,这一时间间隔并不会对PCAP的准确性产生显著影响,但在更高的速率下,情况是复合的,CPU趋于饱和,试图跟上传入的数据,则会导致捕获损失和时序问题。例如,我们可以考虑一个1 Gbps的网络链接可以推动每秒150万数据包,或一个数据包需要花费670纳秒。相反,在10和100 Gbps条件下,系统处理一个数据包,分别为每67或6.7纳秒。

对于传统的架构,以这种速率捕获数据包,而不增加时间,分类,流量识别和过滤精确度的复杂性已经很难了。在这种速率情况下,执行无损高保真的数据包捕获,回放和实时数据流分析需要采用与PCAP不同的方法,其中一种便是将大量的数据处理从用户空间移动到硬件,同时也消除了低效的用户到内核空间的相互作用。

面向未来的PCAP

相反,硬件加速,使得在高速网络实现PCAP的目标成为可能。有针对性地使用可编程逻辑加上开源的工具,允许将数据被传递到用户空间应用程序之前进行准确地捕获,并在网络加速卡处理(NAC)。图2说明了一款加速PCAP架构看起来的样子。

  图2:加速PCAP体系结构

对于线速数据包分析和在线事件处理,在硬件中以1/10/40/100 Gbps的速度,高性能的NAC使用FPGA。由于其可编程特性,FPGA在其中发挥了重要的作用,非常适合于许多不同的市场。这些半导体设备是基于通过可编程互连连接的可配置逻辑块(CLB)的矩阵。FPGA可重新编程,以满足应用程序所需或功能的要求。通过使用基于NAC的FPGA,网络管理员可以立即改善企业的监控,并具备了应对发生在其网络基础设施事件的能力。

该架构采用了线速率数据包分析,将大部分的帧处理推到硬件的捕获设备,其可以部署在一个商业化的服务器或工作站,为更高层次的分析维护处理器周期。这种方法确保了数据处理时,相关的数据已经传递给了用户的空间缓冲区,可以由应用程序访问,已被时间戳,并适当地进行分类和筛选。

将这些设备与开源应用程序结合创建了一种强大的且具有成本效益的解决方案,可以提供多种用途。一般来说,高性能的NAC使内部开发易于伸缩规模化,高性能的网络应用程序超过了PCAP。即使是复杂的载荷分析和网络广泛的相关算法可以很容易地使用有效的基于流的负载均衡机制建立在NAC。该应用程序执行更复杂的分析,更为关键的是,从捕获设备的PCAP流没有丢失数据包,框架是正确的顺序。诸如协议重建,重组,事件检测和QoS计算等任务由于PCAP性能的不足严重阻碍了。

另一个最佳实践是寻找IEEE 1588,或精密时间协议(PTP)解决方案的支持。这样做时,精确的时间同步被保持在分布式部署中,多个加速的PCAP探针被部署在整个网络的基础设施。这种方法允许从多个NAC的多个端口的帧合并成一个单一的时间排序的分析流。在数据捕获中保持时间保真度的这个水平,确保了企业可以以数据被捕获完全相同的方式进行回顾性分析网络事件,回放数据,完成精确定时和帧间间隙控制。

关键是要理解和衡量绩效,找出瓶颈所在,排查解决问题,并保护环境的安全性;要做到这一点,企业需要的是对于其企业网络中所发生状况的实时视图,以及执行活动的回顾性分析的能力。因此,数据包捕获和分析将继续在企业数据管理和保护各种规模的网络中发挥关键作用。

PCAP的现代数据负载

现代高速网络对于用传统手段来执行PCAP无疑是太快了,从而导致了大量数据包的丢弃和数据的不精确。随着移动数据流量的大增,企业需要在10/40/100 Gbps的速度和更高传输速率情况下执行PCAP。这将需要捕获的数据包的处理发生在入口点,同时确保精度进行维护,且数据包也不会丢失。企业可以创建使用可编程逻辑和开源软件部署在COTS服务器上的面向未来的解决方案,以满足PCAP对高速网络的需求。

关于作者

本文作者丹尼尔·乔瑟夫·巴里是Napatech公司的副总裁兼首席宣传官。他在IT和电信行业拥有超过20年的经验。在2009年加入Napatech之前,丹乔曾担任TPack公司的营销总监,这是一家电信行业领先的运输芯片解决方案供应商。从2001年到2005年,他曾担任光学组件供应商NKT Integration公司(现在的Ignis Photonyx)的销售和业务发展总监,之后又担任过爱立信公司的产品开发、业务发展和产品管理的各种职务。丹乔于1995年从爱立信的研发部门的一个职位跳槽到Jutland Telecom(现在的TDC公司)。他拥有都柏林圣三一学院电子工程学士学位以及MBA学位。

关键字:数据包数据捕获

本文摘自:机房360

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^