《网络窃密、监听和防泄密技术》第8章 网络监听的原理和关键技术

第8章网络监听的原理和关键技术8.1网络监听的原理8.2网络数据流采集技术8.3网络流量/协议分析技术

8.1网络监听的原理

8.1.1网络监听技术的来源

近年来，计算机网络技术得到了飞速发展，越来越多的关键业务需要在计算机网络上操作，越来越多的重要信息通过网络传送，网络已逐渐成为企业和机构日常工作不可或缺的一部分。但与此同时，随着网络规模的不断扩大，结构、功能和应用环境越来越复杂，数据流量越来越大，如何保障网络的持续、安全、高效运行，确保对网络用户行为和通信数据的有效掌控，已经成为网络管理人员面临的巨大挑战。因此，网络流量/协议分析技术也随之发展起来。它能帮助网络运行维护人员充分了解和掌握网络的流量占用、应用分布、通信连接、数据包原始内容等所有网络行为以及整个网络的运行情况，使其能在网络出现问题时，快速准确地分析问题原因，定位关键点、故障点和威胁点并进行相应处理，确保网络按预期目标运行。

网络流量/协议分析是指通过各种方式捕捉网络中流动的数据包，并通过查看包内部数据以及进行相关的协议、流量分析和统计等来发现网络运行过程中出现的问题。目前，它是网络和系统管理人员进行网络故障和性能诊断的最有效工具。网络流量/协议分析能帮助我们弄清楚“网络是如何运作的?”这个具体问题。网络流量/协议分析可以观测所有应用系统的运作情况从而了解其端到端的通信情况。另外，它通常还具有实时和历史监控分析的功能。通过实时监控及时发现问题，迅速排除故障；借助历史数据显示用户使用网络趋势和模式。

网络监听技术来源于网络流量/协议分析技术，实际上就是它在专门领域的扩展运用形式。8.1.2网络监听技术的理论模型

网络监听技术的理论模型来源于网络管理领域中的几个经典模型。从过去简单的单节点数据采集和解码，到现在的大规模、分布式、多层次监听和快速分析新型应用功能，网络监听技术紧跟RMON(远程监控)及RMON2模型的不断改进，及时发掘出新的能力。

SNMP是RMON模型的前身。目前，SNMP是基于TCP/IP并在Internet中应用最广泛的网管协议，网络管理员可以使用它来监视和分析网络运行情况，但是SNMP也有一些明显的不足之处。SNMP使用轮询采集数据，而在大型网络中轮询会产生巨大的网络管理报文，从而导致网络拥塞。SNMP仅提供一般的验证，不能提供可靠的安全保证。此外，SNMP也不支持分布式管理，而采用集中式管理。由于只有网管工作站负责采集数据和分析数据，所以网管工作站的处理能力可能成为瓶颈。为了提高传送管理报文的有效性，减少网管工作站的负载，满足网络管理员监控网段性能的需求，IETF开发了RMON用以解决SNMP在日益扩大的分布式互联中所面临的局限性。

RMON是一个标准监控规范，它可以使用各种网络监控器，与控制台系统之间交换网络监控数据。RMON首先实现了对异构环境进行一致的远程管理，主要实现对一个网段乃至整个网络的数据流量的监视功能，目前已成为成功的网络管理标准之一。RMON标准使SNMP更有效、更积极主动地监测远程设备，网络管理员可以更快地跟踪网络、网段或设备出现的故障。RMONMIB(RMON管理信息库)的实现可以记录某些网络事件，可以记录网络性能数据和故障历史，可以在任何时候访问故障历史数据以有利于进行有效的故障诊断。使用这种方法减少了管理工作站同代理(Agent)间的数据流量，使简单而有效地管理大型网络成为可能。图8-1给出了网络管理站与RMON代理通信的例子。

RMON监视器可用两种方法收集数据：一种是通过专用的RMON探针，网管工作站直接从探针获取管理信息并控制网络资源，这种方式可以获取RMONMIB的全部信息；另一种方法是将RMON代理直接植入网络设备(路由器、交换机等)，使它们成为带RMON探针功能的网络设施，网管工作站用SNMP的基本命令与其交换数据信息，收集网络管理信息，但这种方式受设备资源限制，一般不能获取RMONMIB的所有数据，大多数只收集四个组的信息。通过运行在网络监视器上的支持RMON代理，网管工作站可以获得与被管网络设备接口相连的网段上的整体流量、错误统计和性能统计等信息，从而实现对网络的远程/本地管理。图8-1RMON模型

RMONMIB由一组统计数据、分析数据和诊断数据组成，它提供一个网段的统计数据和计算结果。RMONMIB对网段数据的采集和控制通过控制表和数据表完成。RMONMIB按功能分成9个组，每个组都有自己的控制表和数据表。开始工作后，RMON监控端根据控制表的配置，把收集到的数据存放到数据表。RMON在监控元素的9个RMON组中传递信息，各组通过提供不同的数据来满足网络监控的需要。RMONMIB包含两个版本：RMON(RFC1757)及其扩展RMON2(RFC2021)，如表8-1和表8-2所示，RMONMIB具有9组计量。图8-2RMON和RMON2模型关注的逻辑层次8.1.3典型(分布式)网络监听系统的体系结构

以RMON或RMON2模型作为理论基础，在实现的一些细节上加以改进，并添加能体现自身特点的独特核心技术，如今，市场上已经出现了很多技术成熟、性能先进的(分布式)网络监听系统产品。但不论如何实现，一般来说，远程(分布式)网络监听功能的完成主要涉及四个组成部分，如图8-3所示。图8-3远程(分布式)网络监听的实现

(1)被监视的网络节点(如主机、交换机、路由器、防火墙/内容过滤设备等)；

(2)网络探针(如硬件独立设备或软件代理)；

(3)加密的监听数据传输隧道；

(4)网络管理和网络监视中心(包括中心数据库、网络流量/协议分析系统等)。网络监听系统可根据需求，覆盖网络通信过程中的全部逻辑层次，运用不同探针，采集从物理层到应用层的各类数据。如图8-4所示，通过软件代理或分布式硬件探针，典型的(分布式)网络监听系统可基于任意类型的通信媒介(无线、光纤、电话线、网线等)，对各种被监听对象(包括单个计算机、内部局域网络、大型广域网络、互联网等)中的数据进行采集，之后通过预先设定的加密隧道，将数据汇总到远程/本地数据中心，再由网络流量/协议分析专家系统根据RMON/RMON2、预设模型、判别矩阵等对数据进行初步分析和过滤，最后监听者根据任务需求，对关键数据进行定位、识别、关联和评估。具体包括以下几个方面的内容：

(1)高性能大流量网络数据采集；

(2)大容量存储；

(3)基于统计学的数据预处理；

(4)专家系统智能化分析；

(5)数据包解码分析；

(6)报告和预测。从网络流量/协议分析的角度而言，采集回的数据可按照关键性能指标(KPI)、数据流(Flow)和数据包(Packet)三个层次进行分析，提供从整体到局部、从大概情况到详细数据的分析结果，在应用中可实现告警(Warning)、单个问题隔离(Isolation)和证据采集(Evidence)三个级别的功能。其中，KPI包括反应时间、错误数量等参数，Flow包括容量使用率、会话、流量排名等参数，Packet即为单个数据包的集合，可直接察看数据内容。图8-4典型(分布式)网络监听系统体系结构8.1.4网络监听的关键技术

前面已经提到，网络监听系统中包括两个方面的核心技术：数据流采集技术和网络流量/协议分析技术。与此同时，业界也存在另一种划分方法，将网络监听的关键技术概括为以下三个方面的内容：

(1)数据流采集技术。数据流采集技术解决“如何从网络的不同位置获取我们所需要的网络数据流”这一问题。从数据采集的位置看，可以分为以下几类：

①基于网络。基于网络的数据流采集工具放置在比较重要的网段内，不停地监视网段中的各种数据包，用于之后对每一个数据包或可疑的数据包进行特征分析。目前，大部分进行数据采集的安全防御设备都是基于网络的。②基于主机。基于主机的数据流采集设备通常安装在被重点检测的主机中，用于对该主机的网络实时连接和对系统审计日志进行智能分析和判断，特别用于发现其中主体活动特征违反统计规律的情况。

③混合采集。基于网络的数据流采集和基于主机的数据采集都有不足之处，单纯使用一类方法会造成采集信息的不全面。如果能将这两类方法无缝结合起来部署在网络内，则可为构架一套完整立体的主动防御体系提供坚实的基础。混合采集是综合了基于网络和基于主机两种结构特点的数据采集系统，既可发现网络中的攻击信息，也可从系统日志中发现异常情况。

(2)流量监测技术。流量监测技术主要通过统计学方法，从“流”的层次概括归纳网络通信情况，不需要具体的数据包内容。用于针对用户行为的分析，效率较高，但从监视的角度而言，信息量不够。流量监测技术主要包括基于SNMP的流量监测和基于Netflow的流量监测。

①基于SNMP的流量信息采集。通过提取网络设备代理提供的MIB收集一些具体设备及与流量信息有关的变量。基于SNMP收集的网络流量信息包括输入字节数、输入非广播包数、输入广播包数、输入包丢弃数、输入包错误数、输入未知协议包数、输出字节数、输出非广播包数、输出广播包数、输出包丢弃数、输出包错误数、输出队长等。②基于Netflow流量信息采集。基于网络设备提供的Netflow机制实现的网络流量信息采集，在此基础上实现的流量信息采集效率和效果均能够满足网络流量异常监测的需求。基于以上的流量检测技术，目前有很多流量监控管理软件，此类软件是判断异常流量流向的有效工具，通过流量大小变化的监控，可以帮助网管人员发现异常流量，特别是大流量异常流量的流向，从而进一步查找异常流量的源地址和目的地址。

(3)协议分析技术。协议分析技术用于解决“了解掌握用户具体使用了什么协议和应用，传输了什么信息”这一问题，主要包括协议和应用识别、基于数据包解码的分析。

①协议和应用识别。根据采集的数据报报头的内容，采用基于协议自动机的流量识别技术，综合分析包括IP地址、端口号、关键字、报文格式、传输层协议等在内的多种特征，对流量进行分类并完成对各种应用层协议的准确识别，如数据库协议、使用动态端口分配的P2P、加密型或非加密型即时通信、虚拟隧道应用等，都将无所遁形。②基于数据包解码的分析。首先将采集到的数据报按照报文格式定义解码为可读的数据段，然后对海量的数据段进行智能化状态模式匹配。这种技术的原理是以与会话中的客户端或者服务器端相同的方式解码，各个协议组件在识别通信数据的各个部分类型之后根据RFC定义的规则搜寻信息模式，在某些情况下可以通过在某个特定的协议域中进行模式匹配来进行，而有些则需要采用一些更加先进的技术或引入人工干预，如根据一些特定的变量(如某个域的长度或者自变量的数量)进行检测等。

8.2网络数据流采集技术

8.2.1网络数据流采集技术概述

网络数据流采集设备分软、硬两种。代理软件易于使用，价格低，缺点是受限于部署位置(只能部署在目标主机上，或是便携式分析设备上)和终端计算机性能，无法抓取并高速处理网络上所有的传输数据。而硬件数据流采集设备(网络探针)的部署如图8-5所示，可根据需求和实际情况，部署在网络的各种关键位置，如接入交换机、核心网关等。图8-5硬件监听设备(网络探针)的部署方式网络探针以“被动侦听”形式，在线上捕获数据包，并提供包解码和网络7层的RMONMIB信息。很多有名的网络测试仪都是用“被动侦听”形式在网络上工作。这种形式可确保网络探针与网络100%隔离，永远不会造成网络干扰，避免成为网络瓶颈或单点故障，是业界最推崇的流量采集方法。

网络探针通常借助Hub/交换机/TAP等设备，采用不同原理从网络中获得数据流。如常见的交换机端口分析器(SPAN)功能，又称为“端口镜像”功能；也可采取在网段中串接TAP设备的方式；如果投资允许，甚至可以使用高端的矩阵交换机。因为受处理流量上限、设备可靠性等的制约，本书介绍但并不推荐很多入门教材上建议的串接Hub的方法。使用集线器(Hub)作为网络中心交换设备的网络为共享式网络，集线器以共享带宽的方式工作，所有接在集线器上的设备均处在一个冲突域中，因此，如果用户网络的中心交换设备是集线器，如图8-6所示，只需将监听设备与集线器相连，即可捕获整个子网中所有的数据通信。

交换机端口分析器是平时最常见的、作用在交换机上的网络数据流采集端口。如图8-7所示，网络管理员配置交换机上的一个端口作为SPAN端口，然后交换机就将其指定端口/VLAN的流量拷贝并发送到SPAN端口，用于监听网络流量。图8-6集线器图8-7交换机端口分析器应该指出的是，目前，主流的交换机设备厂商生产的交换机，在SPAN方面存在如下的限制：

(1) CISCO：

① SPAN会话中只能有一个目的端口；

②大多数型号只支持一个SPAN会话；

③不同的SPAN会话中目的端口只能有一个。

(2)华为：

①一个MIRROR(镜像)组只能有一个目的端口；

②即使支持多个MIRROR组，在同一单板上仍然只能有一个目的端口；

(3)其他：通常只支持一个镜像目的端口。随着网络安全技术的发展和企业安全性不断得到重视，基于网络旁路部署的安全设备及网络流量分析设备逐渐增多，同时部署两个或以上的旁路监听设备成为新的需求。但由于如上所述，交换机SPAN端口数目受限，同时SPAN的使用也在一定程度上影响核心交换机的性能，用户在构建网络监测系统时，越来越多地考虑采用专用流量分析接入设备—TAP的方式，而把传统的SPAN技术作为辅助和补充。基于TAP的流量复制/汇聚器可以将一个监听端口的流量数据完全线速地复制到多个监听端口，同时还可支持多端口流量汇聚功能，灵活地满足网络安全及流量分析设备的部署要求。如图8-8所示，测试访问端口(TAP)十分类似于早期的Hub，以“中断插入”的形式部署在原本直接相连的通信对端之间(图中为交换机和防火墙，实际工作中也可以为终端、服务器、路由器等)，仿佛“成为网线(或其他有线传输媒介)的一部分”，在数据流“流经”自身的同时，被动采集数据并进行复制。图8-8TAP的“中断插入”式部署方式当网络数据到达任何一个流量端口时，TAP向其他两个网络端口和监控端口提供数据的备份。这样，用户就可以把网络监听设备连接到网络上，并且不需要停止网络基础设备的工作。基于TAP的流量复制/汇聚器一般采用ASIC专用芯片纯硬件方式设计，通过流量复制交换引擎完成在线流量的复制监听，纯硬件ASIC方式的复制交换引擎可保证千兆线速流量监听复制；各个输出监听端口可以灵活选择监听链路上行、下行或汇聚流量以支持各类单/双监听接口旁路监控设备的部署。

下面，我们通过表8-4，对Hub、SPAN与TAP三者的优点和缺点进行比较和总结。8.2.2Hub

在Hub以太网中，所有的通信都是广播的，也就是说通常在同一个网段的所有网络接口都可以访问在物理媒介上传输的所有数据，而每一个网络接口都有一个唯一的硬件地址，这个硬件地址也就是网卡的MAC地址，大多数系统使用48比特的地址，这个地址用来表示网络中的每一个设备。一般来说每一块网卡上的MAC地址都是不同的，每个网卡厂家得到一段地址，然后用这段地址给其生产的每个网卡分配一个地址。在硬件地址和IP地址间使用ARP和RARP协议进行相互转换。在正常的情况下，一个网络接口应该只响应与自己硬件地址相匹配的数据帧或发送至所有机器的广播数据帧。在实际系统中，数据的收发是由网卡来完成的。网卡接收到传输来的数据后，网卡内的单片程序接收数据帧的目的MAC地址，根据计算机中的网卡驱动程序设置的接收模式判断是否应该接收，若认为应该接收，就产生中断信号通知CPU；若认为不该接收，就丢掉，所以不该接收的数据网卡就截断了，计算机根本就不知道。CPU得到中断信号产生中断，操作系统就根据网卡的驱动程序设置的网卡中断程序地址调用驱动程序接收数据，驱动程序接收数据后放入信号堆栈让操作系统处理。而对于网卡来说一般有四种接收模式：

(1)广播方式：该模式下的网卡能够接收网络中的广播信息。

(2)组播方式：设置在该模式下的网卡能够接收组播数据。

(3)直接方式：在这种模式下，只有目的网卡才能接收该数据。

(4)混杂模式：在这种模式下的网卡能够接收通过它的一切数据，而不管该数据是否是传给它的。

当网卡置于混杂模式(promiscuous)下工作时，能够接收到通过它的一切数据，而不管该数据是否是传给它的。这实际上就是利用Hub进行局域网监听的基本原理，即让网卡接收一切它所能接收的数据。8.2.3基于SPAN的端口镜像

如果拥有一个交换网络，那么网络监控器工具常会被限制只能接收它本身有的数据包。在这种情况下，为实现网络管理，监控网络流量，基于SPAN的端口镜像功能是必需的。利用SPAN技术可以把交换机上某些想要被监控的端口的数据流镜像一份，发送给连接在监控端口上的监听设备，可用于监控和分析在网关之间、单机和VLAN上传输的数据。

基于SPAN的端口镜像一般是将符合指定规则的报文复制到镜像目的端口。如图8-9所示，镜像目的端口接入数据检测设备，用户利用这些设备对镜像过来的报文进行分析，进行网络监控。端口镜像把交换机一个或多个端口(VLAN)的数据镜像到一个或多个端口。目前广泛采用的交换网络监听所有流量有相当大的困难，因此，需要通过配置交换机来把一个或多个端口(VLAN)的数据转发到某一个端口来实现对网络的监听。图8-9利用SPAN进行数据监测

SPAN技术大体分为两种类型，即本地SPAN和远程SPAN。受控端口和监控端口可以在同一台交换机上(本地SPAN)，也可以在不同的交换机上(远程SPAN)。

端口镜像通常有以下几种别名：

(1) PortMirroring：通常指允许把一个端口的流量复制到另外一个端口，同时这个端口不能再传输数据。

(2) MonitoringPort：监控端口。

(3) SpanningPort：通常指允许把所有端口的流量复制到另外一个端口，同时这个端口不能再传输数据。

(4) SPAN端口：在Cisco的产品中，SPAN通常指交换机端口分析器(SwitchPortAnalyzer)。某些交换机的SPAN端口不支持传输数据。

SPAN会话是指一组受控端口与一个监控端口之间的数据流。可以同时对多个端口的进入流量或一个端口的外出流量进行监控，也可以对VLAN内所有端口的进入流量进行监控，但不能同时对多个端口的外出流量及VLAN的外出流量进行监控，可以对处于关闭状态的端口设置SPAN，但此时的SPAN会话是非活动的，但只要相关的接口被打开，SPAN就会变为活动的。监控端口的带宽最好不小于受控端口的带宽，否则可能会出现丢包的现象。

使用本地SPAN可以监控所有的网络流量，包括multicast、BPDU、CDP、VTP、DTP、STP、PagP、LACPpackets。RSPAN不能监控二层协议。被监控的流量类型分为三种：

(1)受控端口的接收流量；

(2)受控端口的发送流量；

(3)受控端口的接收和发送流量。

SPAN会话的源端口(受控端口)可以是实际的物理端口、VLAN、以太通道端口组EtherChannel，物理端口可以在不同的VLAN中。如果受控端口是VLAN，则包括此VLAN中的所有物理端口；如果受控端口是以太通道，则包括组成此以太通道组的所有物理端口；如果受控端口是一个TRUNK干道端口，则此TRUNK端口上承载的所有VLAN流量都会受到监控，也可以使用filtervlan参数进行调整，只对filtervlan中指定的VLAN数据流量进行监控。

SPAN会话的目的端口(也就是monitoringport，即监控端口)只能是单独的一个实际物理端口，一个监控端口同时只能在一个SPAN会话中使用。

反射端口只在RSPAN中使用，与RSPAN中的受控端口在同一台交换机上，是用来将本地的受控端口流量转发到RSPAN中在另一台交换机上的远程监控端口的方法，反射端口也只能是一个实际的物理端口，它不属于任何VLAN。RSPAN中还要使用一个专用的VLAN来转发流量，反射端口会使用这个专用VLAN将数据流通过TRUNK端口发送给其他的交换机，远程交换机再通过此专用VLAN将数据流发送到监控端口上的分析仪。关于RSPANVLAN的创建，所有参与RSPAN的交换机应在同一个VTP域中，不能用VLAN1，也不能用1002-1005，这是为令牌环和FDDI预留的VLAN号。如果是2-1001的标准VLAN，则只要在VTP服务器上创建即可，其他的交换机会自动学到；如果是1006-4094的扩展VLAN，则需要在所有交换机上创建此专用VLAN。反射端口的带宽最好不小于受控端口的带宽，否则可能会出现丢包的现象。基于VLAN的SPAN只能监控VLAN中所有活动端口接收的流量。如果监控端口属于此VLAN，则此端口不在监控范围内。VSPAN只监控进入交换机的流量，不对VLAN接口上的路由数据进行监控。

远程端口镜像突破了镜像源端口和镜像目的端口必须在同一台交换机上的限制，使镜像源端口和镜像目的端口可以在不同的网络设备上，从而方便网管人员对远程交换机设备进行管理。实现远程端口镜像功能的交换机分为三种：

(1)源交换机：被监测的端口所在的交换机，负责将镜像流量复制到Remote-probeVLAN中，然后二层转发给中间交换机或目的交换机。

(2)中间交换机：网络中处于源交换机和目的交换机之间的交换机，通过Remote-probeVLAN把镜像流量传输给下一个中间交换机或目的交换机。如果源交换机与目的交换机直接相连，则不存在中间交换机。

(3)目的交换机：远程镜像目的端口所在的交换机，将从Remote-probeVLAN接收到的镜像流量通过镜像目的端口转发给监控设备。8.2.4TAP

测试访问端口(TestAccessPoint，TAP)，俗称“分光器”或“分路器”。分光是数据通过光纤传输；分路是数据通过网线传输。目前的技术发展已经产生出很多种的TAP，有可以把多链路汇聚的TAP、把单链路流量等分的TAP、过滤用的TAP、TAPswitch等。从监听的角度而言，这是典型的“搭线窃听”方式。不需要对交换机或网关设备进行任何的配置，可对整条网络线路中的通信进行全部监听。在交换机缺乏管理功能，且链路通信流量较大的情况下，TAP是最佳的解决方法。

如图8-10所示，基于TAP的流量复制/汇聚器致力于解决在千兆网络内的多设备同时监视问题，可支持多网段、分组式的流量聚合、流量复制功能。通过对端口执行分组配置可以达到1-N路信号复制到1-N路信号的能力；同时各个不同端口组之间的流量可以相互隔离；支持反向数据发送能力以满足某些特殊安全设备的要求(如IDS阻断功能)。图8-10基于TAP的“多设备同时监视”解决方案先进的基于TAP的流量复制/汇聚器拥有多个1000M以太网光/电接口(根据型号而定)，用户可以灵活定义端口组来实现对一条或多条1000M以太网链路的信号复制。通过定义一个端口组，并指定任意数量的流量复制源端口和流量复制目的端口，可灵活支持多个源端口的流量汇聚复制，也可支持多个目的端口的流量复制，甚至可支持多个源端口到多个目的端口的流量汇聚复制功能。大多数的TAP在其每个网络口上实际是一个以太网终端设备。例如，当TAP加电工作时，每个网络设备本身更想和TAP建立连接，TAP从A口将收到的解码数据传送到B口，这个程序同样发生在B-A这个方向，这使得TAP成为一个连接两个网络设备的简单的桥。然而，每个网络设备更愿意连接TAP而不是其他网络设备，这个情况对有冗余链路的情况来说就是个严重的故障点。如果一端连接因故出现故障，则将不能传送到TAP的另一边，这意味着TAP的另一边仍在工作的设备将永远不知道这个问题，因而不能采取措施(比如通过多余的链路传送包)去更正这个问题。因此，TAP可能成为阻断网络流通的故障点，即使网络设备本身有备份链路也一样。

TAPLink-Safe功能，通常是通过一个内置在TAP里的智能控制器来解决这个问题，这个控制器能持续观察TAP两端的连接状态。如果一端出现故障，那么另一端也被强制断开，这样就把错误情况传播给另一端的网络设备。当故障恢复正常时，TAP将立刻重新激活另一端。这个行为是双向的，因此任何一端连接出现故障都会传到对面一端。在这个连接故障或重新建立过程中不需要任何人为干涉。为简单安装，在TAP两端的连接建立之前，Link-Safe功能不会被激活。TAP加电后立刻激活两端的连接，这可通过简单的状态指示来确认。一旦网络连接建立，Link-Safe功能将开始观察连接状态并在出现故障时传播错误信息。8.2.5矩阵交换机

在大型监控中心，通常是用矩阵交换机给各种监控工具提供数据，包括Netscout的nGenius、FlukeNetworks监控工具和各种网络嗅探器。此外，还可以将Opnet的ACELive连接到矩阵交换机，从而监控一些多层应用的性能。矩阵交换机可以帮助它解决SPAN端口和网络分流器不足的问题。

在使用矩阵交换机之前，如果用户有一个后台使用Oracle的IBMWebSphere应用出现问题，网络维护人员就必须在多个交换机上创建SPAN端口。问题是Catalyst6500只有两个SPAN端口，网络维护人员每次都必须将SPAN端口连接到不同的监控系统。通过矩阵交换机，网络维护人员可以保证监控工具运行正常，并且能够轻松地将更多的故障修复工具连接到矩阵交换机。然后配置相关的SPAN端口或分流器，向故障修复工具提供信息。同时，各种监控工具可以继续正常使用，没有一个连接断开，也没有任何线路被不小心拔掉。大多数矩阵交换机还有过滤功能，可以让工程师选择特定的数据流过特定的工具。为了防止数据丢失，网络维护人员不想将这些工具像NetBIOS或VoIP的数据般处理，他们想过滤这些数据，以使这些工具只扫描实际的有效负载内容。如果用户有专用的VoIP质量监管工具，则用户可能只想监控VoIP流量；如果用户可以过滤和只关注于正确的数据，则可以使用速度和功能更为低端的工具。矩阵交换机的这些过滤特性可以允许设计用于1GigabitEthernet(GbE)的监控工具用在10GbE的网络上。而在一个不能过滤的环境，一个1GbE的工具可能会被来自10GbE通道的数据流冲垮。然而，如果工程师让矩阵交换机只发送10GbE网络中与问题相关的流量到1GbE工具，大多数情况下过滤后的流量不会使监控工具过载。先进的矩阵交换机也使网络维护人员能够对3个入侵检测系统(IDS)执行并行的、同步的对比。网络维护人员能够同时将Juniper、TippingPoint和Cisco的IDS同时连接到矩阵交换机上，直接将Internet流量同时传输给这3个系统，这样就能够看到网络接口的状况以及它是如何将Internet流量送往SPAN端口的。

8.3网络流量/协议分析技术

网络流量/协议分析技术是网络分析系统/网络监听系统的核心，通过对捕获到的底层数据包进行全面和系统的解码、分析、诊断，并将结果体现于直观、易懂的界面或报表中，让管理者/监听者可以快速地了解网络状况乃至通信内容。通过网络分析，管理者可获得网络故障、安全、性能、升级规划、网络监控、网络基线等关键数据，掌控网络全景信息，建立实时监控机制，为保障任务的顺利完成提供夯实的数据基础，并且极大降低任务成本。

运用网络流量/协议分析技术，网络管理员和监听机构能够充分掌握目标网络的流量构成、应用分布、通信连接、使用时间、数据包原始内容等所有网络行为以及整个网络的运行情况。这样，在网络出现问题或者需要对特定目标的通信进行监控时，能够快速准确地分析问题原因，定位故障点或敏感信息，实现各项任务的顺利完成。8.3.1网络协议分析的概念和KFP分析方法

网络协议分析是指通过程序分析网络数据包协议内容，通过对多层网络协议报文中各数据段相关信息进行智能分析，来识别网络通信过程中的关键要素，从而了解信息和相关的数据包在产生和传输过程中的行为。网络协议分析是从监听设备采集的数据中获得有用信息的关键。过去，由于NetworkGeneral公司的SnifferPro相关产品在世界范围内的流行，使得很多人对于“网络协议分析”的概念停留在“采集数据，然后解码报文，分析报文”上，重点在“解码”，而对于“计算机辅助智能分析”知之甚少，很多协议分析专家的优势也仅限于熟悉各种协议或特定领域的应用。如今，网络中出现了越来越多的新型协议，网络规模越来越大，主机性能越来越高，同时运行的应用也越来越多，使得人工分析这些数据变成一项极为枯燥且相当耗时的工作。这几年，与传统的低效率人工分析方法相比，新型的网络协议分析系统及其核心技术具备两大优势：

(1)优化的分析工作流程和方法论；

(2)高度智能化、自动化的数据处理算法。

凭借这两项优势，当前的网络协议分析技术能够对海量报文进行回溯性分析、网络流量趋势分析、异常信息识别以及实时数据包深层分析等，并根据不同类型用户需求自动生成格式化的规范报告，使对截获数据的处理能力得到革命性的提高。目前常见的协议分析系统能完成以下工作：

(1)提供特定协议的应用曲线图；

(2)分析特定主机信息；

(3)分析一组主机信息；

(4)分析单一端口协议；

(5)分析多端口协议；

(6)分析基于服务器地址的协议。面对动辄以吉比特计量的网络数据流，优化的分析工作流程和方法论是实现高效网络协议分析的前提。显然，从工作一开始，就对所有数据报进行不加区分的解码，接着埋头于对报文逐个进行分析，这是一种低效而愚蠢的做法。而如果能够采用这样的方法：首先根据网络运行的整体外在表现得到的一些线索，判断问题大体类型；而后再尝试借助从数据流层次得到的统计信息，逐步定位问题区域、链路、子网乃至主机和应用，不断缩小怀疑/监视的范围；最后只需要对局部极小范围内的有限数据报文进行解码，就能够发现问题的根源，找到完成任务的最终目标，取得事半功倍的效果。

作者多年的工作实践验证了上述分析工作流程和方法论的有效性，我们可以总结为12个字：“高屋建瓴、逐步定位、由表及里”。所谓英雄所见略同，作为世界知名的网络协议分析/应用性能管理解决方案提供商，NetScout公司的“KPI-to-Flow-to-Packet(简称KFP)”分析方法有助于提高工作效率。因此，本小节将对其进行简要的介绍。

KFP方法把网络的全部可见度融入到可实时操作、智能生成的上层KPI(关键性能指标)视图中，并且提供能够向下关联到数据包层的早期预警，从而使得网络管理部门能够及时发现问题，迅速定位关键点和问题点，降低平均反应时间。如图8-11所示，KFP分析方法遵循从KPI关键性能指标(如应用响应时间或者错误)到Flow应用数据流(如利用率、会话、使用者排名)，再到Packets数据包解码细节(具体报文内容)逐步向下追踪的分析步骤。图8-11NetScoutKFP分析方法对于KFP来说，首先定义的是最直观的KPI。在机构网络环境中，KPI可以定义为类似如下指标：

应用运行速度；

响应时间；

应用或者网络区域是否存在错误；

响应成功率；

通信质量。企业/机构的几乎任何典型的网络应用，使用专用设备都能分析响应时间提取KPI，得到微秒级的应用响应速度值。当KPI数据发生异常变动时，需要进一步观察问题出现在哪一个环节。在机构网络环境中，Flow可以定义为类似如下指标：

资源被利用类型；

每种应用消耗的网络带宽；

正在使用某种应用的用户；

网络中各种应用之间的关联性影响。一个机构中可能会使用多种网络链路类型，需要为此建立一个一致的Flow监视模型，例如，楼宇局域网、远程办公室广域网链路，包括PPP、MPLS以及帧中继在内的不同网络拓扑、虚链路，也包括VLAN、DLCIs、Sites或者QoS分类。

当KPI值发生异常变动时，通过统一的Flow模型，可迅速识别定位到某条特定的线路，然后进一步分析远程办公室、数据中心、服务器群的各种网络接口被应用占用的情况，了解诸如SAP、HTTP、Citrix、LDAP以及CRM应用各消耗了多少带宽，链路带宽是否足够用，检验系统在性能、流量大小以及响应性这几方面的效果。更进一步地，数据流细节可以显示出每个应用的利用率，同时也显示出它们的行为以及可能相互影响的流量。最后，再根据上述分析得到的线索，对某主机、应用或链路进行数据包解码层面的调查取证，完成最终的分析工作。

通过KFP模型，人员在日常管理中首先面对的是最高级的关键指标，只有在异常出现时才去关心一些深层的信息。这就与传统的依靠监控单纯技术指标的，从SNMP中获取信息的管理方法产生了本质区别。此外自顶向下精确到每一个数据包的分析方法，也有助于在最短时间内定位分析和解决问题。依照KFP分析方法，网络管理人员最初能够从KPI告警中获得线索，根据其可直接关联到Flow层面定位发生问题的通信对，接下来再根据之前具体情况的分析完成对特定数据包的解码和调查取证，最终完成故障排查过程。可见，KFP分析方法在网络管理部门急需评估和诊断网络和应用问题时，为用户提供了早期预警和深入的可视化分析能力，同时为实时故障诊断和迅速恢复服务提供了有力保障。

2008年，数据包解码界的佼佼者NetworkGeneral与应用性能智能分析的翘楚NetScout完成了企业合并，整合的意义就在于“用户将能够从一个公司获得覆盖从KPI到解码的完整解决方案”。如今，我们可以首先用NetScoutK2或者PM工具发觉问题的大概情况，缩小排查范围，深入到具体内容时再用SnifferAnalysis/Intelligence进行解码分析，工具之间实现了无缝集成，实时切换，工作效率进一步提高。

网络协议分析，从过去单纯的依靠大师进行故障排除，到现在借助完整的分析方法论—KFP完成故障排查，工作强度和难度不断降低。8.3.2基于KFP的网络协议分析工作流程

在本小节中，我们结合典型的网络协议分析工具提供的功能，以KFP工作流程为指导，对实际的协议分析工作步骤进行详细介绍。

典型的网络监听/协议分析工作的步骤是这样的：网络监听设备实时监测网络通信，当发现某些“预兆”时进行告警并开始监听并进行数据采集，这些“预兆”是指逾越了某个网络基线(Baseline)，该基线是通过平时对被监听对象的网络通信行为模式等进行长期的观察和分析后确定的。之后，按照从高层到低层、从轮廓到具体的顺序，对采集到的海量网络数据进行预处理、识别、过滤和精分析，最终得到所需要的重要数据。具体来说，可分为以下5大工作步骤：

(1)建立网络基线。

建立网络基线既可以采用原始的“人工观察+Excel记录”方法，也可以借助各种协议分析工具，通过对目标网络进行长期的监视和数据采集来自动生成。

为对网络中的异常流量进行检测，首先需要对网络中不同类型业务的正常通信进行基线分析，包括测量和统计不同业务日常的流量和流向数据并计算基线的合理范围。为完成上述对不同类型业务的测量工作，首先需要对网络中传输的各种类型数据包进行区分。由于IP网络的非面向连接特性，网络中不同类型业务的通信可能是任意一台终端设备向另一台终端设备发送的一组IP数据包，这组数据包实际上就构成了网络中某种业务的一个数据流(Flow)。如果管理系统能对全网传送的所有数据流进行区分，准确记录每个数据流的传送时间、占用的网络端口、传送源/目的地址和数据流的大小，就可以对全网所有通信的流量和流向进行分析和统计，进而计算出正常通信的基线以及发现突发的异常通信流量。

(2)告警、自动触发捕获数据。

告警器功能在绝大多数协议分析工具中都得到了实现。它在网络流量实时监控的基础上，自动发现网络异常，并产生告警。可利用的系统产生的告警有：

①流量异常告警，包括利用率、每秒字节数、每秒数据包数、每秒钟各种大小的数据包数、错误包数等；

②应用响应超时告警，对应用的响应时间进行监控，应用响应时间异常告警；

③专家系统告警，自动发现网络和应用中的问题特征，并产生告警。

RMON模型支持人工和自动触发捕获数据。典型的监听设备触发器功能允许用户根据日期和时间、警报以及特定网络事件来启动和终止捕获。当无人操作或者有特定事件发生(例如有警报产生)时，可以使用触发器来捕获数据。可以定义三种触发器：

①启动触发器，这种触发器可以启动捕获会话；

②终止触发器，可以终止捕获会话；

③启动和终止触发器，它既可以启动也可以终止捕获会话。与过滤器一样，一旦用户定义了一个触发器并为之取名，此后就可以在恰当的时间再次使用它。

(3)流分析(NetFlow)。

我们一般采用NetFlow技术和相关工具进行流分析。

NetFlow技术首先被用于网络设备对数据交换进行的加速，并可同步实现对高速转发的IP数据流进行测量和统计。利用NetFlow技术能对IP/MPLS网络的通信流量进行详细的行为模式分析和计量，并提供网络运行的准确统计数据，这些功能都是在进行网络安全管理时实现异常通信流量检测和参数定性分析所必需的。NetFlow技术应用的环境包括：

①统计流量信息，以供历史比较使用；

②通过一定时间的网络检测，便于以后的网络规划；③均衡流量，用于流量工程；

④实时监视网络的使用情况，如接口的上下行流量；

⑤监视网络用户的使用情况；

⑥为网络安全分析提供依据。

在数据流预处理阶段，NetFlow可以首先根据网络管理的需要对特定级别的数据流进行过滤或对高速网络端口进行数据包抽样，这样可以在确保需要的管理信息被采集和统计的同时，减少网络设备的处理负荷，增加整个系统的可扩展性。在后处理阶段，NetFlow可以选择把采集到的数据流原始统计信息全部输出，由上层管理服务器统一接收后再进行数据的分类处理和汇总。也可以选择由网络设备自身对原始统计信息进行多种形式的数据汇聚，只把汇总后的统计结果发送给上层管理服务器。由网络设备进行原始统计信息的汇聚可以大大减少网络设备输出的数据量，降低对上层管理服务器的配置要求，提高上层管理系统的扩展性和工作效率。

通过分析网络中不同数据流间的差异，可以发现判断任何两个IP数据包是否属于同一个数据流，实际上可以通过分析IP数据包的七种属性来实现，即数据包的：①源IP地址；

②目标IP地址；

③源通信端口号；

④目标通信端口号；

⑤第三层协议类型；

⑥ TOS字节(DSCP)；

⑦网络设备输入(或输出)的逻辑网络端口(ifIndex)。

NetFlow就是利用分析IP数据包的上述七种属性，快速区分网络中传送的各种不同类型业务的数据流。NetFlow对区分出的每个数据流进行单独跟踪和准确计量，记录其传送方向和目的地等流向特性，统计其起始和结束时间、服务类型、包含的数据包数量和字节数量等流量信息。NetFlow对采集到的数据流流量和流向信息定期输出原始记录，也可以对原始记录进行自动汇聚后输出统计结果。

流分析可为后期工作提供what、where、who、howmuch、howlong、when等参数，提高分析的效率和准确性：①自动地识别应用；

②通过用户辅助的应用发现，可根据TCP/UDP端口范围和/或者IPsocket来定义和命名用户定制的应用；

③能够显示每个网段和每个VLAN视图；

④区分客户机和服务器以显示正在使用网络的用户；

⑤根据应用、客户机、服务器、VLAN和时间间隔来显示消耗的带宽；

⑥从客户机、服务器及网络的视图来提供总的响应时间和端到端响应时间细分；

⑦根据特定的时间间隔来查看问题或异常何时发生。

(4)过滤。

网络分析系统的数据包过滤器功能，是一种根据用户定义的规则和策略来实现数据筛选的技术。

通过使用过滤器，可以减少数据干扰，有利于网络分析，降低系统负载，从而提高分析效率。默认情况下，系统不会使用任何过滤器，此时，网络中的所有数据包都会被系统捕获分析。网络分析系统的数据包过滤器，提供接受和拒绝的两种状态，此外，系统允许同时使用接受和拒绝的过滤条件。若同时添加两种过滤条件，则系统将首先匹配拒绝条件，然后再匹配接受条件。过滤能让用户锁定某一参数以详细展开并聚焦在用户感兴趣或者关心的区域。可锁定应用、客户机、服务器、VLAN和时间等参数。锁定功能使用户聚焦在用户感兴趣的区域，快速地转换视角，从不同的角度来查看数据，通过隔离引起问题的原因进行更快速的故障诊断。这将大大地缩短解决故障的平均时间，使用户获得更高的可用性和更高的性能。一般情况下，所有的数据流都会被导出到流接收程序客户端，但是在网络出现异常情况下，收集到的大量的网络数据使得很难分析网络的异常情况，有时候为了分析，需要的仅仅是具有某个特征的数据，如特定的端口、特定的IP地址和特定的协议。因此，需要对流进行一定的处理，也就是过滤。当配置一个过滤器后，仅仅是期望的并且匹配了所定义的过滤器的数据流才能被导出。过滤器可根据需求自行配置，主要有四种：

①基于端口的流过滤。

如果需要的信息中包含一个特定的端口(原端口或者目的端口)，或者需要的信息中不需要某一个特定的端口(原端口或者目的端口)，那么就可以采用这种端口的过滤方式。②基于主机 + 端口的流过滤。

如果需要的信息中包含一个特定的主机 + 端口(原端口或者目的端口)，或者需要的信息中不需要某一个特定的主机 + 端口(原端口或者目的端口)，那么就可以采用这种主机的过滤方式。

③基于主机的流过滤。

如果需要的信息中包含一个特定的主机，或者需要的信息中不需要某一个特定的主机，那么就可以采用这种主机的过滤方式。④基于协议 + 端口的流过滤。

如果需要的信息中包含一个特定的协议，或者需要的信息中不需要某一个特定的协议，那么就可以采用这种协议的过滤方式。

(5)解码和信息分析。

所有协议分析工具都具有数据包解码功能，其区别主要在于解码的精细度和对各种新协议的识别能力。

在完成前面的工作后，需要处理的就只有与被监听目标通信或者关键数据有直接关系的网络数据包了。此时，利用SnifferPortable等工具，对数据包进行解码、组合、可视化、解密等，还原其通信过程、解密通信内容，获得各种所需的信息和证据，如图8-12和8-13所示。图8-12数据包解码图8-13通信协议可视化采用这种从总体到局部、按照“网络统计信息—某流量信息—关注点信息—特定数据包信息”的分步分析方法，一方面能为网络分析人员提供一系列、多层次的全面了解网络通信情况的视角；更重要的是，在需要对大型网络进行监听，必须以最快速度从海量数据中发现“敏感内容”或“特定行为”数据时，这种分布分析的方法能有效地提高定位关键信息的速度，使分析专家能迅速把精力集中于对关键数据包的分析上来，而不是把大量时间和资源耗费在对海量数据的分类和检索上。8.3.3网络流量识别技术

网络协议分析技术的一个重要分支是网络流量识别技术，其关注点在于“对海量数据进行自动化的应用业务流分析”，突出对“行为模式、关键字”等的统计和识别，基本上不使用可视化的数据包解码和人工分析判读。在应用上，它不但适合作为IDS、IPS、Web防火墙、DLP等网络安全防御设备的核心技术，也能够帮助网络监听或信息战部门对目标进行自动化的敏感信息传输情况监视并建立用户行为模式档案。在本书第三部分对应用层安全设备关键技术的介绍中，将不再赘述有关“深度报文检测”的内容。流量识别，也叫业务识别(Application

Awareness)，它通过对业务流量从数据链路层到应用层的报文深度检查分析，依据协议类型、端口号、特征字符串和流量行为特征等参数，获取业务类型、业务状态、业务内容和用户行为等信息，并进行分类统计和存储。

业务识别的基本目的是帮助网络管理者获得网络层之上的业务层流量信息，如业务类型、业务状态、业务分布、业务流量和流向等。业务识别的工作过程如下：

(1)识别处理模块采用多通道识别处理，通过对网络流量的源/目的IP地址和源/目的端口号的Hash算法，将网络流量均匀地分配到多个处理通道中。

(2)多处理通道并行执行网络流量的深度报文检查，获取网络流量的特征信息，并与业务识别特征库中的特征进行比对。

(3)将匹配结果送往识别处理模块，并标识特定网络流量。如果存在多个匹配结果，则选取优先级较高的匹配结果进行标识。特定网络流量一经识别确定，该网络流量的后续连接将不再进行深度的报文检查，直接将其网络层和传输层信息与已知识别结果进行比对，提高执行效率。

(4)识别处理模块将网络流量的业务识别结果存储到识别结果存储模块中，为网络流量的统计分析提供依据。

(5)统计分析模块从识别结果存储模块中读取相关信息，并以曲线、饼图、柱状图或者文本的方式将识别结果信息显示，或以文件的形式输出。

(6)在结果存储模块中保存的识别结果信息会输出到网络流量管理功能区，为实施网络流量管理提供依据。

目前，常用的典型业务识别技术包括深度包检测(DeepPacketInspection，DPI)和深度/动态流检测(Deep/DynamicFlowInspection，D