（控制理论与控制工程专业论文）校园网络流量分析与模型研究.pdf

y9 3 0 2 3 6 摘要 现在，网络已经成为人们密不可分的工具，人们可以在网络上查到各种资源，使 全世界的资源得到很大的利用。同时随着因特网的不断发展，规模的不断扩充和日益 增加的复杂性，也给网络的管理和有效利用提出了挑战。作为认识网络行为特征的一 项努力，网络流量工程这一学科便应运而生了。网络流量工程被定义为网络工程的一 个方面，它通过网络流量的测量、建模、描述和控制，试图达到特定的服务和性能上 的目标。 网络测量分析是网络流量工程的重要组成部分。流量的测量与分析为加强网络管 理、提高网络利用率、防范大规模网络攻击提供了技术平台，已成为学术界、企业界 和国家政府部门所普遍关心的重要问题之一。 本文首先回顾了网络流量工程以及各种测量技术的发展历史，对典型的网络测量 和分析技术进行了重点介绍，详细介绍了本文中开发的d a t a b a s e t r a c e a n a l y z e r s y s t e m ( d r r a s ) 平台的原理及实现，并应用d t a s 对我们学校的校园网的流量和h t t p 流量进行 了建模分析。 本文通过对本校校园网的流量进行分析，建立了校园网流量模型。宏观方面详细 分析了总体网络流量和各种协议的比例，这样我们可以看到一天的流量分布和一周的 流量分布，网络管理人员可以根据流量分布和协议比例来协助进行网络的管理和各种 资源的调配。细节方面分析了i p 包长度和连接时间等，通过连接时间模型管理员可 以观察网络的运行状况。通过宏观和微观两个方面的具体分析，使我们对校园网络有 一个更深入的了解。有助于网络的管理，也为网络入侵监测提供了重要的依据。 其后对m r p 流量进行分析，建立了o b j e c t 流量模型。现在校园网的建设投入比 较大，扩展也比较频繁，在建设和扩展前如果可以对即将建成的网络进行模拟，可以 有效的降低网络建设失败带来的损失。本文通过建立o b j e c t 流量模型，分析得到校园 网中h t i p 流量的主要特征，这样可以有效提高网络模拟的准确性。 通过对我校校园网的建模分析和对h t r p 流量的分析，使网络管理人员能够在宏 观和微观方面对网络有深入的了解，并结合我校h r r p 流量进行了o b j e d 模型的分析， 对以后网络的扩展奠定了基础。 关键词：网络流量协议解析 流量分析 n e t w o r kt r a f f i ca n a l y s i sa b o u tt h eu n i v e r s i t ya n dt h e m o d e lr e s e a r c h a b s t r a c t t h en e t w o r kb e c o m e st h ei n s e p a r a b l et o o lf o rp e o p l et ou s e m a n yk i n d so fr e s o u r c z s c a nb ef o u n di nt h en e t w o r ka n di tm a d et h ew o r l dr e s o u i v e su s e dw i d e l y a tt h es a m et i m e ， w i t ht h et e c h n o l o g yd e v e l o p i n g , s c a l ee x t e n d sa n dc o m p l i c a t i o no ft h ei n t e m e ti n c r e a s i n g , i tc h a l l e n g i n gt h em a n a g e m e n ta n de f f e c t i v eo ft h en e t w o r k a sa ne f f o r tt or e c o g n i z et h e c h a r a c t e ro fn e t w o r k ，n e t w o r kf l u x 蜘l g i 雠e tw 觞b o r na sa na p p l i c a t i o ns u b j e c t n e t w o r k f l u xe n g i n e e rw a sd e f i n e da so n ea s p e c to fn e t w o r ke n g i n e e r i no r d e rt or e a c ht h ec e r t a i n s e r v i c ea n df u n c t i o n ，s o m ew a y sh a sb e e nt a k e n - s u c ha sm e a s u r e ，e s t a b l i s hm o d e l ， d e s c r i b ea n dc o n t r o l ，w h i c hw o r k i n go nn e t w o r kf l u x n e t w o r km e a s u r ea n a l y s i si so n ei m p o r t a n tc o m p o n e n ti nn e t w o r kf l u xe n g i n e e r m e a s u r ei st oo b s e r v ea n de s t i m a t en e t w o r kb e h a v i o r , a n da l s ot r yt of o u n dt h em a i nf a c t o r t h a tw a sa f f e c t e dt h ee x t e r i o rc h a r a c t e ro fn e t w o r k t h em e a s u r ea n da n a l y s i so fi n t e r n e t p r o v i d eat e c h n i c a lp l a t f o r mf o re n h a n c i n gn e t w o r km a n a g e m e n t ，i m p r o v i n gu t i l i z a t i o n r a t i o ，p r o t e c t i n gal a r g e s c a l en e t w o r ka t t a c k , a n db e c a m eo n ei m p o r t a n tp r o b l e mw h i c h h a db e e nt a k ec a r eb yt h ea c a d e m e ，b u s i n e s sw o r l da n dt h eg o v e r n m e n td e p a r t m e n t t h i sa r t i c l ef i r s tr e v i e wt h ed e v e l o p m e n to fn e t w o r kf l u xe n g i n e e rh i s t o r ya n d d i f f e r e n tm e a s u r et e c h n o l o g y , f o c u so nt h et y p i c a lt e c h n o l o g yo fn e t w o r km e a s u r ea n d n e t w o r ka n a l y s i s ，a n di n t r o d u c et h et o o lw h i c hh a sb e e nc o m m o nu s e d t h e ng i v i n g e l a b o r a t e r e c o m m e n d a t i o n s t o t h e t h e o r y a n d r e a l i z a t i o no ft h e d a t a b a s e t r a c e a n a l y z e r s y s t e m ( d t a s ) t h a th a db e e nd e v e l o p e do fm y s e l f f u r t h e r m o r e ， d t a sa l s ob e e nu s e dt oa n a l y z ea n df o r e c a s tt h ef l u xo fo u rc a m p u sn e t w o r k t h i sa r t i c l ea n a l y s i st h en e t w o r kt r a 街ca n dm a k et h eh t t pm o d e lf o ro u ru n i v e r s i t y t h i sa r t i c l em a c r o s c o p i c a l l yd e t a i l e da n a l y s i st h en e t w o r kt r a f f i ca n dt h ep e r c e n to fs e v e r a l p r o t o c o l ，w ec a ns a yt h ed i s t r i b u t eo n ed a ya n do n ew e e k ，t h en e t w o r km a n a g e rc a n m a n a g et h en e ta n dc h a n g er e s o u r c ed e p e n do nt h en e t w o r kt r a f f i ca n dp r o t o c o lp e r c e n t i n d e t m lw ea n a l y s i st h el e n g t ho fi pa n dt h ec o n n e c t i o nt i m eb e t w e e nc u s t o m e ra n ds e r v e r , t h e nn e tm a n a g e rc a na n a l y s i st h es t a t u so ft h en e t w o r k i nt h em a c r o s c o p i c a l l ya n dt h e d e t a i l ，w ec a l ls e et h en e tm o r ed e e p l y i t su s e f u lf o rn e tm a n a g e ，a n di ti si m p o r t a n tf o r i n t r u s i o nd e t e c t i o n l a t e r , w ea n a l y s i st h eh t t pn e t w o r kt r a f f i c ，a n dt h e nm a k eam o d e lf o ro b j e c t n o w ， t h es p e e do fn e tc o n s t r u c ti sv e r yq u i c k ，i fw ec a ns i m u l a t et h en e tb e f o r ef i n i s ht h e 3 n e t w o r k ，a n dt h e nc a ne f f e c t i v e l yr e d u c et h el o s i n gi nt h en e t w o r kc o n s t r u c t i o n t h i s a r t i c l eg e ts e v e r a lc h a r a c t e r sa b o u tt h eh t t pb yt h em o d e lo fo b j e c t ，t h e nw ec a ne n h a n c e t h ev e r a c i t yo fn e ts i m u l a t e t h em a n a g e rc a r lu n d e r s t a n dt h en e t w o r kt r a f f i cd e e p l yf r o mt h ea n a l y s e so fm o d e f i n g i no u ru n i v e r s i t ya n dt h et r a f f i co fh t t p ，a n da n a l y s e st h eo b j e c tm o d e lc o m b i n eh t t pt r a f f i c i no u r c a m p u s t h i si se s t a b l i s h e dt h eb a s i cw o r k sf o rt h ef u t u r ee x p a n d k e yw o r d s ： n e t w o r kt r a f f i cp r o t o c o lr e s o l u t i o nf l u xa n a l y s i s 4 第一章绪论 1 1 课题的背景与意义 1 绪论 现在随着社会的发展，大学的校园网建设也有很大发展，从网络的带宽，入网 的计算机数量，师生对校园网的利用率都有明显的进步。在这种形势下，为网络管 理人员提出了新的挑战，网络管理人员既要对网络的运行状况有一个宏观的把握， 又要清楚网络协议和细节的信息，能够对校园网做出一个综合的评价，这对校园网 的管理和分析也就显得尤为重要，如对带宽利用的监控，异常的检测，网络的管理 等等。 本文研究了校园网的流量规律，建立了流量模型，可以对校园网的管理提供重 要的依据，同时通过对流量的分析为入侵监测奠定了基础。另外，本文也对h t t p 流量模型进行了研究，可以指导校园网进行网络模拟时如何产生有效的、更加合适 的负载。进而，可以指导我们进行协议的制定和修改。 1 2 流量分析的发展和现状 1 2 1 校圊网络流量模型研究现状 随着校园网的不断发展，校园网也成为研究的热点。国外、国内均有大量学者 进行研究，同时校园网的研究具有它自己的特性，不同的学校有不同的情况。外文 网页与中文网页有较大的区别，访问习惯也有所不同，因此这里主要分析国内校园 网流量研究的现状。 在校园网流量分析中，有的人员侧重宏观的分析，如容量、吞吐量、利用率“1 等，这样能够使我们对网络的整体运行状况有很好的了解。有的侧重细节分析，如 对流量波形进行的研究啪等。 本文通过对本校校园网的流量进行分析，建立了校园网流量模型。宏观方面详 细分析了网络的流量，如一天的流量分布和一周的流量分布等。细节方面分析了i p 包长度模型和连接时间等。通过宏观和微观两个方面的具体分析，使我们对校园网 络有一个更深入的了解。有助于网络的管理，也为网络入侵检测提供了重要的依据。 1 2 2h t t p 流量研究现状 网络流量中，h t t p 流量占了很大比例，因此建立h t t p 流量模型，对于流量分析和 网络模拟等方面都具有重要的意义。 第一章鳍论 b r u c ea m a h 建立 h t t p 的实验流量模型0 3 ，分析了请求长度，响应长度，思 考时间等几个方面，分别研究了它们的规律。p a u lb a r f o r d 和m a r kc r o v e l l a 提出了 o b j e c t 的模型，包括o b j e c t 大小，时间间隔和网页中的o b j e c t 数量，并对这三个参 数分别建立了数学模型。 我们会注意到，中国网页和外国网页还是有较大的区别的，首先，中文和外文占 的字节大小不同，这会影响页面的大小。其次，他们的设计风格有较大的不同，中国 的网页中图片比较多，英文的网页图片图片相对少。这些会影响到o b j e c t 模型的各个 参数。 王瑜也提出了h t t p 中o b j e c t 的模型瑚，其中对o b j e c t 大小，时问间隔和网页中的 o b j e c t 数量进行了研究。他通过模拟的数据进行验证。 本文通过在校园网环境下，监测中文的网页流量，来建立h t t p 流量模型，对o b j e c t 的各令属性进行分析，为以后的网络模拟提供一个好的依据。 1 3 本文主要研究内窖 首先，本文开发了一个网络监测分析平台，并基于该平台对校园网流量进行监 测分析。 其次，本文对校园网流景进行了分析。通过对网络总流量的统计，协议比例分 析，连接时闻分析，i p 包长度分析。使我们对校园网的整体和细节都有了一个深入 的认识，并且为网络管理人员提供了依据，也为网络入侵的监测作了基础。 最后，本文对h t t p 流量建立了模型。研究了o b j e c t 的大小，不同o b j e c t 时 间间隔，网页内o b j e c t 的数量，并分别建立了数学模型。这样对以后校园网的网 络模拟提供了模型支持，也提高了模拟的准确度。 2 第二章网络监听机制的研究 2 网络监听机制的研究 2 1 流量监昕概述 本文中监听特指“s n i p i n g ”( 通常直译为臭探或窥探) ，即利用计算机网络接口 截获目的地为其他计算机的数据报文【6 j 。 监听几乎和i n t 锄e t 有一样久的历史，它原本是提供给管理员的一类管理工具， 使用这类工具可以监视网络的状态、数据的流动情况以及网络上传输的信息并利用 这些信息来排除网络故障。事实上，这类工具往往也被称为网络分析仪。 不幸的是因为监听工具能有效地截获网上的数据，它也成为了黑客使用最多的 方法。黑客们运行监听程序以暗中监视他人的网络状况、窃取明文传输的密码和各 种数据。 一个简单监听程序的大体结构如图2 1 所示，大体上来说，可以将监听程序分 为两个组成部分。内核空间部分：负责从网络中捕获以及过滤数据包。用户空间部 分：负责处理用户界面、格式化、协议分析，此外如果核心层没有进行过滤的话， 还必须负责过滤的部分工作。 同髂 图2 - i 简单监听系统大体框架 阿络底层信息监听( 即包捕获) 可以通过两种方法实现，一种是利用以太网的 广播特性，另一种是通过设置路由器的监听端口实现，两种方法分别适用于不同的 工作情况。 第二章网络监听机制的研究 利用以太网的广播特性进行监听： 以太网数据传输通过广播实现，通常在同一个共享局域网的所有网络接口都有 访问在物理媒体上传输的所有数据的能力，但是在系统正常工作时应用程序只能 接收到以本机为目标主机的数据包，其他数据包过滤后将被丢弃不作处理。该过滤 机制可以作用在链路层、网络层和传输层几个层次，工作流程如图2 - 2 所示： y e s 匠垂i = 了 数据包 图2 - 2 以太网数据报过滤机制 链路层主要指网卡驱动程序判断所捕包的目的以太网地址，在系统正常工作 时，一个合法的网络接口应该只响应这样的鼹种数据帧： 帧的目标区域具有和本地网络接口相匹配的硬件地址。 帧的目标区域具有广播地址。 在接收到上面两种情况的数据包时，网络接口通过c p u 产生硬件中断，操作系 统进行中断处理后将帧中所包含的数据传送给网络进一步处理。而其他情况下数据 帧将被丢弃不作处理。 网络层判断目标p 地址是否为本机所绑定的球地址，如果不是本机所绑定口 地址，将丢弃这些坤数据报；如果符合本机m 地址则交给传输层处理。 传输层中的t c p 或者u d p 判断目标端口是否在本机已经打开，如果没有打开， 则抛弃这些包；否则将向应用层提交其内容。 要监听到流经网卡的不属于自己主机的数据，必须绕过系统正常工作的处理机 制，直接访问网络底层。首先将网卡工作模式置于混杂模式。当网络接口处于这种 “混杂模式”时，该网络接口具备“广播地址”，它对所有接收到的帧产生硬件中 断以提醒操作系统处理流经物理媒体上的每一个报文( 绝大多数的网络接口具备置 成混杂方式的能力) a 应用程序直接访问数据链路层，截获相关数据，由应用程序 而非上层如m 层、t c p 层协议对数据过滤处理，这样就可以监听到流经网卡的所 第二章网络监听机制的研究 有数据。 可见，监听程序工作在网络环境中的底层，它会拦截所有的正在网络上传输的 数据，并且通过相应的软件处理，可以实时分析这些数据的内容，进而分析所处的 网络状态和整体布局。值得注意的是监听程序是极其安静的，它是一种消极的安全 攻击。必须注意的是这种监听方法对所有共享式广播网络都同样适用，如令牌网。 2 2 w i n p o a p 概述 w i n f c a p 是w i n d o w s 环境下访问网络链路层的工业标准工具，它允许应用程序通 过协议栈来捕获和传输网络包，而且它有额外的有用的特征，包括核心层的包过滤， 网络统计引擎和支持远程包捕获同。它提供了以下的各项功能： 1 、捕获原始数据报，包括在共享网络上各主机发送接收以及相互之间交换的数 据报： 2 、在数据报发往应用程序之前，按照自定义的规则将某些特殊的数据报过滤掉： 3 、在网络上发送原始的数据报： 4 、收集网络通信过程中的统计信息。 2 3 w i n p o a p 体系结构 w i n p c a p 包括内核级的数据包监听设备驱动程序、低级动态链接库 ( p a c k e t 。d 1 1 ) 和高级系统无关库( w p c a p 。d 1 1 ) 啪，图2 书描述了w i n p c a p 的体系 结构，其各部分功能与特征如下： 。一io 麓i | 。= = 乙ll = 嚣l 一 t t1 l 睑= 一| l 皇刊li jl l 。r - w j - - t h 、l 、 i li 黑( f 剐蛊口 h m w n i - * m l 图2 - 3w i n p c a p 的体系结构 数据包监听设备驱动程序可把设备驱动增加在w i n d o w s9 5 。w i n d o w s9 8 ， 苎三兰翌塑鉴堕型塑要塞 一 w i n d o w 8n t ，w i n d o w s2 0 0 0 ，w i n d o w sx p 上，它直接从数据链路层取得网络数据包 不加修改地传递给运行在用户层的应用程序，也允许用户发送原始数据包。数据包 监听设备驱动程序支持n p f 过滤机制，可以灵活地设置过滤规则a 数据包监听设备 驱动程序在不同的w i n d o w s 系统下是不同的。 低级的动态链接库( p a c k e t d 1 1 ) 运行在用户层，把应用程序和数据包j | 矗听 设备驱动程序隔离开来，使得应用程序可以不加修改地在不同的w i n d o w s 系统上运 行。通过p a c k e t r i l l 提供的能用来直接访问b p f 驱动程序的包驱动a p i ，利用“l a w ” 模式发送和接收包。不同w m d o w s 系统上的p a c k e t d 1 1 并不相同，但它们提供了一 套相同的调用接口，使高级系统无关库不依赖于特定w i n d o w s 平台。 高级系统无关库( w p c a p d 1 1 ) 和应用程序编译在一起，它使用低级动态链 接库提供的服务，向应用程序提供完善的监听接口( u n i x 系统中通过h o p c a p d l l 提供相同接口，事实上，w p c a p d u 提供的接口是l i b c a p d l l 提供接口的超集，有些 a p i 是w i n d o w s 中特有的) 。不同w m d o w s 平台上的高级系统无关库是相同的。 2 4 in p c a p 包擅获机制详述 在w i n d o w sn t 下w i n p c a p 包捕获驱动和网卡设备驱动的交互是通过n d i s ( n e t w o r k d e v i c ei n t e r f a c es p e c i f i c a t i o n ) 来实现的。n d i s 是m i c r o s o f t 和3 c o y 公司联合制 定的网络驱动规范，并提供了大量的操作函数，各个函数都是工作在核心模式的。它 为上层的协议驱动提供服务，屏蔽了下层各种网卡的差别，n d i s 支持如下三种类型的 网络驱动。 l 、n i c 驱动n i c 驱动直接管理网络接口卡，n i c 低端接口与硬件直接打交道，高 端的接口允许上层应用向网络发送数据包。n d i s 驱动仅能与n d i s 中介驱动或协议驱动 通信，而不能与用户模式的应用程序通信。n i c 驱动可以是小端口驱动或传统的完整 n i c 驱动。小端口操作并不直接调用系统例程，它们对于操作系统的接口是n d i s 。小 端口驱动并不进行数据绑定：它只是将数据传递给n n i s ，由n d i s 将这些数据上传。 2 、中介驱动中介在上层驱动( 传统传输驱动) 与小端口驱动之间，与小端口驱 动不同，中介驱动看起来象一个协议驱动，一个中介协议驱动可以处于其它中介驱动 之上，虽然这样的分层可能对系统性能带负面的影响。一个包捕获驱动用中介驱动进 行开发，可以在传统的传输驱动与小端口驱动之间进行媒介转换，这对于传输驱动来 说新的媒介类型可以对n i c 进行管理。中介驱动仅与n d i s 驱动通信，而与用户模式的 应用程序没有关系。 3 、协议驱动协议驱动( 传输驱动) 通过一个或更多网卡运行网络协议堆栈服务。 传输驱动在它的高端为应用层客户提供服务，在低端为个或更多的n i c 驱动与中介 第二章网络监听机制的研究 驱动服务。 图2 3 为含有两个捕获操作的n d i s 结构，一个与n i c 驱动和协议驱动相连，另一个 与n i c 驱动，中介驱动和协议驱动相连。 2 5 本章小结 数据包 物理介质 图2 3 简单n d i s 接口 本章首先分析了包捕获驱动w i n p c a p 的体系结构、w i n p c a p 的包捕获机制，并介绍 的包捕获的过程，为后面的系统的设计和实现奠定了基础。 3 校园网网络监听解析平台设计与实现 3 1 系统的运行开发环境 本系统是面向校园网络的监听解析平台，设计所要求的环境如下：系统平台采 用的是w i n d o w s 2 0 0 0p r o f e s s i o n a l ：捕获驱动程序采用的是w i n p c a p 3 0 ：编译应用 程序利用v i s u a lc + + 6 0 ：后台数据库是a c c e s s 2 0 0 0 a 3 2 网络监听解析平台概述 网络 保存到数据库保存到文本文件 图3 - id t a s 平台图 网络监听解析平台的架构图如图3 - 1 所示，该平台包括数据包捕获模块，网络 协议解析模块，解析到数据库模块，解析到文本文件模块，流量分析模块。该系统 平台以数据库技术和文本分析技术为网络流量分析提供一个平台，基于该平台可以 灵活的对网络流量进行分析，同时可以以流量数据库和流量文本为基础开发自己的 流量分析系统，实现对该平台的灵活扩展。 d t a s 平台有以下主要特点： 1 、该平台包括从数据包捕获、网络协议解析到网络流量分析的一整套系统。 2 、该平台可以解析自己捕获的网络流量，也可以解析w i n d u m p 、c 也e r c a l 捕获 的网络流量。 3 、基于数据库技术和文本技术相结合的方法进行网络流量分析。 第三章校园网网络监听解析平台设计与实现 4 、用户可以以该平台为基础开发自己的网络流量分析系统，流量的数据库化 和文本化为系统扩展提过了无缝接口。 包捕获模块：从网络上捕获网络流量，并保存成文件。 协议解析模块：把网络流量按照不同的协议及其字段进行解析。 解析到数据库模块：按照不同的协议和协议字段在数据库中建立相应的表格， 并把解析的流量按照协议的名称和字段保存到数据库中。 解析到文本文件模块：把解析的流量按照协议的名称和字段保存到不同的文本 文件中。 流量分析模块：基于流量数据库和流量文本对网络流量进行分析。 3 3 网络监听程序的结构和设计流程 包捕获模块负责按照过滤条件把网络流量的包头捕获，同时可以对网络的流量 进行统计，可以通过设置参数来设定统计流量的时间间隔，在程序中默认值为1 秒。 包捕获模块的设计有两种方案，一种是只捕获网络数据包的包头；另一种是采 用多线程技术，在捕获包头的同时进行流量统计。这两种方案各有优点，前一种在 流量较大的时候不会丢包或丢包率小于第二种方案，后一种方案功能更多些，当网 络流量不是很大时，在捕包的同时可以统计流量，这两种方案在该系统中都进行了 实现。 在捕包的时候通过设置p c a p _ o p e n _ l i v e 0 函数的参数来捕获包的头部，而不是 全部包的信息，其参数可以灵活设置，这里我们设置位2 0 0 字节，可以完整的把包 头捕获，这样也就大大降低了系统的丢包率。 3 3 1 监听程序的结构 本系统对监听程序( 网络流量捕获模块) 用上述的两种方法进行了实现，方案 一在捕包的效率和丢包率方面都优于方案二，下面本文主要论述方案一的结构和具 体实现。 监听程序主要有以下几个步骤，首先要查找网络设备一网卡；为流量捕获打 开网卡，并设置其模式为捕获模式；编辑并设置网卡的过滤模式；进行捕包 p c a p _ l o o p 0 ；关闭并返回。 捕包的具体过程见下面的流程图。 捕包程序漶程圈 图3 - 2 捕包程序流程图 3 3 2 监昕程序的翼体实现 监听程序主要涉及到以下的类和类成员函数，现介绍其主要的功能。 捕获网络流量的类c s a v e t r a f f i c ： c l a s sc s a v e t r a f f i c p u b l i c ： i m o p e na d a p t e r _ s u m o ； i n to p e na d a p t e r 2 0 ； i n to p e n _ a d a p t e r _ _ u d p o ； i n to p e n _ a d a p t e r _ i p o ； i n tl o o p _ s a v e o ； i n to p c n _ a d a p t c r ( c s t r i n gf i l e n a m e ) ； c s a v e t r a f f i c o ； v i r t u a l c s a v e t r a f f i c o ； p c a p _ i f _ t + a 1 i d e v s ； 第三章校园网网络监听解析平台设计与实现 p c a p _ i f _ t d ： p c a p _ d u m p e r _ _ t d u m p f i l e ； p c a p _ t a d h a n d l e ； c h a re r r b u f p c a p _ e r r b u f _ s g e l ； ) ； 成员函数：o p e n _ a d a p t e k ) 查找并打开网卡适配器函数：设置参数来读取包头的 前2 0 0 个字节的信息，并设置为捕获模式： i n tc s a v e t m f f i c ：o p c n _ a d a p t c t ( c s t r i n g f i l e n a m e ) i n t i ； h a ti n u r e ； pr e t r i e v et h ed e v i c el i s t | i f ( p c a p _ f i n d a l l d e v s ( & a l l d e v s , e b u 0 = = - 1 、 a f x m e s s a g e b o x ( ”e r r o ri np c a p _ f i n d a l l d e v s ”) ； e x i t ( 1 ) ； ) f p r i n t t h e f i s t f o r ( d = a n d e v s ；d ：d = d - n e x o + + i ： ) i f ( i = = 0 ) a f x m e s s a g e b o x ( ”n oi n t e r f a d e sf o u n d ! ) ； r e t u r n 一1 ； ) p j u m pt ot h es e l e c t e da d a p t e r + f o r ( d = a l l d e v s ，i - - o ；i n e x t ，i + + ) ； po p e nt h ea d a p t e r | i f ( ( a d h a n d l e2 p c a p _ o p e n _ l i v e ( d - n a m e , n a m eo ft h ed e v i c e 2 0 0 ，p o r t i o no ft h ep a c k e tt oc a p t u r e 6 5 5 3 6g r a n t st h a tt h e w h o l e p a c k e t w i l lb ec a p t u r e do i la l lt h em a c s 1 ， p r o m i s c u o u sm o d e 1 1 第三章校园网网络监听解析平台设计与实现 1 0 0 0 ， r e a dt i m e o u t e r r b l l f l | e r r o rb u f f e r ) ) = = n u l l ) a f x m e s s a g e b o x ( ”u n a b l et oo p e nt h ea d a p t e r ”) ； l f r e e t h e d e v i c e l i s t | p c a p _ 丘c e a l l d e v s ( a u d e v s ) ； r e u l i n - 1 ； ) + o p e nt h ed u m pf i l e i f ( f i l e n a m e ! = ”) d u m p f i l e2p c a p _ d u m p _ o p e n ( a d h a n d l e , f i l e n a m e ) ； i f ( d u m p f i l e = = n u u 圳 a f x m e s s a g e b o x ( ”e r r o ro p e n i n go u t p u tf i l e ”) ； r e t u r n - 1 ； ) ) a tt h i sp o i n t w ed o n tn e e da n ym o t h ed e v i c el i s t f r e ei t + ， p c a p _ f r e e a l l d e v s ( a l l d e v s ) ； g g _ f p = a d h a n d l e ； g g _ d u m p f i l e = d u m p f i l e ； p c a p _ s e t m o d e ( g g _ f p ，m o d e _ c a p t ) ； r e t u r n1 ； 3 4 流量协议解析的设计和实现 当把网络流量保存成文件后，可以进行流量协议的解析和协议信息入库，图3 - 3 是流量解析和入库的流程图： 第三章校园阿网络监听解析平台设计与实现 图3 3 流量解析和入库流程图 协议解析模块的主要功能是辩别数据包的协议类型，把流量中的包头信息进行解 第三章控园网嘲络监听解析平台设计与实现 析。可以把所有的协议构成一棵协议树咖，一个特定的协议是该树结构中的一个结点， 如图3 4 所示： 图3 4 协议树 一个数据包的分析就是一条从根到某个叶子的路径。树的结点数据结构中应包 含以下信息：该协议的特征、协议名称、协议代号、下级协议代号、协议对应的数 据分析函数链表。协议名称是该协议的唯一标志。协议代号是为了提高分析速度用 的编号，如t c p 的下级协议是i p 协议。协议特征是用于判定一个数据包是否为该 协议的特征数据，这是协议分析模块判断该数据包的协议类型的主要依据。 协议解析模块的目的是根据定义好的数据结构，从原始的网络数据包中解析出 协议信息，按照协议栈自下向上的顺序调用，从数据链路层到网络层、传输层和应 用层，以使相应的数据解析程序来检测数据包。 为了将捕获得到的数据解析出来，必须熏i t c p i p 协议进行深入的研究。数据进入 t c p i p 协议栈的封装过程如图3 6 所示。具体的数据解析过程是数据帧封装过程的逆 过程，这个过程需要对多种需要的帧格式加以分析。当目的主机收到一个以太网数据 帧时，数据就开始从协议栈中由底向上升，同时去掉各层协议加上的报文首部。每层 协议盒都要去检查报文首部中的协议标识，以确定接收数据的上层协议。这个过程称 作分用，图3 5 显示了该过程是如何发生的。 第兰章校园网网络监听解析平台设计与实现 图3 5以太网数据帧的分用过程 图3 6 数据进入协议栈的封装过程 e t h e r n e t 帧格式，如图3 - 7 所示。 j 目的地址 源地址 i 类型 - 数据i i 司 。1 。一, , 6 6 2 4 6 - 1 5 0 0 4 图3 7e t h e r n e t 帧格式 用e t h e r n e t 帧格式的类型域可以区分i p ，a r p 及r a r p 协议帧。类型字段的意义， 如表3 1 所示。 a r p ( 地址解析协议) 的帧格式，如图3 8 所示。r a r p ( 逆地址解析协议) 的帧格式 1 5 | 善一 第三章校园网网络监听解析平台设计与实现 与a r p 的帧格式是相同的，j 强a r p 帧类型域中的数值是0 8 0 6 ，r a r p 帧类型域中的数值 是8 0 3 5 。 恒 以太 发送目标 目标 舟潭 帧格 硬件协议硬件协议操作者以 发送 以太 式类型类型尺寸尺寸 码太网 者幻i d 地 地址地址 网i d 址 地址 蛙址 66 2 2 2 1 12 6 4 6 4 以太网帧报头2 8 字节a i 州青求应答 图3 - 8a r p 帧格式 现在可以将数据结构树的第一层数据解析出来。 对第二层的数据( 即i p 数据) 帧进行进一步解析。i p ( 网际协议) 帧格式，如图3 9 所示。 1 6 总长度( 以字节为单 4 位版本号4 位报头长度8 位服务类型 位) 1 6 位 1 3 位分段位 1 6 位标识3 位标志 移 8 位生存期( t t l )8 位协议号1 6 位报头校验和 3 2 位源i p 地址 3 2 位目的i p 地址 选项( 如果有) 数据 圈3 - 9 口首部 在i p 数据帧的基础上进行数据的解析是根据协议号域中的值来判断的，进行如 下区分，如表3 2 所示。 协议号 协议类型 0 1 工c m p 0 2 i g m p 0 6t c p 1 1u d p 表3 2i p 协议类型及含义 根据数据报头长度将i p 报头剥离后即为剩余的数据帧。 i c m p ( 网际控制报文协议) ：报文格式，如下图所示。 第三章校园嘲网络监听解析平台设计与实现 类型( t y p e ) 啦代码( c o d e ) 啦校验和( c h e c k ) 1 6 位 ( 依赖壬獒野嘶黜内容) 国3 一1 0i c m p 报文格式 i c m p 可能会有不同帧格式：地址掩码( a d d r e s s ma s k ) 请求和应答：时间戳( t i m e s t a m p ) 请求和应答：端口不可达( p o r tu n r e a c h a b l e ) ：p i n g 例程。 i g m p ( 因特网组管理协议) 报文格式，如图3 1 l 所示。 4 位i g 婵版本号4 位i g 肝 ( 1 ) ( 类型l - 2 ) 未用1 6 位校验和 3 2 位组地址( d 类i p 地址) 图3 11i g m p 辆t 文格式 u d p 帧格式，如图3 - 1 2 所示。 1 6 位源端口号1 6 位目的端口号 1 6 位u d p 长度1 6 位u d p 校验和 数据( 如果有) 图3 1 2 u d p 报文格式 t c p 帧格式，如图3 - 1 3 所示。 1 6 位源端口号 1 6 位日的端口号 3 2 & 序列号 3 2 位确认号 4 位首部长剧保留( 6 位)uap rst 1 6 位窗口大小 1 6 i t t c p 校验和 1 6 位紧急指针 选项( 若有) 数据( 若有) 图3 1 3t c p 首部 t c p 与u d p 以端口号来为以后的数据解析提供依据。由于端口号可达一万多种，下 面仅对网络管理员感兴趣的f t p ，h t t p 以及t e l n e t 的数据进行解析。t c p 与u d p 的端口分 配基本上是相同的，主要端口如表3 3 所示。 1 7 第三章校园网网络监听解析平台设计与实现 1 8 十进制数关键字 描述 2 0 f t p ( d e f a u l td a t a ) 文件传输协议( 默认数据端口) 2 1 f t p ( c o n t r 0 1 ) 文件传输协议( 控制) 2 3 t e l n e t t e l n e t 8 0 h t t p万维网h t t p 2 5 s m t p简单邮件协议 表3 3 常用端口含义 根据报文的结构下面定义了相应的协议头结构懈。 i p