（计算机应用技术专业论文）校园网网络行为实时监测系统的研究.pdf

oj排警 ；蚋一 01|r鼬嚣 ，1 一 声明户明 l i i iiiiiiiii i i i l llt ll lli tl l l l l l l i 、t1 7 8 5 3 8 8 本人郑重声明：此处所提交的硕士学位论文校园网网络行为实时监测系统 的研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工 作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：逮 日期：圣塑垒里月膳日 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有 权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩 印或其它复制手段复制并保存学位论文；学校可允许学位论文被查阅或借阅； 学校可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同方 式在不同媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：缝导师签名： 日期：圣翌! 箜! 塑! 髫日日期：圣翌! ! 三：! ! 州j-_-一 华北电力大学硕士学位论文摘要 摘要 本文设计了一个比较完善的分层式校园网网络行为实时监测系统，并对其各 模块的功能和实现方法进行了分析与描述。在网络数据的采集方式上，采取了一 种基于s f l o w 的采集技术与基于“包捕获”的采集技术相结合的数据信息采集结 构。而在网络行为分析方面，采用了协议分析技术对采集到的数据包进行数据分 析以得到各种不同的流量信息；采用了模式匹配技术和协议分析技术相结合的方 法来完成对异常行为的实时检测。 此系统可以使管理者实时地监测到校园网内部用户的网络行为信息，且对规 模日益庞大、速度越来越快的高校校园网建设具有一定的参考意义。 关键词：网络行为分析，网络监测，协议分析 a b s t r a c t t h i sp a p e rp r e s e n t sar a t h e rp e r f e c ts o l u t i o nf o rt h er e a l - t i m ea n di m p r o v e d h i e r a r c h i c a ln e t w o r k b e h a v i o rm o n i t o r i n gs y s t e m ，a n a l y s i sa n dd e s c r i b ei nd e t a i lt h e f u n c t i o na n di m p l e m e n t a t i o nm e t h o do fe a c hs u bm o d u l eo ft h es y s t e m w i t hr e g a r dt o t h ea c q u i s i t i o nm o d eo fn e t w o r kd a t a , t h es t r u c t u r eo fd a t aa c q u i s i t i o nc o m b i n i n gt h e s f l o w - b a s e da c q u i s i t i o nt e c h n i q u e 、析吐lt h ep a c k e tc a p t u r e - b a s e da c q u i s i t i o n t e c h n i q u ei su s e d w i t hr e g a r dt ot h ea n a l y s i so fn e t w o r kb e h a v i o r s ，t h i sp a p e ra p p l i e s t h et e c h n i q u eo fp r o t o c o la n a l y s i st og i v ea na n a l y s i so fd a t at ot h ea c q u i r e dd a t a p a c k e t s ，s ot h a tw ec a ng e tt h ed e t a i l e dt r a f f i ci n f o r m a t i o n ；a n dt h ep a p e ra p p l i e st h e m e t h o do fc o m b i n i n gt h et e c h n i q u eo fp a t t e r nm a t c h i n g 、析t l lt h et e c h n i q u eo fp r o t o c o l a n a l y s i st om o n i t o r t h er e a l - t i m ed e t e c t i o no fa b n o r m a lb e h a v i o r s t h i ss y s t e mc a nm a k et h ea d m i n i s t r a t o rr e a l - t i m em o n i t o rt h ei n f o r m a t i o no nt h e n e t w o r kb e h a v i o r so fi n t e m a lu s e r si nt h ec a m p u sn e t w o r k ，a n dg i v es o m er e f e r e n c e s f o rt h ec o n s t r u c t i o no ft h ec a m p u sn e t w o r k si nc o l l e g e st h a tb e c o m ei n c r e a s i n g l yl a r g e i ns c a l ea n dp r o g r e s s i v e l yf a s t e ri ns p e e d c a iz h e n ( c o m p u t e r a p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yp r o f z h uy o n g l i k e yw o r d s ：n e t w o r kb e h a v i o ra n a l y s i s ，n e t w o r km o n i t o r i n g ，p r o t o c o la n a l y s i s i 蔷i1、：、 。，；i毒：，?：，qjjjj，晴：ij，。蛾， 0 i 华北电力大学硕士学位目录 目录 中文摘要 英文摘要 第一章引言l 1 1 课题研究背景和意义1 1 2 国内外相关技术的研究现状2 1 3 本文研究内容及组织结构3 第二章网络行为实时监测的相关技术5 2 1 网络行为实时监测系统概述5 2 2 网络数据采集技术6 2 2 1 网络数据采集技术概述6 2 2 2 基于“包捕获 的网络数据采集技术8 2 2 3 基于s f l o w 的网络数据采集技术1 1 2 2 3 1s f l o w 数据采集的工作原理1 1 2 2 3 2s f l o w 相比其它采集技术的优点1 3 2 2 3 3s f l o w 的采样误差问题1 3 2 3 异常行为模式匹配技术14 2 。4 网络协议分析技术1 5 第三章校园网网络行为实时监测系统的体系结构设计1 7 3 i 校园网现状与网络行为特点1 7 3 2 校园网网络行为实时监测系统的设计目标和要求1 8 3 3 网络行为实时监测技术和方法的选取及设计1 9 3 4 校园网网络行为实时监测系统总体结构2 0 第四章系统各模块的设计与实现2 4 4 1 基于s f l o w 的数据包采集模块2 4 4 1 1 配置支持s f l o w 功能的核心交换机2 4 4 1 2 数据包采集并编码2 5 4 1 3 数据接收、解析并分类整理2 6 4 2 基于“包捕获”的数据包采集模块2 9 华北电力大学硕士学位目录 4 2 1 数据包捕获过程2 9 4 2 2 数据存储结构设计3 2 4 3 流量分析模块的功能及实现33 4 3 1 监测校园网出口带宽及其利用率3 4 4 3 2 掌握校园网内不同用户群的网络行为特征3 4 4 3 3 通过协议分析统计不同网络应用服务的使用情况3 5 4 3 4 实时监测校园网内发生的异常流量3 9 4 4 异常行为分析模块的设计与实现4 0 第五章结论4 7 参考文献4 9 致谢5 1 在学期间发表的学术论文和参加科研情况5 2 厶 7 叠 华北电力大学硕士学位论文 1 1 课题研究背景和意义 第一章 引言弟一早ji 曰 随着计算机技术和网络技术的快速发展，人们对互联网的认识和使用已经越来 越深入，据中国互联网中心c n n i c 统计，截至2 0 0 9 年6 月3 0 日，中国网民规模达 到3 3 8 亿人，普及率达到2 5 5 。网民规模较2 0 0 8 年底年增长4 0 0 0 万人，半年增 长率为1 3 4 ，中国网民规模依然保持快速增长之势。其中，学生网民的数量达到 1 0 7 亿，占比3 1 7 ，是目前网民的最大群体n 】。 党的“十七 大报告明确提出要“大力推进信息化，加快建设现代化”。而加 快推进教育信息化的建设，培养适应信息化社会的人才，也已成为教育变革的一个 新的标志。近年来，各级教育部门都加大了对网络建设的投入力度，国内高校的信 息化发展迅速，千兆及万兆校园网、电子图书馆等系统的建设已经取得了突破性的 进展。加上各个院校之间的网络互联，网络信息资源得到了更充分的共享，网络信 息技术在教育教学中被大量应用，加快了信息化知识和技能的普及进程。网络已成 为高校教育教学不可缺少的环节，网络信息技术正在对高校教育的各个领域产生巨 大而深远的影响。 大学生群体对网络的依赖感是青少年网民中最高的，这与其网络生活最为活跃 密切相关，而且在各种主要的网络应用普及率上，大学生群体也均高于其他青少年 网民群体n 1 。所以，面对日益复杂的网络应用和庞大的校园网络，如何保证校园网 络信息安全，并对校内的各种上网行为进行管理和规范，避免师生对网络资源的不 良使用，促进校园网的健康发展，已经成为各高校对信息化建设的进一步要求。 国内一家专门针对高校网络研发网络行为管理系统的公司( 8 e 6 科技公司) 进 行过一次调研，这项针对全国高校进行校园网络安全的调查统计显示：2 5 的受访 者担心不当网站内容会影响学生身心健康的发展与学业发展；3 6 的受访者担心学 生教职员工使用网络会引来安全问题；5 5 的受访者表示目前校园网络使用问题 多数是由不当上网行为而引发的：超过7 0 的受访者相信利用网络行为管理产品来 管理、记录、分析网络行为和网络存在的安全风险，能有效防范不当网络行为引发 的网络安全与资源滥用问题，并且能为学校提供一个优质安全的网络学习环境口1 。 目前校园网用户网络行为中存在的主要问题有：( 1 ) 非法网站带来的法律责任 风险，一些色情暴力网站以及网络游戏对学生学习生活所带来的负面影响；( 2 ) 随 意使用在线音频和视频应用、p 2 p 类下载工具所引起的网络带宽资源的拥塞：( 3 ) 信工具的不当使用而导致的 病毒、蠕虫、木马等恶意程 已有的防火墙、入侵检测系 有关访问内容更详细的记录 相关管理部门和管理者就需 网络行为实时监测系统可以 配等相关技术对校园网内部 防止网络攻击、监测和管理 实时了解和掌握内部网络的 外关于网络行为监测技术的 获”的网络数据采集技术， 据包，理论上其可以截获网 完全监测和分析。其缺点是 当其应用在高速且庞大的内部网络中时，面对网络中大量的用户数据包，并且要求 实时进行监测与分析时，显得力不从心。于1 9 9 6 年由思科公司的d a r r e nk e r r 和b a r r y b r u i n s 发明的n e t f l o w 技术目前已经研发到了v 9 ，其工作原理为：对流经网络设备 内部的数据包进行捕捉并分析对比，将符合相同规则的数据包进行聚类操作，然后 一同发送给数据收集服务器，以方便统计网络流量和用户行为等信息。其缺点是因 为网络设备要对大量的数据包进行聚类操作，所以会占用网络设备的大量资源，且 成本较高。2 0 0 1 年，由交换机监测软件生产商i n m o n 的工程师和h p 、f o u n d r yn e t w o r k s 的开发人员联合开发的“永远在线 技术- s f l o w “1 ，通过将其嵌入到网络路由器和 交换机a s i c 芯片中，可以对整个网络上传送的局域网和广域网数据包流进行随机采 样，让用户详细、实时地掌握网络传输流的性能、趋势和问题。其不但能够大大降 低实施成本而且能够采集到更加详细的网络数据包信息。s f l o w 的优点虽然很多， 但也具有其固有缺点，那便是因为其基于“采样”技术，无法对所用的网络数据进 行监测，所以在网络用户异常行为检测方面逊色很多。 而在对网络用户异常行为分析方面，主要的分析方法有两大类：一类是以网络 用户的正常行为建模，来判断采集到的行为信息是否异常，其称为异常检测技术， 2 1 l - 7 如 k 遥 华北电力大学硕士学位论文 主要包括基于统计分析、基于数据挖掘和基于神经网络的检测方法等；另一类是以 网络用户的不正常行为建模，检测采集到的行为信息是否符合这些模式，其称为误 用检测技术，主要包括基于模式匹配、基于专家系统和基于模型推理检测方法等。 目前，基于误用的异常行为检测技术是数据分析的主流应用技术，它的研究始于2 0 世纪9 0 年代中期，现已开始在各种不同的环境中发挥其关键作用，如已有的开源系 统s n o r t 、a a f i d 等。其中，模式匹配技术是其代表性的检测方法，它将采集到的用 户行为信息和已知的网络异常行为误用模式数据库进行比较、匹配，从而发现违背 安全策略的行为。它的优点是原理简单，准确率高；缺点是只能检测已知攻击，模 式库需要不断更新。另外，如果将单一的模式匹配技术应用在高速大规模网络中， 由于要分析处理大量的数据包，且对任何协议类型的数据包都要针对所有的异常行 为模式数据库进行匹配，其实时检测速度和性能将成为问题。 1 3 本文研究内容及组织结构 一个网络行为监测系统一般包括信息采集和信息分析两个模块，本文将分别就 网络数据采集和网络行为分析相关技术的原理和方法进行介绍和分析。在此基础上 提出并设计了一个应用在高校校园网的网络行为实时监测系统。 其中，在网络数据采集方面，一个高速且规模较大的校园网网络行为实时监测 系统，单一的采集方式无法满足其所需的功能要求。因此，针对校园网实际特点， 本文把基于s f l o w 的采集技术与基于“包捕获”的采集技术相结合，利用s f l o w 技术 所具备的全线速采集、采集信息详细等优点，将其部署在校园网的核心层，对校园 网内部网络流量进行监测，以期对校园网用户的行为特征、实时发生的异常流量等 进行监测。利用“包捕获”技术的数据采集特点，将其部署在校园网内部的汇聚层， 记录并分析汇聚层网络的全部用户行为信息，以备对其中是否含有异常行为进行检 测。这种s f l o w 与“包捕获”相结合的分层式采集方案，可以弥补单一采集方法的 不足，即高速又全面的对网络用户的行为信息进行实时监测和记录分析。 在网络数据分析方面，将网络协议分析技术应用在校园网流量监测中，对采集 到的数据包进行数据分析以得到各种不同的流量信息；在异常行为检测上，将协议 分析技术与模式匹配技术相结合，通过网络协议的高度规则性对高速网络中的数据 包进行实时解析分类，根据不同协议下的异常行为模式规则库，运用模式匹配算法 对数据包信息进行异常行为匹配，快速探测出异常行为的存在，这样可以有效地避 免单一模式匹配方法计算量大、效率低等缺点，提高了检测速度，且通过协议分类 可以大幅降低误报率。 本文的结构如下： 3 华北电力大学硕士学位论文 论文共分五章，第一章为绪论部分。 第二章，首先介绍了目前常见的基于网络的数据采集技术，着重介绍了基于以 太网网络数据包捕获和基于数据流采样( s f l o w ) 的两种网络测量技术。然后讨论 了异常行为模式匹配和网络协议分析的相关技术与方法，其中包括异常行为模式匹 配技术的原理和常见算法、t c p i p 协议簇的体系结构等。 第三章，首先分析了高校校园网网络行为实时监测系统所需具备的功能和要 求：然后针对这些功能要求，结合网络数据包捕获技术和s f l o w 技术的优点设计了 一个针对校园网具体环境的网络数据采集方案，结合协议分析技术和模式匹配技术 设计了一个网络流量和异常行为分析的网络数据分析方案；最后给出了一个基于校 园网实时数据采集的改进型分层式网络行为实时监测系统的体系结构。 第四章，针对第三章提出的网络行为监测系统的数据采集模块和数据分析模块 给出了详细的设计方案，并举例描述了各项功能的实现方法，女【 h t t p 协议的解析、 i p 协议数据包的规则匹配流程等。 第五章，对本论文的工作进行了总结，并列出了下一步研究工作的内容。 4 i 训 1 黟： 0 l 。刍 0 勺 扎 f 一： 啊 华北电力大学硕士学位论文 第二章网络行为实时监测的相关技术 2 1 网络行为实时监测系统概述 网络行为是指与现实社会中人们的社会行为相对应的网络社会中的行为，是行 为主体采用计算机网络作为行为对象和行为载体而进行的有意识的活动，它不是虚 拟的，而是具有社会行为的一般特征和基本要素，是实实在在的行为。网络行为测 量和分析是研究网络行为学的基础，通过测量分析可以掌握网络行为的基本特征， 有助于寻找网络行为变化的规律阴1 0 网络行为实时监测系统主要通过研究数据采集技术、数据分析技术和应用恢复 技术，来完成对网络上的特定服务和用户行为实现实时监测的功能。系统首先获取 到网络上正在传输的数据流中特定服务包的完整信息，再对所获取的数据报信息进 行分析，而后通过代码来恢复其在应用层的实现。实时监测系统的实现步骤如图2 - 1 所示： 图2 1 实时监测的实现步骤示意图 网络行为监测系统的分类，根据数据源来源可分为： 1 基于主机的网络行为监测系统。通常是安装在被保护的主机上，主要是对 该主机的网络实时连接以及对系统审计日志进行分析和检查。 2 基于网络的网络行为监测系统。一般安装在所需监测的网段中或路由器、 交换机等网络设备上，实时监视网络中传输的各种数据包，并对这些数据包进行分 析和检测，它的运行不会给客户主机的系统和网络增加负担。本文主要研究的就是 此类网络监测系统。 3 混合式的网络行为监测系统。基于主机的网络行为监测系统和基于网络的网 络行为监测系统都有不足之处，单纯使用其中一种系统进行监测都不够强大。但是， 他们的缺憾是互补的，如果这两种系统能够结合起来部署在网络中，则会构架成一 套强大的立体的网络行为监测系统。 根据网络行为监测系统的体系结构的不同，可以分为： 1 集中式网络行为监测系统。其仅有一个网络监测服务器，对网络上采集到 5 华北电力大学硕士学位论文 的所有数据进行分析处理。集中式监测系统在可伸缩性、可配置性方面存在致命缺 陷。随着网络规模的增大，服务器所需分析处理的网络数据会增多，工作效率也会 大幅降低，而且一旦此服务器出现故障，整个系统就会失灵。 2 等级式网络行为监测系统。也叫分层式监测系统，它定义了若干等级的监 测区域，每个监测系统负责一个区域，每一级的系统只负责所监测区域的分析，然 后将当地的分析结果传送给上一级的监测系统。等级式监测系统也存在一些问题。 比如，这种结构的监测系统最后要将各地收集的结果传送到最高级的监测服务器进 行全局分析，所以在系统的安全性上并没有实质性的改进。 3 分布式网络行为监测系统n 0 1 。将中央监测服务器的任务分配给多个基于主 机的监测系统，这些监测系统不分等级，各司其职，负责当地主机的某些活动。所 以其可伸缩性、安全性都得到了显著的提高，并且与集中式监测系统相比，分布式 监测系统对基于网络的共享数据量的要求较低。但维护成本却提高了很多，并且增 加了所监测主机的工作负荷。， 2 2 网络数据采集技术 2 2 1 网络数据采集技术概述 从狭义概念上理解，网络数据采集是指从网络传输线路上将网络通信数据捕获 到网络监测设备的过程；从广义概念上理解，网络数据采集是指网络数据被监控设 备的接口获取，直至被传输给处理器之前的全部过程。我们所讨论的概念为后者。 网络数据的采集按照采集设备的接入方式可以分为并接工作模式( 如图2 - 2 ) 和串接工作模式( 如图2 - 3 ) 两种。 q 墓，国国爱 鬈弱i l l 黼l o 童- _ 7 t 、 童- 重幽空- 囊脚 齄纛黪、耱 z ，一 固i i 缀i - 。立- ，7。 童- 鼻国变- 囊捌童- 囊翻 ! ， j 鹱7 。蠢鳓，舞；鳞一蹙 图2 2 并接数据采集工作模式图2 - 3 串接数据采集工作模式 6 国， 华北电力大学硕士学位论文 并接工作模式是指将数据采集设各并接到网络中，网络数据同时可以到达用 户，并且可被数据采集设备捕获。一般来说，网络监测以不影响用户对网络的正常 使用为原则。因此，大多数监测都是采用并接到网络上的方式进行，使监测系统不 成为网络的性能瓶颈，同时即使监测系统失效也不会中断正常的网络通信。这种方 式的缺点也是比较明显的：部署对网络环境如交换设备的依赖性较强，发现问题后 自动响应的生效时间较长，不利于安全保障。在使用交换机的环境中，可以通过端 口镜像技术，利用交换机的镜像监听口( m i r r o rp o r t ) 得到其它端口的网络数据包， 如3 c o m 的交换机可以配置一个端口监听另一个端口，而c i s c o 交换机则支持一个任 意端口监听其它所有指定端口的网络数据包1 。这种工作的优点是不需要额外设 备，缺点是需要交换机支持，而且当一个监听口监听多个端口时，被监测的带宽理 论上大于监测系统的硬件接受能力，峰值情况下必然出现丢包现象。 串接工作模式就是把监测引擎串接到网络中，到达各主机的数据必须经过数据 采集设备，提取并分析其中流经的信息，根据预定义的规则判断是否通过。采用这 种方式，数据采集设备一定可以捕获到网络中的所有数据。但是这种方法受到了多 方面因素的制约，如网络设备的带宽、处理性能等。这种方法的缺点十分明显，一 旦网络设备的带宽小于网络设备的带宽或是网络设备的处理性能较低，就有可能造 成网络的瓶颈，从而影响正常的网络使用，造成网络的延迟甚至瘫痪。 目前常见的网络数据采集技术有基于“包捕获的采集技术、基于s n m p 的采 集技术、基于r m o n 的采集技术、基于n e t f l o w 的采集技术和基于s f l o w 的采集技 术等，下面我就不同技术做如下介绍，其中基于包捕获的网络数据采集技术将在 2 2 2 小节重点介绍，基于s f l o w 的网络数据采集技术将在2 2 3 小节重点介绍。 基于s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c 0 1 ) 的网络数据采集技术n 小1 3 1 ， 其数据采集方式有两种：主动访问被采集对象和被动接收传送信息。主动访问被采 集对象是指管理进程( 采集设备中) 通过s n m p 协议发起对被采集对象的请求，被采 集对象设备中的代理进程则响应该请求。被动接收传送信息是指管理进程监听陷阱 端口( 通常为u d p l 6 2 端口) ，接收来自被采集对象的传送信息。代理进程会在预定 义事件发生时向管理进程发出t r a p 报文。 基于r m o n ( r e m o t em o n i t o r i n g ) 的网络数据采集技术n 们n5 1 ，其数据采集方式 有两种：一种是通过专用的r m o n 探测器( p r o b e ) ，监测服务器直接从探测器获取数 据信息并控制网络资源，这种方式可以获取r m o nm i b ( 管理信息库) 的全部信息： 另一种方法是将r m o na g e n t 直接植入网络设备( 路由器、交换机、h u b 等) 使它们 成为带r m o np r o b e 功能的网络设施，监测服务器用s n m p 的基本命令与其交换数据 信息，收集网络数据信息，但这种方式受设备资源限制，一般不能获取r m o nm i b 7 华北电力大学硕士学位论文 的所有数据。当前r m o n 有两种版本：r m o nv l 和r m o nv 2 。r m o nv l 在目前使用较 为广泛的网络硬件中都能发现，它定义了9 个m i b 组服务于基本网络监测；r m o nv 2 是r m o n 的扩展，专注于m a c 层以上更高的流量层，它主要强调i p 流量和应用程序 层流量。r m o nv 2 允许网络管理应用程序监控所有网络层的信息包，这与r m o nv l 不同，后者只允许监控m a c 及其以下层的信息包。 基于n e t f l o w 的网络数据采集技术n 们n 钉，n e t f l o w 本身是一套网络流量统计协 议，其数据采集方式是根据网络数据包传输时，连续相邻的数据包通常是具有相同 目的地i p 地址的特性，配合c a c h e 快取机制，当网络管理者开启路由器或交换机 接口的n e t f l o w 功能时，设备会在接收数据包时分析其数据包的标头部分来取得流 量资料，并将所接到的数据包流量信息汇总成一笔一笔的f l o w ，在n e t f l o w 协议中 f l o w 是被定义为两端点间单一方向连续的数据流，这意味着每一个网络的连接都会 被分别记录成两笔f l o w 数据，其中一笔记录从客户端连到服务器端的信息，另外 一笔记录从服务器端连回到客户端的信息。f l o w 的版本差异通常直观的表现在其输 出报文格式上。目前业内常见的主流f l o w 格式有以下几种( 表2 - 1 ) n 引： 表2 1 常见的主流f l o w 格式 f l o w 格式代表厂商主要版本备注 n e t f l o wc i s c ov l 、v 5 、v 7 、应用最广 v 8 、v 9 c f l o w d j u n i p e r v 5 、v 8厂商跟进力度不高 s f l o w f o u n d r y 、h p 、a l c a t e l 、 v 4 、v 5 实时性较强，具备突出的 n e e 、e x t r e m e 等第二一七层信息描述能力 n e t s t r e a m 华为 v 5 、v 8 、v 9与n e t f l o w 较为类似 i p f i xi e t f 标准规范r f c3 9 1 7以n e t f l o wv 9 为蓝本 2 2 2 基于“包捕获 的网络数据采集技术 在以太网中，信息是以明文的形式在网络上传输的，当网络适配器设置为监听 模式( 混杂模式) 时，由于采用以太网广播信道争用的通信方式，因此，只要捕获 程序与正常通信的网络能够并联连接，就可以捕获任何一个在同一冲突域上传输的 数据包。i e e e8 0 2 3 标准的以太网采用的是带冲突检测的载波侦听多路访问 ( c s m a c d ) 的通信方式，这是一种广播信道争用的通信方式，使得各个站点可以获 8 华北电力大学硕士学位论文 得其它站点发送的包。运用这一原理，捕获程序能够拦截到所需要的包。这就是包 捕获的物理基础。 “包捕获”数据采集技术的捕获机制主要有三种，分别为数据链路提供者接口 ( d l p i ) 、l i n u x 的s o c k p a c k e t 类型套接口、伯克利数据包过滤器( b p f ) 。目前多 数捕获器都是基于b p f 开发的。这主要是因为侦听程序以用户级别进程工作，数据 包的复制必须跨越内核、用户保护界限，这就需要使用名为数据包过滤器( p a c k e t f i l t e r ) 的内核代理程序。b p f 过滤使用了新的基于寄存器的预过滤机制，它的缓存 机制对整体效率提高有很大作用。b p f 主要有两部分组成：网络转发( n e t w o r kt a p ) 部分和数据包过滤( p a c k e tf il t e r ) 部分。网络转发部分是从链路层中捕获数据包 并把他们转发给数据包过滤部分，数据包过滤部分是从接收到的数据包中接收过滤 规则决定的网络数据包，其它数据包就被抛弃。在实际应用中，实现网络数据包捕 获技术的代表是l i b p c a p 。l i b p c a p 是一个专业的跨平台的网络数据包捕获开发包。 使用l i b p c a p 可以轻松地实现网络数据包的捕获功能，它的捕获机制就是b p f 机制。 w i n p c a p n 钉0 1 是b p f 模型和l i b p c a p 函数库在w i n d o w s 平台下网络数据包捕获 和网络状态分析的一种体系结构，其为用户级的数据包捕获提供了一个w i n d o w s 下 的平台。这个体系结构由一个核心的包过滤驱动程序、一个底层的动态链接库 p a c k e t d l l 和一个高层的独立于系统的函数库w i n p a c p 组成。w i n p c a p 的结构如图 2 4 所示。 图2 - 4w i n p c a p 结构图 9 华北电力大学硕士学位论文 w i n p c a p 包括三个部分：第一个模块n p f ( n e t g r o u pp a c k e tf il t e r ) ，是一个 虚拟设备驱动程序文件。他的功能是过滤数据包，并把这些数据包原封不动地传给 用户态模块，这个过程中包括了一些操作系统特有的代码。第二个模块p a c k e t d l l 为w i n 3 2 平台提供了一个公共的接口，不同版本的w i n d o w s 系统都有自己的内核模 块和用户模块，p a c k e t d 1 1 用于解决这些不同；调用p a c k e t d l l 的程序可以运行 在不同版本的w i n d o w s 平台上，而无需重新编译。第三个模块w p c a p d l l 是不依赖 于操作系统的，它提供了更加高层、抽象的函数。 w i n d o w s 下捕获数据包的结构如图2 - 5 所示，其中n d i s 是m i c r o s o f t 和3 c o m 公司联合制定的网络驱动规范，并提供了大量的操作函数。它为上层的协议驱动提 供服务，屏蔽了下层各种网卡的差别。n d i s 向上支持多种网络协议，如t c p i p 、 n w l i n ki p x s p x 、n e t b e u i 等，向下支持不同厂家生产的多种网卡。n d i s 还支持多 种工作模式，支持多处理器，提供了一个完备的n d i s 库( l i b r a r y ) 。 网络应用程序 用厂岙 占士 + l vxd1 wdm 协议驱动程序核心态 千 i n dls 牟牟 网卡驱动网卡驱动网卡驱动 程序程序程序 数据包数据包数据包 图2 - 5 捕获数据包的结构图 w i n p c a p 几个主要函数的介绍1 ： 1 网络接口函数： ( 1 ) i n tp c a p f i n d a l l d e v s ( p c a p i f t * * a l l d e v s p ，c h a r * e r r b u f f ) 功能：查找机器的所有可用的网络接口，用一个网络接口链表返回。 ( 2 ) c h a r * p c a p l o o k u p d e v ( c h a r * e r r b u f ) 功能：查询本机的网络接口名字。 ( 3 ) i n tp c a p l o o k u p n e t ( r e g i s t e rc o n s tc h a r * d e v i c e ，r e g i s t e r b p t u i n t 3 2 * n e t p ，r e g i s t e rb p l u i n t 3 2 * m a s k p r e g i s t e rc h a r * e r r b u f ) 1 0 嘉 p l 华北电力大学硕士学位论文 功能：获取网络地址和网络掩码。 ( 4 ) i n tp c a p s e t m o d e ( p c a p t * p ，i n tm o d e ) 功能：设置网络接口的工作模式，m o d e 为m o d e c a p t 时，为捕获模式，网络接 口就只捕获网络数据包；m o d e 为m o d e s t a t 时，网络接口可以进行网络信息统计。 2 规则函数 ( 1 ) i n tp c a p s e t f i l t e r ( p c a p t ，l c p ，s t r u c tb p f _ p r o g r a m * f p ) 功能：设置b p f 过滤规则，由参数f p 确定。 ( 2 ) i n tp c a p c o m p il e ( p c a p _ t 水p ，s t r u c tb p f _ p r o g r a m * p r o g r a m * p r o g r a m ，c h a r * b u r ，i n to p t i m i z e ，b p f u i n t 3 2m a s k ) 功能：编译b p f 过滤规则。 3 数据包捕获函数 ( 1 ) i n tp c a p l o o p ( p c a p t 木p ，i n tc n t ，p c a p h a n d l e rc a l i b a c k ，u _ c h a r * u s e r ) 功能：循环捕获网络数据包，直至遇到错误或满足退出条件。 ( 2 ) i n tp c a p d i s p a t c h ( p c a p t 水p ，i n tc n t ，p c a p h a n d l e r ，u _ c h a r * u s e r ) 功能：捕获网络数据包。 ( 3 ) v o idp c a p b r e a k l o o p ( p c a p t * p ) 功能：退出循环捕获数据包状态。 ( 4 ) v o i dp c a p c l o s e p ( p c a p t * p ) 功能：关闭w i n p c a p 操作，并销毁响应资源。 2 2 3 基于s f l o w 的网络数据采集技术 2 2 3 1s f i o w 数据采集的工作原理 虽然通过基于“包捕获 的数据包监听工具可以获得详细的网络信息，但监听 工具通常专注于单一网络数据包的内容，网络管理者很难通过这些信息掌握整体网 络的状态。而且，分析数据包非常耗费时间，数据包监听所储存并需要分析的数据 华北电力大学硕士学位论文 量也非常庞大，对于资源和人员的消耗是巨大的，这种方式显然不适合校园网这样 的环境。 s f l o w 技术h 儿2 2 拍3 ，2 0 0 1 年被i e t f 批准成为一项网络标准，是一种基于标准的 最新网络导出协议，它利用对整个网络上传送的局域网和广域网数据包流的随机采 样，让用户详细、实时地掌握网络传输流的性能、趋势和问题。通常，网络设备厂 商将s f l o w 技术嵌入到网络路由器和交换机的a s i c 芯片中。与使用镜像端口、探 针和旁路监测技术的传统网络监测解决方案相比，s f l o w 可以更全面地展示网络性 能，监测发生在每台具有s f l o w 功能的交换机的每一个端口上，而不是只出现连接 探测器的端口或网段上，而且，s f l o w 能够明显地降低实施费用，同时可以使实现 面向每一个端口的全内部网络监测解决方案成为可能。s f l o w 网络数据采集系统的 基本工作原理如图2 - 6 所示。 图2 - 6s f l o w 数据采集工作原理图 s f l o w 被部署在运行于网络中实际的交换机和路由器上的各个网络管理信息库 中( m i b ) 中。s f l o wm i b 对流经端口的数据包随机采样，而不是捕获和记录交换机或 路由器端口上的每一个数据包。这些叫做s f l o w 数据包的样本被转发给s f l o wa g e n t ， s f l o wa g e n t 将接收到的样本数据包按照r f c3 1 7 6 规定的统一格式编码，并以u d p 数 据包的形式发送到数据分析器进行分析并存储。由于s f l o w 可以对来自网络中每一 个端口的数据流进行采样，s f l o w 数据分析器可以通过比较交换机和n a t 设备间的子 网数据，识别网络中作为n a t 设备的节点 1 2 ，一 华北电力大学硕士学位论文 2 2 3 2s f l o w 相比其它采集技术的优点 由于s f l o w 技术被内嵌到网络路由器或交换机的a s i c 中，同以往的网络监测 技术如r m o n 、r m o n i i 、n e t f l o w 等相比有很大的不同，具有以下优点田m 引： s f l o w 技术被内嵌到网络路由器或交换机的a s i c 中，因此它变为一个线速 性能的“永远在线”的技术。 通过s f l o w 对网络进行监测将不需要镜像监控端口，这样就大大节约了网 络资源的消耗，降低了网络监测成本。 只要具备内嵌s f l o w 代理的网络设备覆盖全网，那么网络管理员就可以对 整个网络进行监测。 s f l o w 数据包可以包括完整的从第二层到第七层的详细信息，从而能够更清 晰的、全面的了解你的网络，管理你的网络。 s f l o wa g e n t 仅仅被用于选择、封装和转发数据包，而且所有的分析流量被 发送到采集服务器，数据流样本也是随机或定时地采样，使得对c p u 和带宽需求都 不高。 除了在网络测量方面具有很多优点之外，s f l o w 也具有异常行为的监测能力 乜p 3 ，在发现采集数据出现以下情况时，就会怀疑有可能出现的安全问题。 判断出拥有可疑流量的超级带宽占用者； 一个主机试图使用大量服务端口连接大范围的地址； 到某个主机的流量，在很短的时间内异常增大； 某个主机发出异常数量的登录流量； 通过对外部主机的监视，发现异常传输流量或使用的服务类型端口异常。 2 2 3 3s f i o w 的采样误差问题 基于s f l o w 的数据采集技术，其弱点便是一般无法采集到所有的网络数据包， 因为它是基于采样机制来进行的，其网络流量统计的准确性与其数据包采样率成正 比关系，即采样率越高，准确性越高；采样率越低，准确率则越低。这就要求我们 根据校园网的带宽与实际流量来找到一个采样率与流量准确度的平衡点，即要保证 网络流量能够及时迅速的分析处理，又要保证其能正确代表网络的整体实际流量情 况。 我们来分析下在数据流量采样机制下，采样率与准确度的关系n 副： 假设一共有n 个数据包在网络上传输，我们从中采集到n 个数据包，即设置采集 】3 华北电力大学硕士学位论文 ：为n n ，其中每个数据包被采到的概率是相同的。如果在n 个被采集到得数据包中， c 个特定网络应用类型的数据包，则特定数据包的平均采样概率为c n ，在所有n 数据包中含有c = 坐! 个特定的数据包。通常情况下，我们假定误差在5 之内 疗 采样结果才具有代表性，这样n c 的估计方差为： 存俨。小吾) 矿2 奉栽考 虬的置信区间是： c 1 9 6 0 ，c + 1 9 6c r ，而其采样误差率的百分比 r r 。r = 1 9 6 宰吾。则采样误差率e r r o r 随采样包中特定包的数量c 的变化规律如图 7 所示。 r e l a t i v es a m p l i n ge r r o r 1 0 0 7 5 o 差5 0 掌 2 5 o 1 1 pl 1 0 0 01 0 0 0 0 n u m b e ro fs a m p l e si nc l a s s 图2 7 采样误差率e r r o r 随采样包中特定包的数量c 的变化曲线 我们可以从中看到，当从1 0 0 0 0 0 0 个数据包中取出n 个采样数据包，那么采样包 1n 9 里含有1