（计算机应用技术专业论文）基于异常挖掘的网络入侵检测.pdf

学位论文数据集 中图分类号 t p 3 9 l 学科分类号 5 2 0 2 0 论文编号 1 0 0 1 0 2 0 l 1 0 7 1 7密级 公开 学位授予单位代码 1 0 0 1 0 学位授予单位名称 北京化工大学 作者姓名韦达学号 2 0 0 8 0 0 0 71 7 获学位专业名称计算机应用技术获学位专业代码 0 8 1 2 0 3 课题来源自选项目研究方向网络安全 论文题目基于异常挖掘的网络入侵检测 关键词入侵检测，异常挖掘 论文答辩日期 2 0 l l - 5 2 6论文类型 应用研究 学位论文评阅及答辩委员会情况 姓名职称工作单位学科专长 指导教师赵英教授北京化工大学 计算机网络 评阅人l易军凯 教授北京化工大学信息安全技术 评阅人2谢晓明 副教授 北京化工大学 现代通信技术 评阅人3 评阅人4 评阅人5 椭员蝴何苏勤教授北京化工大学嵌入式系统、d s p 系统 答辩委员l易军凯教授北京化工大学信息安全技术 答辩委员2李学斌副教授北京化工大学图像处理、数字水印 答辩委员3 谢晓明副教授北京化工大学 现代通信技术 答辩委员4高教阳副教授北京化工大学人工神经网络 答辩委员5 注：一论文类型：1 基础研究2 应用研究3 开发研究4 其它 二中图分类号在中国图书资料分类法查询 三学科分类号在中华人民共和国国家标准( g b t1 3 7 4 5 9 ) 学科分类与代码中 查询 四论文编号由单位代码和年份及学号的后四位组成 j 摘要 基于异常挖掘的网络入侵检测 摘要 当前，入侵检测系统已经成为信息安全整体架构必不可少的一道 重要防线。不同于防火墙等其他网络安全组件和产品，入侵检测系统 要求具有更多的智能。然而调查表明，当前投入使用的入侵检测系统 在检测性能、对分布式攻击的检测能力等方面远远不能满足实际需要。 另一方面，不同网络环境对入侵检测系统的架构设计和可靠性提出了 不同的要求，特别是在大规模、高速网络环境下，由于在数据存储和 处理上的局限性，目前大多数入侵检测系统存在丢包漏检现象，导致 漏报率较高，检测率较低。 本文提出一个校园网环境下的分布式网络入侵检测系统，由分布 的智能本地代理和一个中央代理组成，在各网段部署具有自主行为的 本地代理，采用改进的基于聚类的异常挖掘方法区分正常网络活动和 异常行为，而中央代理集中处理各本地代理发出的告警消息，并负责 整体的分析决策。在大规模高速校园网环境下，各网段的智能代理只 处理本地网络数据包，避免了漏检；各代理采用基于聚类的异常挖掘 方法，能够有效地检测出分布式攻击，如拒绝服务攻击d d o s 。中央 代理作为整个入侵检测系统的中枢，监控整个校园网的安全态势，并 进行异常事件关联分析与报警信息融合，以精简入侵事件报告、降低 误报率、提高检测率。 实际环境中的模拟攻击检验结果和标准数据集的测试结果表明， 采用该设计的入侵检测系统能及时有效地检测出多种类型的攻击，并 具有较高的可靠性和检测率。 关键词：入侵检测，异常挖掘，聚类，分布式架构，拒绝服务 d i s t r j b u t e di n t r u s i o nd e t e c t i o n b a s e do no u t l i e rm i n i n g a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e m e ta l l dn e 细o r kt e c h n o l o g i e s ， i 蛐f i l s i o nd e t e c t i o ns y s t e m ( i d s )h a sb e c o i l l ean e c e s s a 巧g u a r dl i n ei n i n f o 锄a t i o n s e c u r i t ya r c h i t e c t u r e u n l i k ef i r e w a n0 ro t h e r s e c u r i 妙 c o m p o n e n t sa n dp r o d u c t s ，i d si s e x p e c t e dt o b em o r e i n t e l l i g e n t g e n e r a l l 弘i d si nc u r r e n tu s e c a nr a l l ym e e ta c t u a l 鲍q u i r e 】m n t si n p e r f o 胁a n c e ，a c c u r a c ya 1 1 dd i s t 曲u t e dc h a r a c t e r i s t i c s o nm eo t h e rh a n d ， d i 饪e r e n tn e t w o r k e n v i r o n m e n t s r e q u i r e v a r i o u s r e l i a b i l i 妙a n d a r c m t e c t i l r e s e s p e c i a l l yi n a h i g hs p e e da n dl 鹕e s c a l en e t w o r k e n v i r o n m e n t ，c l u et 0t h el i m i t a t i o no fd e t e c t i o n 眦a s t o r a g ea n d p r o c e s s i n ga b i l i t 弘m o s ti d si nu s es u 断a h i g hp a c k e t _ l o s sr a t i o ，w h i c h w i l ls i g n i f i c a n t l yd e c r e a s ed e t e c t i o n r a t e i nt h i sp a p e r ，w ep r e s e n tad i s t r i b u t e dn e t 、釉r ki i l t l l l s i o nd e t e c t i o n s y s t e m ，w h i c hi sc o m p o s e d b yac e n t r a lc o n 仃o la n ds e v e r a li n t e l l i g e n t a g e n t s ，d 印l o y e di ne a c hn e 呐o r k s e g m e n t i n c a n l p u s蜘r k e n v i r o n m e n tw i t hl 鹕es c a l ea n dh i g hs p e e d ，e a c ha g e n tp r o c e ：s s e s i t s l o 翻p a c t oe n s u r ed e t 硎o nr a t i o ，u s i n ga ni m p r o v e do u t l i e r 武血g m m e t h o do nc l u s t e r i l 培t 0 d e t e c tl ( i n d so fa t t a c k sa n di n 饥l s i o n s t h i s m e t h o di se 虢c t i v ef o rb o t l l 仃a d i t i o n a li n 仃u s i o n 孤d d i s t r i b u t e da 仕a c b s u c ha s d d o s t h ec e n t r a lc o n 昀li s r e s p o n s i b l ef o rt o t a l d e c i s i o n s m o m t o n n gt h es e c u r i t ys i t i l a t i o no nt h e 、他o l ew i t ha b n o m a l e v e n t sa n d a l a r m m 旬n 1 1 a t i o n 如s i o n ，i no r d e rt or e d u c ef a l s ea l a n nr a t ea n d i m p r o v e d e t e c t i o ni 翟t e e x p e d m e n t a lr e s u l t sp r o v et h a tb o t ht r a d i t i o n a l a t t a c k s1 i k es y n f l 。d i n g ，a n dd i s t m u t e da t t a c l ( s s u c ha s d d 。s ，c a nb ed e t e c t e d e 虢c t i v e l yw i t hv i s i b l ea c c u r a c yr a t ea n d r e l i a b i l i 妙 l ( e yw o r d s ： i n t m s i 。nd e t e c t i 。n s y s t e m ，。u t l i e rm i n i n g ，c l u s t e d n g ， d i s 研b u t e da r c h i t e c t u r e ，d e n i a lo f s e i c e 目录 目录 第一章绪论l 1 1 课题研究背景1 1 2 入侵检测系统分类l 1 3 入侵检测研究现状2 1 4 论文的组织结构4 第二章网络入侵检测7 2 1 网络攻防7 2 2 异常检测1 2 2 3 聚类分析1 3 2 3 1 聚类的表示模型1 3 2 3 2 簇间的相似性度量1 6 2 3 3 聚类算法的性能评价1 6 2 3 4 聚类分析中的挑战性问题1 7 2 4 异常挖掘1 7 2 5 入侵检测1 9 2 6 入侵检测系统评估2 l 第三章系统设计2 3 3 1 聚类分析。2 3 3 1 1 聚类表示2 5 3 1 2 聚类算法2 6 3 1 3 聚类精度的讨论2 6 3 2 异常挖掘2 9 3 3 体系结构设计3 0 第四章系统实现3 3 v 4 1 网络嗅探3 4 4 2 协议分析3 7 4 3 实时统计3 8 4 4 在线聚类4 l 4 5 异常挖掘4 2 4 6 模拟攻击4 3 4 7 系统评估4 4 4 7 1 模拟。：4 4 4 7 2 结果讨论4 6 第五章总结4 7 5 1 全文的工作总结4 7 5 2 将来的工作展望4 8 参考文献5 l 致谢5 3 研究成果及发表的学术论文5 5 作者及导师简介5 7 c o n t e n t s c h a p t e r li n t l o d u c t i o n 1 1 1i i l 加s i o nd e t e c t i o nr e s 鲫r c h b a c k 印m l d 一l 1 2i d sc l 嬲s i f i c a t i o n 1 1 3c u 玎? e mi n b l 】s i o nd c t e c i o ni e s e a r c i h 2 1 4 。 ( 2 ) 标记：计算每个簇g 的异常因子o f ( q ) ，按o f ( g ) 递减的顺序重新排 列g ，求满足 轷 s ( 3 - 1 7 ) 1 个i 一一 、。， 的6 最小值，将靠前的簇a ，q ，o 标记为攻击类( 即其中每个对象均看 成攻击) ，将剩余的类标记为正常类。 s 实际上是异常数据所占比例的近似值。越小检测率越低，同时误报率也 越低。根据统计经验，一个数据集中受污染的数据( 或异常数据) 通常小于5 ， 最多不超过1 5 ，因此一般取在0 0 5 左右。实际中可根据性能要求和具体环 境中异常所占比例的先验知识更准确地选择s 。 3 3 体系结构设计 校园网是将各种不同应用的信息资源通过高性能的网络设备相互连接起来， 形成校园区内部的b 舡a n e t 系统，对外通过路由设备接入广域网。具有充分的技 术先进性、高度的安全可靠性、良好的开放性、可扩展性，以及建设经济性。 第三章系统设计 典型的校园网结构如图所示。 图3 3 典型的校园网络三层拓扑 f 堙3 _ 3 ，】呻i c a l3 - l a y 嚣c 锄n p l 娼n e t w o r kt o p o l o g y 为构建对整个校园网络起到有效防护的入侵检测系统，采用分布式架构，在 网络中心部署中央代理，在核心服务器区或者每个网段部署一个本地智能检测代 理，这可根据具体需要随时扩展。每个本地代理都独立运行，既可在本地自主进 行入侵检测的数据分析、入侵判定并告警，也可将异常报告提交中央代理，由中 央代理和管理员进行汇总分析。代理可以是一个进程，也可以是一个完整的入侵 检测系统。体系结构如下图所示。 图3 4 本系统的体系结构设计 f i g 3 - 4 加龇嘶d e s i 弘o f 舭i 枷p l 锄蝴蜘 每个本地代理主要由三个功能组件构成：数据包嗅探器、分析器、收发器。 通过将本地网卡设置为混杂模式，嗅探器可以捕获本网段内的所有数据包。分析 器提取数据包的各种协议信息，根据各属性值建立在线数据集并执行数据分析和 入侵判定。收发器是代理对外通信的接口，可向中央代理传输数据、报告或接收 3 l 北京化工大学硕士学位论文 命令，也可在中央代理的组织下与其他本地代理相互通信。一个这样的网络入侵 检测系统可以分布在网络中任意数目的主机上，一台主机上也可运行任意数目的 代理，但通常只需部署一个。每台主机上的代理通过嗅探器收集本网段内的所有 数据包，由分析器进行在线数据挖掘，发现的异常事件和相关数据由收发器传输 给中央代理。中央代理可以看到整个网络范围内的数据，因此它可以进行高层次 的相关性分析，进而检测到与多台主机相关的入侵。也可以将多个本地代理按照 层次进行组织，以提供数据冗余和避免单点故障。但无论怎样划分层次，最终必 须有一个中央代理使用用户界面向管理员提供信息和控制接口。 第四章系统实现 第四章系统实现 采用前述的方法和模型，并考虑高速校园网的架构环境，设计并实现了一个 基于异常挖掘的网络入侵检测系统。本系统的主要流程如下。 1 ) 网络嗅探( 抓包) 。捕获本网段内的所有数据包( p a c k c t ) 。 2 ) 协议分析。对每个数据包，抽取并显示其中的特征信息，用于后续的统 计分析和异常挖掘。主要包括协议信息、各字段值等。 3 ) 统计。实时统计当前某段时间窗内，与某个p 、主机地址或某类协议相 关的数据包或t c p 连接的出现频率、平均表现等。即以统计的方式考察网络当 前状况。给出图形化显示，便于人工监控和发现传统的、较简单的协议攻击，如 s y n 泛洪攻击。 4 ) 在线聚类。根据前述提出的改进的聚类表示，将各数据包提取、记录为 一条条属性向量，维护当前最新的一部分数据包( 如1 0 0 0 0 条) ，用在线聚类算 法进行实时( 一趟) 聚类。 5 ) 异常挖掘。对当前生成的各聚类执行异常挖掘算法，其结果为数个异常 簇，各簇具有攻击概率p 和异常因子o f 。 6 ) 生成告警信息。在日志中存储相关内容，供人工分析决策。 下图显示了该系统的组件结构。 图4 一l 本系统各组件模块结构 f i g 4 1c 锄p 衄t so fm ei l n p l 伽n t 撕0 n 其中，主要模块如下所述： 1 ) 网络数据引擎模块。捕获监听网络中的原始数据包。网络数据的解析机 制是整个系统实现的基础，其中关键在于保证转包的高效率和较低的丢包率，这 取决于软件的性能和网卡等相关硬件的处理能力。 北京化工大学硕士学位论文 2 ) 预处理模块。预处理模块包括数据包过滤和协议解码等。协议解码是对 数据包的一个标准化处理过程，包括p 碎片重组、t c p 流重组和h ，n 瞪、c o d e 、 r p c 、t c l n e t 解码等功能。这个过程生成的数据流交给下层分析模块分析处理。 3 ) 实时统计模块。包括协议栈各层的流量分布、当前一段时间内的各协议 流量变化等的统计。 4 ) 入侵检测模块。本系统的入侵检测模块即前述在线聚类、异常挖掘方法 的实现，数据来源为上述步骤中获得的数据记录。 5 ) 控制中心。控制中心是整个入侵检测系统和用户交互的界面，用户可通 过控制中心配置系统各细节，以检测新的入侵方法。也可通过控制中心对入侵与 日志数据库进行分析，更合理地配置整个系统。在分布式架构中，通过控制中心 对分布在各网段的本地检测节点进行配置和告警汇总、融合。 6 ) 入侵与日志数据库。此数据库的作用在于存储嗅探模块捕获的网络数据 记录、分析结果和入侵日志等。此数据库也是组件之间的共享数据库，提供检测 流程各阶段所需的数据。 详细描述本系统实现之前，先介绍实际部署环境对系统检测性能的需求。 入侵检测系统具有通用的性能需求。不同类型的入侵检测技术具备各自不同 的性能指标。传统基于网络的入侵检测系统，其性能指标通常包括所能监控的网 络带宽容量，如在l o o m h z 或1 0 0 0 m h z 以太网上能否可靠地展开监测工作。具 体参数包括：当负载为其某一百分比时，数据包的丢失率应小于某个阂值。此外， 还要考虑交换网络环境和加密传输中的性能需求。 以下1 5 节给出本系统实现的具体细节。 0 4 1 网络嗅探 通过将主机网卡设置成混杂模式( p r o m i s c u o l i sm o d e ) ，主机的网络接口可以 接受本网段内的所有数据包，包括目的地址并不指向本地的数据包。通过系统调 用直接访问数据链路层，截获数据帧。 l i i n l x 操作系统上层的类库l i b p c 印【6 】被广泛用于用户层的数据包截获和相 关编程工作，其作为最先出现的、统一的a p i 接口，为低层网络安全应用提供了 一个可移植的应用框架。该类库已被广泛移植到多种操作系统平台上，如 w i l l d o w s 的w i 印c 印库。已有j a v a 平台的版本j p c a p ( j a v ap a c k c t sc a p t o r ) 。为利 用j a v a 平台的系统独立性，本系统采用j p c a p 实现抓包和字段抽取，以及实现发 送攻击包对系统进行测试。 慨库可从网络中实时抓取数据包，也可以将数据包以文件的方式保存到 第四章系统实现 本地，并从本地读入内存。它将识别出各种协议类型的数据包，并填入对应的类 对象中，也可利用标准正则表达式对网络数据包进行过滤。最后，我们可以利用 j 脚库，调用原始套接口( 伯w c k e t ) 生成包含所需属性值的攻击数据包，发 送到网络上，作为模拟的攻击行为，测试所实现的入侵检测系统的性能。 通过实现p a c k e 吸o c c i v 钉接口中的回调( c a l l b a c k ) 方法c e i v e p k e t ( p a c k e t p a c k 鳓，可在网卡每次产生中断时捕获到数据包，并在此方法中实现对数据包的 处理。 c l 器sp a c k e t h 锄d l e fi m p l 锄l e l l t sp a c k 酬b c e i v 贫 每当网卡捕获到一个数据包，都将执行此回调方法 p u b l i cv o i d 础两v 卯a c k e t i p a c k e tp a c k 哟 ，在此处理数据包 ) ) j p c 印捕获到数据帧后，需将数据帧转换为可识别的数据结构，并提交给分 析处理模块。为此，先要进行数据帧的协议分析，即执行t c p i p 栈自下而上的 处理工作，解析各层包头，记录各字段值和数据段，然后针对各具体协议类型， 调用专用的协议分析模块。 本系统基于j p c a p 的正则表达式接口实现了一个选择界面，用于在抓包、检 测开始之前，设置执行此项工作的网络接口设备，这对于有多个网络接口的服务 器等设备是必需的。此外，可通过类库自带的正则表达式对需要捕获的不同类型 包进行限定。下图展现了这一界面。 图4 2 系统初始化设定界面 n g 化s y s t | 锄i n i d a l i z a t i c 0 血g u 豫t i i n l 船矗| c e 通过j p c a p 读出本机所有的网络接口设备，并显示在捕获设备列表框中。 f i l t e f 文本框中可根据需要，填入符合正则表达式规范的包类型描述，如“t c pa n d u d p 等。若留空，则捕获线路上的所有数据包。数据包过滤在某些场合下是一 3 5 北京化工大学硕士学位论文 种方便工具，如已知当前网络存在朋诤欺骗攻击，可通过正则表达式“a r p 锄d 唧 专门查看网络中的哪包通信状况。 系统开始运行后，将持续地对网段中的所有线上数据包进行捕获。每抓到一 个数据包，将读出其全部字段值和载荷内容并显示。 下图给出了系统运行中的一个快照。 k 斯婶e f c 船t t l 柚t i 船“c沁l ，：船- t l l t l 蚺l p c m 蟹t 利c8 # 州l nl n eh a 氍牲翮 e 茸哼抽i t；白，饿t 能； 篆囊薰嚣瓣嚣鍪篓震溪嚣嚣襄鬃纛嚣蓦篆囊囊辫茎兰圣瓣鬻| | 落蘸i 雾 i t 2 ：“垮9 ：韶：0 0 = 0 0 l f ：j j b f2 三：靠妁二l l 韩1 ：2 2 1 ：薛n 年f n 弦。搴1 6 ：0 4 籼e s t n 7 琳b 啦t e 缸耐 一 l 时i f e d i 。t 饨n 曲l 套t “j 让i l - 硝；：! 啊 一避；0 ：“：甜e 3 ：t l ：菡b f2 l ：；蓦，吧tl 瓤i 嘏：2l 钙播2 l 氍f r l 靠秘】5 ：”：敏c 钉秘i 吐 酞b u c t m 嚣f 一一l 越l f e d o t “t i 曲f d - 氨 饨i l 哧l t ：一 一要臻莲袭：鬟：嚣! 磐嚣嚣! 妻嚣銎器器 鬻爱；誊j 嚣疆冀静嚣寻鬻菩絮 雾耨| 二：= 墓崔? 象爱一 嚣餐擎器：搿 ：鬈一；簪麓甜冀 翱 ；蓄：；i ；象誓i 茹；荔。蚕委蔷砗= 2 ： ：茹；i 2 ；菡；5 ；芸；i ；蔷；譬；“1 +“盗+ 1 叠蔷篮巍。二，一。；譬晶；二：i _ _ e - m _ _ l 搬 _ 目瞄麓_ _ _ 舞? ， 一_ _ _ _ _ _ i i - 目_ 自- 目_ i _ 日n h - _ 目_ _ m 目目_ 一 一 一 日口目_ _ _ _ _ j 函i - h m t i 云蠢_ 一 。粪鬟；麓鬻豢莲翥鎏豁澍粼薏蘸瓣蕤薹爱襄三涨器蒜i 嚣辫j ：娶誊； 剿 学! 确璇靶：玉：! 督靠 ：f ，f ：f f ： f f 琵 t 矩j j5 l i 露= i 钾7 黝譬髓1 蟊碍诘：f ：甄h r 确茸罾戳娥_ i j “西彳葬j j ；f ：5 亏i 0 茹；i i 忑鹾r 爵 矗五i 赢蓄， 望辫蕤誊霪毳鍪囊墼越是篓嚣耋越篓嚣囊酲黧鬻三黧麓蚕薹撼嚣蔼溺 呈墁，oi ：b f ：2 l ：观：0 ：“： ：导3 ：蛳列1 * 搿2 1 域2 。2 1 1 婚f r l w 1 6 ：0 。：“c s t ：斓 【蕾l t ；再一i 矗耐 lc d j o t 矗i l 心t 奢h t l 面i “l 茁：， 霉鬻辫| | | 麓萎嚣鬻鬻攀雕黼蒸纛攀三耋嚣| | | ：囊| | l | 溪熏戮 招o o j 私弱招6 莓艇f f 越钾：2 i ：l r 一砷：i 1 孙l 罐弛! 再始：l 砷d 而f 德l l f 鼯c 歼1 疯斧i 簖i 矗l 嗣一砌矗芎卉1 n i h i _ 嚆j 矗i i i i ：i i 嚣一 羹婆：蓑篙塾：釜量篓篓：窘；冀盈篓黠冀彗冀趟生搔壁墼器嬲薅霉粼h 敬蠢强囔f = j 蛳哦嬲恕醴一玉搿i ；鹾 粪躺! 鞴! 麟糍 麓囊鬻黼然萋馘戮辩畿黼毒三露蒸糕辩糕溪矛 鬈瓤嚣；：蒌瀚蜜篆臻麓譬辫簧鬻美黼要礁嚣蓬冀霸鬻囊篓_ 磁耐荟；荔一= 鬟譬粼嚣兹薹鬻蒙感嚣剐 2 no o ： ：2 - ：，i ：血：! i 琵：l i ；霹盈2 诫瑶醒2 鹞5 t 癌2 孔：m i 蟊髓讳舻：g0 玎翘圹缎掰：嚣 蚓。一l 强氯。妇幻对i ；t n n “i 叠 i 口t j 强l l - 五 ：缓 华疆墨蟹l 盈蕊囡圈豳 j1 ：“鹋o o 拦l d 池1 1 6 0 4n 4 = f 畦 乒巧：酊；瓢铆搬li c t 口“l h + l ih 矗筇艚蕃l 1 1 】 盘e t l h 日n ，i f r h tt m t ：0 - 6 氍c 5 “【讯1 s z ；：l ! ：b f ：a ：曲正d e t l 南c t “l 】 d t l 瑚“纰t 虻：；l ：“；的：时：i 叠i p 鸭i 犯h 甜b 并越【t 止5 q t e z n ：琶 k 曲b c 订讥的缸l 】 t m 。r i t ”oi t 。s ：n n 口州：h l t差 o 。o i 筠l 甜 t c s ：e i l t ：i t y ：f - l ；麓 以o l 藉以嚣以l o t 毛蝴 l 赶th ：n el 1 h 蕾t l ：l c t i 埘，2 7 7疆税以辑o l 韩n 辑l 氛e 玎 f r 扯e 跗：d o th l p t ：f n e孽 “荫毗孔。l 冀o l 赶【f t2 】 ：r r - 叠e n 霄e ，r 刈4 礼t ：f i l 麓 靠t p t 纰o i “t ：o爱 钮乱o l3 2o l 讥l 1 2 0 钉 t l - ek “拇：i 勰 镏 拈o t o c o l ：1 7鞠 n o i ，o 以m l 乱o o 订 s c 越f e ：p ：；l e 9 ：s 勰9强 祛o l o l 菊0 i 弱l 乱o 吼帕 啦t l 罅“吼：p ：磁l i 翟 s e l r * b t u ：l * l “ “。l 辩o l 卵m lo 血鱼订 抛t h m t 王确b o t 糠t ；咻豫t 出 o l 舞o l 50 l * 锥鞴【皂e f 三】 b c 弹i “一t一目煞甜乱翟n 盐k o ，强& 1， 一 m w d ：p e k t 豳豳簖蟹琵溺搿 鹾糍隘强鞠掰豳缓圈野豫嘲疆鞘爨懿弱嘲鳓捌露翟警嘲髓翟隧窟隧璧懿奢翟峨琵目疆产一瞄衄嘲鞠瞄蟹嘲翰萌_ 图4 _ 3 系统运行快照 f i g 4 3s y s t 啪m 衄j i l g 跚印s h o t 本系统界面采用j a v as w i n g 图形界面开发包实现。其中，在抓包并显示的表 格框里，读出每个数据包的各字段值，如捕获时间、源目的m 、源目的端口、 跳限值等。如果是某特定类型协议数据包，例如是a r p 包，还读出是触冲请求 还是应答，对于这样的列，若不存在对应字段( 即非此类协议包) ，则一律填入 “n o ta v a i l a b l e 。左下角的数据报详细信息用j t r c e 展现，将选中的某行数据包 的各字段值读入树形结构列表中并显示。右下角文本框内以1 6 进制格式和字符 格式显示了该数据包的载荷内容。数据载荷仅显示，不作本地存储，因为它不参 与后续的各项分析。 网络嗅探并不会影响线路上的通信。理论上本网段内的所有数据包都可以被 捕获到，但在实际测试中，尤其当网络繁忙的时候，有时并不能达到1 0 0 的捕 获率，这潜在地会影响检测率和漏报率。考虑到数据包的复制传递跨越操作系统 用户层和内核层，为改进这一状况，保证绝大多数情况下都无漏网之鱼，有些工 业级产品在操作系统内核中实现数据包复制功能，并将系统安装在一个单独的服 务器上运行。这可作为本系统将来的改进思路。 第四章系统实现 4 2 协议分析 针对t c p 口中常用的每种协议，实现相应的协议分析模块。 协议分析过程的基本流程： 图4 4 协议分析基本流程 f 蟾4 _ 4b 鹄i cp r o t o c o l sa i l a l y s i sp r o c e d u r e 如对于每个t c p 协议数据包，在包对象中维护一个属性数组： 埘v a t es t a t i c 缸a ls 妇g 【】v a l u c n 锄e s = ”、，确i o n ”， ”1 o s ：p r i o r i 白， t o s ：n 哟u 曲o u t ”， 1 o s ：r e l i a b i l i t y ， ”l 饥g t l l ”， ”i d 船矗丘c a 缸0 n 什， n f r a 鲫t ：d 伽、f r a 舯e n t ”， f m 肿e n t ：m o r ef r a 鲫e i l t ， 竹f r a j 国瞅殂to 低e t 竹， t o l i v c 竹， p r o t o c 0 l ”， ”s 0 1 1 r c ep ”， 竹d 髓t i i 谢0 n 口竹， s o u r c eh o s tn 锄e 竹， d 销t i n a t i o nh o s tn 锄e ) ； 按数据包内其各属性值填充到t c p 包对象中。 p u b l i cv o i da 瑚1 ) i z e 口a 妇p a c k 哟 v i i u e s c l e a 哟； 3 7 北京化工大学硕士学位论文 诫! i s a n a l y z a b l 弛a 呔哟) 蚤c t i 胍； 胁lp p a c k e ti l 只p p a c k 咖a c k e t ； 砌u c s 删v 如e n 锄铭【o 】，n e wi n t e g 呱4 ) ) ； 砌u e s p u t ( v a l u e n 锄韶 1 】，n e wi n t e g e “i p p r i o r i 动) ； 词u e s p u t ( v a l u e n 锄e s 【2 】，n e wb o o l e 锄( i p t _ n a g ) ) ； v a l u c s p u t 扣a l u e n 锄懿【3 】，n e wb 0 0 l 踟( i p r _ n a g ) ) ； v a _ l u e s p u t ( v a l u 6 n 锄e s 【4 】，i 蟛wi n t e g e r ( i p 1 e n g m ) ) ； 砌u e s p u t ( 砌u e n 锄e s 【5 】 n e wi n t e g 呱i p i d 锄t ) ) ； v a l 啷p u t ( v a l u e n 撇e s 6 】，n e wb 0 0 l e m ( i p d o n t 触曲) ； v a l u e s p u t ( 砌u c n 锄铝【7 】，n e wb 0 0 l 锄( i p m o r e 向曲) ； v 如e s p u t ( v a l u e n 锄e s 【8 】，n e wi n t e g 呱i p o 侬哟) ； v a l u e s p u t ( v a l u e n 锄懿 9 】，n e 、) l ri n t e g 呱i p h o p - l i i i l i t ) ) ； v a l u e s p u t ( v a l u e n 锄e s 【l0 】，n 哪h l t e g 呱i p p f o t o c 0 1 ) ) ； v a l u c s p u t ( v a l u e n a m e s 1 1 】，i p s d c o p g e t h o s 认d d r c s s o ) ； v a l u e s p u t ( v a _ l ue _ n 锄e s 【1 2 】，i p d s t j p g e t h o s 认d d r e s s ( ) ) ； v a l u e s p u t ( v a l u e n 锄e s 【13 】，i p s r c _ 一i p ) ； v a l u e s p u t ( v a l u e n 锄e s 【l4 】，i p d s u p ) ； ) 提取出每个数据包的各类属性字段值，并作为一条记录，保存或写入本地文 件( 追加方式) ，将用于此后的流量实时统计和在线聚类。 4 3 实时统计 对网络当前态势的统计不仅可以辅助管理员清晰地掌握当前网络的运行状 况，也是进行下一步入侵检测工作的必要前提。为此，必须设计合理的统计参量。 本系统提出了如下几类网络监控统计量： 1 ) 全局信息。包括当前捕获的数据包总数、数据包平均尺寸、流量统计( b i t 眺 和p a c k e t s s ) 。 2 ) 网络层各协议比例。如捕获到的口v 4 包、i p v 6 包、朋 r a r p 包占当前 所有数据包的比率。 3 ) 传输层各协议比例。如t c p 、u d p 、i c m p 等。 4 ) 应用层各协议比例。因当前捕获的数据包而异，如h ，i r r p 、f 即、t e u 呵e t 、 s s h 、s m t p 、p o p 3 等。 为了直观表现，对以上各统计量分别采取饼状图( 累积形式) 和曲线图( 连 第四章系统实现 续变化) 展示。饼状图展现了当前时刻的各类协议流量的比率；从曲线图可以看 出当前较长一段时间内的流量变化情况。这有利于宏观掌握当前网络状况。 图4 - s 某时刻网络层各协议流量分布图 f i g 小5n e 晰o r kl a y e rp r o t o c o lr a _ t i o 蛐a p s h o t 图4 5 中，计算并显示了协议栈网络层的三种主要协议类型( 口v 4 、l p v 6 、 a l 冲瓜a r p ) 和所有其他类型在当前时刻捕获的数据包所占的比例值。亦即在抓 包和协议分析之后，每得到一个协议类型字段为上述类型的记录，即更新相应的 计数，并每隔2 秒触发一次属性值更新事件，重新绘制分布图，更新显示比例。 某时刻传输层协议流量分布如下图所示。 _ 一m n - 一卑t v a 一孙l l ：疆l i 露蕊”。l 缉l 毽l 笼瑙 i 睁：曲。琵妇酞巍厂 lo fp a c k e t s 6 6 7| 5 1 1 21 5j 1 0 4 3| 鼍o fp 曩c k e t s 1 9 7 f 01 1 5l t o t a lp a c k e t s l z e1 2 3 髂钳 1 6 9 鹊毒2m 41 6 3 3 2 7l xo fs l z e 2 4i 6 9| o| 6 l 7，b1 k ，、，o ? ：，：，? ；。：? ? o t h - 。ij 。l _ ! ? ? 二一t i c a 誊萋? 。! j 舄 囊i 辫；l i 北京化工大学硕士学位论文 图4 7 某时刻3 0 秒时间窗内传输层流量变化状况 f i g 4 7t m 伍c 姗i t 优证gi na3 0 s t i m ew i i l d o wo f 蛔n 咖r tl a y e rp m 妣0 1 3 图4 7 显示了某3 0 秒内传输层的各协议流量变化状况。亦即计算并保存当 前的过去3 0 秒内的各协议流量值，每隔2 秒触发一次属性值更新事件，获取最 新的流量分布，重新绘制。 以传输层协议实时统计为例： p u b l i cl o n g 口g e t v a l u e s ( i n ti i l ( 1 e x ) s w i t c h ( i n d e x ) c 嬲e0 ：脚o f p a c k c t s i 坟n u m o 伊s 彻1 1 ) r e t u mn e wl o n g 【0 】； 咖删m o 印s ； c a s el ：o f p a c k e t s l o n g 】p e r 。僻堋) l ，l o n g 【m 吼o 伊s 1 c n g 叫； i f ( t o t a l p s = = o ) r e t l l i t lp e f c e n t s ； f o “i n ti - o ；i 孤l i i l o 伊s 1 c i l g 吐l ；i + + ) p e r o 瞰t s i 】= m | n l o 印s 【i 】木1 0 0 t o t a l p s ； r e t i | mp i 即c 钮t s ； c a s e2 ：t a lp 蜘s i z e i 坟s i z e i d 伊s - = = i i u l l ) 职定m nn e wl o l n g 【o 】； r e n i ms i z e o 伊s ； c a s e3 ： o 名o f s i z e l o n g 口p e r c 踟眈= n e wl o n g s i z e o 印s 1 e l l g m 】； i f 【t o t a l s 娩e 妨r e t u mp e r c e 眦s 2 ； f 0 i n ti = 0 ；i s i z c o 印s i e n g 吐l ；i + + ) p 戗戗m t s 2 【i 】= s i z e o f p s 【i 】木10 0 t o t a l s i z e ； r e t i l mp 钉以m t s 2 ； l e 伽t ： r e 咖棚m ； 4 0 第四章系统实现 其他各协议流量统计逻辑与此类似。 4 4 在线聚类 如前所述，本系统采用一趟聚类算法，以满足入侵检测对实时性的要求。 从捕获的数据包中抽取的各类字段和连接信息，将被整理为各种特征属性。 不同属性对于入侵检测的重要性有所不同，因此不能一视同仁。一般地，针对网 络的各种攻击，通常为针对某一主机、某类服务进行的，故本系统中将服务类型 ( s e 耐c c ) 和源目的主机口作为主属性，其他作为参考属性。同时，考虑到网 络攻击事件与时间的相关性，本系统还采用了时间窗的统计特征。 k d dc i l p 9 9 数据集是第三届知识发现与数据挖掘竞赛所使用的数据集。该 数据集来源于一个局域网流量数据，用于模拟美国空军军事网络环境，其包含了 多种网络攻击与入侵行为。k d dc u p 9 9 通过记录上述局域网连续9 周的原始 t c pd u m p 流量，生成了约7 0 0 万条连接记录。每一条连接记录反映了某一时刻 从源口到目的i p 的数据包传输情况。整个数据集分为训练用数据集和测试用数 据集两部分。前者用于提取特征，生成数据挖掘、分类模型；测试数据集用于验 证模型的性能，如效率与准确性。 k d d c u p 9 9 数据集对每一条连接记录都进行了分类。所有记录分为正常与 攻击两大类，其中攻击类又可进一步分为以下4 种类型： 1 ) d o s ( d e l l i a lo f s e i c e ) ：拒绝服务攻击，如s y n 洪泛攻击。 2 ) r 2 l ( r e i i l o t e t ol o c a l ) ：来自远程主机的入侵，如猜测用户口令。 3 ) u 2 r ( u s e r t 0r 0 0 t ) ：非法取得本地主机的根用户权限，如各种缓冲区溢 出攻击。 4 ) p r o b i n g ：监视与探测，如