（通信与信息系统专业论文）基于突变理论的ip网络异常行为检测机制研究.pdf

摘要 摘要 随着计算机技术与网络技术的飞速进步，网络与通信设施早已是国家重要的 基础设施。人类不但意识到网络与通信技术对社会进步做出重大贡献，也意识到 了信息安全问题己是影响国家和社会持续进步与发展需要解决的重大关键问题， 而异常检测技术作为一种重要的信息安全技术，已经成为计算机网络技术领域的 一个重要研究对象。目前，突变理论已被广泛用于交通、水利、土木等安全工程 领域，但少有涉及信息安全领域。本文正是在这种背景下对基于突变理论的网络 异常行为检测机制展开的探索性研究。 首先，本文分析了目前各种异常检测技术的优缺点，然后介绍了突变理论的 基本原理，主要包括突变理论概况及研究对象、齐曼突变结构、突变特征、突变 基本类型和突变理论的应用方式等。由于在本论文中，突变理论基础在网络异常 行为建模中尤为重要，故它是后续建模及实验验证的理论基础。 然后，论文证实了突变理论用于网络异常行为检测的可行性，并通过理论分 析选择用于建模的基本突变模型和建模方式。再从各种网络数据的关系图形形象 地说明尖点突变模型中各种变量的选择，最后在满足尖点突变模型的各种突变特 征的条件下，将数据进行处理建立了基于网络异常行为的突变流形及分叉集曲线。 此外，论文基于异常行为在突变模型各区域中的突变特性和典型的突变约定还提 出了一种基于网络异常突变模型的异常检测算法，并给出了算法的模块框图及核 心伪代码。 最后，论文为了验证基于突变理论的网络异常检测模型及其异常检测算法的 有效性，通过在局域网内搭建实验网平台并注入真实的网络攻击，利用抓包工具 获取所需的各种网络数据集进行建模，并且与目前流行的其他异常检测技术的检 测效果进行对比，从而分析得到网络异常流量与正常流量的比值大小对突变模型 的检测效果的影响。 关键词：异常检测，突变理论，分叉集曲线 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m m u n i c a t i o n sa n dn e t w o r kt e c h n o l o g y , n e t w o k i n f o r m a t i o ns y s t e mh a sb e c a m ea l li m p o r t a n tb a s i co fan a t i o n h u m a nc a l lb e n e f i tf r o m g r e a tr e v o l u t i o n sw h i c hn e t w o r ki n f o r m a t i o ns y s t e mb r i n g st os o c i a lc i v i l i z a t i o n ，a n d r e a l i z et h a tn e t w o r ki n f o r m a t i o ns e c u r i t yh a sb e c a m ea ne m e r g e n c yp r o b l e mw h i c h a f f e c t sl o n g t e r mb e h o o fa n dp e r s i s t sd e v e l o p m e n to fan a t i o n s o ，a sad y n a m i c s e c u r i t yp r o t e c t i o nt e c h n o l o g y ，a n o m a l yd e t e c t i o ns y s t e mh a sb e c a m ea l li m p o r t a n t r e s e a r c hf i e l do fc o m p u t e rs c i e n c ea n dt e c h n i q u e s n o w a d a y s ，t h ec a t a s t r o p h et h e o r y h a sb e e nu s e di nt r a n s p o r t a t i o na n dc o n s t r u c t i o n ，b u tf o rn e t w o r ka n dc o m m u n i c a t i o n f i e l d , i ti sn o tu s e d u n d e rs u c hb a c k g r o u n d ，o u ft h e s i sd o e ss o m ei n n o v a t i v er e s e a r c h o nt h ea n o m a l yd e t e c t i o nm o d e lb a s e do i lc a t a s t r o p h et h e o r y f i r s t ，t h ep a p e ra n a l y s e st h ea d v a n t a g ea n dt h ed i s a d v a n t a g eo ft h es e v e r a la n o m a l y d e t e c t i o nm e t h o d s ，t h e ni n t r o d u c e st h ec a t a s t r o p h et h e o r yi n c l u d i n gt h e c s e a r c ho b j e c t , c a t a s t r o p h ec h a r a c t e ma n dt h ea p p l i c a t i o na p p r o a c h s b e c a u s et h ec a t a s t r o p h et h e o r yi s v e r yi m p o r t a n tf o rt h ec o n s t r u c t i o no ft h en e t w o r km o d e l ，i ti st h ef u n d a m e n tf o rt h e m o d e lc o n s t r u c t i o na n dt h ee x p e r i m e n tl a t e r s e c o n d , t h ep a p e rv e r i f i e st h ef e a s i b i l i t yo fa p p l y i n gt h ec a t a s t r o p h et h e o r yt o a n o m a l yd e t e c t i o na n dc h o o s et h eb a s i sm o d e la n da p p l i c a t i o nm e t h o db yt h e o r e t i c s a n a l y s i s t h e na c c o r d i n gt ot h er e l a t i o n s h i po ft h en e t w o r kd a t a ，i tc h o o s e st h en e t w o r k d a t at ob et h ev a r i a b l e sf o rt h ec u s pm o d e l b e s i d e s ，an o v e ld e c i s i o na l g o r i t h mb a s e d o nt h en e t w o r ka n o m a l yc a t a s t r o p h em o d e li sp r e s e n t e d f i n a l l y , i no r d e rt ov e r i f yt h ec a t a s t r o p h em o d e lf o rn e t w o r ka n o m l ya n dt h e d e t e c t i o na l g o r i t h m ，w eb u i l dt h ee x p e r i m e n tn e t w o r ki nl o c a la r e an e t w o r ka n dp r o d u c e s o m er e a ln e t w o r ka t t a c k ，t h e nu s i n gt h en e t w o r kd a t ao b t a i n e db ye t h e r e a l , w es e tt h e d i f f e r e n tp r o p o r t i o n so ft h en e t w o r kd a t aw h i c ha r cu s e df o rt h em o d e lc o n s t r u c t i o na n d k n o wt h ei n f l u e n c eo ft h ed e t e c t i o nr a t ea n dt h ef a l s ep o s i t i v er a t eb e c a u s eo ft h e d i f f e r e n tp r o p o r t i o n so fn e t w o r kd a t a k e y w o r d s ：a n o m a l yd e t e c t i o n ，c a t a s t r o p h et h e o r y , t h ec u s pc u l n e n 图表目录 图表目录 图2 1 异常检测基本原理图5 图2 - 2 基于规则推理系统原理6 图2 - 3 基于案例推理系统原理。6 图2 - 4b p 神经网络模型8 图2 5 二分图模型o j 9 图2 - 6 最小覆盖模型。9 图2 7 贝叶斯网络关联概率1 0 图3 - 1 四种定常运动形式之间的转化1 4 图3 2 齐曼突变机构1 7 图3 3 点p 在对称轴上一1 7 图3 4 点p 不在对称轴上1 7 图3 5 齐曼突变机构的突变流形和控制空间2 0 图3 - 6 突变的两种约定2 1 图4 - 1 由链路故障引起的路由器中数据包排队时延的异常情况一2 7 图4 2 由瞬间大量访问引起的路由器中吞吐量的异常情况2 7 图4 - 3 燕尾突变的分叉集：2 8 图4 4 尖点模型的突变流形表示网络的正常和异常状态2 9 图钙网络拥塞过程中吞吐量和负载的关系图 图禾6 尖点突变模型的分叉集曲线图。3 2 图禾7 仿真环境中的网络拓扑结构一3 3 图4 8 网络拥塞仿真实验中吞吐量与负载的关系图3 4 图表目录 图4 9 尖点突变流形的褶皱分别在三个平面上的投影图形。3 4 图4 1 0 网络仿真实验中时延与吞吐量的关系图3 5 图4 1 1 网络仿真实验中时延和负载的关系图3 5 图4 - 1 2 数据拟合的分叉集曲线3 8 图4 1 3 突变流形和分叉集分析网络异常行为3 9 图4 1 4 遵循m a x w e l l 约定的突变流形图形4 0 图4 1 5 基于突变模型的网络异常检测算法框架4 1 图5 - 1 测试网络拓扑结构4 6 图5 2e t h e r e a l 抓取网络正常状态时的数据包4 7 图5 - 3u d pf l o o d 的攻击期间p c 2 主机的网络流量监控数据4 8 图5 4e t h e r e a l 抓取网络异常状态时的数据包4 8 表5 1 训练与测试数据样本集。5 0 图5 - 5 突变模型对两种异常事件的检测结果。5 0 表5 2 设置不同r 值的网络攻击场景5 1 表5 3 不同场景中突变模型与各种算法对u d pf l o o d 攻击的误检率比较5 2 v n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名：二搓望垒，、二一 日期： 岬年 厂月瑚e l 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：却盼 导师签名：舟压 日期：必叼年r 月豸日 第一章引言 1 1 课题背景 第一章引言 目前，随着计算机网络与通信技术的发展，网络技术应用得非常广泛。政府 部门、商业机构和教育系统都有各自的局域网。各种个体为了学习、交流和娱乐， 纷纷加入了互联网。i n t e r a c t 使得世界的地理概念在变小，网络已经让个人、学校、 企业与政府等在内的信息共享。因为各种网络规模的增加、网络带宽的增长、网 络技术的发展、网络用户数量的激增，各类的高速网络环境愈来愈多，千兆交换 机、千兆路由器等网络设备随处可见。 但是随着计算机网络技术和通信的发展，网络异常事件一直伴随着网络技术 与应用的发展。随着互联网规模的不断扩大，网络异常事件的发生也越加频繁。 蠕虫病毒攻击，拒绝服务攻击等网络异常事件非法使用大量的网络资源，突发访 问和网络故障等非恶意行为也使网络的流量发生突变，使各种网络服务受到了严 重的影响。过去，防火墙是应用的最多的网络信息安全防范措施。但随着攻击者 技术的日益成熟，攻击工具与攻击方式的日益隐蔽，单纯的防火墙早已使信息安 全高敏感度的机构如履薄冰，所以网络安全的维护需要采用一种纵深且多样的手 段。不但如此，当前的网络环境也变得非常复杂，再加之不同的自然的和社会的 原因，如5 1 2 汶川大地震由于短时间内用户访问数量激增，造成网络流量瞬时超 载，从而导致交换机严重拥塞至崩溃，严重地影响了正常的通信及各种服务。 网络异常行为检测是监测网络行为以发现违反正常网络行为事件的过程。异 常检测系统配置在网络系统中的重要节点，通过实时地搜集和分析网络中的信息 数据，检测是否出现偏离网络正常行为的现象，从而达到防止攻击与预防攻击的 目的。网络异常行为检测系统的应用，可以在网络系统发生异常行为前检测到入 侵攻击，并利用报警与防护系统响应异常事件，从而降低网络异常行为所带来的 损失。 目前突变理论在国内外的成功应用主要在水利、土木安全工程和交通等领域， 但在网络异常行为检测领域的应用不多见，把突变理论应用到网络异常行为检测 为目前的异常检测系统开辟了新领域。 电子科技大学硕士学位论文 1 2 本文的结构与主要工作 本论文主要研究基于突变理论的网络异常行为检测机制。文章的结构安排及 主要内容如下： 第一章，引言。简要介绍了论文的研究背景及文章的研究内容与结构。 第二章，网络异常行为检测技术概述。我们对网络异常行为进行了定义，归 纳了网络异常包括的种类。通过对各种网络异常行为原理的认识，为后续的实验 验证作好充分的准备工作。同时回顾目前流行的各种网络异常行为检测技术及总 结所存在的主要问题和局限性，包括检测方式不可靠、检测方法不合理、智能化 程度低、理论支持不足等，从而对我们在网络异常检测领域的研究提出了要求。 第三章，突变理论介绍。介绍了有关突变理论的来源、突变形式、基本原理、 应用领域及各种应用方式，我们得知应用突变理论的关键就是如何建立所要处理 的系统的势函数或者突变流形。因此，这种思路给了我们研究网络异常检测机制 一个新的解决问题的方法。对突变理论和齐曼突变机构进行详细的介绍是为了对 网络异常行为进行分析及建模作好充分的准备。 第四章，突变模型构建。提出了一种基于尖点突变模型的网络异常行为检测 模型及其异常检测算法。首先，通过对网络异常行为的仿真数据观察，观测到了 网络数据的突跳性，因此为我们应用突变理论提供了可行性证明。其次，通过分 析各种初等突变模型的平衡点个数以及控制变量和状态变量的个数和网络数据的 特性的我们选择了尖点突变模型来描述网络行为。然后，经过分析我们选择利用 数据拟合的方式来应用突变理论。在建模的开始阶段，通过观察尖点模型的突变 流形在三维空间的各坐标平面的投影图形以及我们对各种网络数据的关系分析， 我们选择时延作为状态变量，网络负载和吞吐量分别作为控制变量，为满足尖点 模型的各种突变特性，我们把原始的网络数据进行各种处理及计算得出经拟合的 突变模型。最后，我们通过分析网络异常行为在尖点突变模型的各种性质，提出 了一种基于突变理论的网络异常行为的检测算法。因此本章是全文的核心。 第五章，实验验证。通过在局域网内搭建实验网平台并注入真实的网络攻击， 对基于突变理论的网络异常行为检测模型及异常检测算法的有效性进行了验证。 并且与目前流行的其他异常检测技术的检测效果进行对比，从而分析得到网络异 常流量与正常流量的比值大小对突变模型的误检率的影响。 第六章是全文总结。 2 第二章网络异常行为检测技术概述 第二章网络异常行为检测技术概述 2 1 认识网络异常 通常的网络异常行为一般由两类原因【1 】引起：( 1 ) 网络的设备引起故障，例 如路由器，交换机或链路出现故障，会致使网络拓扑结构发生改变，因此丢失信 息数据或者网络流量过载，服务器的软件出现故障致使服务器瘫痪；另如自然和 社会的原因，比如重大体育赛事、战争、地震、洪水等自然灾害现象。( 2 ) 黑客 等对网络的恶意攻击，使网络性能发生异常现象，导致网络的正常服务受到严重 影响，甚至可能使网络瘫痪。 通过引起网络行为异常的不同原因我们可以把网络异常行为分为两类：网络 故障异常和入侵攻击异常。具体的攻击方法如下： ( 1 ) d o s 拒绝服务攻击：当攻击者向目标系统故意发送大量不完整的u d p 数据包，就会导致u d pf l o o d ；当攻击者冒充不存在的网络地址向目标系统发送 大量的t c p 连接请求，系统将会按三次握手协议发送应答，由于一直没有响应， 因此系统将一直等待直到超时，大量而频繁的t c p 请求将会消耗完系统资源，造 成t c pf l o o d 拒绝服务。还有一种通过控制主机发起的分布式拒绝服务攻击，攻 击者通过控制多个三方计算机，同时向目标系统发起洪水的拒绝服务攻击，而攻 击者却隐藏在三方计算机背后，如t r i b ef l o o d m ，n e t w o r ks m u r f 3 j 等。还有另一 种i c m pf l o o d 的拒绝服务攻击，攻击者通过控制多台主机向目标系统发送大量 e c h o 报文，目标系统消耗大量的资源用于应答报文请求，从而严重消耗系统资 源。 ( 2 ) 路由攻击：此攻击方法通常是篡改路由器的路由表，破坏原来正常的路 由寻址，从而达到拒绝服务的企图。这类攻击方法主要包括： 1 ) 源路由攻击：首先设置l p 源路由或者自由源路由选项，从而使得i c m p 或t c p 数据包按源路由返回。攻击者预先都要设置一条攻击路由，在源地址冒充 使用它，以使目标主机的应答信息返回来。 2 ) i c m p 重定向攻击嘲：i c m p 重定向报文用于路由器向主机通知到目标主 机的最优路径；攻击者便使用它做例如类似的r i p 攻击。 3 电子科技大学硕士学位论文 ( 3 ) 序号假冒嘞：这是一类i p 假冒攻击技术，它通过在没有目标机的应答 的情况下，预测起始序号，伪造t c p 报文，冒充受信任的主机。 ( 4 ) 碎片攻击【6 】：在互联网上传送的数据包大小因不同类型网络的最大传输 单元不同，因此，路由器会分解大的数据包，把大的数据包分解成为多个小的数 据包。但是，这却成为了攻击者使用攻击的方法。攻击者向目标主机发送很多的 碎片，造成碎片的偏移量的大量重叠，从而导致缓冲区溢出，或者让碎片不发送 完整，目的主机不能重构碎片，从而将一直等待到超时然后丢弃，如此将消耗掉 网络资源如内存或带宽等，引起拒绝服务。 ( 5 ) 信息监听和信息的窃取【7 】：因为t c p 、u d p 和1 p 数据包要在网络中传 输，所以攻击者可以窃取报文，达到搜集信息的企图。 ( 6 ) 源地址假冒嘲：攻击者利用篡改主机的l p 地址等手段，向目标主机发 送数据包，冒充来自某受目标系统信任的主机，从而达到欺骗目标系统的企图。 ( 7 ) 网络探测( 9 1 ：根据扫描同意连接的服务类型和开放的端口，探测目标系 统端口情况服务类型、服务版本号等，然后为之后的入侵攻击作准备。这些例 子如p o r t s c a n 、n e t h a c k e r 、p i n g 、t r a c e r t 等。攻击者通常是先用工具先了解网络 的拓扑结构、操作系统类型、提供的服务类型等情况，然后找到系统或者软件的 漏洞和缺陷，再开始进一步攻击。 ( 8 ) 数据劫夺【1 0 】：该攻击手段攻击的前提是能获取连接双方的数据包，并 得到其序列号和确认号。 ( 9 ) 缓冲区溢出【l 小1 2 】：通过向缓冲区写超出其规定长度的内容，造成缓冲 区不足而溢出，从而毁坏堆栈，使程序转而执行其它的命令，假如这些命令是在 有r o o t 权限的内存中，如果这些命令一旦运行，攻击者就以r o o t 权限操纵了系 统，从而便达到了攻击的目的。缓冲区溢出攻击的目的即是破坏某些以特权身份 运行的程序的功能，使攻击者取得系统的控制权。d e a t ho fp i n g 便是缓冲区溢出 的典型的攻击方式。 2 2 网络异常检测的基本原理 网络异常行为检测是根据对用户的历史行为和用户的当前操作，进行对网络 异常行为的检测，并为数据恢复和事故处理提供依据。 网络异常行为检测系统的原理如图2 - 1 所示，在网络异常行为检测系统中， 4 第二章网络异常行为检测技术概述 系统利用检测算法将当前数据与历史数据进行对比，再判断当前操作是否是异常 行为，最后系统再对检测结果进行相应的响应措施。网络异常检测系统中当前操 作行为主要体现为数据形式，即是网络异常检测系统的数据源。我们把它分为两 类：第一类是来自操作系统的各种审计数据，第二类是来自网络中观察的数据包。 网络异常检测系统根据对这些信息数据进行处理与分析，再判断是否有异常行为 的出现。 图2 1 异常检测基本原理图 2 3 网络异常行为检测的常见方法 2 3 1 基于规则推理的异常检测技术 基于规则的推理1 1 3 1 1 1 4 j 称为启发式系统和黑板系统等，早期的大多数异常检测 系统都采用基于规则的推理，它用“i f - t h e n ”的规则形式获取问题求解的行为特 征，并通过“认识行动的循环过程解决问题，其方式单一，直观，有利于知识 的获取和形式化表示。 如图2 2 所示基于规则的推理系统通常包括一个工作内存，一个推理引擎和一 个知识库。工作内存包含了经过具体的网络管理协议如s n m p ，i c m p 收集到的关 于网络对象的各类信息。它通过分析信息判别网络是否存在异常。知识库包含从 人类专家获得的专家知识。知识库具有两个功能：( 1 ) 确定网络中到底发生了什 么问题；( 2 ) 当某一具体问题出现时，给出系统所要执行的动作。 5 电子科技大学硕士学位论文 图2 - 2 基于规则推理系统原理 基于规则的算法存在以下缺陷：当规则数目达到一定数量时，规则库的维护 会很困难；知识获取也是一个工程瓶颈，因为规则获取主要是由专家获取，且没 有自学习功能；在演绎推理过程中没有利用过去经验从而缺乏记忆，每次遇到类 | _ 似的情况要从规则中查找，这样就降低了系统性能。 。： 2 3 2 基于案例推理的异常检测技术 基于案例的推理1 1 5 j i l 6 j 源于认知科学记忆在人类推理活动当中所扮演的角色， 它是基与两条原则：( 1 ) 现实世界总是有规律的，相似的问题有相似的解决方案， ( 2 ) 同类问题会再次发生。如图2 3 所示，系统包含五个部分，它包括一个案例库 和四个功能模块。首先输入模块学习用户提供的对问题的描述。接着由检索模块 到案例库中查询与之相似的案例，假如能找到完全相同的案例，那么就利用该案 例的解，假如找不到完全相同的案例，检索模块就在案例库中找一个最为相似的 案例。然后修改模块对该案例的解作出合适的修正就可以满足当前问题的要求， 只要问题一旦被解决，则处理模块把新的案例备份到案例库中，以供后用。 图2 - 3 基于案例推理系统原理 6 第二章网络异常行为检测技术概述 基于案例推理的异常检测技术也存在一些缺点：因为基于案例推理需要对比 新旧案例的相似程度，计算两个案例的相似度的函数是特定于某种应用的，但是 互联网服务是多样性的，要设计一个通用的评估方案并不容易。其次，基于案例 的推理过程相当耗时，当案例库中案例的数目非常庞大的时候，它不适于在大型 系统中进行异常检测。 2 3 3 基于统计分析的异常检测技术 统计分析方法【1 7 j 1 1 8 j 首先给系统对象构建一个统计描述，统计正常时的一些属 性( 如访问次数、链接数和延时等) 。属性的平均值将被用来与网络、系统的行为进 行对比，任何观测值在正常值范围之外时，就认为有异常发生。其优点是可检测 到某些未知的异常或者更为复杂的异常，缺点是误报率高，且不适用于用户正常 行为的某些突然改变。早期的统计方法1 1 9 j 都是用参数方法描述用户和其他系统实 体的行为模式，这些方法都预先设定了被分析数据的基本分布。当假定与实际偏 差较大，那么必然会导致很高的错误率。l a n k ew i c a 和m a r kb e n a r d 提出了一种解 决这个问题的方法，即使用非参数技术执行异常检测。这类方法只需要极少的已 知使用模式，并使用分析器处理不容易由参数方案确定的系统度量。非参数统计 和统计度量相比，能大大降低漏检率和误检率，但假如涉及超出资源使用的扩展 特性将会降低分析的准确性。 2 3 4 基于神经网络的异常检测技术 神经网络l 揶j 源于2 0 世纪4 0 年代，它是由很多简单的神经单元的相互连接而形 成的复杂网络系统，是一个具有高度非线性化的大规模连续时间动力系统。对于 网络异常检测而言其核心技术是异常模式识别技术，而人工神经网络1 2 1 】能够较好 地解决那些传统模式识别技术难以圆满解决的问题。 b p 网络网是迄今为止应用最广泛的神经网络，图2 4 是一个典型的b p 网络结 构，b p 网络一般有一个输入层，一个输出层和处于输入层和输出层之间的隐含层， 隐含层可以有一层或者几层，在隐层中的神经单元也叫隐单元。隐含层虽然不与 外界直接相连，但是它们的状态会对输入输出之间的关系带来影响。这即是，改 变隐含层的权系数，就可以改变整个多层神经网络的性能。三层前向神经网络可 以实现以任意精度逼近任意连续函数的功能，其中，每个输入层节点对应一种异 7 电子科技大学硕士学位论文 常征兆输入，相邻层使用互连方式连接，同层各神经单元之间没有任何连接，输 出层与输入层之间也没有任何直接的联系。 输入层隐含层输出层 图纠b p 神经网络模型 基于b p 神经网络的异常检测的原理：利用异常样本集对b p 神经网络进行训 练；当网络发生异常时，将训练好的神经网络对异常信息进行分析与评估，找出 异常原因。因此b p 神经网络异常检测分为i j t l 练与检测两个阶段1 2 3 l ： ( 1 ) 训练阶段：在训练过程当中，b p 神经网络不停的从所接受的样本集合中 提取该集合所蕴含的基本内容，并以神经单元之间的连接权重的形式存放于系统 之中。输入层神经单元数由被检测对象的异常征兆数确定；输出层神经元数由被 检测对象的异常状态数确定。利用b p 学习算法，用能够反映异常征兆的参数作为 神经网络的输入，以对应的异常状态编码为期望输出，建立( 输入，期望输出) 样本 对，对神经网络进行训练，从而确定神经网络的权值和阈值。 ( 2 ) 检测阶段：提取能够反映被检测对象的网络异常征兆，经归一化处理后 作为神经网络的输入。使训练好的神经网络处于记忆状态，对一个给定的输入， 便产生一个相应特定的输出，由输出结果与异常编码进行对比即可确定异常类别。 2 3 5 基于关联事件的异常检测技术 在异常检测系统中，异常往往不是明显的。系统通常监测到的都是一些异常 症状，很难由这些异常症状来直接确定异常源，这些都是因为网络中被测对象之 间的相互依赖关系而导致的结果。因果关系图被用来描述异常与症状之间的关系， 因果图1 2 4 1 1 2 1 是一个有向无环图，节点针对事件，有向边描述各事件之间的因果关 系。二分图1 2 6 j 是一种特殊的因果图。它描述了异常和症状之间直接的因果关系。 二分图模型如图2 5 所示，在二分图当中异常定位是寻找最小覆盖的问题。异常定 8 第二章网络异常行为检测技术概述 位的目的是找出能够解释症状具有最少异常数目的异常集合，即是，在观察到的 症状和相关异常构成的二分图中求异常集合对于被观察到的症状集合s 的最小覆 盖。我们用图2 6 简要地给出最小覆盖的概念。在图2 6 中假如不考虑异常和症状之 间的概率关系，根据最小覆盖得出的最可能答案为f 1 和f 2 。二分图异常定位技术 的主要缺陷是：异常节点概率于条件概率必须建立在之前的大量先验知识的基础 上，但这些概率关系并不容易得到。 图2 5 二分图模型 图2 6 最小覆盖模型 2 3 6 基于贝叶斯网络的异常检测技术 贝叶斯网络i r i l l 2 8 又叫做信度网络( b e l i e fn e t w o r k s ) ，是当前不确定知识表达和 推理领域内的最有效理论模型之一。它利用具有网络结构的有向图表示各个信息 要素之间的关联关系以及影响程度，用节点变量表示不同信息要素，用连接节点 之间的有向边表示不同信息要素之间的关联关系，利用条件概率来表示不同信息 要素之间的影响程度。 如图2 7 所示，图中的节点表示变量，节点的每个取值都关联一个概率值，表 明变量取该值的概率；连接节点的有向边表示两个变量之间存在着因果关系，与 一个m n 维的条件概率矩阵相关联。贝叶斯网络的联合分布概率1 2 9 】表示每一个变 9 电子科技大学硕士学位论文 量在给定其父节点的值的情况下的条件概率值的乘积。当观测到某些变量的值时， 可以利用这些特性来进行“概率传播”计算其他变量的后验概率分布。 ab = tb = f to 2o 8 八 fo 60 4 图2 - 7 贝叶斯网络关联概率。 基于贝叶斯网络的异常检测具有以下优点：条件独立性；基于概率论的严格 推理；知识表示分为定性与定量知识。基于贝叶斯网络的异常检测具有以下缺陷： 要建立贝叶斯网络的异常传播模型需要对系统的细节以及依赖关系非常了解，因 此具有知识工程瓶颈。虽然目前提出了一些计算复杂度较低的贝叶斯网络推理算 法，但实验结果表明算法的异常检测时间在处理节点较多的情况时仍然不太理想。 2 4 国内外研究趋势及产品 2 4 1 异常检测技术的发展方向 随着网络规模的发展和网络技术的进步，对网络异常检测系统提出了新的要 求，下一代异常检测系统应该具有如下的一些功能： ( 1 ) 网络异常行为检测的数据融合技术。此技术可以将从多个监听系统得到 的各种数据信息融合成为一个过程并处理，来评价全部网络环境的安全防护。数 据融合检测系统信息数据的获取是从监听软件得到的不同网络数据包、系统审计 文件、用户隐私信息、和操作指令等。利用分析后得到攻击者的身份和位置确定 攻击者的行为基本信息、攻击的不同等级和对整个攻击行为危险程度的估计等。 1 0 第二章网络异常行为检测技术概述 ( 2 ) 宽带高速网络的实时网络异常检测技术。在a t m 、高速以太网和g 比 特光纤网环境下，首先，网络异常检测系统的软件和算法需要重新设计，以用于 高速网络环境，尤其是要提高软件运行效率。其次，开发设计相应的硬件系统， 加上与之配合设计的专用软件是解决这类问题的一个方法。 2 4 2 当前异常检测的相关产品 当前国外有很多研究机构和相关企业在进行异常检测系统的研发，并已开发 出一些原型系统和商业产品，但是我国的研究情况比较落后。下面介绍一些国内 外已有的产品： ( 1 ) c i s c o 的产品n e t r a n g e r 【湖【3 包括两个模块：监测网络包、报警传感器 和启动策略的控制分析器。n e t r a n g e r 性能高，并且它还非常易于裁剪。控制器 程序还可以参考多站点的信息并监视散布在所有局域网上的攻击。n e t r a n g e r 的 最大的成功在于其是针对企业而设计的。 ( 2 ) n o 蛐a 的网络边缘安全方案( r e a ls e c u r ef o rn o k i a ) 【3 2 】【3 3 1 。该产品是新 一代的网络异常检测软件，完整地融入了诺基亚管理简易的专用安全设备和另一 著名的网络安全防护供应商l s s 公司的网络异常行为防护技术。它拥有多类创新 的扩展功能，有效检测数量繁杂的网络行为。目前的功能包括高速探测、先进网 络协议分析等等，并且可以自动检测并在网络发生异常时采取相应的行动。 ( 3 ) n e t w o r ka s s o c i a t e s 的c y b e r c o p l 3 4 】1 3 5 1 。n e t w o r ka s s o c i a t e s 从c i s c o 那里 获得授权，将n e t r a n g e r 的引擎和入侵模式数据库用在c y b e r c o p 中。并且， c y b e r c o p 被设计成一个基于网络应用的程序，一般只需要3 0 分钟内就可以使其 安装完毕。它设定了6 种常用的配置方式：n t 子网、w i n d o w s n t 与u n i x 的混合 子网、u n i x 子网、远程访问、前沿网和骨干网。 ( 4 ) 赛门铁克的s y m a n e ed e c o y s e r v e r l3 6 ：! 。这是_ 个使用“蜜罐 技术的网络 异常检测系统，能够在出现非法入侵访问和系统误用等情况下，对其进行检测和 阻止。s y m a n e ed e c o y s e r v e r 对主机式和网络式入侵检测系统具有补充的作用，即 能分离来自重点资源的攻击，还能区分内部和外部攻击。 ( 5 ) i n t e m e ts e c u r i t ys y s t e m 的r e a l s e c u r e l 3 7 1 p s i 。r e a l s e c u r e 的特点是其简洁 性。和n e t r a n g e r 和c y b e r c o p 相似，r e a l s e c u r e 在结构上也包含两个部分。引擎 部分负责监测数据包并发出警报，控制台接收警报并作为分析及产生数据库报告 的核心。 电子科技大学硕士学位论文 ( 6 ) 我国的异常检测研究工作起步晚，主要集中在中科院信息安全国家重点 实验室与北京邮电大学等，从目前发表的论文来看主要以综述、提出系统功能框 架等，而且检测研究方法的并没有突破国际上已经提出的方法范围。工业界的相 关产品有：联想的“网御 、东软的“n e t e y e 、瑞星的“r i d s 1 0 0 、中科网 威公司的“天眼 、冠群金辰公司的“e t r u s t ”等等。 2 5 小结 本章总结了论文初期对网络异常检测相关文献的大量阅读的结果。首先，对 网络异常行为进行了定义，归纳了网络异常包括的种类。通过对各种网络异常行 为原理的认识，为后续的实验验证作好充分的准备工作。其次，介绍了当前流行 的各种网络异常行为检测技术，描述其工作原理及分析其优缺点。最后介绍了目 前网络异常检测的相关产品及网络异常检测技术的发展趋势，给我们在网络异常 检测领域的研究提出了要求。 第三章突变理论介绍 3 1 突变理论概述 3 1 1 突变理论简介 第三章突变理论介绍 突变理论1 3 9 ( c a t a s t r o p h et h e o r y ) 起始于光滑映射的奇异性理论和动力学系统 的分叉理论i 删。奇异性理论对函数在极大点和极小点处的研究作了深远的推广。 在奇异性理论中，映射取代函数。映射就是多个函数的集合；分叉的意思是叉开。 换种角度来说，它是用来设计多种实体的全部定性的重新组合或变态的，这些重 新组合或变态是因依赖的参数的变化而发生的；突变是突然的变化，是系统内部 对外部条件的光滑变化而作出的突然回应。 突变理论是1 9 6 5 年法国数学家t h o r n 提出的。突变理论提出，非线性系统从 某一个平衡状态到另一个平衡状态的转换，是以突变的方式而发生的。突变理论 从数学上进行了突变行为的数学分析及突变形式的分类。突变理论属于拓扑学当 中的数学分支，这个领域不但从数值方面，而且从图形方面来描述现象。在形象 数学领域，突变是由曲面上的“峰、“坡 、“凹点”、“尖点 、“褶”等所表示的， “突变的本义是指某种导致系统崩溃、毁坏、消灭的变化。t h o r n 借用“突变 作为新理论的名称并不是说明它的结果是灾难性的，而是希望突出人们研究的过 程是从原有形态和结构突然地跳跃到根本不同的另一种新形态和新结构的不连续 的过程。 突变行为把系统的状态空间体现为不可微分的，因此对突变现象的描述和解 释，传统的微积分数学显得无能为力。突变理论是关于突变现象的数学模型，是 关于奇点的理论，它的一个重要特点是研究关于自然界与社会领域内的不连续变 化的突然变化现象，对现实事物进行说明，并对事物未来的突变行为进行预测， 从而控制突变的发生。 1 3 电子科技大学硕士学位论文 3 1 2 突变理论研究对象 t h o m 在大量地总结与分析前人研究的基础上，在1 9 6 8 年发表了有关突变理 论的论文生物学中的拓扑模型，接着在1 9 7 2 年又出版了稳定性结构与形态 发生学，系统且完整地阐述了突变理论，从而奠定了突变理论的理论基础，表明 突变理论的正式诞生。在此以后的十多年来，通过数学家瓦维克和奇曼教授等人 对突变理论从理论到实际应用等各方面的大力改进和完善，从而使突变理论从理 论到实际应用等各方面的研究有了巨大的进展。人类的死亡、桥梁的垮塌、基因 的突变、生物的变异。这些看似并不太相关的现象却有一个相同点：由某一个因 素的连续的改变可能会导致系统状态的突然改变。所有的关于这些在连续发展过 程中出现突然变化的行为，以及它们与连续变化因素之间的联系，就逐渐成为突 变理论研究的内容。 突变理论到底要解决怎么样的问题呢? 这得从与它紧密相关的分叉理论说 起。我们知道分叉理论的通常形式是关于非线性方程平衡解的理论1 4 1 1 。什么是平 衡解，就是例如常解、时间周期解和概周期解。常解就是我们一般所说的平衡点， 而分叉理论研究的即是非线性微分方程支配的演化问题的平衡解的分叉。这些年 来我们渐渐认识到存在的第四种平衡解：混沌。对混沌解和其它几种定常运动形 式相互之间的转化条件的研究非常多，其中也经常用分叉这个词，如图3 1 所示。 突变理论研究的其实仍然是静态分叉，即平衡点之间的相互转换问题，这和经典 的分叉理论有相似点，但它的立足点较高，不仅要考虑某单一参数的改变，而且 还要考虑多个参数变化时平衡点附近分叉情况的全面图像，尤其是其中可能发生 的突然变化。 静态 图3 1 四种定常运动形式之间的转化 1 4 第三章突变理论介绍 3 2 突变理论的基本原理 3 2 1 基本概念 要了解突变理论的基本原理，必须首先了解下面几个基本概念。 ( 1 ) 势函数 初等突变理论研究的突变现象是经过研究这个对象的系统势函数来实现的。 势是指系统具有某种趋向的能力，由系统每个组成部分的相对关系、互相作用以 及系统和环境的对应关系决定的。系统势函数利用系统状态变量( 它说明系统的 行为状态) 和外部控制变量( 影响行为状态的所有因素) 描述系统的行为。于是， 在所有可能变化的外部控制变量和内部行为变量的条件下，可以形成状态空间与 控制空间。把用n 个状态变量( 墨，x 2 ，五) 构成的n 维状态空间记作f ， 把用m 个控制变量( c i ，c 2 ，c m ) 构成的i n 维空间叫作控制空间，记作， 因此，势函数可以用如下的表达式来描述： y = y ，c ) ，其中y 是势函数，x 是状态变量，x ，c 是控制变量，c r ，l 。 ( 2 ) 临界点 在f 中v ( x ，0 是一个连续光滑的函数，若在点u f 有o v ( x ，c ) l o 成立， 上面的条件也可以表达为里芝型l 。o v ( x , c ) l 0 ，则h 称为函数，砂的临界 慨1锻一 点。通常一元函数有极大值、极小值与拐点，而多元函数的情况就更为复杂，涉 及到很多几何图形。突变理论利用势函数把临界点分类，以此来研究各种临界点 附近出现的非连续现象：