（计算机软件与理论专业论文）基于智能算法的网络入侵检测技术研究.pdf

摘要 摘要 入侵检测是对企图入侵，正在进行的入侵或已经发生的入侵进行识别的过程，是一 种主动的网络安全防御措施。目前由于入侵检测方法的检测率较低，误报率和漏报率较 高以及实时性较差等缺点，需要大量的或完备的数据才能达到比较理想的检测性能。 本文针对目前入侵检测中所存在的问题，提出了一种新的检测模型基于群体智 能算法的神经网络模型。首先，阐述了入侵检测的概念，特点，分类，研究内容及传统 入侵检测所面临的困境；接着介绍了神经网络的基本原理和量子粒子群优化 ( q u a n t u m b e h a v e dp a r t i c l es w a r mo p t i m i z a t i o n ，q p s o ) 算法以及改进的量子粒子群优化 算法的基本思想，强调了改进的q p s o 可以增加种群的多样性，有效地抑制粒子群早熟， 并提高了算法的全局收敛能力。本文进一步阐述了神经网络的概念，特点，结构，并介 绍了小波神经网络的结构，分类等。接着以小波神经网络( w n n ) 为对象，应用q p s o 算 法及改进的q p s o 算法作为训练算法，给出了具体的操作过程。 接着，本文将改进的q p s o 算法优化的小波神经网络用于网络异常检测。为了测试 性能，分别将q p s o 算法以及改进的q p s o 算法用于训练小波神经网络，通过智能算法 对参变量的优化操作，在进行异常检测的过程中，尽量提高异常检测率，降低误判率。 采用k d dc u p 9 9 数据集进行的实验表明，基于改进的q p s o 算法的小波神经网络的网 络异常检测，有效的提高了检测率，同时具有较低的误判率。这些结果表明，改进的 q p s o 算法是一种高性能的神经网络训练算法，在用神经网络对网络异常检测中能发挥 很好的作用。 关键词：神经网络，量子粒子群算法，早熟，多样性，异常检测，入侵检测 a b s t r a c t a b s t r a c t i n t r u s i o nd e t e c t i o nc a nr e c o g n i z et h ea t t a c k sw h i c ha t t e m p tt oh a p p e n ，a r eh a p p e n i n go r h a v eh a p p e n e d ，a n di ti sak i n do fa c t i v en e t w o r ks e c u r i t yp r o t e c t i o nm e a s u r e t h ee x i s t i n g i n t r u s i o nd e t e c t i o nt e c h n o l o g i e sh a v et h ed e f i c i e n c yo fh i g hf a l s ep o s i t i v er a t e ，h i g h e rf a l s e n e g a t i v er a t e ，a n dp o o rr e a l - t i m ep e r f o r m a n c e e s p e c i a l l yh i g hd e t e c t i o na c c u r a c yi su s u a l l y b a s e do na b u n d a n to rs e l f - c o n t a i n e dt r a i n i n gd a t a i no r d e rt oo v e r c o m et h o s ed i f f i c u l t i e st h a tt r a d i t i o n a li n t r u s i o nd e t e c t i o ni sc o n f r o n t e d w i t h an e wd e t e c t i o nm o d e l 一- n e u r a ln e t w o r kt r a i n e db ys w a r mi n t e l l i g e n c ei sp r e s e n t e d f i r s t l y , i n t r u s i o nd e t e c t i o n sc o n c e p t i o n s o r t s ，c h a r a c t e r i s t i c s ，r e s e a r c hc o n t e n ta n dd i f f i c u l t i e s c o n f r o n t e db yt h et r a d i t i o n a li n t r u s i o nd e t e c t i o na r ea n a l y z e ds y s t e m a t i c a l l y t h e nw e f o r m u l a t et h ep r i n c i p l eo fs o m ew i d e l yk n o w nn e u r a ln e t w o r ka n dd i s c u s st h ec o n c e p to f q u a n t u m - b e h a v e dp a r t i c l es w a r mo p t i m i z a t i o na n dm o d i f i e dq u a n t u mp a r t i c l es w a r m o p t i m i z a t i o n w es h o wt h a tm q p s o t r a i n e db pc a l li n c r e a s ed i v e r s i t yo fp o p u l a t i o n ，a v o i d p a r t i c l ep r e m a t u r i t ya n di m p r o v eg l o b a ls e a r c hp e r f o r m a n c e n e u r a ln e t w o r k sc o n c e p t i o n ， c h a r a c t e r i s t i c s s t r u c t u r ea n dt h et r a i n i n ga l g o r i t h mo fw a v e l e tn e u r a ln e t w o r ka r ea n a l y z e d i n t u r n ，w ep r o p o s e da na p p r o a c ho fu s i n gq p s oa n dm q p s ot ot r a i nw a v e l e tn e u r a ln e t w o r k t h e n w eu s em q p s o t r a i n e dw n nt oi n t r u s i o nw i t hq p s o w n na l s ot e s t e df o rt h e p u r p o s eo fp e r f o r m a n c ec o m p a r i s o n t h ew e l l k n o w nk d dc u p 9 9i n t r u s i o nd e t e c t i o nd a t a s e tw a su s e da st h ee x p e r i m e n t a ld a t a e x p e r i m e n t a lr e s u l to nk d dc u p 9 9i n t r u s i o n d e t e c t i o nd a t a s e t ss h o w st h a tt h ea c c u r a c yo fa n o m a l yd e t e c t i o nw a se n h a n c e da n dt h ef a l s e p o s i t i v er a t ef o rn o r m a ls t a t ei nt h en e t w o r ka n o m a l yd e t e c t i o nw a sd e c l i n e d t h ew o r ki nt h i sp a p e ri n d i c a t et h a tm o d i f i e dq p s oa l g o r i t h ma r ep r o m i s i n gt r a i n i n g a l g o r i t h m sf o rn e u r a ln e t w o r ka n dc o u l dg e n e r a t eb e t t e rp e r f o r m a n c et h a nq p s o i tw o r k s w e l lo ni n t r u s i o n d e t e c t i o np r o b l e mt r a i n e db yn e u r a ln e t w o r k k e y w o r d s ：n e u r a ln e t w o r k ，q p s o ，p a r t i c l ep r e m a t u r i t y ，d i v e r s i t y , a n o m a l yd e t e c t i o n ， i n t r u s i o nd e t e c t i o n i l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为获得江南大学或其它教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 壹l 盈函 e l 期： 麴耸：避。华 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规 定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定 签 名：叠：l 盈函导师签名：诎壹 日 期： 坐2 出z 第一章绪论 第一章绪论弟一旱瑁化 1 1 选题背景及意义 计算机网络近年来获得了飞速的发展。2 0 年前，在我国很少有人接触过网络。现在， 计算机通信网络与i n t e m e t 已成为我们社会结构的一个基本组成部分。网络被应用于工 商业的各个方面，包括电子银行、电子商务、现代化的企业管理、信息服务业等都以计 算机网络系统为基础。从学校远程教育到政府日常办公乃至现在的电子社区，很多方面 都离不开网络技术。可以不夸张地说，网络在当今世界无处不在。根据c n n i c 于2 0 0 9 年1 月发布的中国互联网络发展状况统计报告显示，截至2 0 0 8 年1 2 月3 1 日，我 国网民规模达到2 9 8 亿人，普及率达到2 2 6 ，超过全球平均水平；网民规模较2 0 0 7 年增长8 8 0 0 万人，中国网民规模依然保持快速增长之势。从国外的发展经验看，我国 网民数量正处在增长最快的“雪崩期”。可以预见，未来几年内我国的网民数量将会继续 保持高速增长的态势。 计算机网络安全问题是随着网络特别是i n t e m e t 的发展而产生的，直到近年来才得 到普遍关注。网络的标准化和开放性在使厂商的产品可以互操作的同时，也使入侵者可 以预知系统的行为。随着网络规模的飞速扩大、结构的复杂性和应用领域的不断扩大， 网络安全事件成迅速增长的趋势，造成的损失也越来越大。一般认为，计算机网络安全 的威胁主要来自黑客入侵攻击，计算机病毒和拒绝服务攻击三个方面。目前，人们开始 重视来自网络内部的入侵攻击。随着i n t e r n e t 的发展，现代黑客则从以系统为主的攻击 转变到以网络为主的攻击。而且随着攻击工具的完善，攻击者不需要专业知识就能够完 成复杂的攻击过程。总之，人们面临来自计算机网络系统的安全威胁日益严重。安全问 题已经成为影响网络发展、特别是商业应用的主要问题，并直接威胁国家和社会的安全。 入侵检测是最近1 0 余年发展起来的一种动态的监控、预防或抵御系统入侵行为的 安全机制。主要通过监控、系统的状态、行为以及系统的使用情况，来检测系统用户的 越权使用以及系统外部的入侵者利用系统的安全缺陷对系统进行入侵的企图。它具有智 能监控、实时探测、动态响应、易于配置等特点。由于入侵检测所需要的分析数据源仅 是记录系统活动轨迹的审计数据，使其几乎适用于所有的计算机系统。入侵检测技术的 引入，使得网络、系统的安全性得到进一步的提高。显然，入侵检测是对传统技术及安 全机制的一种补充，它的开发应用增大了网络与系统的纵深保护，成为目前动态安全工 具的主要研究和开发的方向。但是入侵检测系统在国内的应用远远谈不上普及，一方面 是由于用户的认知程度较低，另一方面是由于入侵检测是一门比较新的技术，还存在一 些技术上的困难，不是所有厂商都有研发入侵检测产品的实力。目前的入侵检测产品大 多存在如下一些问题，如误报和漏报的矛盾、隐私和安全的矛盾、被动分析与主动发现 的矛盾、海量信息与分析代价的矛盾、功能性和可管理性的矛盾、单一的产品与复杂的 网络应用的矛盾、。所有这些都表明，入侵检测技术的发展任重而道远，需要更多 的人员的参与和不断努力。 江南大学硕士学位论文 粒子群优化算法( p a r t i c l es w a r mo p t i m i z a t i o n ，p s o ) 是一种新兴的智能优化算法1 1 1 ， 它利用群体中粒子间的合作与竞争而产生的群体智能指导优化搜索，p s o 也是一种高效 的并行搜索算法，对复杂环境中的优化问题的求解非常适用【2 ，3 1 。但p s o 算法也存在着 局限性，并且已被v a nd eb e r g h 证明不是一个全局收敛的算法【4 ，5 】。在p s o 算法中，粒 子的聚集性限制了粒子的搜索范围，因为它不允许粒子出现在远离粒子群的位置，即使 这个位置可能会好于种群当前的最好位置。为了解决这个问题，把量子的概念引入到 p s o 算法中，因为p s o 算法是受人类认知过程的启发而提出的，且这个过程与粒子的 量子行为极为相似，量子系统由于态叠加性因此具有很强的不确定性，而人类的思维也 具有不确定性，所以用量子模型描述人类的思维和智能是合乎逻辑的。在提出的量子粒 子群算法( q u a n t u m b e h a v e dp a r t i c l es w a r mo p t i m i z a t i o n ，q p s o ) 中，由于概率密度函 数所描述的束缚状态的一个粒子，可以以一定的概率出现在整个可行搜索空间的任何位 置，因此这样的一个位置可能比种群当前的最好位置好很多，从而就可以达到全局搜索 的目的。 本文在阐述入侵检测技术的基本原理和主流技术的基础上，进一步对当前入侵检测 技术存在的不足进行分析，探索时将智能算法和神经网络结合起来，并将其应用到入侵 检测系统中。 1 2 人工神经网络的研究概况 从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能，即人工神 经网络的研究。 1 9 4 3 年，心理学家m c c u l l o c h 和数学家p i t t s 合作，提出了第一个神经网络模型 ( m c c u l l o c h p i t t s ，m p 模型) 6 1 ，从此开创了神经科学理论研究的时代。1 9 4 9 年，心理 学家h e b b 通过对大脑神经细胞学习和条件反射的观察研究，提出了改变神经元连接强 度h e b b 规则【_ 7 1 ，至今仍在神经网络模型中发挥着重要作用。作为人工智能的神经网络 系统的研究则是从2 0 世纪5 0 年代末6 0 年代初开始的。1 9 5 7 年，r o s e n b l a t t 提出了感知 器( p e r c e p t r o n ) 模型，试图模拟动物和人脑的感知和学习能力，并提出了引入隐层处理单 元的三层感知器的概念【8 j 。1 9 6 0 年，w i d r o w 和h o f f 提出了自适应线性元件( a d a l i n e ) 模型 及一种有效的学习方法w i d r o w h o f f 学习规则【9 j 。从而在6 0 年代，掀起了神经网络研究 的第一次热潮。 1 9 8 2 年，美国加州工学院物理学家h o p f i e l d 提出了h n n 模型【1 0 】，使神经网络的研 究有了突破性进展。1 9 8 7 年6 月i e e e 在s a nd i e g o 召开了第一届神经网络国际会议， 国际神经网络学会随之成立；1 9 8 8 年神经网络杂志创刊；1 9 9 0 年i e e e 神经网络会 刊问世；此外，各种学术刊物的神经网络特刊、专辑不断涌现，研究成果层出不穷。 我国的神经网络研究起步较晚，始于8 0 年代末，主要在应用领域开展了一些基础 性工作。在国际神经网络热潮的带动下，研究工作受到很大重视。1 9 8 9 年召开了全国第 一届神经网络信号处理会议；1 9 9 0 年召开了第一届神经网络学术大会。从此研究日趋 热烈，各种学术刊物和学术会议上关于神经网络及应用的文章大量涌现，研究队伍日益 2 第一章绪论 壮大，并逐渐在国际上占有一定的地位，1 9 9 2 年国际神经网络学会和i e e e 联合学术会 议在北京召开即为例证。由此可见，进入9 0 年代以来，神经网络的研究进入了一个空 前高涨的时期。多数研究集中在网络结构、学习算法和实际应用三个方耐1 1 d 3 1 。 尽管近几年来，神经网络理论及应用研究都取得了可喜的进展，但应看到，人们对 生物神经系统的研究与了解还很不够，提出的神经网络模型，无论从结构还是规模上， 都是对真实神经网络的一种简化和近似。神经网络的理论仍有许多缺陷，尚待进一步发 展与完善。因此，要是神经网络走出实验室，真正用于工程实践中，在诸多领域还有许 多工作要做。 本文所主要研究的为小波神经网络模型( w a v e l e t n e u r a ln e t w o r k ) ，即，是由q i n h u a z h a n g 和a l b e r tb e n v e n i s t e ( 1 9 9 2 ) 首次提出的，它充分利用了小波变换良好的局部化性质 并结合a n n 的自学习功能，因而具有较强的逼近和容错能力。 1 3 智能优化算法的研究概况 群体智能是指一个具有自然计算范例的新集合，该算法处于基于代理的模型范围 内，与其他自然计算技术相平行。群体智能自提出以来，由于其在解决复杂的组合优化 类问题方面所具有的优越性，在诸如优化问题求解、机器人领域、电力系统领域、网络 及通讯领域、计算机领域、半导体制造领域和工程设计领域等取得了较为成功的应用。 其中比较典型的方法有m d o f i g o 提出的蚁群算法1 1 4 j 和j k e n n e d y 与r e b e r c h a r t 提出的 微粒群算法【j 。 模拟生物蚁群智能寻优的蚁群算法【1 5 1 ，是由意大利学者m d o f i g o 等人于1 9 9 0 年 首先提出的。它充分利用了生物蚁群能通过个体间简单的信息传递，搜索从蚁穴至食物 间最短路径的集体寻优特征，以及该过程与旅行商问题求解之间的相似性，得到了具有 n p 难度的旅行商问题的最优解答。 模拟鸟群运动模式的智能粒子群算法是j a m e sk e n n e d y 和r u s s e l le b e r h a r t 于1 9 9 5 年首先提出的。它的基本思路为：在问题的定义空间内，首先将一定数量的等位粒子作 随机分布，然后根据各粒子在解空间中所处地位的相关信息( 该信息的截获模式可根据 所需求解的问题加以设定) ，将粒子依次排序，同时对各粒子运动的最优历史信息做好 记录。在随后的每次计算循环中，当前粒子的运动模式都由其自身的最优历史记录和所 在群体的最优历史记录加以决定，直到整个粒子群找到问题的最优解或者满足其它相关 的停止条件。在这种寻优模式中，各粒子的运动取决于其自身的历史记录和群体中最优 个体或最优个体群的示范作用，是一种具有很强导向型的启发式搜索算法。其收敛的快 速性由每次计算中群体最优信息和个体最优信息的协同示范作用加以保证，早熟性收敛 的防止由粒子群分布模式和寻优模式的遍历性加以保证。该类算法的优越性已被用于约 束优化问题、函数优化问题、多目标优化问题、最大最小问题以及旅行商问题等典型优 化问题的求解之中，并且已在机器人、电力系统、交通运输、通讯、计算机、工程设计 与优化、工业生产优化、生物医学、电磁学等领域得到了应用，显示了粒子群算法广泛 的应用前景。 3 江南大学硕士学位论文 目前，对群体智能的研究尚处于初级阶段，但是由于其所具有的分布式、自组织、 协作性、鲁棒性和实现简单方便等特点，使其在没有全局信息的情况下，为寻找复杂问 题的解决方案提供了快速可靠的基础，为典型的系统复杂性( 如n p 问题等) 的求解， 为人工智能、认知科学等领域的基础理论问题的研究开辟了新的途径，同时也为诸如实 际优化问题求解、工业动态生产控制问题、工程设计优化、数据挖掘、神经网络训练、 机器人协作控制与路径规划、通信网络管理和路由控制、电力系统优化、生物医学分析、 交通路径规划以及系统辨识与参数估计等实际工程问题提供了新的解决方法。因此，群 体智能的研究具有重要意义和广阔的应用前景，它也越来越受到国际智能计算研究领域 学者的关注，逐渐成为一个新的重要研究方向。 1 4 论文的主要研究工作 本文主要对量子粒子群优化算法及改进的量子粒子群优化算法优化的小波神经网 络进行深入研究，并将它们应用到网络异常检测问题中，主要工作包括： 第一章是绪论，共4 节。第1 节介绍本文的选题背景及意义；第2 节是神经网络的 研究概况；第3 节为智能优化算法的研究概况；第4 节为本文的主要研究工作。 第二章是入侵检测概述概述，共4 节。第l 节为入侵检测的产生及发展；第2 节为 入侵检测的一些基本概念，主要介绍了入侵检测的概念，结构，作用及必要性：第3 节 为入侵检测系统的分类，主要介绍了两大类分类，本文重点研究的是按检测技术方法分 类中的异常检测；第4 节主要介绍入侵检测的问题及发展方向。 第三章是粒子群优化算法及量子粒子群优化算法，共4 节。第1 节介绍粒子群优化 算法的提出；第2 节介绍了粒子群优化算法的算法原理，算法流程，算法的社会行为等； 第3 节介绍了量子粒子群优化算法；第4 节详细介绍了几种改进的量子粒子群优化算法。 第四章是本文的重点主要介绍了基于q p s o w n n 模型和基于m q p s o w n n 的网 络异常检测问题，共5 节。第l 节为改进的q p s o 算法的介绍；第2 节介绍了小波神经 网络的基本内容；第3 节是利用第三章介绍的q p s o 算法及本章介绍的改进的q p s o 算 法优化的小波神经网络，建立模型；第4 节详细介绍了k d dc u p 9 9 数据集；第5 节为 仿真实验，验证建立的模型是否有效。 第五章介绍了另外一种改进的q p s o w n n 模型进行网络异常检测的问题，共3 节。 第1 节为改进的q p s o 算法的介绍；第2 节是利用第本章介绍的改进的q p s o 算法优化 的小波神经网络，进行仿真实验；第3 节比较了两种改进的q p s o 算法。 第六章是总结与展望，共2 节。第1 节对本文的总结；第2 节为该课题的展望。 4 第二章入侵检测概述 第二章入侵检测概述 2 1 入侵检测的产生与发展 早在2 0 世纪7 0 年代，j a m e s a d e r s o n 负责主持了一个由美国军方设立的关于计算机 审计机制的研究项目。1 9 8 0 年，j a m e sa d e r s o n 完成了题目为( ( c o m p u t e rs e c u r i t yt h r e a t m o n i t o r i n ga n ds u r v e i l l a n c e ) ) 的技术报告，该报告首次提出了入侵检测的概念，被认为 是入侵检测技术领域的开山之作。 1 9 8 4 1 9 8 6 年，乔治敦大学的d o r o t h ye d e n i n g 和s r f c s l ( s r i 公司计算机科学实 验室) 的p e t e rn e u m a n n 设计并实现了入侵检测专家系统i d e s 。该系统采纳了j a m e s a d e r s o n 的若干建议，实现了基于统计分析的异常检测和基于规则的滥用检测。该系统 在入侵检测的历史上具有重要的意义，而s r i 公司也一跃成为入侵检测领域的领军企 业。1 9 8 7 年，d o r o t h ye d e n i n g 以此为基础发表了论文k a ni n t r u s i o nd e t e c t i o nm o d e l ) ) 。 这是入侵检测历史上的又一力作，入侵检测领域的研究工作由此开始广泛的展开。关于 入侵检测的首次专题研讨会也于同年由s r i 公司召开。 1 9 8 8 年，s t e p h e ns m a h a 为美国空军u n i s y s 大型主机设计并开发了h a y s t a c k 入侵检 测系统。同时出现的还有为美国国家计算机安全中心m u l t i c s 主机开发的m i d a s 入侵检 测系统。1 9 8 9 年，l o s a l a m o s 美国国家实验室开发了用于内部安全检测的m & s 入侵检 测系统。这些系统都是早期基于主机的入侵检测技术的代表。 1 9 9 0 年，加州大学戴维斯分校的t o d dh e b e r l i e n 等人开发了n s m ( n e t w o r ks e c u r i t y m o n i t o r ) ，并以此为基础发表了论文a n e t w o r ks e c u r i t ym o n i t o r ) ) 。该系统首次将网络数 据包作为审计数据信息源，标志着入侵检测的两大阵营基于主机的入侵检测和基于 网络的入侵检测正式形成。 为了综合利用基于主机的入侵检测技术和基于网络的入侵检测技术的优点，在美国 军方等多个部门的支持下，1 9 9 1 年，s t e p h e ns m a h a 在n s m 系统和h a y s t a c k 系统的基 础之上，主持设计并开发了分布式入侵检测系统d i d s 。这是将基于主机的入侵检测与 基于网络的入侵检测进行融合的第一次努力。 1 9 9 2 年，s a i c 开发了计算机滥用检测系统( c o m p u t e rm i s u s ed e t e c t i o nm e a s u r e m e n t s y s t e m ，c m d s ) 。1 9 9 3 年，h a y s t a c kl a b s 开发了s t a l k e r 系统。它们是首批商用的入侵 检测系统。 在同一个时期，美国空军又开发了自动安全测量系统( a s i m ) 用于美国空军网络数据 流的安全检测。该系统是第一个软件与硬件相结合的基于网络的入侵检测系统。它的设 计团队于1 9 9 4 年成立了w h e e lg r o u p 公司，其产品就是著名的n e t r 雒g e r 目前使用 最多、功能最强，同时也是经受时间考验最多的入侵检测系统。 在整个2 0 世纪9 0 年代乃至2 1 世纪初，入侵检测技术的研究从未停止过，人们将 各种理论结合近入侵检测系统中，开发出了各具特色的多种入侵检测系统，期望能够获 得更高的检测性能。1 9 9 2 年，美国加州大学圣巴巴拉分校的p o r r a s 和l l g u n 提出了状态 江南大学硕士学位论文 转移分析的入侵检测技术并实现了原型系统u s t a t 。在同一时期，l o s a l a m o s 国家实 验室的k a t h l e e nj a c k s o n 设计开发了基于统计分析的n a d i r 入侵检测系统，使用专家系 统检测异常行为。1 9 9 4 年，s r i 公司的p o l l r a s 开发了i d e s 的后继版本n i d e s 。以此为 基础，s r i 公司开发了用于分布式环境的e m e r a l d 系统。1 9 9 5 年，美国普度大学c o a s t 实验室的s a n d e e p 妇u n a r 以s t a t 为基础，提出了基于有色p e t f i 网的模式匹配计算模型， 并实现了i d i o t 原型系统。1 9 9 6 年，美国新墨西哥大学的f o r r e s t 小组提出了基于计算 机免疫学的入侵检测技术。1 9 9 7 年，c i s c o 公司将入侵检测系统设计成标准模块，可以 安装到路由器中；同年，i s s 公司设计并开发了基于w i n d o w s 平台的r e f l s e c u r e 入侵检 测系统，这两个系统的成功研发标志着商用入侵检测系统的成熟。1 9 9 9 年，l o sa l a m o s 美国国家实验室的v e mp a x s o n 开发了b r o 系统，实现了高速网络环境下的入侵检测。 同年，美国哥伦比亚大学的w e n k el e e 研究小组在c o m p u t e rn e t w o r k 上发表了论文b r o ： as y s t e mf o rd e t e c t i n gn e t w o r ki n t r u d e r si nr e f l t i m e ，首次提出了基于数据挖掘技术的 入侵检测框架。在2 0 世纪9 0 年代的中后期，加州大学的戴维斯分校发布了g r i d s 系 统，将入侵检测技术的应用扩展到了大规模网络环境中去。2 0 0 0 年美国普度大学的d i e g o z a m b o n i 与e u g e n es p a f f o r d 提出了入侵检测的自治代理的概念并实现了原型系统 a a f i d 系统。它是入侵检测技术向着主动式、自适应、分布式的方向发展的重要一步， 并立刻被许多人所采纳。 从2 1 世纪初到现在，入侵检测技术的研究主要是基于网络，并向着混合型和分布 式的方向发展。随着近几年木马和蠕虫程序的泛滥，人们对于高速检测算法和入侵响应 技术的研究热情也越来越高。目前已经形成了以s r i 、普度大学、加州大学戴维斯分校、 l o sa l a m o s 国家实验室和新墨西哥大学等数强并立的研究局面。 2 2 入侵检测的基本概念 2 2 1 入侵检测的概念 所谓入侵，是指任何试图危及计算机资源的完整性、机密性或可用性的行为【l6 1 。而 入侵检测，顾名思义，便是对入侵行为的发觉。它通过从计算机网络或系统中的若干关 键点收集信息，并对这些信息进行分析，从而发现网络或系统中是否有违反安全策略的 行为和遭受攻击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统( 简称 i d s ) 。入侵检测是防火墙的合理补充，帮助系统对付网络攻击，它扩展了系统管理员的 安全管理能力( 包括安全审计、监视、进攻识别和响应) ，提高了信息安全基础结构的完 整性。入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能 对网络进行检测，从而提供对内部攻击、外部攻击和误操作的实时保护。 i d s 是一项很新的网络安全技术，目前己经受到各界的广泛关注，它的出现是对原 有安全系统的一个重要补充。i d s 收集计算机系统和网络信息，并对这些信息加以分析， 对保护的系统进行安全审计、监控、攻击识别以及做出实时的反应。 6 第二章入侵检测概述 2 2 2 入侵检测的模型 入侵检测技术就是通过数据的采集与分析实现入侵行为的检测技术【1 7 1 ，而入侵检测 系统即为能够执行入侵检测任务的软、硬件或者软件与硬件相结合的系统。图2 1 中给 出了一个通用的入侵检测系统模型。 图2 - 1 通用的入侵检测系统模型 f i g 2 1t h em o d e lo f i n t r u s i o nd e t e c t i o n 其中主要部件功能简要描述如下： 1 探测器：也称为数据收集器，负责收集入侵检测系统需要的信息数据，包括系 统日志记录、网络数据包等内容； 2 检测引擎：也称为分析器或者检测器，负责对探测器收集的数据进行分析。一 旦发现有入侵的行为，即刻发出告警信息； 3 控制器：根据检测器发出的告警信息，针对发现的入侵行为，自动地做出响应 动作； 4 数据库：为检测引擎和控制器提供必要的数据支持。包括检测规则集、历史数 据及响应等信息。 2 2 3 入侵检测的作用 形象地说，入侵检测系统就是网络摄像机，它能够捕获并记录网络上的所有数据， 同时也是智能摄像机，能够分析网络数据并提炼出异常的、可疑的网络数据，它还是x 光摄像机，能够穿透一些巧妙的伪装，抓住实质的内容。此外，它还是保安员的摄像机， 能够对入侵行为自动地进行反击，如阻断连接等。在网络安全体系中，入侵检测系统是 唯一一个通过数据和行为模式来判断其是否有效的系统，如图2 2 所示，防火墙就像一 道门，可以阻止一类人群的进入，但是却无法阻止这一类人群中的破坏分子，也不能阻 止内部的破坏分子；访问控制系统可以不让低级权限的人做越权工作，但无法保证高级 7 江南大学硕士学位论文 权限的人做破坏工作，也无法阻止低级权限的人通过非法行为获得高级权限；漏洞扫描 系统可以发现系统和网络存在的漏洞，但却无法对系统进行实时的扫描。 总地来说，入侵检测系统的功能和作用如下。 ( 1 ) 监控、分析用户和系统活动。 ( 2 ) 审计系统的配置和弱点。 ( 3 ) 评估关键系统和数据文件的完整性。 ( 4 ) 识别攻击的活动模式。 ( 5 ) 对异常活动进行统计分析。 ( 6 ) 操作系统审计跟踪管理，识别违反政策的用户活动。 图2 - 2 入侵检测的作用 f i g 2 2t h ef u n c t i o no fi n t r u s i o nd e t e c t i o n 入侵检测系统的优点如下。 ( 1 ) 提高信息安全构造的其他部分的完整性。 ( 2 ) 提高系统的监控。 ( 3 ) 从入1 ：3 点到出口点跟踪用户的活动。 ( 4 ) 识别和汇报数据文件的变化。 ( 5 ) 侦测系统配置错误并纠正他们。 ( 6 ) 识别特殊攻击类型，并向管理人员发出警报，进行防御。 入侵检测系统的缺点如下。 ( 1 ) 不能弥补差的认证机制。 ( 2 ) 如果没有人的干预，不能管理攻击调查。 ( 3 ) 不能知道安全策略的内容。 ( 4 ) 不能弥补系统提供质量或完整性的问题。 8 第二章入侵检测概述 ( 5 ) 不能分析一个堵塞的网络。 ( 6 ) 不能处理有关p a c k e t l e v e l 的攻击。 对一个成功的入侵检测系统来讲，它不但可以使系统管理员能够时刻了解到网络系 统( 包括文件、程序和硬件设备等) 的任何变更，还应该能给网络安全策略的制定提供指 南。更为重要的一点是，它应该管理、配置简单，从而使非专业人员非常容易地获得网 络安全。而且，入侵检测的规模还应根据网络威胁、系统构造和安全需求的改变而改变。 入侵检测系统在发现入侵后，会及时做出响应，包括切断网络连接、记录事件和报警等。 2 2 4 入侵检测的必要性 计算机网络安全应提供保密性、完整性以及抵抗拒绝服务的能力，但是由于联网用 户的增加，越来越多的系统受到攻击。入侵者利用操作系统或者应用程序的缺陷企图破 坏系统。为了对付这些攻击企图，可以要求所有的用户确认并验证自己的身份，并使用 严格的访问控制机制；还可以用各种密码学方法对数据提供保护，但这并不完全可行。 另一种对付破坏系统企图的理想方法就是建立一个完全安全的系统。但如果这样的话， 就要求所有的用户能识别和认证自己，还要采用各种各样的加密技术和访问控制策略来 保护数据。但是从实际上看，这根本是不可能的。有以下几方面的原因： ( 1 ) 在实践当中，建立完全安全系统根本是不可能的。m i l l e r 给出一份有关现今流 行操作系统和应用程序的研究报告，指出软件中不可能没有缺陷。另外，设计和实现一 个整体安全系统相当困难。 ( 2 ) 要将所有已安装的带安全缺陷的系统转换成安全系统需要相当长时间。 ( 3 ) 如果口令是弱口令并且已经被破解，那么访问控制措施不能够阻止受到危害的 授权用户的信息丢失或者破坏。 ( 4 ) 静态安全措施不足以保护安全对象属性。通常，在一个系统中，担保安全特性 的静态方法可能过于简单不充分，或者过度地限制用户。例如，静态技术未必能阻止违 背安全策略造成浏览数据文件；而强制访问控制仅允许用户访问具有合适的通道的数 据，这样就造成系统使用麻烦。因此，一种动态的方法如行为跟踪对检测和尽可能阻止 安全突破是必要的。 ( 5 ) 加密技术方法本身存在的一定问题。 ( 6 ) 安全系统易受内部用户滥用特权的攻击。 ( 7 ) 安全访问控制等级和用户的使用效率成反比，访问控制和保护模型本身存一定 的问题。 ( 8 ) 在软件工程中存在软件测试不充足、软件生命周期缩短、大型软件复杂性等难 解问题，工程领域的困难复杂性，使得软件不可能无错误，而系统软件容错恰恰使安全 得弱点。 ( 9 ) 修补系统软件缺陷不能令人满意。由于修补系统软件缺陷，计算机系统不全状 态将持续相当长一段时间。 基于上述几类问题的解决难度，一个实用的方法使建立比较容易实现的安全系统， 同时按照一定的安全策略建立相当的安全辅助系统。入侵检测系统就是这样一类系统， 9 江南大学硕士学位论文 现在安全软件的开发方式基本上就是按照这个思路进行的。就目前系统安全状况而言， 系统存在被攻击的可能性。但是，如果系统遭到了攻击，只要尽可能地检测到，甚至实 时地检测到，然后再采取适当的处理措施。入侵检测系统一般不是采取预防的措施以防 止入侵事件的发生，入侵检测作为安全技术其主要目的有：识别入侵者，识别入侵行为； 检测和监视己成功的安全突破；为对抗入侵及时提供重要信息，阻止事件的发生和事态 的扩大。从这个角度看待安全问题，入侵检测非常必要，它将有效弥补传统安全保护措 施的不足。 2 3 入侵检测的分类 根据不同的标准，入侵检测可以划分成不同的类型。目前最常用的划分标准是检测 数据的来源和检测方法【1 7 】。 2 3 1 按照检测数据的来源划分 虽然基于主机的、基于网络的及两者相互结合的3 种入侵检测类型的具体实现和操 作是完全不同，但是它们的本质都是通过对一系列事件进行分析，并与已有的历史知识 相比较，来确定是否发生入侵行为及入侵行为的种类。 ( 1 ) 基主机的入侵检测 基于主机的入侵检测系统可以部署在各种计算机上：它不仅能够安装在服务器上， 甚至可以安装在p c 机上或者笔记本电脑中。通常情况下，组织或机构往往将基于主机 的入侵检测系统部署在具有较高价值的服务器上作为信息安全保障的重要屏障。这些服 务器包括各种关键的基础网络服务服务器、业务服务器和数据库服务器等。基于主机的 入侵检测技术是系统整体安全策略实施的重要环节。 基于主机的入侵检测系统通过分析特定主机上的行为来发现入侵。而特定主机上的 行为通过该主机的审计记录和系统日志中的数据，再加上文件属性等其他辅助信息进行 表述。具体来说，基于主机的入侵检测系统的工作是通过扫描系统审计记录、系统日志 和应用程序日志来查找攻击行为的痕迹；通过对文件系统及相关权限的配置检测敏感信 息是否被非法访问和篡改；还要检查进出主机的数据流以发现攻击数据包。 ( 2 ) 基于网络的入侵检测 基于网络的入侵检测系统的出现晚于基于主机的入侵检测，两者的内涵完全不同。 它的出现主要是因为基于主机的入侵检测技术只能够分析到达主机的网络数据包，而不 能够提供网络整体的负载信息。但是，网络整体的负载信息往往蕴含着极为重要的针对 特定目标网络的攻击行为信息，因此基于主机的入侵检测难于发现这些入侵行为。 基于网络的入侵检测系统往往由一组网络监测节点和管理节点组成。一般来说，网 络监测节点负责收集分析网络数据包，并对每一个数据包或可疑的数据包进行特征分析 和异常检测。如果数据包与系统预置的策略规则相吻合，网络监测节点就会发出警报信 息甚至直接切断网络连接，并向管理节点报告攻击信息。而管理节点负责构建系统整体 安全态势信息。 ( 3 ) 混合式的入侵检测 1 0 第二章入侵检测概述 基于主机的入侵检测能够对主机上的用户或进程的行为进行细粒度的监测，很好地 保护了主机的安全。基于网络的入侵检测则能够对网络的整体态势作出反应。这两种优 点都是用户所需要的，因此计算机安全界对两者的融合进行了大量的研究，并称这种融 合系统为混合式入侵检测系统。各种不同的研究结果虽然在技术上有所出入，但是它们 在本质上都是有多个监测模块执行分布式协同检测，一个管理中心进行集中式分析管 理，这也是目前主流入侵检测系统的基本实现思想。总之，分布式的实现方式是入侵检 测系统的一个重要的发展方向。在具体的实现上，混合式的入侵检测主要分为两种类型： 一种是采用多种检测数据源的入侵检测技术，另一种是采用多种不同类型的检测方法的 入侵检测技术。 2 3 2 按检测方法划分 根据对检测数据的分析方法的不同，入侵检测技术可以分成以用户正常行为为参照 的异常检测和以已知攻击特征为参照的滥用入侵检测两种类型。 1 异常入侵检测 异常入侵检测是根据系统或用户的非正常行为或者对于计算机资源的非正常使用 检测出入侵行为的检测技术。异常检测的基础是需要建立系统正常活动状态或用户正常 行为模式的描述模型。异常检测的操作是将用户的当前行为模式或系统的当前状态与该 正常模型进行比较，如果当前值超出了预设的阈值，则认为