（计算机应用技术专业论文）基于多agent的入侵检测系统的研究与设计.pdf

摘要 曼曼皇曼蔓曼蔓曼鼍皇曼曼曼曼曼曼曼! ! 曼曼曼曼曼曼曼曼寰舅曼曼曼曼鲁皇曼曼曼曼i 一ii 曼曼曼曼曼曼皇量曼曼曼曼曼皇曼皇曼曼 摘要 随着互联网的迅速发展，网络安全问题越来越受到人们的重视。攻击者知 识的日趋成熟，攻击工具与手段的日趋复杂多样，单纯的防火墙策略已经无法 满足当前的需要，网络的防卫必须采用一种纵深的、多样的手段。与此同时， 当今的网络环境也变得越来越复杂。在这种环境下，入侵检测技术成为了网络 信息安全领域研究的热点和重点。 本文分析各种检测技术的优点和缺陷，对入侵检测系统目前面临的主要问 题和今后的发展趋势做了描述；还对a g e n t 的特点及其在入侵检测领域的应用 情况做了简单的说明。针对现有入侵检测系统存在的检测精度不高，经常出现 误报、漏报等问题，结合多a g e n t 技术，本文提出一种多节点对等协助检测的 体系结构。通过在j a d e 平台下多a g e n t 的协作，改进入侵检测b m 算法提高整 个系统的检测精度，降低误报率和漏报率。 最后将单节点单独检测和本系统的检测精度作比较，对本系统的性能进行 评估，并给出本系统下一步要解决的问题。 关键词网络安全；入侵检测；a g e n l ：；j a d e a b s t r a c t w i t ht h ef 级d e v e l o p m e n to fi n t e r n e t ，t h en e t w o r ks e c u r i t yp r o b l e m i s b e c o m i n gm o r ea n dm o r ei m p o r t a n t a st h ea t t a c k e r s a r eb e c o m i n gm a n 玳，t h e a t t a c kt o o l sa n dw a y sa r eb e c o m i n gv a r i o u s 。t h ef i r e w a l ls t r a t e g y c a l ln ol o n g e r c o n t e n tt h er e q u i r e m e n t t h ed e f e n s eo fn e t w o r kn e e d s t ob ed e e pa n dm u l t i p l e x a t t h es 锄et i i n e ，t h en e t w o r ke n v i r o n m e n ti sb e c o m i n gm o r ea n dm o r ec o m p l e x i n t h i ss i t u a t i o n ，i n t r u s i o nd e t e c t i o nt e c h n o l o g yh a sb e c o m e t h ef o c u sp o i n to fn e t w o r k s e c u r i t yr e s e a r c h t i f f sp a p e ra n a l y z e dt h ea d v a n t a g e sa n dd i s a d v a n t a g e s o fv a r i o u sd e t e c t i o n t e c l l i l o l o g i e s ，a n dt h ed e s c r i p t i o no ft h em a j o rp r o b l e mt h e i n t r u s i o nd e t e c t i o n s v s t e r nf a c i n gc u r r e n t l ya n d i t sf u t u r ed e v e l o p m e n tt r e n d t h i sp a p e rb r i e f l y i n t r o d u c e dt h ec h a r a 肚e r i s t i c so ft h ea g e n ta n di t sa p p l i c a t i o ni nt h ef i e l do f i n t r u s i o n d e t e c t i o n i nv i e wo ft h ee x i s t i n gi n t r u s i o nd e t e c t i o ns y s t e mh a sm a n yp r o b l e m $ ， s u c ha sl o wa c c u r a c y ，h i g hf a l s ep o s i t i v er a t ea n df a l s en e g a t i v er a t ea n do t h e r i s s u e s ，t h i sp a p e rp r o p o s e da m u l t i n o d es y s t e mt oa s s i s ti nt h ed e t e c t i o na r c h i t e c t u r e w i t ht l l em u l t i a g e n tc o l l a b o r a t eo nt h ej a d ep l a t f o r m ，o p t i m i z a t i o nt h ei n t r u s i o n d e t e c t i o na l g o r i t h m ，i m p r o v et h ed e t e c t i o na c c u r a c yo f t h ee n t i r es y s t e ma n dr e d u c e t h er a t eo ff a l s ep o s i t i v e sa n dt h er a t eo ff a l s en e g a t i v e a tl a s t ，t h i sp a p e rc o m p a r e dt h es i n g l e n o d ea n d t h i ss y s t e mo ft h ed e t e c t i o n a c c u r a c v s u m m a r i z e st h ef u l lt e x ta n dm a k e s a l la s s e s s m e n to ft h ep e r f o r m a n c eo f t h es y s t e m ，a n dg i v e st h ep r o b l e m ，w h i c h t h es y s t e mi sg o i n gt os o l v ei nt h en e x t s t e p k e y w o r d s r e t w o r ks e c u rit y ：in t r u s io nd e t e c tio ns y s t e m ：a g e n t ：j a d e i i 论文原创性声明 本人声明，所呈交的学位论文系在导师指导下本人独立完成的研究成果。 文中依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法 律意义上已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申 请的论文或成果。 本人如违反上述声明，愿意承担以下责任和后果： 1 交回学校授予的学位证书； 2 学校可在相关媒体上对作者本人的行为进行通报； 3 本人按照学校规定的方式，对因不当取得学位给学校造成的名誉损害， 进行公开道歉； 4 本人负责因论文成果不实产生的法律纠纷。 力夕 论文作者签名： 左貔日期：蛰越：年上月呈红日 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属东北电 力大学。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权 利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时， 署名单位仍然为东北电力大学。 论文作者签名： 导师签名： 吐年上月上丝e t 止年三一月2 l 日 绪论 第1 章绪论 1 1 课题的背景及意义 随着信息时代的到来，电子商务、电子政务、金融网络、网络虚拟社区等 已经走进人们的生活，计算机网络已经成为现代社会生产、生活中不可或缺的 一部分，并且必将成为或者己经成为2 1 世纪全球最重要的基础设施。根据i s c 的调查，全世界连入i n t e r n e t 的主机数己经超出了线性增长，其中2 0 0 4 年初 的时候是2 亿3 千万，2 0 0 5 年初的时候是3 亿5 千万，2 0 0 6 年初的时候是3 亿 9 千万，到了2 0 0 7 年初的时候是4 亿3 千万。近年来，我国基于i n t e r n e t 的 网络应用发展也十分迅速。根据中国互联网络信息中心( c n n i c ) 在2 0 0 7 年6 月 第二十次中国互联网络发展状况统计调查，我国的网民人数约为1 6 2 亿台，仅 次于美国的2 1 1 亿网民规模，与去年同期相比，网民数一年增加了3 9 0 0 万人砼1 。 但是，网络固有的开放性，尤其是i n t e r n e t 的跨国界性，使网络一开始就 面临巨大的安全风险。而网络协议、各种软件的不完善以及网络管理人员的错 误使这种风险成为现实的灾难，网络入侵事件不断发生，甚至政府网站被破坏、 军事机密被窃取的事件也时有发生。所有这些，都促使网络安全研究工作快速 向前发展。 早期的网络入侵检测系统的拓扑结构是集中式的，即系统采用的是基于中 心式的数据处理机制，信息通过网络上几个节点收集并汇总到数据分析中心进 行分析。在网络规模小，层次简单，通讯速度慢时，该机制可以做到实时的中 心处理。但随着高速网络的发展，网络范围的拓宽，各种分布式网络技术、网 络服务的发展，使原来的网络入侵检测系统很难适应此状况。并且，目前入侵 手段的分布化正在逐渐成为入侵技术发展的新动向之一。一个典型的例子就是 分布式拒绝服务攻击( d i s t r i b u t e dd e n i a lo fs e r v i c e ，d d o s ) ，它可以在很短 的时间内造成被攻击主机的瘫痪，而且在攻击发动的初期不易被确认，该手段 己成为近期最常用的网络攻击手段之一。针对以上问题，基于分布式技术和网 络入侵检测技术的分布式网络入侵检测系统( d i s t r i b u t e dn e t w o r ki n t r u s i o n 东北电力大学硕士学位论文 d e t e c t i o ns y s t e m ，d n i d s ) 以其自身的特性提供了很好的解决方案，其关键技 术是检测信息的协同处理与入侵的全局信息提取。 本论文正是在这个背景下进行选题的。本论文通过对入侵检测技术的研究 和探讨，设计一个基于误用检测技术分布式的网络入侵检测系统。 1 2 国内外研究状况及发展趋势 1 国外发展状况 国外入侵检测技术方面的研究始于2 0 世纪7 0 年代，1 9 8 0 年a d e r s o n 发表 了计算机安全威胁的检测和管制( c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n d s u r v e i l l a n c e ) 一文聆3 ，对入侵和入侵检测做了论述，这大概是最早的关于入侵 检测方面的文章了。商业化i d s 产品直到2 0 世纪8 0 年代后期才出现。 目前入侵检测技术及产品多种多样，但其分类并不复杂。简单的说，一方 面，就入侵检测使用的信息来源来说，可分为基于主机的入侵检测( h i d s ) 和基 于网络的入侵检测( n i d s ) 。h i d s 通过检查主机的系统l o g 文件来判定是否有入 侵行为发生：n i d s 则通过检测网络流量来检查入侵行为的有无。另一方面，就 使用的入侵检测技术来说，可分为误用检测和异常检测。误用检测是建立攻击 的模式库，然后用这个模式库去匹配入侵检测源信息。若匹配成功，则表明有 入侵发生。异常检测则是先建立系统正常的行为模式，再用这个模式去和实际 的行为模式相比较，如果比较的差值超过了某个门限，则表明有入侵行为存在。 检测技术多种多样，基于专家系统的方法、模式匹配法和统计方法是最经 典的几种方法，近年来出现了新的检测技术。利用人工智能领域的知识，出现 了基于智能体h 1 ，神经网络结合模糊理论的检测技术晦；利用医学领域的知识， 出现了基于自然免疫系统的检测技术3 ；利用数学领域的知识，有了基于隐马尔 可夫模型( h i d d e nm a r k o vm o d e l ) 的检测模型口1 ；还有许多其它方法，如数据挖 掘法，分类和聚类发法，遗传算法等碡1 。 国外的i d s 商业化产品出现在8 0 年代后期，其中比较有代表性的产品有n f r 公司的n i d ( n e t w o r ki n t r u s i o nd e t e c t i o n ) ，i s s ( i n t e r n e ts e c u r i t ys y s t e m ) 公司的r e a l s e c u r e ，n a i ( n e t w o r ka s s o c i a t e s ，i n c ) 公司的c y b e r c o p 和c i s c o 公司的c i s c o s e c u r ei d s ( 以前称为n e t r a n g e r ) 等。 绪 论 鼍曼量曩曼鼍鼍曼曼曼蔓量曼量曼皇曼寰! 罡曼皇皇舅舅曼曼曼寡il ； i 皇曼曼曼曼量曼曼舅舅曼皇鼍量曼曼曼皇曼曼量曼曼曼曼蔓量 2 国内发展情况 由于国内的i n t e r n e t 网络发展滞后于发达国家，因此在入侵检测这方面的 研究也就相对要晚一些，到现在为止基本上是处于学习国外先进技术的阶段， 关于入侵检测方面的资料大部分都来自国外。 国内可以查阅的有关入侵检测方面的文章最早的应该是计算机系统安全 管理：入侵检测原理及应用一文，刊登在信息安全与通信保密杂志1 9 9 8 年第一期上面。文章从系统安全方面分析了审计跟踪数据的特征和几种现行的 入侵检测方法，并对入侵检测专家系统( i d e s ) 做了介绍，最后给出了入侵检测 专家系统的设计方法；国内最早的入侵检测产品出现在1 9 9 9 年，是启明星辰公 司的产品。据此我们可以推断，国内入侵检测方面的研究落后于世界发达国家 大概2 0 年左右的时间。但庆幸的是，自从1 9 9 9 年发生的两次计算机病毒事件 及当时即将面临的千年虫问题之后，国内的网络安全意识就有所改观：到现在 为止，入侵检测已经受到了政府、研究机构、企业等各方面足够的重视，众多 的研究机构己投身到这方面的研究；同时，有大量的入侵检测产品供应商出现， 比如启明星辰( 成立于1 9 9 6 年6 月) 、联想网御( 成立于2 0 0 1 年) 、理工先河( 成 立于2 0 0 1 年) 、基格技术( 成立于2 0 0 3 年) 等公司，其中启明星辰的产品有中国 i d s 第一品牌之称。国内的入侵检测正在逐渐的走上正轨。 3 入侵检测的发展趋势 入侵检测趋向标准化。由于目前的i d s 产品很多，各种不同的i d s 之间 如何接口这个问题便浮现了出来。为了便于各种i d s 之间的协作，有必要制定 入侵检测方面的标准。 入侵检测和其它网络安全技术的综合。i d s 只起到入侵警报的作用，要真 正保护好网络，还要和防火墙、应急响应系统等安全技术结合起来。 i d s 本身的性能评估。i d s 是用来保护网络安全的，它本身也就成为攻击 者的攻击目标。这样，i d s 本身的性能如何，是否有抵御攻击的能力，这些问题 也逐步受到了重视。 入侵检测系统有向分布式方向发展的趋势。由于目前攻击技术的发展变 化，出现了分布式的攻击，面对这种攻击，传统的i d s 己经不适应了，分布式 i d s 必将成为一个重要的研究方向。 东北电力大学硕：l 学位论文 入侵检测系统的智能化。由于攻击者攻击手段的不断进步，传统的i d s 不能识别一些新出现的攻击，不能够完全胜任检测任务。在这种情况下，有必 要采取智能化的方法来进行入侵检测。常用的智能化方法有：神经网络、遗传算 法、模糊技术、知识挖掘、免疫原理、智能体a g e n t 等。这些智能化的入侵检 测系统是对付新的攻击技术的强有力的武器。 1 3 本课题的主要工作和组织结构 1 3 1 本课题的主要工作 本课题的研究工作主要有四大部分： 1 从理论和实践方面对国内外典型的入侵检测系统研究和分析，经过对检 测系统体系结构和检测方法的研究，提出提高入侵检测系统检测精度的方案。 2 多a g e n t 系统平台的搭建，利用j a d e 符合f i p a 标准的特性和较好的支 持a g e n t 通信和管理特性，实现跨节点间的协助检测。 3 实现数据包的捕获并改进b m 匹配算法。 4 选取k d dc u p l 9 9 9 网络数据集测试本系统的检测性能。 1 3 2 本文的组织结构 本文共分为五个章节。 第1 章为绪论，简要介绍了课题的研究背景、意义和国内外的研究状况， 然后介绍了本文的研究内容和组织结构。 第2 章介绍入侵检测系统的定义及原理，从不同的角度对入侵检测系统进 行分类，最后讨论了现有的入侵检测系统尚存在的问题和未来的发展趋势。 第3 章介绍了a g e n t 的相关理论及其在i d s 中的应用，在分析典型入侵检 测系统结构的前提下，提出多节点对等协作的检测模型。 第4 章结合前文提出的体系结构，给出比较具体的实现方法。 第5 章最后通过对测试数据的分析，评估系统性能。 最后结论部分，对本文进行了回顾，评价了系统的性能，给出了本系统目 前要解决的主要问题，指出了下一步的工作方向。 第2 章入侵检测系统概述 第2 章入侵检测系统概述 2 1 入侵检测系统的定义及原理 2 1 1 入侵检测的定义 入侵检测的定义有很多，本文引用一个比较典型的定义呤1 ：入侵检测是监测 计算机网络和系统以发现违反安全策略事件的过程。入侵检测系统 i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 就是用来识别针对计算机系统和网络系统或 者更广泛意义上的信息系统的非法攻击，包括检测外界非法入侵者的恶意攻击 或试探，以及内部合法用户的超越使用权限的非法活动。 入侵检测作为传统计算机安全机制的补充，它的开发与应用扩大了网络与 系统安全的保护纵深，成为目前动态安全工具的主要研究和开发的方向。随着 系统漏洞不断被发现，攻击不断发生，入侵检测系统在整个安全系统中的地位 不断提高，所发挥的作用也越来越大。 2 1 2 入侵检测系统的原理 一个入侵检测系统的基本功能如图2 1 所示，它至少包含数据收集、数据 分析、数据储存、攻击响应，四部分功能n 0 l 。 图2 1 基本入侵检测系统功能结构图 东北电力大学硕士学位论文 w ! l l l l t 曼舅鼍曼曼曼曼曼曼曼曼曼曼鼍曼曼曼曼曼皇曼曼曼皇曼皇曼曼曼曼曼曼曼璺舅皇量曼曼曼曼量量 1 数据收集 数据收集是入侵检测的第一步，其内容包括系统日志、网络数据包、用户 活动的状态和行为等。通常需要在计算机网络系统中的若干不同关键点( 不同网 段和不同主机) 收集信息，这除了尽可能扩大检测范围的因素外，还有一个重要 的原因就是从单个源收集的信息有可能看不出疑点，但从多个源收集的信息的 不一致性却是可疑行为或入侵的最好标识。收集信息的质量与数量对i d s 性能 的影响很大。 2 数据分析 收集到数据之后，便是对数据进行安全性分析，从中发现攻击或入侵的痕 迹，从而达到检测入侵的目的。常用的信息分析方法有：模式匹配、统计分析 和完整性分析。其中前两种方法用于实时的入侵检测，而完整性分析则多用于 事后分析。很多i d s 的研究都集中于如何提高信息分析的能力上，包括提高识 别己知入侵的准确性和提高发现未知入侵的概率等。 3 数据存储 为了便于系统管理员对攻击信息进行查看和分析，需要将入侵检测系统收 集到的信息进行保存，存储的信息同时也为攻击保留了数字证据。另外，信息 分析所得到的重要结果也需要进行存储。 4 攻击响应 在对攻击信息进行分析并确定攻击的类型后，再对检测到的攻击进行相应 的处理：如发出警报、给系统管理员发出邮件、短信等。或者利用自动装置直 接处理，如切断连接、过滤攻击者的i p 地址、根除入侵者留下的后门以及数据 恢复等。 2 1 3 入侵检测的c ld f 模型 为了提高入侵检测产品、组件及其它安全产品之间的互操作性，美国国防 高级研究计划署( d a p r a ) 和互联网工程任务组( i e t f ) 的入侵检测工作组( i d w g ) 发起制定了一系列建议方案，从体系结构、a p i 、通信机制、语言格式等方面规 范了i d s 的标准n 。 a r p a 提出的建议是公共入侵检测框架( c i d f ) ，最早由加州大学戴维斯分校 第2 章入侵柃测系统概述 计算机安全实验室主持起草工作并于1 9 9 7 年初正式提出。c i d f 阐述了一个入侵 检测系统的通用模型n 射，它将一个入侵检i 9 1 1 i 系统分为以下组件：事件产生器 ( e v e n tg e n e r a t o r s ) ，事件分析器( e v e n ta n a l y z e r s ) ，响应单元( r e s p o n s e u n i t s ) 和事件数据库( e v e n td a t a b a s e s ) 。如图2 - 2 所示。 输 图2 - 2c i d f 体系结构 信息 c i d f 将入侵检测系统需要分析的数据统称为事件，它可以是基于网络的入 侵检测系统中网络的数据包，也可以是基于主机的入侵检测系统从系统日志等 其它途径得到的信息。它也对于各部件之间的信息传递格式、通信方法和标准 a p i 进行了标准化u 引。 事件产生器的目的是从整个计算环境中获得事件，并向系统的其它部分提 供此事件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分 析结果做出反应的功能单元，它可以做出切断连接、改变文件属性等强烈反应， 甚至发动对攻击者的反击，也可以只是简单的报警。事件数据库是存放各种中 东北电力大学硕士学位论文 间和最终数据的地方的统称，它可以是复杂的数据库，也可以是简单的文本文 件。 在现有的入侵检测系统中，经常用数据采集部分、分析部分和响应部分来 分别代替事件产生器、事件分析器和响应单元这些术语。且常用日志来简单的 指代事件数据库。 c i d f 标准还没有正式确立，也没有一个入侵检测商业产品完全所用该标准， 但因为入侵检测系统的特殊性，其实各种入侵检测系统的模型都有很大的相似 性。各种入侵检测系统各自为阵，系统之间的互操作性很差，因此各厂商都在 按照c i d f 进行信息交换的标准化工作。 2 2 入侵检测的分类 入侵检测分类有好多种，根据不同的标准，i d s 有不同的分类，主要有以下 几类。 2 2 1 根据l d s 使用的审计信息来源分类 1 基于主机的i d s ( h o s t b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，h i d s ) h i d s 使用的审计信息是主机系统的日志文件、进程记账信息、用户行为信 息等。通过检查这些数据的内容，比如文件被访问、修改、删除记录等来判断 系统是否有过攻击行为。h i d s 保护的对象是主机系统。 2 基于网络的i d s ( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) n i d s 使用的审计信息是流经被检测网络的网络流量，通过对网络流量的分 析来判断网络是否有攻击行为发生。n i d s 保护的对象是整个网络，而不是某一 个主机。通常情况是，在一个网络中，有一台专用的主机来实时的捕获流经网 络的数据包。这台主机的网卡被设置成混杂模式( p r o m i s c u o u sm o d e ) ，以便能 够捕获所有流经的网络数据包，而不仅仅是目的地址为自身的那些数据包。 3 分布式入侵检测系统( d i s t r i b u t ei n t r u s i o nd e t e c t i o ns y s t e m ，d i d s ) 分布式入侵检测可以从不周的主机系统、网络部件和通过网络监听方式收 集数据，这些系统可以利用网络数据，也可以收集并分析来自主机系统的高层 事件，发现可疑行为。虽然基于网络的入侵检测系统实现的功能可以很强大， 第2 章入侵检测系统概述 如要适应现代千兆比特的高速网络和交换式网络方面也有许多问题需要解决。 而且基于主机的入侵检测系统也有其独特功能，所以未来的入侵检测系统要想 获得成功必须将基于主机和基于网络的两种入侵检测系统无缝的结合起来，这 就是分布式入侵检测系统。在基于主机和基于网络的两种入侵检测系统都发展 到一定成熟度后，分布式系统也就自然出现了，它兼有两种入侵检测系统各自 的优点，但是实现复杂度要更高。 2 2 2 根据l d s 使用的检测技术来分类 1 异常检测( a n o m a l yd e t e c t i o n ) 的入侵检测系统 也被称为基于行为( b e h a v i o r b a s e d ) 检测。这种i d s 使用的检测技术是 异常检测，先建立正常系统行为的模式轮廓，将i d s 的审计数据和正常的模式 轮廓相比较，判断两者的差异是否越过了某个门限( t h r e s h o l d ) ，若越过了这个 门限，则有入侵发生。 2 误用检测( m i s u s ed e t e c t i o n ) 的入侵检测系统 也被称为基于知识的( k n o w l e d g e b a s e d ) 检测。这种i d s 采用的检测技术 是误用检测，即先建立己知攻击的攻击特征库，将i d s 的审计数据和建立的攻 击特征库相比较，如果有匹配发生，则表明有入侵行为。 2 2 3 根据ld s 引擎的类型分类 1 基于软件的i d s ( s o f t w a r e b a s e di d s ) 入侵检测引擎( i n t r u s i o nd e t e c t i o ne n g i n e ，i d e ) 也就是i d s 中的数据分 析部分，是一个入侵检测系统的关键部分。入侵检测引擎如果是基于软件的， 那么该i d s 就是基于软件的入侵检测系统。目前大多数入侵检测系统都是基于 软件的i d s m l 。 基于软件的入侵检测系统的优点是可以动态的改变、更新特征库、检测技 术等；缺点是系统性能都不怎么好。目前大多数入侵检测系统都属于这种类型。 2 基于硬件的i d s ( h a r d w a r e - b a s e di d s ) 如果一个入侵检测系统的入侵检测引擎是基于硬件的，那么该i d s 就是基 于硬件的i d s 。这种入侵检测系统是通过某种特殊的处理器而不是软件来分析审 东北电力大学硕十学位论文 计数据的。这种类型的检测得益于硬件特性，同时借助软件的可编程性，提高 了系统的检测性能。 这种类型的i d s 目前还没有商用，主要还在研究实验阶段。如韩国的 h y e y o u n gh h o 等人就将i n t e l 的网络处理器i x p l 2 0 0 ，i x p2 4 0 0 应用到了入侵 检测中。 2 2 。4 根据ld s 的结构分类 1 集中式检测 也就是传统的入侵检测系统，系统中数据的采集、数据的分析、入侵响应 都由固定数目的组件来实现，而不论系统保护的主机数是多少n 引。 2 层次化协同检测 顾名思义，层次化协同检测就是以层次化结构布置数据处理组件。数据处 理组件划分为多个级别，低层组件从数据收集组件获得原始数据，经过提炼、 精简后提交给更高层的数据处理组件。a a f i d n 7 3 和e m e r a l d 羽是层次化协同检测 的例子。 3 完全分布式( 对等式) 协同检测 完全分布式模型的研究刚刚兴起，除了对d i d s 的体系结构的研究，研究者 还关注对等节点之间的通信、信任、授权等问题。分布式系统的组通信机制、 事件通知服务等中间件技术开始进入研究者的视野。但由于这些技术存在的安 全性等问题，基于完全分布式模型的d i d s 从实验室研究到工业应用还有很长一 段路要走n 们。 2 3 入侵检测系统目前存在的问题和发展趋势 2 3 1 入侵检测系统目前存在的问题 i 系统结构存在问题 现在的很多入侵检测系统是从原来的基于网络或基于主机的入侵检测系统 不断改进而得来的，在体系结构等方面不能满足分布、开放等要求。因此，在 实际部署中处理速度跟不上要求，主要是在于检测系统的集中式处理。 第2 章入侵检测系统概述 2 数据来源单一 一般的i d s 数据来源往往只是来自网络数据报、系统日志、应用程序日志， 即使有个别的系统采用多种数据来源，也往往不能反映或者协调这些不同来源 之间的入侵事件的联系，所以对现代黑客常常采用的分步攻击或者组合攻击无 能为力。 3 分析引擎不完善 ( 1 ) 检测错误率高 由于检测技术的不成熟，导致入侵检测系统的误报率( f a l s ep o s i t i v e r a t e ) 、漏报率( f a l s en e g a t i v er a t e ) 较高。这是限制入侵检测系统应用和发 展一个主要原因n9 | 。提高系统的检测准确率是摆在i d s 研究者面前的一个重要 课题。 ( 2 ) 不能检测长期的攻击 为了避免触动i d s ，高明的黑客常常尽量小心掩盖自己的入侵。一个入侵常 常分为很多步骤进行，这些步骤的每一步可能都不明显，但是长期效果却具有 较大的危害。完全基于特征匹配或者异常检测的i d s 对此也往往无能为力。 ( 3 ) 不能进行攻击预测 现有的i d s 一般只能检测到已经发生的或者正在发生的入侵行为，虽然很 多检测系统号称具有“实时性 ，但无论如何都是在己经发生的非法行为特征的 基础上进行检测，对于将要发生的入侵行为就不能进行预测。所以当检测到入 侵时，损失往往己经发生了，因而非常被动。 4 互操作性差 在大型网络中，网络不同的部分可能使用了不同的入侵检测系统，但现在 的入侵检测系统之间都是各自为战，往往不能够交换信息，使得发现了攻击时 难以找到攻击的源头，甚至给入侵者制造了攻击的漏洞，影响了整个网络安全 工作的进行娩。 5 自身的安全性 入侵检测系统是保护网络安全的，因此i d s 成为黑客攻击的主要目标。有 的攻击者采用绕过i d s 的技术来对付入侵检测系统，有的攻击者则对i d s 实施 d o s 攻击使其不能正常工作。提高i d s 本身的抗攻击性能，是研究者们面临的另 东北电力大学硕士学位论文 一个重大课题啪一。 2 3 2 入侵检测系统的发展趋势 1 大规模分布式入侵检测 由于攻击者采用的技术不断在进化，攻击的规模在不断扩大，攻击形式不 拘泥于某几种形式，同时网络的规模和流量也在不断增大，在这种情况下，传 统的入侵检测系统已经不能适应这种变化了，对应这种新变化，只能采用分布 式的入侵检测系统。随着时间的推移，分布式i d s 必将受到重用，这是入侵检 测系统一个重要的发展方向。 2 入侵检测的标准化 随着网络规模的不断扩大和攻击手段的复杂化，有时靠单一的i d s 难以检 测出攻击行为，需要各种i d s 相互协作，共同完成。由于目前的入侵检测产品 种类繁多，各种不同的入侵检测之间如何接口，以及入侵检侧系统怎样和其它 的网络安全产品接口这个问题便浮现了出来。为了便于它们之间的相互协作， 有必要制定入侵检测方面的各种标准。 到目前为止，己经有了一些这方面的研究成果。比如d a r p a 资助的通用入 侵检测框架标准草案( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，c l d f ) 主要关 注不同的i d s 之间的互操作性；i d w g ( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ) 对 入侵检测的交互式协议( i n t r u s i o nd e t e c t i o ne x c h a n g ep r o t o c o l ，i d x p ) 和入 侵消息交互格式( i n t r u s i o nd e t e c t i o nm e s s a g ee x c h a n g ef o r m a t ，i d m e f ) 做 了相关研究，但尚无相关r f c 文档形成。 3 入侵检测系统的智能化 由于攻击者攻击手段的不断进步，传统的i d s 不能识别一些新出现的攻击， 不能够完全胜任检测任务。在这种情况下，有必要采取智能化的方法来进行入 侵检测。常用的智能化方法有：神经网络、遗传算法、模糊技术、免疫原理、 智能体a g e n t 等。智能化的入侵检测系统是对付新的攻击技术的强有力的武器。 4 入侵检测系统的测试、评估 由于入侵检测产品目前种类繁多，生产厂商又各自为战，对于像怎样评测 一个i d s 产品的性能这类问题研究的还比较少，缺乏一个公认的准则。实际上， 第2 章入侵检测系统概述 建立一个合理的i d s 评测体系，实现对多种入侵检测产品的评估，对于i d s 的 发展具有重要的指导意义。 东北电力大学硕上学位论文 in t om 曼曼曼量曼曼曼量鼍曼曼曼曼舅舅曼曼量量曼曼曼曼曼曼曼量皇 第3 章基于多a g e n t 的入侵检测模型的研究 3 1a g e n t 技术概述 3 1 1a g e n t 起源和定义 1 a g e n t 思想是人工智能技术( a r t i f i c i a li n t e l l i g e n c e ，a i ) 和网络技术 发展的必然产物1 。 从2 0 世纪6 0 年代开始，人工智能就开始致力于知识表达、推理、机器学 习等方面的研究；其主要成果是专家系统，把专业知识和推理有机的结合在一 起，使应用程序有了一定的智能性。 另外一方面，随着网络技术的发展，多个应用程序间的相互作用正从单一 的集成式系统向分布式系统转变。受益于中间件技术，在物理上分布的、平台 异构的应用程序之间可以通过共同的方式提供或获得服务，从而实现了分布式 状态下的软集成。 因此研究者一般从人工智能和分布式计算技术两个不同的角度来研究 a g e n t ，各有其侧重点，前者形成了多a g e n t 系统( m u l t i a g e n ts y s t e m ，简称 m r s ) ，后者形成了分布式问题求解( d i s t r i b u t e dp r o b l e ms o l v i n g ，简称d p s ) 。 2 a g e n t 的概念被广泛的使用在各个领域，因此，很多研究人员从自己的研 究领域对其给出a g e n t 的定义。其中，最经典和广为接受的是由著名a g e n t 理 论研究学者w o o l d r i d g e 博士等人给出的“弱定义”和“强定义。弱定义a g e n t 指具有自治性、社会性、反应性和主动性等基本特性的a g e n t ：强定义a g e n t 指 不仅具有弱定义中的基本特性，而且还具有移动性、通信能力、协同性、理性 或其它特性的a g e n t 盼引。 基于弱定义a g e n t 以及强定义a g e n t 的概念的综合，在这里我们认为a g e n t 是指具有一定知识、智能、思维能力和自治能力，并拥有某个或某几个目标， 能和环境进行交互( 即作用和受作用于环境) ，能和其它a g e n t 相互协作的软件 或硬件实体。 第3 章基于多a g e n t 的入侵检测模型的研究 i | 3 1 2a g e n t 的特性 1 自治性( a u t o n o m y ) 昭3 4 1 指的是a g e n t 在没有用户干预或者很少用户干预的情况下，可以执行一定 的任务。a g e n t 运行的时候，对它们自己的行为和内部状态有一定的控制权，不 直接接受外来力量的控制。 2 响应性( r e a c t i v i t y ) 指a g e n t 对来自环境的影响和信息做出适当的响应的能力。也就是a g e n t 能感知它们所处的环境，并通过自发的行为改变环境的能力。 3 主动性面向目标性( p r o a c t i v i t y g o a lo r i e n t e d ) a g e n t 可以在特定的情况下采取主动行为，主动寻求完成设计目标的途径， 这一点与传统的应用程序被动地由用户来运行且机械地完成用户的指令是不同 的。 4 推理学习自适应能力( 1 e a r n i n g a d a p t a ti o n ) a g e n t 的智能性由内部知识库、学习或自适应能力以及基于知识库内容的推 理能力三个部件来完成。 5 社会能力( s o c i a la b i l i t y ) 也可以称为协作性合作性，指a g e n t 能够通过某种a g e n t 通信语言与其它 a g e n t 或者用户进行信息交换共同完成任务的能力。 6 可移动性( m o b i l i t y ) 指a g e n t 可以在计算机网络中漫游的能力。在移动过程中a g e n t 可以保持 自己的内部状态不变，到另外一个地点执行命令，也可以携带数据返回。具有 这种性质的a g e n t 称为移动a g e n t ( m o b i l ea g e n t ) 。 3 1 3flp aa g e n t 通信语言 在多a g e n t 系统中，多个a g e n t 之间的通信是非常重要的，对系统的协同 工作性能至关重要。1 9 9 5 年，智能物理a g e n t 基金会( f i p a ) 开始了开发a g e n t 系统标准的工作汹1 。第一步的工作的核心部分是开发a c l ( f i p a ，1 9 9 9 ) 。这种 a c l 表面上与k q m l 相似：它定义了消息的一个“外层 语言；它定义了2 0 种语 东北电力大学硕士学位论文 用词( 如i n f o r m ) ，以规定对消息预期的解释；它没有为消息内容指定任何特定 的语言。此外，f i p aa c l 消息的具体与k q m l 非常类似。下面是f i p aa c l 消息 的一个例子( 来自f i p a ，1 9 9 9 ，p 1 0 ) ： ( i n f o r m ：s e n d e ra g e n t l ：r e c e i v e ra g e n t 2 ：c o n t e n t ( p r i c eg o o d1 5 0 ) ：l a n g u a g es l ：o n t o l o g yh p l a u c ti o n ) 这个例子应该清楚的看到，f i p a 通信语言与k q m l 相似：消息的结构是一样 的，而且消息的属性域也非常相似。f i p aa c l 和k q m l 的关系在f i p a ( 1 9 9 9 ， p p 6 8 - 6 9 ) 中进行了讨论。这两种语言最重要的区别在于它们提供的语用词集 和不同。 1 f i p aa c l 的主要消息通信行为啪3 f i p aa c l 的主要消息通信行为如表3 1 所示： 表3 一i f i p aa c l 的主要消息通信行为 c 审( c a l lf o rp r o p o s 鹕启动a g e n l 之间的协商 a c c e p o p r o p o s a l 7 阐明a g e n t 嬲一个a g e r 正l 竹o p o s a l m f o m发送者希望接受者相信这个内容 l 篮o p o s e允许一个a g e n l 向另一个a g e n i 提出提议 f e q u e s 【 允许一个a g e n t i 粥j 一个a g e n i 执行某个动作 呼e e 消息的发送者期望执行所请求动作 f e m s e 一个a g e n t 向另一个a g e n f 表示它将不执行某个动作 第3 章基于多a g e n t 的入侵检测模型的研究 2 f i p aa c l 的消息参数 f i p aa c l 的消息参数如表3 2 所示： 表3 2f i p aa c l 消息参数2 5 1 l a e r f o r ma t i v e a cl 消息通信行为的类型 s e 士 l d e i 消息的发送者 r e c e i v e r消息的预期接收者 c o m e n t消息的内容 l a n g u a g e 消息的语言 l o f o t o c o l发送者的使用的协议 f e l o l y - b y 发送者期待收到恢复的时间 3 1 4a g e n t 在id s 中的应用 a g e n t 在入侵检测中的应用是由a g e n t 本身的特点决定的乜7 施驯，也就是 a g e n t 自身的一些特点适合它在入侵检测中的应用。a g e n t 用于入侵检测中的优 点有： 1 减少系统响应时间 i d s 检测入侵的过程是采集数据、分析数据、响应入侵，如果检测到了入侵 行为，但迟迟不对其采取响应措施，那么攻击者就很可能得逞。a g e n t 具有响应 特性，也就是随着环境变化可以做出相应的响应措施。利用a g e n t 这个特点， 当a g e n t 检测到有入侵行为时，可以立即启动响应行为，对入侵行为进行阻止， 减少入侵造成的损失。 2 减少i d s 对网络的带宽要求 移动a g e n