（计算机软件与理论专业论文）粗糙集理论在入侵检测技术中的应用研究.pdf

摘要 论文题目：粗糙集理论在入侵检测技术中的应用研究 学科专业：计算机软件与理论 研究生：杜旭辉 一指导教师：姚全珠教授 付长龙副教授 摘要 签名： 签名： 签名： 随着网络和网络攻击技术的不断发展，传统的安全防御技术已经不能满足网络安全 的需要。入侵检测作为一种主动防御技术，不但能检测到来自外部网络的攻击，而且还 能检测来自内部的入侵行为，它是防火墙的一个重要补充。目前在入侵检测技术研究领 域，已经出现了很多研究成果，但是现有的入侵检测技术不能有效的检测到新出现的攻 击，也不能对正常的用户行为建立准确的模型，因此，这些检测方法存在着比较高的漏 报率和误报率。网络入侵检测的高误报率和漏报率是当前入侵检测研究需要解决的问 题。 本文分析了当前入侵检测技术中存在的优点和缺点，在此基础上，把模糊粗糙集理 论和概率粗糙集理论分别应用在了入侵检测技术中，做出了如下创新： ( 1 ) 提出了一种基于独立分量分析( i c a ) 和模糊粗糙集的入侵检测方法，该方法 在对网络数据进行分析前先使用i c a 算法对采集到的数据进行特征提取，以消除冗余属 性降低数据维数，然后使用模糊粗糙集理论对数据进行分析，解决了网络数据不完整性 给入侵检测所带来的问题。 ( 2 ) 提出了一种基于概率粗糙集的增量式规则学习算法，并把该算法应用在了入 侵检测规则提取中。该算法解决了不一致决策表中的规则提取问题，并且提出了一种规 则的动态更新策略，解决了规则在使用过程中的更新问题。 最后，通过仿真实验分别对上述两种检测方法进行了验证，把实验结果和同类方法 做了对比，验证了本文提出的检测方法在提高检测率、降低误报率和漏报率中的有效性。 关键词：入侵检测；网络安全；粗糙集；概率粗糙集；模糊粗糙集 弹哗耸麓辫 _ - _ a b s t r a c t t i t l e ：r e s e r a c ho ni d sb a s e do nr o u g hs e t m a j o r ：c o m p u t e rs o f t w a r ea n dt h e o r y n a m e ：x u h u id u s u p e r v i s o r ：p r o f q u a n z h uy a o s i g n a t u r e ：2 f 丝毖f 阻 s i g n a t u r e ： a s s o c i a t ep r o f c h a n g l o n gf u s i g n a t u r e ： a b s t r a c t w i t ht h eg r a d u a ld e v e l o p m e n to ft h ec o m p u t e rn e t w o r ka n da t t a c kt e c h n i q u e ，t h e t r a d i t i o n a ls e c u r i t yt e c h n i q u eh a sn o tb e e ns u f f i c i e n tf o rt h e r e q u i r e m e n to fn e t w o r ks e c u r i t y i n t r u s i o nd e t e c t i o na sas o r to fi n i t i a t i v es e c u r i t yt e c h n o l o g yc a nd e t e c tt h ei n t r u s i o nn o to n l y f r o mo u tb u ta l s of r o mi n ，a n di ti sa ni m p o r t a n tc o m p l e m e n tt of t r e w a l l s c u r r e n t l y ，t h e r e h a v eb e e nal o to fr e s e a r c hr e s u l t si nt h ef i e l do fi n t r u s i o nd e t e c t i o n ，b u tt h e s er e s u l t sc a nn o t e f f e c t i v e l yd e t e c tt h en e w e s ta t t a c k ，a n da l s oc a n n o tb u i l da c c u r a t em o d e l sf o rn o r m a lu s e r s a c t i v i t i e s ，e x i s t i n gh i g hf a l s ep o s i t i v er a t ea n df a l s en e g a t i v er a t ew h i c ha x et h ec u r r e n t l y u r g e n tp r o b l e m st ob es o l v e dw h e nd e t e c t i n gt h ei n t r u s i o n t h i sa r t i c l ea n a l y s e st h ea d v a n t a g e sa n dd i s a d v a n t a g e se x i s t i n gi nt h ec u r r e n ti n t r u s i o n d e t e c t i o n o nt h i sb a s e ，f u z z y r o u g hs e tt h e o r ya n dp r o b a b i l i s t i cr o u g hs e t t h e o r ya r e r e s p e c t i v e l ya p p l i c a b l et oi n t r u s i o nd e t e c t i o nt e c h n i q u e s a n dt h ei n n o v a t i o n sa r em a d ea s f o l l o w s ： ( 1 ) a ni n t r u s i o nd e t e c t i o nm e t h o db a s e do ni c aa n df u z z y - r o u g hs e tm o d e lh a sb e e np u t f o r w a r d ，w h i c ha d o p t si c aa l g o r i t h mt od i s t i l lt h ec o l l e c t e ds t a t i s t i c sa c c o r d i n gt ot h e c h a r a c t e r i s t i c sb e f o r et h ea n a l y s i so fn e t w o r kd a t ai no r d e rt oe l i m i n a t er e d u n d a n ta t t r i b u t e st o l o w e rd i m e n s i o n s a n dt h e nf u z z y r o u g hs e tm o d e lc a l lb eu s e dt o a n a l y z ed a t a ，s ot h e p r o b l e m sb r o u g h tb yt h ei n c o m p l e t e n e s so fn e t w o r kd a t at ot h ei n t r u s i o nd e t e c t i o nh a v eb e e n s e t t l e d ( 2 ) a ni n c r e m e n t a lr u l el e a r n i n ga l g o r i t h mb a s e do np r o b a b i l i s t i cr o u g hs e tm o d e lh a s b e e np u tf o r w a r da n di sa p p l i e dt ot h ed i s t i l l a t i o no fi n t r u s i o nd e t e c t i o np r i n c i p l e s ，w h i c h r e s o l v e st h ep r i n c i p l e sd i s t i l l a t i o np r o b l e m sa r i s i n gi ni n c o n s i s t e n td e c i s i o n m a k i n gf o r m a n d a l s oar e g u l a rd y n a m i cr e n o v a t i o ns t r a t e g yh a sb e e nb r o u g h tf o r w a r da n ds o l v e dt h eu p d a t i n g p r o b l e m sw h e np r i n c i p l e sw e r ei nu s e 西安理工大学硕士学位论文 i nt h ee n d ，t h et w od e t e c t i o nm e t h o d sa b o v eh a v eb e e nr e s p e c t i v e l yv a l i d a t e dt h r o u g h e m u l a t i n ge x p e r i m e n t sw h i c hc o m p a r e dt h ee x p e r i m e n tr e s u l t sw i t ht h es a m em e t h o d s ，a n d t e s t e dt h ev a l i d i t yo fd e t e c t i o nm e t h o d sp r o p o s e di nt h i sa r t i c l ei na s p e c t so fi m p r o v i n g d e t e c t i o nr a t e ，l o w e r i n gf a l s ep o s i t i v er a t ea n df a l s en e g a t i v er a t e k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；n e t w o r ks e c u r i t y ；r o u g hs e t ；p r o b a b i l i s t i cr o u g hs e t ； f u z z y r o u g hs e t i l 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明：本人所呈交的学位论文是我 个人在导师指导下进行的研究工作及取得的成果。尽我所知，除特别加以标注和致谢 的地方外，论文中不包含其他人的研究成果。与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并已致谢。 本论文及其相关资料若有不实之处，由本人承担一切相关责任 论文作者签名：氧血鱼獬 如蛄年弓月玎日 学位论文使用授权声明 本人熊丝挝在导师的指导下创作完成毕业论文。本人己通过论文的答辩， 并已经在西安理工大学申请博士硕士学位。本人作为学位论文著作权拥有者，同意 授权西安理工大学拥有学位论文的部分使用权，即：1 ) 已获学位的研究生按学校规定 提交印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生 上交的学位论文，可以将学位论文的全部或部分内容编入有关数据库进行检索：2 ) 为 教学和科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、 资料室等场所或在校园网上供校内师生阅读、浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部办 理。 ( 保密的学位论文在解密后，适用本授权说明) 论文作者签名：盔姐挥 导师签名：瞒b o 彩年；月订日 绪论 1 绪论 1 1 课题研究的背景及意义 随着网络技术的飞速发展，计算机网络给人们的工作和学习带来了极大的便利，然而 随着网络带宽的不断增大、网络结构的日趋复杂化以及网络攻击方法的多样化，使得我们 的网络受到了越来越多的安全威胁，这就给网络安全带来了极大的挑战。 传统的网络安全防御技术包括防火墙技术、加密策略、漏洞扫描等，它们已经很难确 保网络中的计算机不受外来攻击【1 2 】。防火墙技术是通过在网络边界上建立相应的网络通 信监控系统，尽可能的对外部网络屏蔽有关被保护网络的信息、结构，以达到保障网络安 全的目的；加密策略是利用现代的数据加密技术来保护网络系统中包括用户数据在内的所 有数据流，这类方法在数据传输过程中不对所经过的网络路径的安全程度作要求，从而 真正实现网络通信过程端到端的安全保障；漏洞扫描是自动检测远端或本地主机安全脆弱 点的技术，它查询t c p i p 端口，并记录目标的响应，收集关于某些特定项目的有用信息， 从而保证计算机的安全。这些技术有一些共同点，首先，它们都是被动的安全技术，都需 要人为的参与才能发现未知的安全问题，因此，他们对新出现的安全问题总是反映太慢； 另外，这些安全措施多是针对外来安全威胁，对于系统内部的攻击却束手无策。针对上述 问题，一个更好的解决途径就是入侵检测技术【3 j 。 入侵检测( i n t r u s i o nd e t e c t i o n ) 是指发现非授权使用计算机的个体或计算机系统的 合法用户滥用其访问系统的权利以及企图实施上述行为的个体【3 】。入侵检测技术作为一种 主动的网络安全技术，它是对防火墙的必要补充，作为重要的网络安全工具，它可以对系 统或网络资源进行实时检测，及时发现闯入系统或网络的入侵者，也可预防合法用户对 资源的误操作。入侵检测系统通过对系统或网络日志分析，获得系统或网络目前的安全状 况，发现可疑或非法的行为，它是为那些已经采取了结合强防火墙和验证技术措施的客户 准备的。图1 - 1 1 ”表示了入侵检测系统在整个网络安全体系中的作用和地位。 图1 - 1 入侵检测系统的作用 ( f i g l - 1f u n c t i o no fi n t r u s i o nd e t e c t i o ns y s t e m ) 西安理工大学硕士学位论文 1 2 国内外的研究现状 1 2 1 入侵检测技术研究现状 入侵检测系统是防火墙的重要补充，它是防火墙之后的第二道安全闸门，它能够在不 影响网络性能的情况下对网络进行检测，从而提供对内部攻击、外部攻击和误用操作的实 时检测。入侵检测从概念的提出至今经历了二十几年的时间，其发展大致经历了以下历程。 1 9 8 0 年，在j a m e sp a n d e r s o n 为美国空军做的题为c o m p u t e rs e c u r i t yt h r e a t m o n i t o r i n ga n ds u r v e i l l a n c e 的技术报告中第一次明确阐述了入侵检测的概念，并首 先为入侵检测提出了一个系统架构，这成为入侵检测发展史上一个重要的里程碑。 1 9 8 4 年到1 9 8 6 年之间，乔治城大学的d o r o t h yd e n n i n g 和s r i c s l ( s r i 公司计算机 科学实验室) 的p e t e rn e u m a n n 提出了一个实时入侵检测系统模型，并命名为i d e s ( 入侵 检测专家系统) 。i d e s 项目是i d s 早期研究中最重要的成果之_ ，d o r o t h yd e n n i n g 于1 9 8 7 年就i d e s 项目发表了论文1 2 j 。 1 9 8 9 年v a c c a r o h 和l i e p i n s g 提出了w & s 入侵检测系统，该系统首次提出了异常 检测的概念，该系统是一个专家系统和统计学分析方法的结合。该系统的诞生为入侵检测 的研究开辟了一个新思路，也标志着在入侵检测技术的研究上将会有大的突破。 1 9 9 0 年入侵检测技术的发展达到了一个高峰，入侵检测开始采用分布式技术，网络 入侵检测技术也开始出现，随后的研究证明，这两种研究方向的探讨很有价值，日后都成 为了入侵检测技术发展的主流方向。 1 9 9 1 年，n a d i r ( n e t w o r ka n o m a l yd e t e c t i o ns y s t e m ) 提出了收集和合并处理来自多 个主机的审计信息来检测针对一系列主机的协同攻击。 1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 建议使用自治代理以便提高i d s 的可伸缩 性、可维护性、效率和容错性。 1 9 9 5 年i d e s 的完善版本n i d e s ( n e x t g e n e r a t i o ni n t r u s i o nd e t e c t i o ns y s t e m ) 实 现了可以检测多个主机上的入侵。 1 9 9 6 年g r i d s ( g r a p h - b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 系统设计和实现对大规 模自动或协同攻击的检测很有效，这种跨越多个管理区域的自动协同攻击显然是入侵行为 发展的方向。同年，f o r r e s t 将免疫原理运用到分布式入侵检测领域，此后在i d s 中还 出现了遗传算法、遗传编程的运用。 1 9 9 7 年，c i s c o 要求w h e e l g r o u p 公司将入侵检测与他的路由器结合。同年，i s s 成 功开发了r e a l s e c u r e ，他是在w i n d o w sn t 下运行的分布式网络入侵检测系统，被人们 广泛使用。 1 9 9 8 年后期，r e a l s e c u r e 发展成为一个混合式的入侵检测系统，他对入侵行为具有 广泛的反应能力包括断开连接、发送s n m p 信息、e m a i l 提醒、运行客户程序记录会话内 2 绪论 容等，并能根据检测策略自动生产审计策略。近年来的技术创新还有f o r r e s t 将免疫原 理运用到分布式入侵检测中，1 9 9 8 年r o s sa n d e r s o n 和a b i d ak h a t t k 将信息检索技术 也引入这个领域。 入侵检测从1 9 9 9 年至今的一段时间，在入侵检测技术研究的方向上的新理论并不多， 更偏重于检测算法的改进，算法的改进主要集中在基于网络的入侵检测、分布式入侵检测、 基于只能a g e n t 的入侵检测神经网络和基因算法等几个有限飞领域。 在国内入侵检测的研究工作开展比较晚，科研工作主要集中在中科院信息安全国家重 点实验室、北京大学、北京邮电大学、武汉大学等几个机构。在工业晃的主流产品有：联 想的“网御”、方正的“方通s n i p e r 、东软的“n e t e y e 、中科网威公司的“天眼、绿 盟公司的“冰之眼”等。商业产品在研究方法上仍然以误用检测为主，在系统结构上向分 布式发展。 1 2 2 粗糙集理论研究现状 粗糙集理论( r o u g hs e t ) 是波兰数学家z p a w l a k 4 】于1 9 8 2 年提出的一种数据分析理 论。由于最初关于粗糙集理论的研究主要集中在波兰，因此当时并没有引起国际计算机界 和数学界的重视。直到1 9 9 0 年前后，由于该理论在数据的决策与分析【5 6 1 、模式识别【5 ，6 1 、 机器学习【7 】与知识发【8 ，9 】现等方面的成功应用，才逐渐引起了世界各国学者的广泛关注。 1 9 9 1 年z p a w l a k 的专著 r o u g hs e t s - - t h e o r e t i c a la s p e c t so fr e a s o n i n ga b o u td a t a 的问世，标志着粗糙集理论及其应用的研究进入了活跃的时期。1 9 9 2 年在波兰召开了关 于粗糙集理论的第一届国际学术会议。1 9 9 5 年a c mc o m m u n i c a t i o n 将粗糙集列为新浮现 的计算机科学的研究课题。目前，粗糙集理论已成为信息科学最活跃的研究领域之一。同 时，该理论还在医学、化学、材料学、地理学、管理科学和金融等其他学科得到了成功的 应用。 粗糙集理论在国内的研究起步比较晚，2 0 0 1 年5 月在重庆召开了“第一届中国r o u g h 集与软计算学术研讨会 ，并邀请了创始人z p a w l a k 教授做了学术报告，从此国内在粗糙 集理论方面的研究进入了活跃期。 1 3 本文的主要研究内容及组织结构 1 3 1 本文的主要研究内容 本文对目前主要的入侵检测方法存在的不足和粗糙集理论进行了深入研究，在此基础 上把粗糙集理论同入侵检测技术结合起来应用于入侵检测中，提出了两种基于不同j 日糙集 模型的入侵检测方法，并通过仿真实验验证了所提出检测方法的有效性，本文的主要研究 3 西安理工大学硕士学位论文 内容包括以下几个方面： ( 1 ) 针对目前网络安全所存在的问题，对当前一些主要的安全技术进行比较深入的 研究，并着重研究基于粗糙集理论的入侵检测技术。 ( 2 ) 结合当前入侵检测技术的研究成果，分析现有技术所存在的缺陷和未来入侵检 测系统所面临的问题，并提出相关的解决方案。 ( 3 ) 在现有的研究基础上，结合粗糙集理论比较新的研究成果，分别提出了基于模 糊粗糙集的入侵检测方法和基于概率粗糙集的入侵检测方法，并通过仿真实验验证了这两 种检测方法在入侵检测中的有效性。 1 3 2 本文的组织结构 本文在对现有的入侵检测系统模型进行分析和研究的基础上，分别提出了基于i c a 和模糊粗糙集模型的入侵检测方法和基于概率粗糙集的入侵检测方法。论文共分为以下六 个部分，其中： 第一章主要叙述了课题研究的背景、意义以及国内外有关粗糙集和入侵检测技术的研 究现状，并对本文的主要工作和组织结构进行了说明。 第二章对入侵检测做了较为系统的综述，包括入侵检测的定义、作用、分类以及发展 历史，并对传统的入侵检测技术做了概括，最后对当前入侵检测技术中存在的问题进行了 总结，同时对入侵检测的发展方向进行了展望。 第三章详细的介绍了机器学习和粗糙集的基本理论及方法，并对粗糙集理论中比较新 的研究成果进行了介绍。 第四章详细介绍了模糊粗糙集模型，在此基础上提出了一种基于i c a 和模糊粗糙集模 型的入侵检测方法，并通过仿真实验验证了所提出方法的有效性。 第五章详细分析了概率粗糙集模型，提出了一种基于概率粗糙集的增量式规则学习算 法，并把该算法应用到入侵检测中，提出了一种基于概率粗糙集的入侵检测模型，最后通 过仿真实验对该模型进行了验证。 第六章对第四章和第五章所提出的检测方法进行了对比分析，分别总结了两种方法的 优缺点。 第七章对全文工作进行了总结，并对本课题的研究进行了展望。 4 入侵检测概述 2 入侵检测概述 2 1 入侵检测简介 入侵检测( i n t r u s i o nd e t e c t i o n ) o o l 是指通过对计算机网络或计算机系统若干关键 点收集信息并对其分析，从而发现网络或系统中是否有违反安全策略的行为和被攻击的迹 象并作出反应的过程。实现入侵检测的软件与硬件的组合被称为入侵检测系统( i n t r u s i o n d e t e c t i o n ，简称i d s ) 。 乔治城大学的d o r o t h yd e n n i n g 和s r i c s l ( s r i 公司计算机科学实验室) 在1 9 8 7 年最 早提出了一个通用的入侵检测模型，模型如图2 - 11 1 0 】所示。 图2 1d e n n i n g 入侵检测模型 ( f i 9 2 - 1d e n n i n gi n t r u s i o nd e t e c t i o nm o d e l ) 该模型首次将入侵检测作为一种计算机安全防御措施提出，它主要根据主机系统审计 记录数据生成有关系统的若干轮廓，并监测轮廓变化差异，以发现系统的入侵行为，该系 统包括6 个主要部分： ( 1 ) 主体( s u b j e c t s ) ：在目标系统上活动的实体，通常指用户； ( 2 ) 对象( o b j e c t s ) ：指资源，即系统文件、设备、命令等； ( 3 ) 审计记录( a u d i tr e c o r d s ) ：由 构成的六元组。活动( a c t i o n ) 是对主体对象 o b j e c t 的操作。对操作系统而言，这些操作包括登录、退出、读、写、执行等；异常条 件( e x c e p t i o n c o n d i t i o n ) 是指系统对主体的异常活动的报告，如违反系统读写权限；资 源使用情况( r e s o u r c e u s a g e ) 指系统的资源消耗情况；时间戳( t i m e - s t a m p ) 指活动发生的 时间。 ( 4 ) 活动档案( a c t i v ep r o f il e ) ：系统正常行为模型，由反映系统正常活动的相关信 息组成。 西安理工大学硕士学位论文 ( 5 ) 异常记录( a n o m a l yr e c o r d ) ：异常事件的发生情况，由 组成。 ( 6 ) 活动规则( a c t i v i t yr u l e s ) ：一组根据产生的异常记录来判断入侵是否发生的规 则集合。 d e n n i n g 模型【1 0 】实际上是一个基于规则的模式匹配系统，早期的入侵检测系统都采用 该模型，然而该模型的最大缺点在于它没有包含已知系统漏洞或攻击方法的知识，而这些 知识在很多情况下是非常有用的信息。d e n n i n g 提出的模型对后续的i d s 发展起着重要的 指导作用，之后的i d s 模型大都留有它的痕迹，如后继的i d e s l l l 】和n i d e s l l 2 】模型都是对 d e n n i n g 模型的改进。 2 2 入侵检测的分类 目前i d s 的分类主要是根据数据来源、数据分析方法、响应方式、控制策略和时效性 等方面的不同来进行划分的，下面分别介绍一下各种划分标准。 2 2 1 根据数据来源分类 根据数据来源划分入侵检测系统是目前最通用的划分方法，它将入侵检测系统分为基 于主机的i d s 、基于网络的i d s 和混合式i d s 。 ( 1 ) 基于主机的入侵检测系统【1 3 ，1 4 ，1 5 】出现在8 0 年代初期，入侵检测系统一般安装在 被保护的主机上，主要是对与该主机通信的网络数据以及系统审计日志进行分析和检查， 当发现可疑行为和安全违规事件时，系统采取报警等响应措施。基于主机的入侵检测系统 最大的优点是可精确判断入侵事件，并实时做出反应；其缺点是系统的原始数据依赖于特 定的操作系统和审计日志，受具体操作系统平台的限制，系统的实现主要针对某种特定的 系统平台，可移植性差。 ( 2 ) 基于网络的i d s 是通过捕获并分析网络数据包来检测攻击，它的保护目标是整个 网络。基于网络的入侵检测系统使用原始网络数据包作为数据分析源，i d s 一般放置在比 较重要的网段内，不停地监视网段中的各种数据包，对其进行特征分析，判断是否有入侵 行为发生。在基于网络的入侵检测系统中，网络引擎处于核心位置，一般可分为数据包捕 获、协议分析、引擎管理和安全通信等模块，它的结构如图2 2 所示。 在网络监听模块中将网络接口设置为混乱模式，截取网络的所有数据包供协议分析模 块使用，它具有过滤功能，能预先过滤掉一部分数据包。如果该模块的过滤率太低会导致 上层分析模块无法及时处理而使数据包发生丢失。协议分析模块的功能是辨别数据包的协 议类型，调用相应的数据分析程序来检测数据包。数据分析是入侵检测系统的核心，一般 使用快速模式匹配算法来匹配分析网络数据包。入侵特征数据库中保存着各种预先设置好 6 入侵检测概述 的攻击模式，若当前网络数据和模式库中某种模式特征相匹配则表明该数据包中含有某种 入侵行为。引擎管理部分负责网络引擎中各部分的协调和配置，实现动态更新。 i 数据分析 1 ri i 1 ，i i i 协议分析1 1i 引擎管理 1 1 ri i 捕获数据卜 安全通信 f t i 网络接口 图2 2 基于网络的入侵检测系统模型 ( f i 9 2 2n e t w o r kb a s e di n t r u s i o nd e t e c t i o ns y s t e mm o d e l ) ( 3 ) 混合式i d s ，它既基于主机又基于网络，能够同时分析来自主机和网络的数据， 一般采用分布式结构。 2 2 2 根据数据分析的方法分类 对各种事件进行分析，从中发现违反安全策略的行为是入侵检测系统的核心功能。从 数据分析处理方法上看，入侵检测系统分为误用入侵检测系统和异常入侵检测系统。 ( 1 ) 误用入侵检测是通过某种方式预先定义入侵行为，然后监视网络或系统，从而发 现符合预先定义的入侵行为。这种入侵检测方式能检测出绝大部分己知的入侵行为，但是 对于未知攻击却无能为力。这种入侵检测系统虚警率很低，但漏报率较高。误用入侵检测 系统中的关键技术是如何全面描述攻击特征和各种变形，典型的误用入侵检测模型如图 2 3 所示。 修正规则 图2 3 误用入侵检测系统模型 ( f i 9 2 - 3m i s u s ei n t r u s i o nd e t e c t i o nm o d e l ) ( 2 ) 异常入侵检测系统是建立在如下的假设之上，任何一种入侵行为都能由于其偏离 正常或者所期望的系统和用户活动规律而被检测出来，也就是说入侵行为集是异常行为集 的子集。它首先根据系统或用户的正常历史操作建立一个系统或用户的正常行为轮廓，再 7 西安理工大学硕士学位论文 根据后续的操作是否偏离系统正常轮廓来判断是否发生入侵行为。 异常检测的优点是能检测出新的未知攻击行为，同时对合法用户越权操作的检测能 力也很强，另外，这种方法对操作系统的类型依赖程度比较低。但是其缺点也很明显，因 为其检测机理是建立在入侵行为是异常行为的子集这一假设上，理想的情况是入侵行为集 合同异常行为集合一致。但实际两个合并不能保证总是一致的，两者的关系包括入侵但不 异常、非入侵但异常、非入侵且不异常和入侵且异常四种可能。前面两种属于错误判断， 后面的属于正确判断，但前面两种的概率不为零，特别是第二种可能性很大，从而导致虚 警率较高。异常检测的第二个缺陷是系统的正常活动并不一定会在学习建模阶段全部了 解，这就导致了两种可能的后果：一个是在系统学习阶段系统正遭受入侵攻击，使得检测 系统的学习结果中包含了入侵行为信息，认为该活动是正常的而导致无法检测此类入侵行 为；另一个是由于系统的活动行为是不断变化的，需要检测系统具有在线学习功能，如果 黑客采用缓慢攻击的办法逐渐训练检测系统而不使其偏离正常行为的范围，就会使检测系 统最终把入侵行为当作正常行为看待；异常检测的第三个缺陷是管理、配置较为复杂，在 学习阶段需要大量的正常行为知识。 异常检测本身虽然有不少缺陷，但它能有效的检测到未知的入侵行为，是误用检测的 一个必要的补充。 2 2 3 根据响应方式分类 从响应方式的角度来分，入侵检测系统分为主动式i d s 和被动式i d s 。主动式i d s 会 在检测到入侵攻击时采取收集证据信息、调整安全设置、反击等行动来保护被检测系统不 被入侵。被动式i d s 则是在检测到入侵攻击后只产生报警，而入侵检测系统本身并不做任 何处理，依靠管理员采取进一步的措施。 2 2 4 根据时间分类 根据数据分析的时间与数据产生的时间关系，可以把i d s 分为脱机分析i d s 和联机分 析i d s 。脱机分析i d s 是在入侵行为发生后，对产生的数据进行批处理分析，通常脱机分 析的时间间隔比较短，如对系统日志的审核、系统文件完整性检查等都属于脱机分析。联 机分析是在数据产生的同时对其进行检查，以判断是否发生入侵，事件一旦发生，信息源 就传给分析引擎，并立刻得到处理和响应。 2 2 5 根据配置方式分类 8 根据入侵检测系统的配置方式可以把入侵检测系统分为集中式i d s 和分布式i d s 。 入侵检测概述 ( 1 ) 集中式i d s ：在被保护网络中分别放置检测器进行数据包搜集和分析，各个检测 器将检测信息传送给中央控制台进行统一处理，中央控制台还会向各检测器发送命令。这 种技术的优点是数据集中处理可以更加准确的分析可能的入侵行为。缺点是可扩展性差、 难于重新配置和添加新功能、中央分析器是一个单一失效点、数据的集中处理使检测主机 成了网络安全的瓶颈。此外，这种方式的数据采集对于大型网络很难实现。 ( 2 ) 分布式i d s ：分布式i d s 是目前入侵检测的发展方向。它采用分布式智能代理结 构，由一个或多个中央智能代理和大量分布在网络各处的本地代理组成，其中本地代理负 责处理本地事件，中央代理负责统一调控各个本地代理的工作以及从整体上完成对网络事 件进行综合分析工作。检测工作通过全部代理互相协作共同完成。 2 3 目前入侵检测技术所存在的问题和不足 虽然入侵检测技术在最近几年里得到了长足的发展，但仍然存在很多问题，有待我们 进一步去研究，目前入侵检测技术所存在的问题主要包括以下几个方面。 ( 1 ) 大规模网络所带来的问题：最初的i d s 都是统一集中式的，它们都运行在网络的 单个节点处，对于运行在这种环境下的i d s ，很多问题都没有暴露出来，但随着网络技术 的不断发展，对i d s 产品的部署要从单节点发展到包含了若干子网的大型网络，因此许多 潜在的问题就随之产生。i d s 系统的流量负载问题、高速网络对系统带来的瓶颈问题、日 益复杂的攻击方式、配置及更新问题等都有待进一步解决。 ( 2 ) 高误报率问题：传统意义上的误报是指将正常的行为误认为是入侵行为。从广义 上讲，误报还应该包括对i d s 用户不关心事件的报警。因此，导致i d s 产品高误报率的原 因是i d s 检测精度过低以及用户对误报概念的拓广。 ( 3 ) 如何利用各种检测方法的优势：对于i d s 系统，检测方法是系统的核心。目前针 对入侵检测系统有很多种入侵检测分析方法，这些方法各有利弊，大多数方法只适应于某 些种类的入侵，而没有能够检测到所有入侵行为的方法。因此如何把这些方法各自的优点 应用于同一个i d s 系统中是一个有待解决的问题。 ( 4 ) 互操作问题：未来的各种入侵检测系统应该能够遵循统一的数据交换格式和传输 协议，从而能够方便的共享信息，更好的协同工作，这个问题也有待解决。 ( 5 ) 评价i d s 产品没有统一标准：对i d s 系统的评价目前还没有客观统一的标准，标 准的不统一使得入侵检测系统之间不易互联。随着技术的发展和对新攻击识别的增加， i d s 系统需要不断升级才能更好的保证网络的安全性。 2 4 入侵检测的发展趋势 如何解决目前入侵检测技术所存在的不足，也就成为未来入侵检测系统的发展方向。 9 西安理工大学硕士学位论文 归结起来，入侵检测的研究发展方向主要有以下几个方面： ( 1 ) 入侵检测系统的标准化：由于入侵检测系统的市场在近几年中飞速发展，许多公 司投入到这一领域上来。除了国外的i s s 、n f r 、c i s c o 等公司外，国内也有数家公司( 如 中联绿盟，汉邦软科等) 推出了自己相应的产品。但就目前而言，入侵检测系统还缺乏相 应的标准，不同i d s 之间的数据交换和信息通信几乎不可能。目前，d a r p a 和i e t f 的入 侵检测工作组试图对i d s 进行标准话工作，分别制定了c i d f 和i d m e f 标准，从体系结构、 通信机制、消息格式等各方面对i d s 规范化，但进展非常缓慢，尚没有被广泛接受的标准 出台。因此，具有标准化借口的入侵检测系统将是下一带入侵检测系统的特征。 ( 2 ) 分布式入侵检测与通用入侵检测架构：传统的i d s 局限于单一的主机或网络架 构，对异构系统及大规模的网络检测明显不足，不同的i d s 系统之间不能协同工作。为解 决这一问题，需要发展分布式入侵检测技术与通用入侵检测架构。我们的c o i d s 工作即致 力于这方面的工作。 ( 3 ) 应用层入侵检测：许多入侵者的语义只有在应用层才能理解，而目前的i d s 仅能 检测如w e b 之类的通用协议，而不能处理如l o t u sn o t e s 、数据库系统等其他的应用系 统。 ( 4 ) 智能的入侵检测：入侵方法越来越多样化与综合化，尽管已经有智能体、神经网 络与遗传算法在入侵检测领域应用研究，但这只是一些尝试性的研究工作，仍需要对智能 化的i d s 加以进一步的研究以解决其自学习与自适应能力。 ( 5 ) 入侵检测系统的评测方法：面对功能越来越复杂的i d s ，用户需对众多的i d s 系 统进行评价，评价指标包括i d s 检测范围、系统资源占用和i d s 系统的检测已成为当前 i d s 应用的另一重要研究与发展领域。 ( 6 ) 与其他网络安全技术相结合：在入侵检测早期发展中，它常被当作一种独立的技 术，但现在入侵检测系统和网络管理的综合使用变的越来越必要了。单一的技术很难构建 一道强有力的安全防线，这就需要和其他安全技术共同组成更完备的安全保障系统，如结 合防火墙、p k l x 、安全电子交易s e t 等新的网络安全与电子商务技术，提供完整的网络 安全保障。 1 0 机器学习理论与粗糙集理论 3 机器学习理论与粗糙集理论 3 1 机器学习理论 机器学习( m a c h i n el e a r n i n g ) 1 6 ，1 7 】是研究计算机怎样模拟或实现人类的学习行为，以 获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能【1 8 】。它是人工 智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要 使用归纳、综合而不是演译。机器学习的基本模型如图3 1 【1 9 】所示： 输入x输出y 预测输出 图3 1 机器学习的基本模型 ( f i 9 3 1b a s i cm o d e lo fm a c h i n el e a r n i n g ) 其中，系统s 是我们研究的对象，它在给定的输入x 下得到一定的输出y ，l m 是我们 所求的学习机，输出是萝。机器学习的目的是根据给定的已知训练样本求取对系统输入输 出之间依赖关系的估计，使它能够对未知输出作出尽可能准确的预测。 机器学习可以形式化的表示为：已知变量y 和输入x 之间存在一定的未知依赖关系，即 存在一个未知的联合概率p ( x ，y ) ，学习就是根据n 个独立同分布观测样本： g ，y ，) ， 2 ，y 2 ) ， 。，y 。) ，在一组函数 f ( x ，w ) ) 中求一个最优的函数f ( x ，w ) ，使预测 的期望风险最小，预测的期望风险通过公式3 1 计算。 a o , v ) - f l o , ，f ( x ，w ) ) c l p ( x ，y ) ( 3 1 ) 其中 f ( x ，w ) ) 称作预测函数集，w q 为函数的广义参数，l ( y ，f ( x ，w ) ) 为由于f ( x ，w ) 对y 进行预测的损失函数。不同类型的学习问题有不同的损失函数。预测函数f ( x ，w ) 称为学习 机器。 机器学习的困难一是学习样本不充分，二是学习机器设计不合理。这两个问题是互相 关联的，因为学习机器的复杂性不但和要研究的系统有关，而且要和有限的样本相适应， 这就出现了学习精度和推广性之间的矛盾。在实际应用中，样本的有限性是普遍存在的问 题。 要使期望风险值r ( w ) 最小，就必须依赖于联合概率p ( x ，y ) 的信息，但在实际问题中， 我们只能利用已知样本的信息，因此期望风险不能直接计算和最小化。根据概率论中大数 定理的思想，可以用算术平均代替r ( w ) 中的数学期望，即用r e m p ( w ) 来逼近期望风险， 其计算公式如下【2 0 1 ： 西安理工大学硕士学位论文 r 唧( 形) 一丢砉l ( y ，f 。以缈) ) 。一( 3 2 ) 由于r e m p 是用已知的训练样本定义的，因此称为经验风险。用参数w 求经验风险的最小 值代替求期望风险的最小值的方法，就是所谓的经验风险最小化原则【2 1 】。 3 2 粗糙集理论基础 3 2 1 粗糙集理论概述 粗糙集理论一种用来处理模糊性与不确定性的数学工具。粗糙集理论建立在分类机 制上，将知识理解为对数据的划分，是在特定空间上由等价关系构成的划分。粗糙集理论 认为知识库中的知识不是同等重要的，而且还存在冗余，不利于作出正确的决策，它提供 了一套比较成熟的在样本数据集中发现数据属性之间关系的方法。知识约简要求在保持知 识库分类和决策能力不变的条件下，删除不相关或不重要的属性。在用粗糙集理论进行分 析时，先从所有属性中筛选出反映数据之间本质关系的重要属性，在基于这些重要属性来 建立规则。 粗糙集理论主要思想1 4 】就是在保持分类能力不变的前提下，通过知识约简1 2 2 ，2 3 】，导出 问题的决策或分类。粗糙集理论可以处理下列问题：( 1 ) 不确定或不精确知识的表达； ( 2 ) 经验学习并从经验中获取知识；( 3 ) 不一致信息的分析；( 4 ) 根据不确定、不完整 的知识进行推理；( 5 ) 在保留信息的前提下进行数据化简；( 6 ) 近似模式分类；( 7 ) 识别 并评估数据之间的依赖关系。目前粗糙集理论已被成功的应用于机器学习、决策分析、过 程控制、模式