（计算机应用技术专业论文）分布式入侵检测系统关键技术研究.pdf

分布式入侵检测系统关键技术研究 捅要 近年来，网络的发展和普及为我们的工作和生活提供了便利，但同时其安全性和可 靠性成为我们关注的焦点。随着攻击者知识的日趋成熟，攻击工具与手法的r 趋复杂多 样，单纯的防火墙已经无法满足企业的安全需要，入侵检测系统( i d s ，i n t r u s i o n d e t e c t i o ns y s t e m ) 作为一种积极主动的安全防护系统，能提供对内部攻击、外部攻击 和误操作的实时保护，并且能够在系统遭受攻击之前响应入侵，及时通知管理员采取措 施，大大提高了其安全性，得到了广泛的研究和应用。 通过对入侵检测系统的基本概念、检测技术分类、检测方法进行详细论述，以及对 各种检测方法进行深入比较的基础上，提出了现有入侵检测技术的局限性和入侵检测的 发展趋势。其中作为入侵检测系统研究的一个重要方向一分布式入侵检测系统由于其先 进的思想理念和安全高效的检测技术得到了快速的发展。 在分布式入侵检测系统的研究中，通过重点分析和探讨分布式入侵检测的框架、系 统特点、系统模型以及典型的分布式入侵检测系统，我们深入的分析和研究了分布式入 侵检测系统的关键技术：分布式网络探测引擎技术。在此基础上对分布式入侵检测系统 进行了改进，并给出了设计思想：针对基于分布式入侵检测系统的网络探测引擎作了专 门的研究，在预处理技术部分中，对基于预处理技术包重组进行了调整，降低了入侵检 测的漏报率，提高了系统的稳定性；同时通过在探测引擎中采用了高效的规则匹配算法， 在b o y em o o r e 算法的基础上提出了b m z 0 算法来实现入侵检测的关键部分：模式匹配， 提高探测引擎的处理速度。通过实验验证，该改进技术能明显提高系统的检测效率和稳 定性，达到了对系统研究和设计的初衷。 关键字：入侵检测系统( i d s ) ，b m 算法，网络探索引擎，模式匹配 t h e k e yt e c h n o l o g yr e s e a r c ho f d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m a b s t r a c t i nr e c e n ty e a r s ，t h ed e v e l o p m e n ta n dp o p u l a r i z a t i o no fi n t e r n e tp r o v i d e sc o n v e n i e n c e f o ro u rw o r ka n dl i f e ，b u ta tt h es a m et i m e ，t h es a f e t ya n dr e l i a b i l i t yo fi n t e r n e tb e c o m et h e f o c u so fo u ra t t e n t i o n w i t ht h ea t t a c k e r sk n o w l e d g eb e c o m e sm a t u r ea n dt h ei n c r e a s i n g l y a t t a c k i n gt o o lt e c h n i q u ea r ed i v e r s ea n dc o m p l e x ，t h ep u r ef i r e w a l lh a sf a i l e d t om e e tt h e c o m p a n ys e c u r i t y sn e e d s a sak i n do fp o s i t i v es a f ep r o t e c t i o ns y s t e m ，i n t r u s i o nd e t e c t i o n s y s t e m ，w h i c hc a np r o v i d ear e a l - t i m ep r o t e c t i o nf o ri n t e r n a la n de x t e r n a l a t t a c k so rt h e i n c o r r e c to p e r a t i o n ，a n dr e s p o n s et h ei n v a s i o nb e f o r et h ea t t a c k ，a n di n f o r ma d m i n i s t r a t o r st o t a k em e a s u r e s ，i m p r o v et h es e c u r i t yg r e a t l y , h a sg o tt h ee x t e n s i v er e s e a r c ha n da p p l i c a t i o n b a s e do nt h ed e t a i l e de x p o u n dt h eb a s i cc o n c e p to fi n t r u s i o nd e t e c t i o ns y s t e m ，t h e c l a s s i f i c a t i o na n dm e t h o do fm e a s u r e m e n tt e c h n i q u e ，a n dt h ec o m p a r i s o no fa l lk i n d so f d e t e c t i o nm e t h o d ，t h el i m i t a t i o n so fc u r r e n ti n t r u s i o nd e t e c t i o nt e c h n o l o g ya n dd e v e l o p m e n t t r e n do fi n t r u s i o nd e t e c t i o na r ep r o p o s e d a sa ni m p o r t a n tr e s e a r c hd i r e c t i o no fi n t r u s i o n d e t e c t i o ns y s t e m ，t h ed i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e mh a sg o tt h ef a s td e v e l o p m e n t b e c a u s eo fi t sa d v a n c e di d e aa n dt h es a f ea n de f f e c t i v ed e t e c t i o n st e c h n o l o g y i nt h es t u d yo ft h ed i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，t h r o u g ht h ea n a l y s i sa n d d i s c u s s i o no ft h ed i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，t h es y s t e mf r a m e w o r k ，t h es y s t e m c h a r a c t e r i s t i c s ，a n dt h et y p i c a lm o d e lo fd i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，w ei n _ d e p t h a n a l y s i sa n dr e s e a r c ht h ek e yt e c h n o l o g yo fi n t r u s i o nd e t e c t i o ns y s t e mi n - d e p t h ：t e c h n o l o g y o ft h ed i s t r i b u t e dd e t e c t i o ne n g i n eo fn e t w o r k o nt h eb a s i so ft h a tk n o w l e d g et h es y s t e mi s i m p r o v e d a n dt h ed e s i g ni d e ai st h a tas p e c i a lr e s e a r c hi sm a d et ot h ed i s t r i b u t e dd e t e c t i o n e n g i n eo fn e t w o r k i nt h ep a r to fp r e t r e a t m e n tt e c h n o l o g y , r e s t r u c t u r i n gt e c h n o l o g yb a s e do n t h ep r e t r e a t m e n tt e c h n o l o g yi sa d j u s t e d ，w h i c hc a nr e d u c et h er a t eo ff a i l ，a n di m p r o v et h e s t a b i l i t y ；m e a n w h i l eu s i n gt h ee f f e c t i v er u l e sm a t c h i n ga l g o r i t h m si nt h ed e t e c t i o no fe n g i n e ， t h eb m z oi n t r u s i o nd e t e c t i o na l g o r i t h mb a s e do nt h eb a s i so fb o y em o o r ea l g o r i t h m ，w h i c h i sp r o p o s e dt or e a l i z et h ek e yp a r t s ，i sp u t t e df o r w a r d ：t h er u l eo fm a t c h e s i tc a ni m p r o v et h e d e t e c t i o ns p e e do ft h ee n g i n e t h ee x p e r i m e n tt e x t st h a tt h ei m p r o v e m e n tt e c h n o l o g yc a n g r e a t l yi m p r o v et h ee f f i c i e n c ya n ds t a b i l i t yo ft h es y s t e m ，i tc a nm e e tt h er e q u i r e m e n t so ft h e d e s i g n k e yw o r d s ：i n t r u s i o n d e t e c t i o ns y s t e m ( i d s ) ，b o y em o o r ea l g o r i t h m ，n e t w o r k e x p l o r a t i o ne n g i n e ，p a t t e r nm a t c h i n ga l g o r i t h m 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名： 连重坌日期：垃z ： 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包 括：学校有权保管、并向有关部门送交学位论文的原件与复印件； 学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的，复 制赠送和交换学位论文；学校可以公布学位论文的全部或部分内容 ( 保密学位论文在解密后遵守此规定) 。 签 名：i 乏丝 日期： 生2 ：墨 导师签名：翻氇乙本牡日期：丝与止 中北大学学位论文 1 1 课题目的与意义 1 绪论 随着计算机网络与信息技术的发展，网络信息已经渗透到社会经济、文化和科学的 各个领域，并逐步改变着人类的生活和工作方式。越来越多的政府、企业组织建立了依 赖于网络的业务信息系统，比如电子政务、电子商务、网上银行、网络办公等，对社会 的各行各业产生巨大深远的影响，信息安全的重要性也在不断提升。网络的发展和普及 为我们的工作和生活提供了便利，但同时其安全性和可靠性成为我们关注的焦点。近年 来，企业所面临的安全问题越来越复杂，安全威胁正在飞速增长，尤其混合威胁的风险， 如蠕虫、病毒、间谍软件、d d o s 攻击、垃圾邮件等，极大地困扰着用户，给企业的信息 网络造成严重的破坏。能否及时发现并成功阻止网络黑客的入侵、保证计算机和网络 系统的安全和j 下常运行便成为企业所面临的一个重要问题。 网络互联迅速的扩展，特别是i n t e r n e t 大范围的开放以及金融领域网络的接入， 越来越多的系统遭到入侵攻击的威胁。这些威胁大多是通过挖掘操作系统和应用服务程 序的弱点或缺陷( ( b u g ) 来实现的。而绝大多数人在谈到网络安全时，首先会想到“防 火墙”，所谓的防火墙是所有为防止计算机或计算机网络免遭攻击的硬件或软件的集合。 如今防火墙已经得到了广泛的应用，在企业中一般采用防火墙作为安全保障体系的第一 道防线，防御黑客攻击。但是，随着攻击者知谚 的同趋成熟，攻击工具与手法的f i 趋复 杂多样，单纯的防火墙已经无法满足企业的安全需要。目前，对付破坏系统企图的理想 方法足建立一个完全安全系统。但这样的话，就要求所有的用户能识别和认证自己，还 要采用各种各样的加密和强访问控制策略来保护数据乜1 。但从实际上看，这根本是不可 行的。首先，在实践中，建立完全安全系统根本是不呵能的；其次，要将所以已安装的 带安全缺陷的系统转换成安全系统需要相当长的时间；第三，加密技术方法本身存在的 一定问题；第四，安全系统易受内部用户滥用特权的攻击；第五，安全访问控制等级和 用户的使用效率成反比；第六，访问控制和保护模型本身存在一定的问题；第七，在软 件控制中存在软件测试不充足、软件生命周期缩短、大型软件复杂性等难解问题。 中北大学学位论文 基于上述问题的解决难度，一个实用的方法是建立比较容易实现的安全系统，同时 按照一定的安全策略建立安全的辅助系统，入侵检测系统( i d s ) 就是这样一类系统。i d s 一般是采取预防的措施来防止入侵事件的发生，入侵检测作为安全技术其作用在于：不 仅可以识别入侵者及入侵的行为，并对其进行检测和监视，还能为对抗入侵及时提供重 要的信息，并阻止事件的发生和事态的扩张。因此，入侵检测是非常必要的。入侵检测 系统是网络安全最后一道屏障，起到极为重要的作用。入侵榆测作为安全防护的一个重 要手段可以及时发现系统漏洞及入侵动机和行为，及时提醒管理人员采取相应的措施、 显著的减少被入侵的可能性和可能造成的损失。因此研究高效的安全检测技术和开发实 用的安全检测系统具有重大的理论和事件意义瞳1 。 其中作为入侵检测系统研究的一个重要方向一分布式入侵检测系统一直受到网络 安全人士的重视。分和式系统有望提供系统的稳定性、可扩展性、并能使系统融合各种 检测技术于一身，从而创建一个相对完美的入侵检测系统，以克服现有的系统方法单一， 系统性能不好等诸多问题。本文探讨将改进算法技术引入入侵检测系统，在优化入侵检 测系统的体系结构方面发挥较好的作用。 1 2 入侵检测研究 1 。2 1 国内外的研究状况 入侵检测系统从最初实验室里的研究课题到目前的商业产品，己经有2 0 多年的发展 历史。早期的检测方法比较简单，大多数i d s 都足基于主机的。随着网络应用的迅速普 及和入侵检测技术的进一步发展，1 9 9 4 年，普渡大学的m a r kc r o s b i e 和g e n es p a f f o r d 等推出了适用于大规模网络的分布式入侵枪测系统a a f i d ( a u t o n o m o u sa g e n tf o r i n t r u s i o nd e t e c t i o n ) 。”。1 9 9 6 年，c h e u n gs 提出了g r i d s ( g r a p h b a s e di n t r u s i o n d e t e c t i o ns y s t e m ) ，该技术对大舰模的自动或协同攻击的检测更为有利。伴随着广域 ， 网的发展和黑客攻击技术的不断提高，运用于大型网络的分和式入侵检测系统( 比如： e m e r a l d ，g r i d s 等) 已取替了早期集中式的网络入侵检测系统。这种分和式入侵检测方 法的扩展能力强，容错能力强，能够检测出大范围的网络入侵活动。目前，对广域网范 围内的高效稳定的安全检测技术的研究是分布式入侵检测系统研究的重点。 2 中北大学学位论文 现今国际上最先进的入侵检测系统是美国i s s 公司的r e a l s e c u r e ，它采用了智能攻 击识别技术。其它公司丌发的入侵检测工具，如：n a i 公司的c y b e r c o pm o n i t o r ，a x e n t 的 n e t p r o w l e r 和c i s c 0 的n e t r a n g e r 等，也有比较完善的功能和较强的实用性，能对大量攻 击和系统误用特征进行识别，并采取及时的入侵反应措施来确保系统的安全。 在国内计算机网络安全己成为研究热点，但在入侵检测技术方面国内的研究，处于 跟踪国外技术阶段，投入实际使用的入侵检测系统很少，而且系统功能还比较简单。主 要产品包括：紫光网络推出的网络安全入侵检测系统u n i s i d s 、绿盟公司的“冰之眼h 协 等等。 尽管现在入侵检测技术取得了很大的进展，但仍然存在很多问题，特别是在入侵检 测技术方面，现在国内外专家都在寻找更有效的入侵检测手段。 1 2 2 存在问题 近些年来，针对网络和计算机系统的入侵行为的增加，为了确保网络和计算机系统 的相对应的安全，入侵检测技术一直以来深受人们的关注。入侵检测技术存在许多问题， 主要表现在如下几方面： ( 1 ) 高误报率，由于i d s 检测精度过低和用户对误报概念的不确定，所以导致系统 的较高误报。 ( 2 ) 入侵检测系统作为一种被动的安全防御系统，缺乏主动防御的功能。 ( 3 ) 入侵检测技术的评价标准的不统一，使得系统问的联动性差，导致产品适应能 力低。 ( 4 ) 对i d s 自身的攻击。 ( 5 ) 客脱的评估与测试信息的缺乏。 ( 6 ) 处理速度上的瓶颈。 1 2 3 入侵检测技术的发展方向 入侵检测系统作为防火墙之后的第二道屏障，能够为网络安全提供实时的入侵检测 及相应的防护手段，如记录证据用于足艮踪、恢复、断开网络连接等。目前在入侵检测领 3 中北大学学位论文 域已进行了卓有成效的研究和开发，由于巨大的市场吸引力，许多公司投资推出了各自 的网络入侵检测产品，在一定程度上满足了互连网络用户在特定环境下对网络入侵检测 的需求。但随着入侵检测技术的发展，入侵技术也在更新，以多层次、全方位立体防御 安全策略为出发点的安全产品成为新的需求，无论从规模还是从方法上入侵检测技术近 年来都发生了变化。因此今后的入侵枪测技术大致可朝以下3 个方向发展： ( 1 ) 分布式入侵检测 传统的入侵或攻击行为一般只局限于单一的主机或网络框架执行，显然不能适应大 规模网络的监测，不同的入侵检测系统之问也不能协同工作。因此，必须发展大规模的 分布式入侵检测技术。所谓分布式入侵检测有两层含义：第一层含义即针对分布式网络 攻击的检测方法；第二层含义即使用分布式的方法来检测分布式的攻击，其中关键技术 为检测信息的协同处理与入侵攻击的全局信息提取。 ( 2 ) 智能化入侵检测 智能化入侵检测是指使用智能化的方法与手段来进行入侵检测。所谓的智能化方 法，现阶段常用的有神经网络、遗传算法、模糊技术、免疫原理等方法，这些方法常用 于入侵特征的辨识与泛化。利用专家系统的思想来构建入侵检测系统也足常用的方法之 一。应用智能体的概念来进行入侵检测的尝试也已有报道。较为一致的解决方案应为高 效常规意义下的入侵检测系统与具有智能检测功能的检测软件或模块的结合使用。 ( 3 ) 全面的安全防御方案 所谓全面的安全防御方案是指使用安全工程风险管理的思想与方法来处理网络安 全问题，将网络安全作为一个整体工程来处理。从管理、网络结构、加密通道、防火墙、 病毒防护、入侵检测多方位全面对所关注的网络作全面的评估，然后提出可行的全面解 决方案。入侵检测系统应与其他安全产品联动。结合防火墙、p k i x 、安全电予交易( s e t ) 等新的网络安全与电子商务技术，提供完整的网络安全保障。 1 3 主要研究和结构 自1 9 8 0 年j a l n es p a n d e r s o n 提出入侵检测的概念至今，经过2 0 多年的发展已 涌现出成卣种采用不同技术和方法的入侵检测产品或模型，但大多数产品或模型存在着 误报或漏报率高、检测效率差等缺陷。针对这些问题，研究了分步式入侵检测的关键技 4 中北大学学位论文 术即：分步式网络探测引擎技术，该项技术对于减少分步式入侵检测系统的漏报率，提 高检测效率有着举足轻重的作用，主要研究内容如下： ( 1 ) 阐述了国内外入侵检测技术的基本发展状况。 ( 2 ) 阐述了分步式网络探测引擎技术工作原理，其主要分为五个部分，包括：数据 采集协议部分，协议分析部分，预处理技术部分，规则链表生成协议和规则匹配算法。 ( 3 ) 在预处理技术部分中，对基于预处理技术包重组进行了调整，减低了入侵检测 的漏报率。 ( 4 ) 模式匹配算法部分，在b o y em o o r e 算法的基础上提出了b m z o 算法来实现入侵 检测的关键部分：模式匹配。 ( 5 ) 对未来的研究和发展进行展望。 1 。4 论文的结构和章节 本文各章内容安排如下： 第一章：介绍了本课题研究的背景、目的和意义。叙述了网络安全的现状、网络安 全策略，入侵检测系统的研究现状，提出入侵检测系统所存在的问题。最后概括本文的 研究内容及结构安排。 第二章：对入侵检测系统的基本概念、检测技术分类、检测方法和入侵检测发展趋 势进行了详细论述，并对各种检测方法进行深入比较，分析其优、缺点。 第三章：介绍了分布式入侵检测系统的基本框架，特点和对典型的分布式入侵检测 系统的分析。 第川章：介绍了分布式网络探测引擎中数据采集部分和协议分析部分，对预处理器 技术中的包。蕈组和协议解码及非规则的或基于异常检测的详细论述，重点对预处理技术 包重组进行调整。 第五章：模式匹配的研究。重点研究了模式匹配算法，财经典模式匹配算法进行研 究分析，并对各种算法进行比较，提出改进的算法，通过对算法性能分析与实验测试， 说明了改进算法的优化效果。 第六章：总结。 5 中北大学学位论文 2 入侵检测技术 入侵是指任何企图危及资源的完整性，机密性和可用性的活动。入侵检测顾名思义， 是指对入侵行为的发现，它通过在计算机网络或计算机系统中的若干个关键点收集到的 信息进行分析，从而判断网络或系统中是否有违反安全策略的行为和被攻击的迹象。它 具有智能监控、实时探测、动态响应、易于配置等特点。 2 1 典型的入侵过程 一个典型的入侵过程通常由以下几个步骤组成： 图2 1 典j 弘的入侵过程 在这个入侵过释当中，我们可以发现，黑客想要攻击一个目标主机，首先要搜集该 目标主机的一些信息，包括一些系统最新的安全漏洞和攻击方法，接着获取目标主机的 账号信息，以便于登陆，当得到系统的访问权限后，便要得到超级用户的访问权限，以 更好地把握攻击的主动权，值得注意的足，在进行上面的那些操作时，往往会在系统中 留下许多同志信息，这些信息会暴露黑客的存在及行踪，因此当一个黑客成功地入侵一 台主机后第一件事就是删除踪迹，有的黑客可能会将所有的h 志文件删除，这样做虽然 6 中北大学学位论文 可以保护自己，但是很容易被对方管理员发现本系统受到过入侵，及时做出相应的防护 措施，如修改密码、删除后门等，因此有经验的黑客会选择仅删除r 志中与之相关的几 条记录，当对方审查日志时不会感觉异常，这样便具有更强的隐蔽性。当以上操作完成 以后，这台被攻击的主机就可以用来攻击网络上的其他机器了，这种情况下，攻击者已 经完全掌握了攻击的主动权，可以任意修改整个系统的行为。而有的黑客仅仅只是为了 满足自己的虚荣心，在后门安装好以后对系统进行恶意破坏，如使机子死机等等。 可以看出，一般来说黑客的攻击手段分为两类：非破坏性攻击和破坏性攻击，如为 前者，则黑客可能仅仅只是为了证明自己的能力，一般是为了扰乱系统的运行，并不盗 窃系统资料，通常以目标系统为对象造成其拒绝服务或采用信息炸弹等造成意外后果； 而作为后者，黑客本身就怀着特定的目的，他们企图通过入侵某些系统盗取机密信息以 获取经济上的利益，或者通过特殊权限使得目标系统成为自己的傀儡机，从而可以为所 欲为。 2 2 入侵检测 2 2 1 入侵检测必要性 一个安全系统至少应该满足用户系统的机密性，完整性及可用性要求。随着网络连 接的迅速扩展，越来越多的系统遭到入侵攻击的威胁，这些威胁大多是通过挖掘操作系 统和应用服务程序的弱点或者缺陷来实现的。所以对付破坏系统企图的理想方法是建立 一个完全安全系统。 很多人认为只要安装一个防火墙就可以保障网络的安全，其实这是个误解，事实上， 仅仅使用防火墙保障网络安全是远远不够的。首先防火墙本身会有各种漏洞和后门有可 能被外部黑客攻破；其次防火墙不能阻止内部攻击，对内部入侵者来说毫无作用；再者 防火墙通常不能提供实时的入侵检测能力：最后有些外部访问可以绕，：防火墙。 入侵检测作为安全技术，其主要目的在于：第一，识别入侵者；第二，识别入侵行 为；第三，检测和监视己成功的安全突破；第四，为对抗入侵及时提供重要信息，阻止 事件的发生和事态的的扩大。所以说，入侵检测对建立一个安全系统来说是非常必要的， 它叮以弥补传统安全保护措施的不足。 7 中北大学学位论文 因此，入侵检测系统可以弥补防火墙的不足，为网络提高实时的入侵检测并采取相 应的防护手段。入侵检测系统可以看作是防火墙之后的第二道安全闸门，是防火墙的重 要补充，它在不影响网络性能的情况霞能对网络进行监测，从而提供对内部攻击、外部 攻击和误操作的实时检测。 2 2 2 入侵检测的发展历史 入侵检测的研究最早可源于j a m e sp a d e r s o n 在19 8 0 年的工作报告中，他在计算 机安全威胁的监控中，首先提出了入侵检测的概念，将入侵尝试( i n t r u s i o na t t e m p t ) 或威胁( t h r e a t ) 定义为：潜在的有预谋未经授权访问信息、操作信息、致使系统不可靠 或无法使用的企图。在报告中，a d e r s o n 还提出审计追踪可应用于监视入侵威胁。他为 美国国防部写的一份关于入侵检测的报告被认为是入侵检测系统研究的开创性工作。 1 9 8 4 1 9 8 6 年，d e n n i n g 和n e u m a n n 在s r i 公司内设计和实现了著名的i d e s ，该模 型基于用户行为特征轮廓，用统计学方法来描述系统主体相对于系统客体的行为。在技 术实现上，该系统采用的是混合结构，包含了一个异常检测器和一个专家系统，异常检 测器采用统计技术来刻画异常行为，专家系统采用基于规则的方法检测己知的危害计算 机安全的行为，两者结合起来以提高效率和准确度。 1 9 8 6 年，为检测用户对数据库的异常访问，w t t e n e r 在i b m 主机上用c o b o l 开发的 d is c o v e r y 系统，成为最早的基于主机的i d s 雏形之一n 1 。 1 9 8 7 年，d e n n i n g 提出了一个实时的入侵检测系统抽象模型一i d e s ( i n t r u s i o n d e t e c t i o ne x p e r ts y s t e m ，入侵检测专家系统) ，首次将入侵检测的概念作为一种计算 机系统的安全防御措施提出，与传统加密和访问控制的常用方法相比，i d e s 足全新的计 算机安伞措施。他提出的模型由六个部分构成：主体、埘象、审计i 己录、轮廓特征、异 常记录和活动舰则。同年d e n n i n g 发表的论文被称为是入侵检测的一篇经典之作。 1 9 9 0 年是入侵检测系统发展史上的一个分水岭，这一年，加州大学戴维斯分校的l t h e b e r l e in 等人提出了一个新概念：基于网络的入侵检测n s m ( n e t w o r ks e c u r it y m o n i t o r ) 。该系统是第一个监视网络数据流量并把网络数据流作为主要数据源的入侵检 测系统，其实现( 网卡设置为混杂模式一 捕获网络数据报一 分析协议提取特征) 的总体 结构至今仍为许多基于网络的入侵检测系统所采用。从此，入侵检测系统发展史翻开了 8 中北大学学位论文 新的一页，丌始形成两个重要的研究方向：基于主机的i d s 和基于网络的i d s 。 1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 建议使用自治代理( a u t o n o m o u sa g e n t s ) 以便提高i d s 的可伸缩性、可维护性、效率和容错性，该理念非常符合正在进行的计算 机科学其他领域( 如软件代理：s o f t w a r ea g e n t ) 的研究。 1 9 9 5 年开发了i d e s 完善后的版本下一代入侵检测专拣系统( n i d e s ) ，它可以检 测多个主机上的入侵。 1 9 9 6 年，新墨西哥大学f o r r e s t 提出了基于计算机免疫学的入侵检测技术【3 j 。 入侵检测经过数十年的发展，已经有了长足的进步。但不得不提的是入侵检测系统 研究的另一个领域分布式入侵检测系统d i d s 。该系统是最早的将基于主机检测和基 于网络检测结合起来的尝试，9 0 年代中期由多家单位协作研究而成，解决了网络环境下 跟踪网络用户和文件以及如何从发生在系统不同层次的事件中发现相关数据和事件的 问题，其提出和实现的基于网络和基于主机结合进行入侵检测的思想对今天的入侵检测 研究仍具有重要的现实意义。 另一条致力于解决当代绝大多数入侵检测系统伸缩性不足的途径于1 9 9 6 年提出， 这就是g r i d s ( g r a p h - b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和实现，该系统使得 对一大规模自动或协同攻击的检测更为便利，这些攻击有时甚至可能跨过多个管理领 域。同年，f o r r e s t 等人将免疫原理运用到分布式入侵检测领域，并取得了较好效果； l u d o v i cm e 以及其他学者利用遗传算法对入侵检测问题进行了建模。 1 9 9 8 年，c a n n a d y 提出的用于入侵检测的m l p 模型；r o s sa n d e r s o n 和a b i d ak h a t t a k 给入侵检测带来了创新，将信息检索技术引进到入侵检测。1 9 9 9 年w e n k el e e 在其博 士论文巾提出了一个完整的基于数据挖掘的入侵柃测模型，为数据挖掘在该邻域的应用 做了丌创性的工作。2 0 0 0 年2 月，对y a h o o 、a m a z o n 、c n n 等大型网站的分斫j 式拒绝服 务( d d o s ，d i s t r i b u t e dd e n yo fs e r v i c e ) 攻击引发了对i d s 系统的新一轮研究热潮。 2 0 0 3 年到2 0 0 4 年，全球众多安全研究机构都在丌展入侵柃测的研究，一种消除i d s 漏报误报的新技术i p ( s i n t r u s i o np r o t e c ts y s t e m ，入侵保护系统) 被提出。2 0 0 4 年 i d s 在全球销售额是2 8 1 1 亿美元，企业级应用逐渐成熟。 随着计算机技术的发展，人们对于安全问题的认识和理解也刁 断的演进，入侵检测 技术的产生是必然的结果。但这项技术在理论基础上还不足很完备，这使得他多少带有 9 中北大学学位论文 一些经验和假设的成分。我们认为，入侵检测领域的进一步发展存在着很多方向和不确 定性，也有赖于计算机智能科学上的研究和突破，这些突破可能在未来给入侵检测技术 带来重大的影响。 2 3 入侵检测技术分类 入侵检测一般要经过数据收集与归纳、行为的分析与分类、报告与响应等过程。目 前对现有的入侵检测技术可以分为以下几类：分别是根据监测的对象分为基于主机的入 侵检测、基于网络的入侵检测、基于主机和基于网络的混合型入侵检测；根据检测原理 进行分类分为异常( a n o m a l yd e t e c t i o n ) 入侵检测和误用( m i s u s ed e t e c t i o n ) 入侵 检测；根据其工作方式分类分为离线检测系统和在线检测系统；根据体系结构分类可分 为集中式和分布式；根据其他一些特征进行分类。 2 3 1 根据监测的对象分类 根据监测的对象分为基于主机的入侵检测、基于网络的入侵检测、基于主机和基于 网络的混合型入侵检测。 基于主机检测通常从主机的审计记录和日志文件中获得需要的主要数据源并辅之 以主机上的其他信息h 。例如文件系统属性、进程状态等，从技术发展来看，早期的入 侵检测系统都是基于主机的入侵检测技术；基于网络检测有点类似于防火墙，通常布置 在单独的机器上，通过监听网络中的数据包来获得必要的数据来源，并通过协议分析、 特征匹配统计分析等手段发现当自仃发生的攻击行为；混合型入侵榆测综合前两种入侵检 测技术，实现对网络数据主机数据的全而检测。 基于主机的入侵检测监控力度更细、配置灵活、可用于加密的以及交换的环境；基 于网络的入侵检测视野更宽、隐蔽性好、攻击者不易转移证据；混合型入侵检测足常用 的形式哺3 。 2 3 2 根据检测原理进行分类 根据检测原理进行分类分为异常( a n o m a l yd e t e c t i o n ) 入侵检测和误用( m i s u s e 1o 中北大学学位论文 d e t e c t i o n ) 入侵检测。 异常入侵检测是指能够根据异常行为和使用计算机资源的情况检测出来的入侵嫡3 。 其从审计记录中抽取出一些相关量( m e a s u r e ) 进行统计，为每个网络行为或用户建立 一个扼要描述文件，即行为特征。行为特征( p r o f il e ) 是网络行为或用户正常行为的 统计概要，当前行为与行为特征的差异大到一定程度时，就认为可能有入侵行为发生。 行为特征可根据具体需要定期修改。异常入侵检测模型使用的方法主要有概率统计方法 和神经网络方法等。 误用入侵检测足指利用已知系统和应用软件的弱点攻击模式来检测入侵。与异常入 侵检测不同，误用入侵检测能直接检测不利或不可接受的行为，而异常入侵检测足检查 出与正常行为相违背的行为。误用检测模型使用的方法主要有专家系统和模型推理等。 基于误用的入侵检测必须了解所有攻击的攻击特征，而基于异常的入侵检测则必须 了解系统期望的所有正常的使用行为。在现实中，这两者都是很难做到的。因为这两种 方法所依赖的知识基础的不完整性，都可能产生大量的误报和漏报事件。相比较，异常 入侵检测可以检测到一些新的未知攻击，而误用入侵检测不能检测未知攻击。 2 3 3 根据其工作方式分类 ( 1 ) 离线检测系统：离线检测系统是非实时工作的系统，它在事后分析审计事件， 从中检查入侵活动。事后入侵检测由网络管理人员进行，他们具有网络安全的专业知识， 根据计算机系统对用户操作所做的历史审计记录判断足否存在入侵行为，如果有就断刀= 连接，并记录入侵证据和进行数据恢复。事后入侵检测是管理员定期或不定期进行的， 刁 具有实时性。 ( 2 ) 在线检测系统：在线检测系统足实时联机的检测系统，它包含对实时网络数据 包分析，实时主机审计分析。其一r 作过程是实时入侵检测在网络连接过程中进行，系统 根据用户的历史行为模型、存储在计算机中的专家知识以及神经网络模型对用户当前的 操作进行判断，一旦发现入侵迹象立即断丌入侵者与主机的连接，并收集证据和实施数 据恢复。这个检测过程是不断循环进行的哺1 。 巾北大学学位论文 23 4 根据体系结构分类 根据入侵检测系统各模块运行的分布方式的不同可分为集中式和分稚式两类。 ( 1 ) 集中式入侵检测系统( c e n t r a l i z e di n t r u s i o nd e t e c t i o ns y s t e m ，c i d s ) 集中式基于主机的入侵检测系统由多个组件组成，如图22 所示： j 一 审计数据! 罔- f n 冀* - i 捡；。 j 一= ： 安个人员。 肯警 敏卅分 斤数据席i 一报袅 剧22 集中式 幢检测系统组成蹦 在集中式入侵检测系统中，数据被发送给检测引擎该引擎运行在与涉密计算机不 同的计算机( 中央控制台) 上。 涉密计算机上的代理软件创建事件已录。当有。个行为发生时，就会产生记录。 例如当打丌一个文件或执行一个程序时，这个记录就会被写进一个文件里。这些立件通 过审计子系统转变为原始审计数据。 代理软件将卜述文件集中到中央控制台。这是在预定的时间i i j 隔内通过一个安全 链路进行的。 检测引擎被配置成匹配误用模式，对数据进行处理。数据记录被以原始的或最初 的格式进行解析。 检测引擎会创建口志，该日志会为以后确定责任提供证据。如果检测到一个预先 移 豳鬻 叫i - 中北大学学位沦文 定义的模式，例如访问涉密文件，就发送一个告警给许多不同的子系统以便通知，响应 及存储。 可以通过声音，图像，电子邮件或其他许多不同的方式通知安全人员。同时响应 子系统按照告警产生预定义的响应，或按安全人员的指令完成响应。响应通知涉密计算 机进行这样一些操作，如重新配置系统，关闭涉密计算机的网络链路，注销用户等。 可以用一个关系数据库来存储告警，原始数据也应存储到数据库中，并定期对数 据库进行清理。此系统还应产生报表。这些报表能用于对用户，涉密计算机或安全部门 进行数据分析。 数据分析用于察看长期趋势。用存储在数据库中的数据及原始事件同志档案来分 析入侵行为，从而提炼出新的入侵行为加入检测策略，逐步降低系统的误报率或漏报率。 c i d s 的各个模块包括数据的收集与分析以及响应都集中在一台主机上运行，这种方 式适用于网络环境比较简单的情况。c i d s 也可能有多个分布于不同主机上的审计程序， 但只有一个中央入侵检测服务器，审计程序将当地收集到的数据踪迹发送给中央服务器 进行分析处理。c i d s 在系统的可伸缩性、可配置性方面存在致命缺陷。随着网络规模的 增大，主机审计程序和服务器之问传送的数据量就会骤增，必将导致网络性能的降低。 而且一旦中央服务器出现故障，整个系统就会陷入瘫痪。 ( 2 ) 分布式入侵检测系统( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，d i d s ) 相对于c i d s ，d i d s 的各个模块分布在网络中不同的计算机、设备上。一般来说分布 性主要体现在数据收集模块上，如果网络环境比较复杂、数据量比较大，那么数据分析 模块也会分布在网络的不同计算机设备上，通常足按照层次性的原则进行组织。d i d s 根 据各组件问的关系还可细分为层次式d i d s 年h 协作式d i d s 。其中层次式d i d s 是一种部分分 布控制形式，而协作式d i d s 是全分布式控制形式。 层次式d i d s 。为解决c i d s 的缺陷，在监视大规模的例络时，需将网络进行分层管理。 在层次式d i d s 中，定义了若干个分等级的监测区域，每一个区域有一个专门负责分析数 据的i d s ，每一级i d s 只负责所监测区域的数据分析，然后将结果传送给上一级j d s 。层 次式d i d s 通过分层分析很好地解决了集中式i d s 的不可扩展的l 、u j 题，但同时也存在下列 j 、u j 题：当网络的拓扑结构改变时，区域分析结果的汇总机制也需要做相应的调整：一旦位 于最高层的i d s 受到攻击后，其它那些从网络多路发起的协同攻击就容易逃过柃测，造 13 中北大学学位沦文 成漏检。 协作式d i d s 。协作式将中央检测服务器的任务分配给若干个互相合作的基f 主机的 i d s ，这些i d s 不分等级，各司其职，负责监控本地主机的某些活动，所有的i d s 并发执 行并相互协作。层次式i d s 的特点就在于它的各个结点都是平等的，一个局部i d g 的失效 不会导致整个系统的瘫痪，也不会导致协同攻击检测的失败。凶而，系统的可扩展性、 安全性都得到了显著的提高。但同时它的维护成本却很高，并且增加了所监控主机的工 作负荷，如通信机制、审计开销、踪迹分析等。而且主机之问的通信、审计以及审计数 据分析机制的优劣直接影响了协作式入侵检测系统的效率。 在实际中，面对越来越复杂的网络攻击，简单的使用单纯一种方式是不能够保障整 个系统的安全的。很多入侵检测系统采用多种检测技术，例如将基于主机检测和基于网 络检测相结合，将误用检测和异常检测互相补充等等。 2 3 5 根据其他一些特征分类 ( 1 ) 系统设计目标：不同的i d s 有不同的设计目标。有的只提供记帐功能，其