（通信与信息系统专业论文）单类异常网络入侵检测算法研究.pdf

哈尔滨工程大学硕士学位论文 摘要 随着计算机网络互联技术的迅猛发展，如何确保网络信息的安全已经 成为日益严峻的课题。在i n t e r n e t 飞速发展的同时，对安全系统的要求 也与日俱增，其要求之一就是入侵检测系统。入侵检测技术作为一种主动 防御技术，弥补了传统安全技术的不足。然而，目前入侵检测技术还不够 成熟，国产i d s 产品还多处于特征检测的初级阶段，在异常检测方面与国 外还存在较大的差距，在混合检测领域基本还处于空白状态。本文以可以 识别未知入侵的异常检测技术为对象，对系统的正常情况建模，主要进行 单类异常网络入侵检测算法的研究。 针对分布式拒绝服务攻击( d d o s 网络攻击) ，给出了一种新的基于 s s n f f ( 小波分析空间相关性选择正常流算法) 的入侵检测模型。该模型利 用s s n f f 算法进行d d o s 信号的提取，对提取的d d o s 信号利用基于极 大曲线长度阈值的去噪算法与阶跃点判定准则进行入侵发生点的检测，并 对实际采集到的网络流量和仿真攻击流量的混合流进行仿真验证，实验结 果验证了设计思想的正确性。 分析了传统s v d d ( 支持向量机数据描述) 算法中的不足，构建了基 于s v d d 和聚类算法相结合的入侵检测模型。该模型首先利用k 均值算 法对正常样本数据进行分类，然后利用s v d d 数据表达能力对聚类密集的 数据集合进行描述，最后利用形成的多个判决函数对样本进行判别，并利 用u 矩阵值作为聚类密集度的判定条件，形成了一个聚类算法和s v d d 相结合的单类异常网络入侵检测模型，克服了入侵检测系统中非正常网络 数据不好收集的不足。仿真分析与实验结果验证了该算法的性能。 关键词：网络安全；单类异常检测；s s n f f 算法；聚类算法；s v d d 算法 哈尔滨工程大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rn e t w o r kt e c h n o l o g y , h o wt oe n s u r e t h es e c u r i t yo fn e t w o r ki n f o r m a t i o nh a si n c r e a s i n g l yb e c o m eas e r i o u si s s u e w h i l ei n t e r n e td e v e l o p sr a p i d l y , t h ed e m a n d so fs e c u r i t y s y s t e m i n c r e a s e sa tt h es a m et i m e o n eo ft h er e q u i r e m e n t si si n t r u s i o nd e t e c t i o n s y s t e m a sa l la c t i v ed e f e n s et e c h n o l o g y , i n t r u s i o nd e t e c t i o nt e c h n o l o g y m a k e s u pf o rt h es h o r t c o m i n g so ft r a d i t i o n a ls e c u r i t yt e c h n o l o g i e s h o w e v e r ， t h ec u r r e n ti n t r u s i o nd e t e c t i o nt e c h n o l o g yi s n tm a t u r ee n o u g h c h i n a m a d e i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) p r o d u c t sa r em o s t l yi nt h ep r i m a r ys t a g eo f f e a t u r ed e t e c t i o n ，a n dt h e r ei sl a r g e rg a pi na n o m a l yd e t e c t i o nc o m p a r e d w i t hf o r e i g nc o u n t r i e s ，a n di ti si nb l a n ks t a t ei nt h ef i e l do fm i x e dd e t e c t i o n c o n s i d e r e da n o m a l yd e t e c t i o nt e c h n o l o g yw h i c hc a l l i d e n t i f yu n k n o w n i n t r u s i o na l so b j e c t i v e ，t h i sp a p e re s t a b l i s h e sn o r m a ls t a t em o d e lo fs y s t e m a n di tm a i n l ys t u d i e so nt h em e t h o d so fs i n g l ec l a s so fa b n o r m a ln e t w o r k i n t r u s i o nd e t e c t i o n an e wi n t r u s i o nd e t e c t i o nm o d e lb a s eo ns s n f f ( s p a t i a l l ys e l e c t i o n n o r m a lf l o wf i l t r a t i o n ) w a sp r e s e n t e da i m e da td d o s t h i sm o d e lc o u l d e x t r a c tt h ed d o ss i g n a lb yu s i n gss n f fa l g o r i t h m ，i n t r u s i o nl o c a t i o nw a s d e t e c t e db yt h i ss i g n a lb a s e do nt h ea l g o r i t h mo fm a x i m ac u r v ed i s t a n c e t h r e s h o l da n ds t e pp o i n td e t e r m i n a t i o n ，t h es i m u l m i o nw a sp e r f o r m e db y m i x i n gt h eg a t h e r e dn e t w o r ks t r e a mi np r a c t i c ea n ds i m u l a t e da t t a c ks t r e a m ， t h er e s u l to ft h ee x p e r i m e n ts h o w st h ev a l i d i t yo ft h ed e s i g n t h et r a d i t i o n a ld e f a u l t so fs v d d ( s u p p o r tv e c t o rd a t ad e s c r i p t i o n ) a l g o r i t h m sw e r ea n a l y z e da n di n t r u s i o nd e t e c t i o nm o d e lw a sc o n s t r u c t e do n t h eb a s i so ft h ea l g o r i t h mw h i c hc o m b i n e ds v d da n dc l u s t e r i n ga l g o r i t h m f i r s tt h en o r m a ls a m p l ed a t aa r ec l a s s i f i e db yk m e a n sc l u s t e r , t h e nt h e d e n s ec l u s t e r i n gd a t as e t sw e r ed e s c r i b e db yc a p a b i l i t yo fd a t ar e p r e s e n t a t i o n o fs v d d f i n a l l ys e v e r a ld e c i s i o nf u n c t i o nw a sb u i l ta n du s e dt oi d e n t i f y t h es a m p i ed a t a ，i m r u s i o nd e t e c t i o nm o d e lw a sc o n s t r u c t e do nt h eb a s i s o f t h ea l g o r i t h mw h i c hc o m b i n e ds v d da n d c l u s t e r i n ga l g o r i t h mb yu s i n gt h e v a l u eo tum a t r i xa st h ed e t e r m i n a n tc o n d i t i o n so f c l u s t e r i n gd e g r e eo f d e n s e n e s sw h i c ho v e r c o m et h es h o r t c o m i n gt h a tt h ea b n o n n a ln e t 、) l ，o r kd a t a w a sd 1 插c u l tt og a t h e ri nt h ei n t r u s i o nd e t e c t i o n s y s t e m t h ea n a l y s i so f s 皿u l a t i o na n dr e s u l to fe x p e r i m e n ts h o w t h ev a l i d i t yo ft h ea 】g o 删细 k e y w o r d s ：n e t w o r ks e c u r i t y ；s i n g l ec l a s so fa n 。m a l yd e t e c t i o n ；s s n f f a l g o r i t h m ；c l u s t e r i n g ；s v d da l g o r i t h m i i i 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：徇霭 日期： 知9 年多月7 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文雠授予学位后即可囱在授予学位1 2 个月后口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：鸺 日期：州罗年孑月，2 日 哈尔滨工程大学硕士学位论文 第1 章绪论 1 1 课题背景及研究意义 1 1 1 网络安全面临的威胁 i n t e m e t 网络已成为信息社会最重要的基础设施之一，但随着网络规模的 不断扩大、复杂度不断增加、各种网络攻击手段和病毒的快速传播等因素， 网络安全面临着更大的挑战。据美国f b i 统计全球平均每1 0 秒就发生一起 i n t e m e t 系统被入侵事件，表1 1 为美国c e r t 对近年来网络攻击数目的统计， 从中可清楚地看出网络攻击数目的增长趋势。 表1 1 安全事件 年份2 0 0 02 0 0 12 0 0 22 0 0 32 0 0 42 0 0 52 0 0 62 0 0 7 次数 2 ，5 7 32 ，1 3 43 ，7 3 49 ，8 5 92 1 ，7 5 65 2 ，6 5 88 2 ，0 9 41 3 7 ，5 2 9 信息系统的安全问题是一个十分复杂的问题，可以说信息系统有多复杂， 信息系统安全问题就有多复杂；信息系统有什么样的特性，信息系统安全就 同样具有类似的特性。信息安全是一种很难量化的概念，可以把信息系统的 “性能 与“安全做一个简单的对比。针对网络吞吐量、主机的运算速度、 数据库的t p c 指标等这类性能问题，用户可以根据自己的业务要求、资金条 件等方面考虑取舍。系统性能的高低在一定程度上可以通过量化指标来表现。 换句话说，系统性能的提高，用户虽然摸不到，但却是可以看到的。而“安 全”是一个非常难于量化的指标，真正是一个看不见摸不着的东西。因此安 全问题很容易表面上受到重视，而实际上没有真正得到重视。“什么事情也没 有 实际上就是安全的最高境界。但是“什么事情也没有也正是导致忽视 安全问题的原因所在。实际上，安全就是防范潜在的危机。 一般认为网络系统的安全威胁主要来自于黑客h a c k e r 的攻击、病毒 v i r u s 、授权用户对系统的滥用、网络间谍活动和信息战争几个方面。近几年 哈尔滨工程大学硕士学位论文 来，黑客攻击的数量以每年十几倍的速度增长，攻击的对象几乎包括了所有 接入网络的计算机系统，包括政府、军方和商业的计算机系统以及个人计算 机系统。通过使用i n t e m e t 网络，黑客可以从远程对目标系统发动攻击并采 取多种措施隐藏自己的真实身份，各种攻击知识和攻击工具的广泛传播使得 许多人不需要很高深的专业知识就可以随意发动攻击。所有这些因素都是导 致网络攻击事件急剧增长的重要原因。计算机病毒给计算机和网络系统带来 了巨大的危害，1 9 8 3 年美国科学家f r e dc o h e n 首先证实病毒的存在，目前 病毒已从最初的以物理介质作为载体进行传播，发展为从网络进行传播，其 传播的速度和范围急剧增大。由于病毒的机理不断演变，检测和消除这些病 毒都相当困难，已经从数学的角度证实，总能够编写一个现有的任何反病毒 程序无法阻止的病毒，即便是b e l ll a p a d u l a 模型也无法阻止病毒的攻击，病 毒已成为计算机和网络发展的巨大危害。由于授权用户能够进入系统内部从 而避免系统周边安全措施的监测，同时授权用户对系统的安全机制和漏洞更 为熟悉和了解并已得到系统的信任，从而能够采取更为隐蔽的攻击并消除有 关证据。相对于来自系统外部的攻击，授权用户的滥用则更加难以预防和检 测，其危害也往往更加严重。网络已成为信息时代的最重要的社会基础设施 之一，具有重要的战略地位。1 9 8 8 年著名的i n t e r a c t 蠕虫事件和计算机系统 y 2 k 问题，千禧年之际黑客利用分布式拒绝服务方法对大型网站的攻击等， 使人们充分认识到网络攻击的破坏性，由于信息系统安全的独特性，人们已 将其用于军事对抗领域。 c n n i c 发布的中国互联网络发展状况统计报告显示，中国现已有几 千万上网用户。因此，越来越多的公司将其核心业务向互联网转移，服务成 为当前i t 业界另一个生长点，网络安全作为一个无法回避的问题呈现在人们 面前。随着计算机网络知识的普及，攻击者越来越多，知识日趋成熟，攻击 工具与手法日趋复杂多样，单纯的防火墙策略已经无法满足对安全高度敏感 部门的需要，网络的防卫必须采用一种纵深的、多样的手段。网络环境变得 越来越复杂，各式各样的复杂设备，需要不断升级、补漏的系统使得网络管 2 哈尔滨工程大学硕士学位论文 理员的工作不断加重，不经意的疏忽便有可能造成安全的重大隐患。于是， 入侵检测系统成为安全市场上的新热点，不仅愈来愈多的受到人们的关注， 而且已经开始在各种不同的环境中发挥其关键作用。 谈到网络安全，人们第一个想到的是防火墙。随着技术的发展，网络日 趋复杂，传统防火墙所暴露出来的不足和弱点引发了人们对入侵检测系统 ( i d s ) 技术的研究和开发。首先，传统的防火墙在工作时，就像深宅大院似的， 虽有高大的院墙，却不能挡住小老鼠甚至是家贼的偷袭，因为入侵者可以找 到防火墙背后可能敞开的后门。其次，防火墙完全不能阻止来自内部的袭击， 而通过调查发现，5 0 的攻击都来自于内部，对于企业内部心怀不满的员工 来说，防火墙形同虚设。再者，由于性能的限制，防火墙通常不能提供实时 的入侵检测能力，而这一点，对于现在层出不穷的攻击技术来说是至关重要 的。第四，防火墙对于病毒也束手无策。因此，认为在h a t e m e t 入口处部署 防火墙系统就足够安全的想法是不切实际的。 防火墙在网络中就象一个大门的警卫，按照预先设置的规则，符合规则 的就放行，不符合的则禁止。它起到一个访问控制的作用，是网络安全的第 一道“闸门”。如果把防火墙比作警卫的话，入侵检测系统则是网络中不间断 的摄像机，它通过监听的方式不问断地对网络主机上的数据进行分析，判断 是否有攻击的意图，如果有，则做出响应，而且它的活动对网络性能和运行 影响甚微。可见，入侵检测系统不但可以检测到来自外部的攻击，而且可以 发现内部的恶意破坏行为，是网络主机的第二道闸门。它与防火墙相辅相成， 构成了信息安全比较完美的解决方案。 入侵检测系统( i d s ) 可以弥补防火墙的不足，为网络安全提供实时的入侵 检测及采取相应的防护手段，如记录证据用于跟踪、恢复、断开网络连接等。 入侵检测技术是一种主动保护自己免受攻击的一种网络安全技术。作为防火 墙的合理补充，入侵检测技术能够帮助系统对付网络攻击，扩展系统管理员 的安全管理能力( 包括安全审计、监视、攻击识别和响应) ，提高信息安全基 础结构的完整性。它从计算机网络系统中的若干关键点收集信息，并分析这 哈尔滨工程大学硕士学位论文 些信息，在不影响网络性能的情况下能对网络进行监测，防止或减轻上述的 网络威胁。 1 1 2 网络环境下的安全目标 1 、认证( a u t h e n t i c a t i o n ) 认证提供了关于某个人或事物的身份的保证，一般分为实体认证和数据 源认证。实体认证用于证实主体s u b j e c t 的身份与其所声称的身份是否一致； 数据源认证用于证实数据发送者的身份。实体认证是访问控制审计等安全措 施的基础。 2 、保密性( c o n f i d e m i a l i t y ) 保密性指保护信息不泄漏或不暴露给那些未授权访问这一信息的实体、 人、计算机进程等，保证信息只能为合法的授权用户所使用。 3 、完整性( i n t e g r i t y ) 完整性指要维护信息的正确性和一致性，防止数据被以违反安全策略的 方式改变，改变数据的内容指对数据进行修改或重新排序，而改变数据的存 在则意味着新增或删除。 4 、可用性( a v a i l a b i l i t y ) 可用性是面向用户的安全要求，指合法用户根据需要可以随时访问系统 资源。 5 、不可否认性( n o n - r e p u d i a t i o n ) 不可否认性是指参与网络通讯过程的各方、用户实体或者进程无法否认 其过去的参与活动。 1 1 3 传统安全方法的不足 尽管目前已有多种安全措施，如访问控制、防火墙、加密等，但它们无 法解决所有的安全问题。不断发生的各种黑客攻击事件就是很好的例证，现 有的安全措施无法解决下述原因带来的安全问题。 4 哈尔滨工程大学硕士学位论文 1 、设计一个完全安全的系统几乎是不可能的。 首先，由于网络规模的不断扩大和日益增加的复杂性，难以针对网络系 统建立一个完善的安全模型；其次，即使存在一个完善的安全模型，在其实 现软件中也会存在一定程度的安全问题。m i l l e r 关于现今流行的操作系统和 应用程序的研究报告中指出，软件中的缺陷b u g 不可能完全排除，同样各种 安全算法的软件实现也会存在问题，而且修复或更正这些缺陷通常都需要很 长的时间。许多攻击都是通过挖掘操作系统应用程序的弱点或缺陷来实现的。 2 、加密技术本身存在一定的问题：密码有可能被破解或窃取，算法有可 能被破解。 3 、网络协议本身存在安全漏洞。 目前的因特网是在t c p i p 协议体系的基础上建立起来的。t c p i p 获得 成功的一个重要原因在于它是一个开放的体系，与此同时埋下了安全隐患。 其缺陷主要表现在脆弱的认证机制、容易被窃听和监视、易受欺骗等。目前 常见的d o s 攻击，如t c ps y nf l o o d i n g 、d n s 欺骗、t c p 劫持等都是针对网 络协议本身的缺陷而发动的。 4 、安全性与可用性本身的矛盾，用户为了使用方便经常会牺牲安全性。 5 、复杂的安全系统或工具难以配置，易发生配置错误的情况，从而留下 安全隐患。 6 、安全系统有可能遭到内部工作人员的滥用。 7 、对于大量的系统日志和审计记录难以通过手工的方式进行分析，人们 需要辅助工具对其进行自动分析。 1 2 入侵检测技术分类 入侵检测技术传统上分为两大类型：异常入侵检测和误用入侵检测。 ( 1 ) 异常检测，也称为基于行为的入侵检测。它是根据用户的行为或资 源使用状况的正常程度来判断是否入侵，它以系统、网络、用户或进程的正 常行为建立轮廓模型，即正常行为模式。将与之偏离较大的行为解释成入侵。 5 哈尔滨工程大学硕士学位论文 异常检测方法具有检测系统中未知攻击的能力，因而异常检测技术一直以来 受到重视。由于新攻击方法总是不断出现，所以产生了大量的异常检测技术。 主要有基于概率统计的、基于免疫学的、基于数据挖掘的、基于专家系统的、 基于神经网络的方法等等。异常检测的优点是基本上不需要太多的关于入侵 的先验知识，有较为成熟的统计技术可以应用，通用性强；对具体系统的依 赖性较少，并且能够发现未知的入侵行为。缺点是如何描述正常的轮廓模型 并确定异常的基准值相当困难，因而误报率较高，另外有经验的攻击者通常 会设法避免暴露过于明显的特征而引起管理人员的注意，还可以通过训练检 测器适应攻击行为，使用多账号分配攻击行为而不越过临界值等手段逃避异 常检测技术的检查。 ( 2 ) 误用检测，也被称为特征分析或基于知识的检测。根据已定义好的 入侵模式，通过判断在实际的安全审计数据中是否出现这些入侵模式来完成 检测功能。主要有专家系统法、模型推理法、状态转移法、模式匹配法、信 息反演法等方法。误用检测优点是可以明确地指出入侵的类型，误报少，准 确率较异常检测高，缺点是它只能发现已知的攻击，无法检测系统未知的攻 击行为，而且这种方法检测的效果取决于检测知识库的完备性，为此特征库 必须及时更新。误用检测和异常检测各有优劣，在实际系统中，往往结合使 用，将误用检测用于网络数据包的监测，将异常检测用于系统日志的分析。 1 3 国内外在该方向的研究现状及分析 国内外有很多科研机构和公司投入到了入侵检测系统的研究和开发工作 中。其中，国外的研究工作开始的比较早，从8 0 年代就陆续有文章发表，1 9 8 0 年，j a m e se a n d e s o n 在技术报告c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n d s u r v e i l l a n c e 中引入了入侵检测这个概念【l 】，并对入侵尝试或威胁进行了定义， 但是这一思想在当时并未被接受。1 9 8 3 1 9 8 6 年美国斯坦福研究院进行了一项 编号为6 1 6 9 计划，即“审计跟踪系统的统计技术发展 。该计划通过行为特 征来区分不同用户。这些统计过程将审计跟踪信息量减少了1 0 0 倍，检测入侵 6 哈尔滨工程大学硕士学位论文 企图的准确性很高。1 9 8 7 年乔治敦大学的d o r o t h y d e n n i n g 博士论文a n i n t r u s i o nd e t e c t i o nm o d e l 是i d s 的经典之作，提出了入侵检测系统的抽象模型 【2 j ，首次把入侵检测作为一种计算机系统安全防御的手段。在此之后，陆续 地研制并开发了入侵检测系统i ( i n t r u s i o nd e t e c t i , l o l ls y s t e m 简写m s ) 。早期的入 侵检测系统都是基于主机的系统检测，是通过监视与分析主机的审计记录来 检测入侵。1 9 8 8 年，x e r o xp a l o a l t o 研 究中心安全专家t e r e s a ll u n t 等人改进了 d e n n i n g 提出的入侵检测系统模型，并创建t i d e s ( i n t r u s i o nd e t e c t i o ne x p e r t s y s t e m ) t 3 1 ，该系统用于检测单一主机的入侵尝试，提出了与系统平台无关的 实时检测思想。1 9 9 0 年，加州大学戴维斯分校的h e b e r l e i n 教授等【4 】提出了一 个新的概念一基于网络的入侵检测( n e t w o r ks e c u r i t ym o n i t o r 简称n s m ) ， n s m 不再是检查主机系统的审计记录发现入侵，而是通过在局域网上主动地 监视网络信息流量来追踪可疑的行为。1 9 9 1 年，n e t w o r ka n o m a l yd e t e c t i o n a n di n t r u s i o n r e p o r t e r ( n a d m ) ，与d i s t r i b u t ei n t r u s i o nd e t e c t i o ns y s t e m ( d i d s l ) 提出了收集、合并处理来自多个主机的审计信息以检测一系列主机的协同攻 击。1 9 9 5 年开发了i d e s 完善后的版本n i d e s 烈e x t - g , e n e r a t i o ni n t r u s i o n d e t e c t i o ns y s t e m ) 可以检测多个主机上的入侵【5 1 。在1 9 9 8 年d a r p a 信息中心的 s t a n i f o r d c h e n ，b t u n g 等还提出了一种通用入侵检测框架【6 j 。 目前现有的检测技术及其体系均是在此基础上的扩展和细化。西安电子 科技大学张德运教授等提出的一种基于分布协作式代理的网络入侵检测技术 【7 】。在分布式结构中，多个检测器分布在具体的网络环境中，直接接受传感 器的数据，有效地利用各个主机的资源，消除了集中式检测的运算瓶颈和安 全隐患，同时由于大量的数据不必在网络中传输，大大降低了网络带宽的占 用，提高了系统的运行效率。在安全上，由于各个检测器分布、独立进行探 测，任何一个主机遭到攻击都不影响其他部分的正常工作，增加了系统的鲁 棒性。管理中心可以部署在内部网中的一个可信主机上，与各个检测器之间 维持保密通信。管理员可以通过管理中心对网络中的所有检测器进行配置和 管理，为其制定、发放过滤和检测所需的安全策略；对它们产生的日志、检 7 哈尔滨工程大学硕士学位论文 测出的入侵行为进行收集、统计和管理，并作出响应，从而实现系统的集中 管理。分布式入侵检测系统在充分利用系统资源的同时，还可以实现对分布 式攻击等复杂网络攻击行为的检测。在大型复杂的网络中，由于所在这些主 机上资源的限制，并不能完全实现复杂的入侵检测功能，同时由于信息的分 布性，在针对高层次攻击上( 如协同攻击) ，需要有多个检测器进行协同处理。 因此在入侵检测体系中往往考虑采用分层的结构，利用多个检测器组合形成 一个高层次的检测结构，信息在该结构中层层检测，层层提炼。在分层体系 中，最底层的检测器群体为收集节点层，负责收集所有的检测信息，并对信 息进行最基本的处理，完成简单判断和处理任务。其特点是处理数据量大， 速度快，效率高，但只能对一些简单的攻击进行检测。第二层检测器群体是 集中节点层，起一个承上启下的作用，每个节点都维持一个与之相连的下级 节点链表，负责管理子节点，以及接收子节点处理后的数据，再进行高层次 的关联分析、判断、输出判断结果。系统最高层是管理控制节点层，这部分 节点主要负责系统集中管理功能。在收集节点层与管理控制节点层中间加入 集中节点层可以减轻中央控制的负担，增强系统的可伸缩性，这部分节点还 可以按照可预见模式进行主动信息搜索。根据环境的要求可以动态调整节点 层次关系图，实现入侵检测系统的动态重配置。通过灵活地组合不同的检测 器群体模式，产生多种检测结构，实现对各类复杂攻击的检测。新一代分布 式入侵检测系统基本都采用多种入侵检测新技术和多层分布式体系结构，以 适应大型分布式网络环境的安全需求。系统中不同层次的不同网络探测器采 用多种入侵检测技术，通过s s l 保密信道与中央控制台和数据库进行通信， 相互协同，构成一个完整的整体。 入侵检测系统框架方面主要的研究工作还有：解放军理工大学胡谷雨教 授提出的一种在l i n u x 环境下基于规则的分布式网络入侵检测系统【8 】；武汉大 学卢勇，曹阳等提出的一种以基于关联规则的分布式数据挖掘为核心的入侵 检测系统框架 9 1 等。从1 9 9 8 年到现在，入侵检测系统的研发呈现出百家争鸣 的繁荣局面，并在智能化和分布式两个方向取得了长足的进展。今后的入侵 8 哈尔滨工程大学硕士学位论文 检测技术大致可朝下述三个方向发展。分布式入侵检测【6 】：第一层含义，即 针对分布式网络攻击的检测方法；第二层含义即使用分布式的方法来检测分 布式的攻击，其中的关键技术为检测信息的协同处理与入侵攻击的全局信息 的提取。智能化入侵检测：即使用智能化的方法与手段来进行入侵检测。所 谓的智能化方法，现阶段常用的有神经网络、遗传算法、模糊技术、免疫原 理等方法，这些方法常用于入侵特征的辨识与泛化。利用专家系统的思想来 构建入侵检测系统也是常用的方法之一。特别是具有自学习能力的专家系统， 实现了知识库的不断更新与扩展，使设计的入侵检测系统的防范能力不断增 强，应具有更广泛的应用前景。应用智能化的概念来进行入侵检测的尝试也 已有报道。较为一致的解决方案应为高效常规意义下的入侵检测系统与具有 智能检测功能的检测软件或模块的结合使用。全面的安全防御方案：即使用 安全工程风险管理的思想与方法来处理网络安全问题，将网络安全作为一个 整体工程来处理。从管理、网络结构、加密通道、防火墙、病毒防护、入侵 检测多方位全面对所关注的网络作全面的评估，然后提出可行的全面解决方 案。 目前入侵检测产品主要厂商有i s s 公司( r e a l s e c u r e ) 、a x e n t 公司( i t a 、 e s m ) ，以及n a i ( c y b e r c o pm o n i t o r ) 。他们都在入侵检测上有多年的研究。 虽然诸多公司都有入侵检测产品上市，但是做好入侵检测并非易事。怎样把 入侵检测器做的简单、经济、可靠、耐用并具有优秀的高精度性能是各个研 究机构和公司所共同面临的问题。 1 3 1 异常入侵检测的方法 按照所使用的分析方法，异常入侵检测可以分为以下几种：基于特征选 择异常检测方法、基于贝叶斯推理的异常检测方法、基于模式预测的异常检 测方法、基于贝叶斯聚类的异常检测方法、基于机器学习的异常检测方法、 概率统计方法、神经网络方法等。 1 3 1 1 基于聚类的异常检测方法 9 哈尔滨工程大学硕士学位论文 基于聚类的异常检测方法【l o 】通过在数据中发现不同类别的数据集合。这 些类反映了基本的因果机制( 同类的成员比其他的更相似) ，以此来区分异常 用户类，进而推断入侵事件发生来检测异常入侵行为。c h e e s e m a n 和s t u t z 在 1 9 9 5 年开发的自动分类程序( a u t oc l a s sp r o g r a m ) 是一种无监督数据分类技术 i 1 1 。a u t oc l a s s 实现了使用贝叶斯统计技术对给定的数据进行搜索分类。这 种方法尽可能地判断处理产生的数据，没有划分给定数据类别，但是定义了 每个数据成员。其优点是：( 1 ) 根据给定的数据，a u t oc l a s s 自动地判断决定 尽可能的类型数目；( 2 ) 不要求特别相似测量、停顿规则和聚类准则；( 3 ) 可以 自由地混合连续的和离散的属性。 统计入侵异常检测对所观测到的行为分类处理，到目前为止，所使用到 的技术主要集中于监督式分类，这种分类是根据观测到的用户行为来建立起 用户轮廓。而贝叶斯分类方法允许最理想化的分类数、具有相似的轮廓的用 户群组以及遵从符合用户特征集的自然分类。自动分类程序在怎样处理好固 有的次序性数据( 如审计跟踪) 以及将统计分布特性植入分类中等方面，效果 并不十分明显。当自动分类程序支持处理在线数据时，对新数据在使用时能 否递增式地分类或者是否立即需要全部输入数据等问题的处理尚未定论。由 于统计所固有的特性，自动分类程序还存在选定合适的异常阈值和用户逐步 地影响类型分布能力的困难。c a l i f o r n i a d a v i s 大学vr a ov c m u r i 教授等在文 章 1 2 中设计出了一个实时基于聚类的n s o m 系统。他们的中心思想就是利 用在s o m 映射的二维空间中形成拓扑结构，将正常的网络行为同非正常的 网络行为分离，形成边界。然后利用输入向量在已确定的二维映射空间中的 量化结果进行识别。由于传统的s o m 算法的量化能力和拓扑性能依赖于学 习率的选择，同时该算法由于在s o m 映射的二维空间中进行判别，如果量 化单元过多则影响算法的效率，无法满足入侵检测系统实时性的要求；同时 如果过小，则误差较大。 1 3 1 2 基于特征选择的异常检测方法 目前常用的入侵检测方法有两种：异常检测和误用检测。最近研究者们 l o 哈尔滨工程大学硕士学位论文 将模式识别的方法用在入侵检测系统中，可以检测到已有的攻击或新的攻击， 取得了比较好的入侵检测效果。采用模式识别方法进行入侵检测首先要解决 的一个问题就是特征提取与选择。一般情况，只有特征向量中包含足够的类 别信息，才能通过分类器实现正确分类，而特征中是否包含足够的类别信息 却很难确定，为了提高识别率，总是最大限度地提取特征信息，结果不仅使 特征维数增大，而且可能存在较大的相关性和冗余，这给特征的进一步处理 和分类器的实现都带来了很大的困难。因而，需要在不降低( 或尽量不降低) 分类精度的前提下，尽量降低特征空间的维数，这就是所谓的特征选择。基 于特征选择异常检测方法是通过从一组度量中挑选能检测出入侵的度量构成 子集来准确地预测或分类己检测到的入侵。异常入侵检测的问题是在异常活 动和入侵活动之间难于做出判断。判断符合实际的度量是复杂的，因为能否 合适地选择度量子集依赖于检测到的入侵类型，而一个度量集是无法检测到 所有的入侵类型的。预先确定特定的度量来检测入侵可能会错过单独的特别 环境下的入侵。最理想的检测入侵度量集必须动态地决策判断以获得最好的 效果，假设与入侵潜在相关的度量有n 个，则这甩个度量所构成的子集数是2 ” 个。由于搜索空间与度量数是指数关系，所以穷尽寻找最理想的度量子集的 做法在实际上是困难的。因此，需要依据一定的评价函数从原始特征集中选 择与输出结果有关的或重要的特征子集。显然，特征选择有两个关键的问题： 选择合适的评价函数和高效率的特征子集搜索方法。目前已有许多特征选择 的算法。其中基于主成分分析的特征选择方法，从本质上讲是一种线性映射 算法，在处理非线性问题时，往往不能得到好的效果，并且这种方法得不到 每个特征的原始信息。利用分支定界及其改进的算法进行特征选择可以得到 最优的特征子集，但是，当特征维数较高并且训练数据较大时，这些方法的 实验量是难以承受的。基于特征之间相关性分析的特征选择方法，从特征集 中删除相关性较大的特征，但不能保证得到的特征子集没有冗余。基于互信 息理论的特征选择方法更适合离散数据，对连续数据或混合型数据很难求出 每个特征的概率分布，这一方法的另一个缺陷是偏向于选择取值较多的特征， 哈尔滨- 丁程大学硕士学位论文 因而对数据分布均匀的离散数据集合，算法效果较好。新墨西哥大学m a c c a b e 教授【1 3 l 提出用遗传方法来搜索整个度量子空间以寻找正确的度量子集。其方 法是使用学习分类器方案生成遗传交叉算子和基因突变算子，除去降低预测 入侵的度量子集，而采用遗传算子产生更强的度量子集取代。这种方法与较 高的预测度量子集相结合，允许搜索的空间大小比其他启发式搜索技术更有 效。遗传算法的最大优点是它能保证种群不断进化，使所求的解不断变优， 但它往往缺乏产生最优个体的强大能力，导致搜索在接近全局最优解时速度 变慢，甚至陷入局部最优解。 1 3 1 3 基于数据挖掘的异常检测方法 计算机联网导致大量审计记录，而且审计记录大多是以文件形式存放( 如 u n i x 系统s u l o g ) ，若单独依靠手工方法去发现记录中的异常现象是不够的， 往往是操作不便，不容易找出审计记录间的相互关系。哥伦比亚大学的 w e n k e l e e 和s a l v a t o r e j s t o l f o 将数据挖掘技术应用到入侵检测研究领域中，从 审计数据或数据流中提取感兴趣的知识，这些知识是隐含的、事先未知的、 潜在的有用信息，提取的知识表示为概念、规则、规律、模式等形式，并可 用这些知识去检测异常入侵和已知的入侵。基于数据挖掘的异常检测方法目 前已有现成的k d d 算法可以借用，这种方法的优点是可适应处理大量数据的 情况。但是，对于实时入侵检测则还存在问题，需要开发出有效的数据采掘 算法和相适应的体系 1 4 , 1 6 】。研究基于数据挖掘的入侵检测的组织主要有 c o l u m b i a 大学i d s d 、组。该小组在s a l v a t o r ej s t o l f o 的领导下，对入侵检测 技术的很多方向都进行了研究，例如：基于主机的i d s ；基于网络的i d s ；分布 式的i d s ；数据仓库和自适应的模型生成；入侵检测可视化；入侵检测响应 系统等，目前在该领域中处于领先的水平。其q b g e o r g i a 理工大学的w e n k el e e 等于1 9 9 7 2 0 0 2 年间提出了一种基于数据挖掘的入侵检测系统【1 7 2 1 1 ，该系统利 用扩展的关联规则和序列分析的方法从大量数据中寻找入侵的模型并形成相 应的规则，然后利用这些规则来直接匹配入侵特征进行入侵检测。该系统对 于某些攻击能够自动的产生检测模型，但是对于大部分的攻击还是需要依靠 1 2 哈尔滨工程大学硕士学位论文 领域知识来建立模型，因为直接从非结构化的数据中挖掘出可用的模型是非 常困难的。另外由于该框架的模型生成是离线的。因此如何有效地在实时环 境下使用离线生成的检测模型仍然是需要解决的问题。还有如何将该系统与 网管系统整合，如何将该系统应用于异常入侵检测中，如何进行形式化的设 计等问题也都是该系统需要解决的问题。c a l i f o r n i a 大学的e l e a z a r e s k i n 等则 在入侵检测框架和入侵检测模型生成方面作了大量的工作【2 2 1 。他们提出了一 种无监督的异常入侵检测几何框架。在该框架中，他们首先将高维数据映射 到一个新的n 维特征空间中，然后通过特征空间中点的位置来找出孤立点， 从而实现入侵的检测。其使用的主要算法包括了聚类估计，k 值近邻法，二 值s v m 分类的方法。该框架有较好的自适应能力，但是不能用于误用入侵检 测。从事这方面研究工作的还有加州大学u cd a v i s 分校的计算机安全实验 室。主要的研究成果有：yl i a 等利用文本分类的方法进行入侵检测团】，y f j o u 等实现了一种可升级的入侵检测系统瞄】等。 1 3 1 4 神经网络方法 利用神经网络检测入侵的基本思想是用一系列信息单元( 命令) 训练神经 单元，这样在给定一组输入后，就可能预测出输出。与统计理论相比，神经 网络更好地表达了变量间的非线性关系，并且能自动学习并更新。神经网络 是由具有适应性的简单单元组成的广泛并行互连的网络，其组织能够模拟生 物神经系统对真实世界所作出的交互反应【2 5 1 。 常见的神经网络模型有感知器p e r c e p t r o n 、线性神经网络b p 、网络径向 基函数网络等，其中b p 网络是一种被广泛使用的模型【2 6 1 。b p 网络是一种多 层前馈神经网络，各层神经元之间的关联强度权值的调整采用反向传播的学 习算法，因此被称为b p 网络。网络除输入输出节点外，有一层或多层的隐层 节点，同层节点中没有任何耦合。输入信号从输入层节点依次穿过各隐层节 点，然后传到输出节点，每一层节点的输出只影响下一层节点的输出。在确 定了b p 网络的结构后，利用输入、输出样本对其进行训练，即对网络的权 值进行学习和调整，以使网络实现给定的输入输出映射关系。经过训练的b p 1 3 哈尔滨工程大学硕士学位论文 网络对于不是样本集中的输入也能给出合适的输出。这种性质为泛化能力。 由于神经网络具有自学习自适应的能力因此在入侵检测中得到了广泛的应 用，具体方法可参考文献【2 7 3 0 】。神经网络还存在一定的不足，神经网络的结 构对训练