（系统分析与集成专业论文）基于数据挖掘的分布式网络入侵检测系统研究.pdf

摘要 摘要 网络技术的发展，推动了社会及生活的进步，与此同时，传统的被动 网络安全技术己不能有效地抵御网络入侵行为的攻击。因此作为一种主动 防御的安全技术，入侵检测己成为网络安全技术的重要手段。但是随着网 络入侵形式的不断变化，依靠传统的入侵检测模型很难检测出复杂及未知 的入侵方式。因而就需要解决已有的入侵检测系统的问题，其中，数据挖 掘技术是改善现有入侵检测系统的途径之一。 本论文回顾了入侵检测技术的发展史，对目前的入侵检测技术和数据 挖掘技术进行了详细研究。针对现有入侵检测系统存在的检测效率不高的 缺点，将数据挖掘技术与入侵检测技术结合起来，有效提升了入侵检测效 率。 本论文对f p g r o w t h 算法进行了改进，有效解决了传统f p g r o w t h 算 法数据挖掘速度制约缺陷，提高了入侵检测系统的执行效率和规则库的准 确度。 随着网络入侵手段的不断变化和复杂，目前的商用入侵检测系统已不 能满足实际应用。本论文提出了一个分布式入侵检测系统模型，采用三层 分布式结构，这样可使系统便于分配功能、管理方面的任务。此外，分层 体系使各层的任务和功能相对独立，各层有更大的自主性，系统具有高度 的自适应性。系统中任何单个检测引擎出现故障只会造成网络局部的检测 准确性的降低，对系统其他部分并没有影响。论文给出了分布式入侵检测 系统的架构、工作模式，详细介绍了各模块的组成和实现以及模块间的通 讯方式的实现，实际设计与调试完成准业务使用的基于数据挖掘的分布式 入侵检测系统，对实验结果作了科学分析。 实验结果表明，f p g r o w t h 改进算法的执行效率较f p g r o w t h 有了明 显提高，误报率和漏报率有一定降低。系统能够及时发现入侵行为，准确 记录入侵的详细信息，具有较好的检测性能。 关键词：入侵检测，分布式，数据挖掘，f p - g r o w t h 算法，关联分析 a b s t r a c t a b s t r a c t a st h ed e v e l o p m e n to fc o m p u t e rn e t w o r kt e c h n o l o g i e s ，n e t w o r ki n c r e a s e st h eq u a l i t y o fo u rl i f ei nt h es o c i e t y a tt h es a m et i m e ，t h et r a d i t i o n a ls e c u r i t yt e c h n i q u e so fn e t w o r k c a n tp r e v e n tt h en e t w o r ki n t r u s i o n a sa l la c t i v ed e f e n d a b l et e c h n i q u eo ft h es e c u r i t yo f n e t w o r k , i n t r u s i o nd e t e c t i o nh a sb e c o m ea i li m p o r t a n tm e a s u r e b u tt h ei n t r u s i o nm e a n s a l w a y sc h a n g ei na n yt i m e a sar e s u l t , i t sd i 衔c u l tt od e t e c tc o m p l i c a t e da n du n k n o w n i n t r u s i o nm e a n sb yt h et r a d i t i o n a li n t r u s i o nd e t e c t i o nm o d e l s s ow en e e dt os o l v et h e s e p r o b l e m st h a tt h et r a d i t i o n a li d sc a n td e a lw i t h d a t am i n i n gi so n eo ft h em e a n st o i m p r o v et h ee x i s t i n gi n t r u s i o n d e t e c t i o ns y s t e m s 1 1 1 i st h e s i sr e v i e w st h ep h y l o g e n yo fi n t r u s i o nd e t e c t i o nt e c h n o l o g i e s ，a n dd o e s r e s e a r c ho nt h ea c t u a li n t r u s i o nd e t e c t i o nt e c h n o l o g i e sa n dd a t am i n i n gt e c h n o l o g i e s t h e na c c o r d i n gt ot h el i m i to fl o wd e t e c t i o ne 伍c i e n c yo fc u r r e n ti d s t h et h e s i s i n t e g r a t e st h ec o u r s eo fd a t am i n i n ga n dt h ei n t r u s i o nd e t e c t i o nt e c h n o l o g i e st oi m p r o v e t h ee f f i c i e n c yo fi n t r u s i o nd e t e c t i o n f p - g r o w t ha l g o r i t h mi s i m p r o v e di nt h et h e s i s t m sa l g o r i t h ma m e l i o r a t e st h e f p - g r o w t ha l g o r i t h ma n di n c r e a s e st h es p e e do fm i n i n gs p e e d t h es y s t e m se x e c u t i o n e 伍c i e n c ya n d 廿1 ea c c u r a c yo f r u l e sc o u l db ei r e p r o v e d w 弛t h ec h a n g i n ga n dc o m p l e x i t yo fn e t w o r ki n t r u s i o nm e a i l s ，a c t u a lc o m m e r c i a l i n t r u s i o nd e t e c t i o ns y s t e m sc a l ln o ts a t i s f yt h ef a c t u a la p p l i c a t i o n s n l i st h e s i sp u t s f o r w a r dad i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e mm o d e l 。u s i n gt h r e e - l a y e rd i s t r i b u t e d s t r u c t u r e ，w h i c hw i l le n a b l es y s t e mt of a c i l i t a t et h ed i s t r i b u t i o no ff u n c t i 0 1 1 5a n d m a n a g e m e n t i na d d i t i o n , s t r a t i f i e ds t r u c t u r em a l ( e st h et a s k sa n df u n c t i o n so f e a c hl a y e r r e l a t i v e l yi n d e p e n d e n t e v e r yl a y e rh a sg r e a t e ra u t o n o m y , a n dt h es y s t e mi sh i g h l y a d a p t i v e 1 1 1 ef a i l u r eo fa n ys i n g l ed e t e c t i o ne n g i n ei nt h es y s t e mw i l lo n l yr e s u l t i nt h e r e d u c t i o no fd e t e c t i o na c c u r a c yo fl o c a ln e t w o r k , i td o e s n ta f f e c to t h e rp a r t s 田k s t r u c t u r ea n dw o r k i n gm o d eo ft h ed i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e ma r ep r o p o s e di n t h et h e s i s 1 1 1 e c o m p o s i t i o n a n d i m p l e m e n t a t i o n o fe a c hm o d u l e 笛w e l l 雏 c o m m u n i c a t i o nb e t w e e nm o d u l e sa r ei n t r o d u c e di nd e t a i l t h ed i s t r i b u t e di n t r u s i o n d e t e c t i o ns y s t e mb a s e do nd a t am i n i n gf o rq u a s i - o p e r a t i o n a lu s ei sd e s i g n e d , t e s t e da n d c o m p l e t e d n 圯e x p e r i m e n t a lr e s u l t sa r es c i e n t i f i c a l l ya n a l y z e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ee x e c u t i o ne 伍c i e n c yo ft h ei m p r o v e d f p g r o w t ha l g o r i t h mh a si m p r o v e dm a r k e d l bt h ef a l s ep a s i t i v er a t i oa n dt h ef a l s e n e g a t i v er a t i oa r er e d u c e d i n t r u s i o na c t i v i t i e sc a nb ed e t e c t e di nt i m e ，a n dt h ed e t a i l so f i n t r u s i o n sa r er e c o r d e da c c u r a t e l y 1 1 1 es y s t e mh a sg o o dd e t e c t i o np e r f o r m a n c e k e y w o r d s ：i n t r u s i o nd e t e c t i o n , d i s t r i b u t i o n , d a t af l i r t i n g f p - g r o w t ha l g o r i t h m , a s s o c i a t i o na n a l y s i s 缩写词表 i a d s ) e s d i d s n i d s h i d s n s m p c a b p f 缩写词表 i n f o r m a t i o na s s u r a n c e i n t r u s i o nd e t e c t i o ns y s t e m i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m h o s ti n t r u s i o nd e t e c t i o ns y s t e m n e t w o r ks e c u r i t ym o n i t o r p r i n c i p a lc o m p o n e n ta n a l y s i s b e r k e l e yp a c k e tf i l t e r 信息保障 入侵检测系统 入侵检测专家系统 分布式入侵检测系统 基于网络的入侵检测系统 基于主机的入侵检测系统 网络安全监测器 主成分分析 伯克利数据包过滤器 学位论文独创性声明 本人郑重声明： 1 、坚持以“求实、创新一的科学精神从事研究工作。 2 、本论文是我个人在导师指导下进行的研究工作和取得的 研究成果。 3 、本论文中除引文外，所有实验、数据和有关材料均是真 实的。 4 、本论文中除引文和致谢的内容外，不包含其他人或其它 机构已经发表或撰写过的研究成果。 5 、其他同志对本研究所做的贡献均已在论文中作了声明并 表示了谢意。 作者签名：压埠 日期： 学位论文使用授权声明 本人完全了解南京信息工程大学有关保留、使用学位论文 的规定，学校有权保留学位论文并向国家主管部门或其指定机 构送交论文的电子版和纸质版；有权将学位论文用于非赢利目 的的少量复制并允许论文进入学校图书馆被查阅；有权将学位 论文的内容编入有关数据库进行检索；有权将学位论文的标题 和摘要汇编出版。保密的学位论文在解密后适用本规定。 3l ， 作者签名：届j 鲐 关于学位论文使用授权的说明 本人完全了解南京信息工程大学有关保留、使用学位论文的规定，即：学校有权保留送 交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用 影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵循此规定) 怍者签名： 日 导师签名： 日期： 第一章绪论 第一章绪论 1 1 入侵检测技术的产生 随着网络技术和互联网的快速发展，网络攻击和入侵事件与日俱增，特别是近 年来，政府部门、军事部门、金融机构、企业的计算机网络频繁遭到攻击。攻击者 可以从容地对那些没有安全保护的网络进行攻击和入侵，如拒绝服务攻击、非法访 问、肆意窃取和修改重要的数据信息、安装后门监听程序以便随时获得机密信息、 传播计算机病毒等等。攻击和入侵事件给这些机构和企业带来了巨大的经济损失， 甚至直接威胁到国家安全。 据w a r r o o nr e s e a r c h 的一份调查报告显示，1 9 9 7 年世界排名前1 0 0 0 的公司几 乎都受到过黑客的攻击。据美国f b i 统计，美国每年因网络安全事件造成的损失高 达7 5 亿美元。微软的w m d o w $ 操作系统不断曝出新的安全漏洞，而目前高达9 0 的网络用户都是使用微软的操作系统，因此，这种状况令人担忧，用户迫切需要更 加完善的安全保障体系的出现。 防火墙技术是一种防范网络入侵最常用的技术，它是设置在不同网络或网络安 全域之间的一系列部件的组合，其作用是为了保护与互联网相连的企业内部网络或 单独节点。它具有简单实用的特点，透明度高，可在不修改原有网络应用系统的情 况下达到一定的安全要求。但是，防火墙技术有一定的局限性，它是一种被动防御 性的网络安全工具，仅仅使用防火墙是不够的。首先，入侵者可以找到防火墙的漏 洞，绕过防火墙进行攻击。其次，防火墙对于来自网络内部的攻击行为无能为力。 它所提供的服务方式是要么都拒绝，要么都通过，这种安全策略远远不能满足用户 复杂的应用要求。 传统的静态安全防御技术对于纷繁复杂的网络攻击手段缺乏主动的响应。在这 种情况下，p z d r ( p o l i c yp r o t e c t i o nd e t e c t i o nr e s p o n s e ) 动态安全模型应运而生。图 1 1 为p 2 d r 动态安全模型示意图。 入侵检测技术是动态安全技术中最核心技术之一，它对安全保护采取的是一种 积极、主动的防御策略，可以弥补防火墙的不足，它对进入系统的访问者( 包括入 侵者) 进行实时的监视和检测，一旦发现访问者对系统进行非法操作，就会向系统 管理员发出警报或者自动截断与入侵者的连接，这样将会大大提高系统的完全性。 入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对 网络进行检测，从而提供对内部攻击、外部攻击和误操作的实时保护。 箱一章绪论 圈1 l d r 动态安全模型 1 2 国内外发展史与研究现状 1 9 8 0 年4 月，j a m e spa n d e r s o n 为美国空军做了一份题为( c o m p m e rs e c u r i t y t h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ) ( 计算机安全威胁监控与监视) 的技术报告，第 一次详细阐述了入侵检测的概念。他提出了一种对计算机系统风险和威胁的分类方 法，并将威胁分为外部渗透、内部渗透和不法行为三种，还提出了利用审计跟踪数 据监视入侵活动的思想。这份报告被公认为是入侵检测的开山之作。 从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h y d e n n i n g 和s r i c s l ( s r i 公司计 算机科学实验室) 的p e t e rn e u m a n n 研究出了一个实时入侵检测系统模型，取名为 i d e s ( 入侵检测专家系统) 1 3 1 该模型由六个部分组成：主体、对象、审计记录、 轮廓特征、异常记录、活动规则。它独立于特定的系统平台、应用环境、系统弱点 以及入侵类型，为构建入侵检测系统提供了一个通用的框架。 1 9 8 8 年，s r i c s l 的t e r e s a l u n t 等人改进了d e n n i n g 的人侵检测模型，并开发 出了一个i d e s 【1 “。该系统包括一个异常检测器和一个专家系统，分别用于统计异常 模型的建立和基于规则的特征分析检测。在i d e s 出现的同期，还有一批有影响的 基于主机的入侵检测系统出现。 基于主机的入侵检测系统出现在8 0 年代，那时网络还没有今天这样普遍、复杂， 且网络之间也没有完全连通。在这一较为简单的环境里，检查可疑行为的检验记录 是很常见的操作。由于入侵在当时是相当少见的，只要对攻击进行事后分析，然后 堵塞漏洞，就可以防止今后的攻击。 2 0 世纪9 0 年代，计算机和网络技术取得了突飞猛进的发展。以大型主机为特 征的时代过去了，取而代之的是以p c 机和互联网为特征的网络时代。随着网络的发 展和攻击手段日趋多样化，基于主机的入侵检测系统已经无法胜任，在这种形势下， 面向网络的入侵检测系统发展起来了。1 9 9 0 年是入侵检测系统发展史上的一个分水 岭。这一年，加州大学戴维斯分校的l th e b e r l e i n 等人开发出了n s m ( n e t w o r k 第一章绪论 s e c u r i t ym o n i t o r ) 。该系统第一次直接将网络流作为审计数据来源，因而可以在不将 审计数据转换成统一格式的情况下监控异种主机。从此之后，入侵检测系统发展史 翻开了新的一页，两大阵营正式形成：基于网络的i d s 和基于主机的i d s t l 8 】。 1 9 8 8 年的莫里斯蠕虫事件发生之后，网络安全才真正引起了军方、学术界和企 业的高度重视。美国空军、国家安全局和能源部共同资助空军密码支持中心、劳伦 斯利弗摩尔国家实验室、加州大学戴维斯分校、h a y s t a c k 实验室，开展对分布式入 侵检测系统( d i d s ) 的研究，将基于主机和基于网络的检测方法集成到一起，其总 体结构如图1 2 所示。 图1 2d s 结构框图 d i d s 是分布式入侵检测系统历史上的一个里程碑式的产品，它的检测模型采用 了分层结构，包括数据、事件、主体、上下文、威胁、安全状态等6 层。 1 9 9 4 年，美国p u r d u e 大学的c o a s t 实验室设计了一个自治代理分布式入侵检 测( 从f ) 原型。这个系统原型采用自治a g e n t ( a u t o n o m o u sa g e n t ) 的实体进行检 测，这种方法提高了i l s 的可伸缩性、可维护性、效率和容错性。 2 0 0 0 年中国科学院软件研究所提出了一种基于a g e n t 分布式入侵检测系统模 型，该模型是一个开放的系统模型，具有很好的可扩充性，易于加入新的协作主机 和入侵检测a g e n t ，也易于扩充新的入侵检测模式l 刀j 。 近年的主要创新包括：f o r r e s t 等将免疫原理运用到分布式入侵检测领域；还有一 些学者将图形结构表示的、树形结构表示的、环境状态转移等理论应用于入侵检测 系统。随着数据挖掘技术的发展，已经有大量的研究计划将数据挖掘技术应用于入 侵检测中。 例如，中国科学院研究生院，选择层次化协作模型，使用数据挖掘算法对安全 审计数据进行分析处理，帮助系统自动生成入侵检测规则以及建立异常检测模型。 清华大学，提出了一种基于数据挖掘方法的协同入侵检测系统( c o i l s ) 框架，并采 用a g e n t m a n a g e r il l 三层实体结构，使用多种数据挖掘方法建立检测模型。还有美 国c o l u m b i a 大学的m a d a mi l ( ad a t am i n i n gf r a m e w o r kf o rc o n s t r u c t i n gf e a t u r e s a n dm o d e l sf o ri n t r u s i o nd e t e c t i o ns y s t e m s ) 项目，用一种比人工信息工程更加系统化 和自动化的方式利用数据挖掘技术来构造一个i d s ，m a d a mi l 提出了用关联规则 第一章绪论 和频繁情节规则作为构造额外的、更具预测性的特征的方法。美国g e o 唱em a s o n 大 学的审计数据分析与挖掘( a u d i td a b a n a l y s i s 锄dm m m g ) 是一个基于网络的异常检 测系统【2 7 1 。 现在，入侵检测技术的研究正朝智能化和分布式两个方向前进。对入侵检测的 研究，从早期的审计跟踪数据分析，到实时入侵检测系统，到目前应用于大规模网 络的分布式入侵检测系统，基本上已发展成具有一定规模和相应理论的研究领域。 近年来，国内计算机安全特别是网络安全已成为研究热点。但在入侵检测技术 方面，国内的研究还处于跟踪国外技术阶段，投入实际使用的入侵检测系统还很少， 而且系统功能比较简单。主要产品包括：紫光网络推出的网络安全入侵检测系统 - u m s l d s 、中科大国祯入侵检测系统以及中软的d i d s y s t e m 分布式入侵检测系统等。 国内对入侵检测系统的研究晚于国外，但在检测理论( 遗传算法、基于攻击分 类的监测、模糊推理等) 、检测模型( 分布式协作模型、多a g e n t 等) 和商用产品 ( n e t c o p 、天眼、s k y b e l l 等) 等方面的研究上也取得了一定的成果。 1 3 本文的研究背景及研究内容 随着信息技术的发展，计算机网络已得到广泛使用，一些机构和部门在得益于 网络带来的便利的同时，其保存的数据也遭到了不同程度的破坏，数据的安全性和 他们自身的利益受到了严重的威胁。对国家而言，没有网络安全解决方案，就没有 信息基础设施的安全保证，就没有信息空间上的国家主权和国家安全，就有可能使 国家的政治、军事、经济、文化和社会生活等方面处于信息战的威胁之中。在军事 上，“无网不胜”的观点，“网络中心战”的学术思想相继出现。可以说，网络攻防 问题已成为各国军界十分关注的一个重大问题，已成为夺取战争胜利的一种战略资 源。在科索沃战争中，以美国为首的北约陆、海、空、天一体化指挥自动化网络系 统，为其夺取和保持信息权，为其掌握战争的主动权起到了极大的作用。 但随着信息化的迅速发展，人们越来越清楚地认识到，信息化是一把双刃剑， 既可带来巨大利益，也会招至极大的威胁。一个病毒可以造成数十亿元的损失，一 个隐患可使整个系统遭受瘫痪。现在，信息化发达国家已经开始担心“电子珍珠港 事件”的发生，他们最害怕的就是网络系统遭到毁灭性攻击。为此，美国出台了“信 息保障( 认：i n f o r m a t i o n a s s u r a n c e ) ”国家安全计划，它的含义是：“通过确保信息 和信息系统的可用性、完整性、可验性、保密性和不可抵赖性来保护信息和信息系 统的信息作战行动，包括综合利用保护、探测和反应能力以恢复系统的功能”。按照 他们的设想，“信息保障”不仅要能支持战争时期的信息攻防，而且更要满足和平时 期国家信息的安全需求。近几年来，美国举国上下，从军用到政用再到民用领域， 4 第一章绪论 都以“信息保障”要求来衡量全国信息安全防护的各项工作。实际上，自从1 9 9 8 年， 由美国国家安全局起草了美国全国的“信息保障技术框架”之后，“信息保障”已成 为统领美国信息安全工作的一面旗帜，而且，对世界信息安全的走向也产生了重大 影响。由此，导致各国政府和军队进一步加大了对信息安全防护的重视和投入。理 所当然，解决信息安全防护的有关技术问题迅速成为了一个多学科交叉的研究热点。 传统的网络安全技术主要包括：加密和数字签名机制，身份认证与访问控制机 制，认证授权，安全审计，系统脆弱性检测，构筑防火墙系统等等。这些技术都发 展得比较成熟，特别是防火墙技术，它能有效地控制内部网络与外部网络之间的访 问及数据传送，从而达到保护内部网络的信息不受外部非授权用户的访问和过滤信 息的目的，防火墙配置的多样性和防护的有效性使它成为网络安全防线的中流砥柱。 然而任何一种单一的安全技术都非万能，而且随着攻击者经验日趋丰富，攻击工具 与手法的日趋复杂多样，传统单一的安全技术和策略已经无法满足对安全高度敏感 的部门的需要。因此，网络安全的防卫必须采用一种纵深的，多样的手段，形成一 个多层次的防护体系，不再是单一的安全技术和安全策略，而是多种技术的融合， 关键是各种安全技术能够起到相互补充的作用。这样，即使当某一种措施失去效能 时，其他的安全措施也能予以弥补。 传统的安全技术取得了很大的成效，但是它也存在一些固有的缺陷，例如访问 控制可以拒绝未授权用户的访问，却并不能防止已授权访问用户获取系统中未授权 信息；防火墙可以将危险挡在外面，却无法挡住内部的入侵。从网络安全的角度看， 公司的内部系统被入侵、破坏与泄密是一个严重的问题，以及由此引出的更多有关 网络安全的问题都应该引起重视。据统计，全球8 0 以上的入侵来自于内部。因此， 传统的安全技术更多的是一种基于被动的防护，而如今的攻击和入侵要求我们主动 地去检测，发现和排除安全隐患，正是在这样的环境下，入侵检测系统已成为信息 安全领域的研究热点，不仅愈来愈多地受到人们的关注，而且已经开始在各种不同 的环境中发挥越来越重要的作用。 本论文正是基于这样一种特定的背景，致力于研究入侵检测技术。本文首先研 究入侵检测系统的主要技术和常用的入侵检测方法，在此基础上，将数据挖掘技术 引入到入侵检测中，采用中心管理控制台和各个检测引擎组成分布式体系结构，以 增强入侵检测系统的检测性能，然后开发了一个分布式网络入侵检测系统，进行了 相关实验和分析。 1 4 论文的组织结构 本论文由6 章构成，其内容具体安排如下： 5 第一章绪论 第1 章是绪论，回顾了入侵检测技术的产生和发展，介绍了本文的研究背景、 研究内容、国内外研究现状以及本文的组织结构。 第2 章是入侵检测技术的相关理论，介绍了入侵检测的基本概念，常用的入侵 检测方法和技术，目前几种典型的分布式入侵检测系统模型以及入侵检测的主流产 品。 第3 章介绍了数据挖掘技术，讨论了数据挖掘的过程和四种挖掘算法：关联分 析、数据分类、聚类分析和序列模式分析。 第4 章提出了基于数据挖掘的分布式入侵检测系统模型，详细讨论了系统的模 型架构、检测引擎、规则库、模块通信等方面的设计。 第5 章对系统进行实验测试。 第6 章总结了本文的研究工作，提出了未来的研究方向。 1 5 本章小结 本章首先回顾了入侵检测技术的产生， 给出一个总体的介绍。对本文的研究背景、 内容安排。 6 对入侵检测技术的发展过程和研究现状 研究内容进行了阐述，最后给出本文的 第二章入侵检测技术 第二章入侵检测技术 2 1 入侵检测系统 入侵检测系统( i d s ，i n 缸 u s i o nd e t e c t i o ns y s t e m ) 作为一个全面的系统安全体系 结构的必要补充，已经被企业和机构广泛采用。作为防火墙的合理补充，入侵检测 技术能够帮助系统对付网络攻击，扩展了系统管理员的安全管理能力( 包括安全审 计、监视、攻击识别和响应) ，提高了信息安全基础结构的完整性。它从计算机网络 系统中的若干关键点收集信息，并分析这些信息，在不影响网络性能的情况下对网 络进行监测，从而防止或减轻网络威胁。 2 1 1 入侵检测系统的定义 入侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s m m ) 用来识别针对计算机系统和网 络系统，或者更广泛意义上的信息系统的非法攻击，包括检测外界非法入侵者的恶 意攻击或试探，以及内部合法用户的超越使用权限的非法行动。与其它安全产品不 同的是，入侵检测系统需要更多的智能，它必须可以将得到的数据进行分析，并得 出有用的结果。 归结起来，入侵检测至少应该能够完成以下功能1 3 l j ： ( 1 ) 监控并分析系统及用户活动； ( 2 ) 检查系统配置和漏洞： ( 3 ) 评估系统关键资源和数据文件的完整性； ( 4 ) 识别已知的攻击行为以及统计分析异常行为； ( 5 ) 对操作系统进行日志管理，并识别违反安全策略的用户活动： ( 6 ) 针对已发现的攻击行为做出适当的反应，如警告、终止进程等。 2 1 2 入侵检测系统的分类 随着入侵检测技术的发展，到目前为止出现了很多入侵检测系统，不同的入侵 检测系统具有不同的特征。根据不同的分类标准，入侵检测系统可分为不同的类别。 1 、根据数据来源的不同，入侵检测系统分为三种基本结构【2 3 】 ( 1 ) 基于网络的入侵检测系统( n i d s ，n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ) 。 数据来源于网络上的数据流。n i d s 能够截获网络中的数据包，提取其特征并与知识 7 第二章入侵检测技术 库中已知的攻击签名相比较，从而达到检测的目的。 基于网络的检测有以下优点： 监测速度快。基于网络的监测器通常能在微秒或秒级发现问题。而大多数 基于主机的产品则要依靠对最近几分钟内审计记录的分析。 隐蔽性好。一个网络上的监测器不像一个主机那样显眼和易被存取，因而 也不那么容易遭受攻击。基于网络的监视器不运行其他的应用程序；不提 供网络服务，可以不响应其他计算机，因此可以做得比较安全。 视野更宽。可以检测一些主机检测不到的攻击，如泪滴( t e a rd r o p ) 攻击， 基于网络的s y n 洪水等。还可以检测不成功的攻击和恶意企图。 较少的监测器。由于使用一个监测器就可以保护一个共享的网段，所以不 需要很多的监测器。相反地，如果基于主机，则在每个主机上都需要一个 代理，这样的话，花费昂贵，而且难于管理。但是，如果在一个交换环境 下，就需要特殊的配置。 攻击者不易转移证据。基于网络的i d s 使用正在发生的网络通信进行实时 攻击的检测，所以攻击者无法转移证据。被捕获的数据不仅包括攻击的方 法，而且还包括可识别黑客身份和对其进行起诉的信息。许多黑客都熟知 审计记录，他们知道如何操纵这些文件掩盖他们的作案痕迹，如何阻止需 要这些信息的基于主机的系统去检测入侵。 操作系统无关性。基于网络的i d s 作为安全监测资源，与主机的操作系统 无关。与之相比，基于主机的系统必须在特定的、没有遭到破坏的操作系 统中才能正常工作，生成有用的结果。 可以配置在专门的机器上，不会占用被保护的设备上的任何资源。 基于网络的入侵检测系统的主要缺点是：只能监视本网段的活动，精确度不高： 在交换环境下难以配置；防入侵欺骗的能力较差；难以定位入侵者。 ( 2 ) 基于主机的入侵检测系统( h i d s ，h o s ti n t r u s i o nd e t e e t i o ns y s t e m ) 。数据 来源于主机系统，通常是系统日志和审计记录。h i d s 通过对系统日志和审计记录的 不断监控和分析来发现攻击后的误操作。 尽管基于主机的入侵检查系统不如基于网络的入侵检查系统快捷，但它确实具 有基于网络的系统无法比拟的优点。这些优点包括： 能确定攻击是否成功。主机是攻击的目的所在，所以基于主机的d s 使用 含有已发生的事件信息，可以比基于网络的i d s 更加准确地判断攻击是否 成功。 监控粒度更细。基于主机的1 d s 。监控的目标明确，视野集中，它可以检 测一些基于网络的i d s 不能检测的攻击。它可以很容易地监控系统的一些 活动，如对敏感文件、目录程序或端口的存取。 8 第二章入侵检测技术 配置灵活。每一个主机有其自己的基于主机的i d s ，用户可根据自己的实 际情况对其进行配置。 可用于加密的以及交换的环境。加密和交换设备加大了基于网络i d s 收集 信息的难度，但由于基于主机的i d s 安装在要监控的主机上，根本不会受 这些因素的影响。 对网络流量不敏感。基于主机的i d s 一般不会因为网络流量的增加而丢掉 对网络行为的监视。 不需要额外的硬件。 基于主机的入侵检测系统的主要缺点是：它会占用主机的资源，在服务器上产 生额外的负载：缺乏平台支持，可移植性差，因而应用范围受到严重限制；依赖于 主机及其审计子系统，实时性差。 ( 3 ) 采用上述两种数据来源的分布式入侵检测系统( d i d s ，d i s t r i b u t e di n t r u s i o n d e t e c t i o ns y s t e m ) 。能够同时分析来自主机系统审计日志和网络数据流的入侵检测系 统，一般为分布式结构，由多个部件组成。d i d s 可以从多个主机获取数据也可以从 网络传输取得数据，克服了单一的h i d s 、n i d s 的不足。 2 、根据数据分析方法和检测原理的不同，入侵检测系统可以分为两种 ( 1 ) 异常入侵检测系统 异常入侵检测是指能够根据异常行为和使用计算机资源的情况检测出来的入 侵。异常入侵检测试图用定量的方式描述可以接受的行为特征，以区分非正常的、 潜在的入侵行为。a n d e r s o n 做了如何通过识别“异常”行为来检测入侵的早期工作。 异常入侵检测系统具有以下优点： 它能够发现任何企图发掘、试探系统最新和未知的行为。 在某种程度上，它较少地依赖于特定的操作系统。 另外，对于合法用户超越其权限的违法行为的检测能力大大增强。 异常入侵检测系统的缺点： 较高的虚警概率是此种方法的主要缺陷，因为信息系统所有的正常活动不 一定在学习建模阶段就全部了解。 建立用户正常行为轮廓的时间周期较长，系统的轨迹难于计算和更新，而 且并非所有的入侵都表现为异常。 另外，系统的活动行为是不断变化的，这就需要不断地在线学习。该过程 将带来两个可能的后果，其一是在此学习阶段，入侵检测系统无法正常工 作，否则生成额外的虚假警告信号。还有一种可能性是，在学习阶段，信 息系统正遭受着非法的入侵攻击，带来的后果是，入侵检测系统的学习结 果中包含了相关入侵行为的信息，这样，系统将无法检测到该种入侵行为。 ( 2 ) 误用入侵检测系统 9 第二章入侵检测技术 误用入侵检测是指利用已知系统和应用软件的弱点攻击模式来检测入侵。与异 常入侵检测不同，误用入侵检测能直接检测不利的或不可接受的行为，而异常入侵 检测是检查出与正常行为相违背的行为。误用检测基于已知的系统缺陷和入侵模式， 故又称特征检测。它能够准确地检测到某些特征的攻击，但却过度依赖事先定义好 的安全策略，所以无法检测系统未知的攻击行为，从而产生漏警。 误用入侵检测系统的优点：误用入侵检测系统从入侵行为中提取入侵特征来创 建规则库，例如p i n go fd e a t h 攻击采用了分片技术传送长度超过6 5 5 3 5 ( p 协议中 规定最大的i p 包长为6 5 5 3 5 个字节) p i n g 包来瘫痪目标主机的攻击手段，因此可根 据该特点，配置误用入侵检测的相应规则，这样当收到这样的数据包时，则产生报 警。故而，建立在此技术基础上的入侵检测系统能够检测已经发现的攻击行为，具 有非常低的虚警率，同时检测的匹配条件可以清楚地描述，从而有利于安全管理人 员采取清晰明确的预防保护措施。 误用入侵检测系统的缺点：误用入侵检测系统只能检测分析已知的攻击模式， 当出现针对新漏洞的攻击手段或针对旧漏洞的新攻击方式时，需要由人工或者其它 机器学习系统得出新攻击的模式，添加到误用规则库中，才能使系统具备检测新的 攻击手段的能力，这一点如同杀毒软件一样，需要及时地，不断地升级，才能保证 系统检测能力的完备性。同时，对入侵特征的精确描述也不是一件易事。误用入侵 检测技术检测内部用户的滥用权限的活动将变得相当困难，因为通常该种行为并未 利用任何系统缺陷。 3 、根据体系结构的不同，入侵检测系统可以分为两类 ( 1 ) 集中式入侵检测系统 集中式入侵检测系统所进行的所有数据的采集和分析活动均是由一台主机来独 立地完成。数据可以来源于系统的审计日志或者是网络的数据包，数据分析及实践 检测的方法和机制也可以根据具体的情况而有所不同。这种方式适用于网络环境比 较简单的情况。 传统的n i d s 大多采用集中式结构，然而随着网络结构的升级，网络规模的扩 大以及基于网络的应用技术的发展，集中式结构的n i d s 已越来越难以解决网络安 全所面临的新问题。它的数据截获处理能力、全局性攻击抵御能力和系统的自身抗 攻击能力都比较弱。 ( 2 ) 分布式入侵检测系统 从广义上来说，分布式入侵检测系统可以被理解为是由分布在一个大型网络( 可 以是一个局域网，也可以是一个广域网，甚至是整个i n t e r n e t ) 中的多个入侵检测系 统( i d s ) 所构成的有机系统，该系统中的i d s 通过彼此间的通信和协调来协同展 开各种数据采集、分析和事件检测活动，共同实现对整个网络全面而有效的监控。 构成分布式i d s 的多个子i d s 单元在系统中的角色可以比较类似或不尽相同，且构 1 0 第二章入侵检测技术 成系统的方式是通过协作而非简单的堆叠。 除了上述三种主要的i d s 分类方法外，还有其他一些分类方法。例如，根据系 统分析数据和检测事件时间的不同，可以将i d s 分为联机分析( 即在攻击行为结束 以前检测到它) 和脱机分析( 即在攻击行为结束以后进行检测) 。根据系统在检测到 攻击后所采取的响应方式的不同，又可以将d s 分为主动响应( a c t i v e l d s ，即根据 检测到的攻击主动采取某种应对措施，比如恢复和阻断) 和被动响应( p a s s i v e l d s ， 即仅仅对检测到的攻击进行报告) a 现实中的i d s 往往是上述不同方面技术和方法的组合，应该说，通过将一种技 术与其他技术进行结合，确实能够改善单独应用这种技术时在某些方面所存在的不 足，但是这并不能说明这种技术本身的缺陷和问题由此就可以得到全部的解决。也 就是说，各种技术在其细分的领域内还需要展开更多和更深入的研究，事实上这也 是入侵检测这门学科无论是现在还是将来仍值得我们不断研究和探索的一个重要原 因。 2 2 常用入侵检测方法 入侵检测方法主要分为两类：异常检测方法和误用检测方法。 2 2 1 异常检测技术 异常检测指根据使用者的行为或资源使用情况来判断是否入侵，而不依赖于具 体行为是否出现来检测，所以也被称为基于行为的检测。基于行为的检测与系统相 对无关，通用性较强。它甚至有可能检测出以前从未出现过的入侵行为，不像基于 知识的检测( 误用检测) 那样受已知脆弱性的限制。但因为不可能对整个系统内的 所有用户行为进行全面的描述，况且每个用户的行为是经常改变的，所以它的主要 缺陷在于误检率太高，尤其在用户数目众多，或工作目的经常改变的环境中。其次 由于统计简表要不断更新，入侵者如果知道某系统在检测器的监视之下，他们能够 慢慢地训练检测系统，以至于最初认为是异常的行为，经过一段时间训练后也认为 是正常的了。 异常检测步骤( a n o m a l yd e t e c t i o na p p r o a c h ) 通常分为两个阶段： ( 1 ) 训练阶段，总结正常操作或通讯应该具有的特征，例如特定用户的操作习 惯与某些操作的频率等。 ( 2 ) 测试阶段，在得出正常操作的模型后，对后续的操作或通讯进行监视，一 旦发现偏离正常统计学意义上的操作模式，即进行报警。 进行异常检测的重要前提是：入侵活动( i n t r