（计算机软件与理论专业论文）基于数据挖掘的入侵检测系统研究.pdf

摘要 入侵检测技术是安全网络体系领域的主要研究方向之一。可是目前的入侵检 测系统只是将抓取的数据包或者数据与已有的模式数据库做比较，采用目前的模 式匹配方法对已经存在的攻击具有很高的检测效率和正确率，但对目前流行的很 多新的入侵攻击行为和手段却有很大的局限性，检测效率和正确率比较低。因此 利用数据挖掘技术不仅可以提高检测速度，减少手工操作的工作量，用来进行入 侵检测，还将提高入侵检测的检测效率和准确性。 本文首先介绍了入侵检测系统的基本结构和工作流程，然后介绍了数据挖掘 的四类常用分析算法，并且详细分析了入侵检测系统的工作机制，为基于数据挖 掘的入侵检测的设计提供了相关可操作性理论依据；接着在深入分析关联规则挖 掘算法和聚类分析算法的基础上，针对算法的缺点和目前入侵检测系统的需求， 对关联规则挖掘算法和聚类分析算法进行相应的改进。构建了基于数据挖掘技术 的s n o r r t 入侵检测系统，把改进后的关联规则算法和k m e a n s 算法引入到入侵检测系 统中，设计了基于改进的k m e a n s 算法的聚类分析算法模块插件。实验结果表明该 系统不仅提高了入侵检测的检测效率和正确率，而且使得入侵检测具备检测未知 入侵攻击行为的能力。 关键词：入侵检测；数据挖掘；关联规则算法：k m e a n s 算法 a b s t r a c t i n t r u s l o nd e t e c t l o ns y s t e mi so n eo ft h em a i nr e s e a r c hd i r e c t i o n si nt h ef i e l do f n e t w o r ks e c u r i t y h o w e v e r m o s to ft h ee x i s t i n gi n t r u s i o nd e t e c t i o ns y s t e m su s u a l l y i d e n t i f ya t t a c k sb ym a t c h i n ga t t a c k sd a t a b a s et h a ti sk n o w n u s i n gt h ec u r r e n tm e t h o d o fp a t t e mm a t c h i n ga t t a c ko nt h ea l r e a d ye x i s t i n g h i g hd e t e c t i o ne m c i e n c ya n d a c c u r a c yb u tt h ep r e v a 订i n gi n v a s i o no fm a n yn e wa t t a c k sa n dm e a n st h e r ei sal o to f 1 i m i t a t i o n s ，t h ee f j f i c i e n c ya n da c c u r a c yo fd e t e c t i o ni sr e l a t i v e l yl o w d e t e c t i n g k n o w na t t a c k st h e s ep a t t e mm a t c h - b a s e dm e t h o d sh a v eb e t t e rd e t e c t i o np e r f o m a n c e ， b u td e t e c t i n gu n k n o w na t t a c k st h e yd o n tw o r kw e l l f i r s t l y ； t h i sp a p e ri n t r o d u c e si n t m s i o nd e t e c t i o ns y s t e m ，t h e ni n t r o d u c e sf 1 0 u r l 【i l o w nd a t am i n i n gt e c h n i q u e s ，t h e na n a l y z e si n t m s i o nd e t e c t i o ni nw i d t h ，e s p e c i a l l y t h ep l u g i n s ，w h i c hp r o v i d e st h e o r yf o u n d a t i o nf o rn e wi n t m s i o nd e t e c t i o ns y s t e m s e c o n d l y i ta n a l y z e sa s s o c i a t i o nr u l ea l g o r i t h ma n dk m e a n sa l g o r i t h m ，t h e ni t m a k e sb e t t e r c h a n g e si nt h et w oa b o v ea l g o r i t h i n sb a s e do n t h en e ws y s t e m r e q u i r e m e n t s t h i r d l y ；i tb u i l d san e wi n t m s i o nd e t e c t i o ns y s t e mb a s e do nd a t am i n i n g t e c h n i q u e s ，w h i c hp u t si m p r o v e da s s o c i a t i o nr u l ea l g o r i t h ma n dk - m e a n sa l g o r i t h m i n t os n o r tb a s e do ni m p r o v e da s s o c i a t i o nr u l ea l g o r i t h m 龃dk - m e a n sa l g o r i t h m t h e r e s u l ts h o w st h en e wd a t am i n i n gi n t n l s i o nd e c t i o ns y s t e mn o to n l yi m p r o v e dt h e d e t e c t i o ne f n c i e n c ya n da c c u r a c y ；b u ta l s o i m p r o v e dt h ed e t e c t i o na l b i l i t yo fn e w a t t a c k s k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；d a t am i n i n g ；a s s o c i a t i o r u l ea l g o r i t h m ； k _ m e a n sa l g o r i t h m 长沙理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名：日期：2 0 0 9 年月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权长沙理工大学可以将本学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打。) 储躲互建争嗍2 啷年6 月乡日 导师签名：罗。歹日期：2 0 0 9 年r 月伊日 1 1 研究背景与意义 第一章绪论 十九世纪是铁路的时代，二十世纪是信息公路的时代，二十一世纪 是网络的时代，随着时代的发展，网络和人们的联系越来越密切，网络 技术越来越重要，已经和人们的紧密的联系到一起，我们的日常生活、 工作和学习对网络依赖和联系已经无法区分。进入二十一世纪以来，伴 随计算机技术的发展，网络技术更是已爆炸性的速度飞速发展，对人类 社会的经济和文化带来了非常大的便利，但同时也给我们的个人隐私和 信息安全带来了挑战。各种网络入侵技术手段和黑客技术等危险因素在 网络上发展迅速，导致我们的个人隐私和信息安全等方面的问题日益严 重，需要及时解决。据国家统计部门统计：在最近十年中，网络信息安 全方面导致的泄露事件以l5 0 以上的速度迅猛增加，这其中不仅有个人 隐私和个人的信息安全等方面的事件，还有很多大型的公共和国有企业 以及网易等大型网站等。2 0 0 7 年，国家统计部门和公安部等部门联合对 网络安全状况进行了调查，结果显示：被调查的大型的公共和国有企业 以及事业单位有4 7 发生过网络受到攻击导致信息泄露等安全事件发 生。而发生安全事件的大型的公共和国有企业事业单位中，大部分感染 过计算机病毒或者发生过网络入侵行为，6 0 的企业和事业单位中过木马 程序的干扰和影响，8 0 的企业和事业单位受到垃圾电子邮件的烦恼，基 本所有的大型单位都被攻击过发生信息泄露等安全事件。 为对付网络“黑客一们层出不穷的入侵攻击，专家通过各种技术应 付网络上发生的安全隐患，采取了内部防御和入侵检测等各种各样的不 同手段来应对网络“黑客一们层出不穷的入侵攻击和入侵行为。所有这 些应对手段可以大体分为两大类：被动型防御手段和主动型对抗手段。 防火墙是被动型手段中的主要代表。防火墙主要是基于静态禁止的策略 对于改善网络安全有重大的作用，是最基本的每个计算机的防御手段。 被动型防御机制尽管作为防御的第一道防线，可是也有它自身的不足和 缺点。主要是防火墙虽然能够制止多数发生在网络上的入侵行为或者病 毒等对系统的攻击，但对某些特殊的入侵行为或者攻击手段，由于某些 攻击手段在防火墙的系统里面不存在，或者由于定义、配置上的错误或 者在安全策略方面出现问题时，都会导致计算机被攻击，导致系统崩溃。 另外，防火墙主要作用仅仅局限于数据流的某些关键路径上，因此针对 某些移动的代码攻击或者来自计算机系统内部的攻击等，将没有办法进 行阻止和防御。主动型阻止手段的比较典型代表就是入侵检测系统。入 侵检测系统是目前流行的能够识别计算机系统中的异常入侵检测行为和 新的入侵操作的技术。 入侵检测系统【! j 是已经发展流行的网络体系安全结构中的一个关键 的组件，入侵检测系统的机制是通过实时监控计算机网络和计算机系统 的状态，以此惊醒主动的预防或抵御计算机系统受到外部的入侵攻击行 为或者操作的一种动态安全机制。可以通过实时检测计算机系统的使用 情况，来对计算机系统进行防御和保护。通过入侵检测系统，可以实时 动态的监控计算机系统，并且入侵检测系统容易配置，容易使用，使得 系统和网络的安全性有很大的提高。 入侵检测技术型是目前检测网络安全的主要的工具，它的使用可以 提高计算机系统抵御入侵行为和动作的攻击，实时保护计算机系统，同 时入侵检测技术可以有改进以前计算机系统再安全保护和防御方面的不 足和缺陷，可以最大限度尽可能地提高计算机系统的网络安全防御保障 方面的能力。因此，入侵检测已经成为网络安全领域防御入侵攻击和手 段的最重要的工具。 1 2 国内外研究现状 入侵检测就是通过对计算机系统中的数据的分析，辨别出入侵检测 攻击的行为和手段，尽管目前防火墙己经基本上被应用到了各种网络和 计算机系统中，但是计算机网络和计算机系统仍然存在着很多隐患。而 应用入侵检测系统可以很好地解决这些这些隐患，在计算机系统中我们 可以采用主动安全策略如访问控制和数据加密技术保证安全性，这样入 侵检测工具就能够实时分辨出正常的网络行为和入侵行为和动作，因此 入侵检测目前的研究热点。 国外在入侵检测系统的研究方面走在了前列，早再l9 8 0 年就开始对 入侵检测系统进行研究。在l9 8 0 年，j a m e sp a n d e r s o n 在他写的一份报 告“计算机安全威胁的监察 中指出，目前必须改变现有的计算机系统 的设计机制，以便为系统安全管理人员提供安全信息，为有关领域专家 提供数据和信息，这是有关入侵检测的最初始描述。在19 8 4 年开始， d o r o t h yd e n n i n g 和p e t e rn e u m a n n 研究开发了一个实时模式的入侵检测 2 系统，命名为入侵检测专家系统i d e s 。在19 8 6 年，d e n n i n g 发表的论文 “入侵检测系统的模型 被很多入侵检测系统的专家认为是入侵检测领 域的开山之作，成为入侵检测系统的一个有影响力的里程碑。在入侵检 测系统的发展史上，i d e s 占有这非常重要的作用，是最有影响的入侵检 测系统之一，主要使用基于统计学模式的数据结构来描述计算机系统用 户的行为以此来设计计算机系统目标的方法的基础。在l9 9 5 年，经过很 多入侵检测方面的专家努力，开发出了i d e s 升级版本n i d e s ，受i d e s 的影响，在2 0 世纪8 0 年代，出现了很多的入侵检测原型系统如h a y s t a c k ， d i s c o v e r n a d i r 和w i s d o ma n ds e n s e 等，商业化的入侵检测系统在8 0 年代末也开始出现。 国内在入侵检测方面起步比较晚，但是最近进展很大，许多高校和 专门的研究机构专门从事入侵检测方面的研究，同时还将很多的新的算 法和技术引入到了入侵检测中去，例如数据挖掘技术，人工智能等，大 大提高了我们在信息安全方面的研究。比较有影响力的是宋世杰【3 l 等人 将数据挖掘技术引用到了网络型误用入侵检测系统中进行了卓有成效的 研究；向继【4 】等人把聚类分析算法应用在网络入侵检测中；西北工业大 学的马晓春【6 】很早就将数据挖掘技术应用到入侵检测系统中，同时做了 大量工作进行了深入研究；武汉大学的向继东【5 】做了基于数据挖掘的自 适应入侵检测建模研究工作；东北大学的李波【_ 7 】重点研究了数据挖掘在 异常检测中的应用。 1 3 研究的主要内容和思路 把数据挖掘技术应用到入侵检测是网络安全领域中的非常重要的研 究方向。将数据挖掘技术应用到入侵检测检测系统中，可以自动地从大 量的网络数据包和数据中发现新的入侵攻击行为和模式，减少因为领域 专家因为通过手工编写入侵行为模式和正常行为模式的工作量，可以提 高入侵检测的效率。本文在数据挖掘和入侵检测的基础上，提出了一种 基于数据挖掘的网络入侵检测系统模型。本文主要在以下方面做了相关 的研究工作： 第一章是绪论，主要阐述课题研究背景、国内外研究的现状和发展 趋势。 笫二章主要分析入侵检测系统，给出了入侵检测系统的分类和工作 流程，接着深入分析了入侵检测系统的结构。 第三章主要分析数据挖掘技术，介绍了常用的四类数据挖掘的优缺 点，然后介绍数据挖掘技术及其在入侵检测中的应用。 第四章介绍了基于数据挖掘的入侵检测算法，加权关联规则发现算 法和k m e a n s 算法。 第五章主要将数据挖掘算法应用于网络入侵检测系统，构建了基于 数据挖掘的网络入侵检测系统模型。 第六章对全文进行了总结，并阐述今后的工作和研究方向。 4 第二章入侵检测概述 2 1 入侵检测系统概念 入侵检测( i n t r u s i o nd e t e c t i o n ) ，就是对入侵行为和动作的检测和发 觉。它通过从计算机网络或计算机系统中收集和分析网络的行为、审计 数据、安全日志等信息以及计算机系统中若干关键点的信息，检查计算 机网络或者计算机系统是否存在违反安全策略的行为或者被攻击的迹 象。入侵检测是一种积极主动地安全防护技术，它不仅可以检测来自计 算机系统外部的入侵行为，同时也可以检测到计算机系统内部的违反安 全规定的活动。入侵检测为我们提供了一种用于区别系统外部入侵攻击 行为与内部合法用户滥用特权的方法，入侵检测基于一个前提条件：入 侵操作的行为和合法用户的行为是可以分辨的。我们可以采用提取入侵 检测的模式特征来判断该行为是合法行为还是入侵行为。入侵检测主要 是对网络活动和系统的用户信息进行匹配分析来达到对非法的行为和入 侵活动的检测和进行阻止报警的目的，进而由防火墙等有关安全组件或 者杀毒软件对入侵行为活动等非法行为进行处理，来保障计算机系统的 安全。其具体目的为： ( 1 ) 监控和分析用户以及计算机系统的实时活动； ( 2 ) 核查计算机系统安全配置是否有漏洞； ( 3 ) 评估关键的系统文件的完整性： ( 4 ) 识别攻击的模式并向管理员报警，已发现入侵行为； ( 5 ) 统计分析异常行为和活动，识别违反计算机安全策略的用户或计 算机系统的活动。 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 是硬件、软件或者两 者的结合，它对系统中的恶意行为进行监控。入侵检测系统主要通过实 时的分析和检查特定的计算机系统或用户的行为模式，监控与安全无关 的活动，看是否有非法行为发生。基本的入侵检测系统需要解决两个主 要问题：一个是如何正确可靠地提取描述行为特征的数据，以防发生误 检测行为；另一个是如何根据提取的特征数据，采取有关方法高效准确 地判定该行为是否是入侵行为。i d s 主要包括三部分，首先进行的是数据 收集，然后把收集到的数据进行数据分析，判别是合法行为和还是入侵 5 行为，最后进行结果处理。另外入侵检测系统还包括其他相应的组成部 分，如界面管理、配置管理、系统通信管理等等。入侵检测系统采集到 的数据来源很多，可以是计算机主机上的信息，也可以是计算机网络上 的信息等。 入侵检测系统结构如图2 1 所示。 ( 1 ) 数据收集 数据收集收集的内容包括计算机系统和网络上的数据及用户活动的 状态和行为方面的数据。主要由网络上的传感器来收集信息，主要包括 计算机系统和网络的日志文件、审计数据、网络流量、非正常的文件改 变、非正常的程序执行。数据收集是入侵检测系统的的第一步。 ( 2 ) 数据分析 数据分析是将收集到的有关计算机系统和网络的数据及用户活动的 状态和行为等数据，进行数据分析，主要通过三种技术手段进行分析，分 别是模式匹配、完整性分析和统计分析。数据分析入侵检测系统的的第 二步。 入 数 数事其 ， 、 据 l a 据 、 件 a 他 l 数据夕 收数据夕分 事件j 响 事件j 系 集 y 析 应 统 图2 1入侵检测系统结构图 ( 3 ) 事件响应 事件响应是由控制台按照警告产生的预先定义的响应所采取的相 应的措施，根据规则判别是否是入侵行为，然后对系统或者计算机网络 进行重新配置。也可以发出简单的警告，告诉管理员有入侵行为发生， 需要管理员采取行动阻止。 一个入侵检测系统的功能结构如图2 2 所示，它主要包含事件提取、 入侵分析、入侵响应和远程管理四部分功能。 6 图2 2入侵检测系统功能构成 事件提取功能主要负责提取与被保护计算机系统相关的数据或记录， 并对数据和记录进行过滤。 入侵分析的任务就是在提取到的数据和记录中找出入侵的痕迹，判别 出是正常的访问行为和不正常的访问行为，分析出是否由入侵行为发生 并对入侵者进行详细分析定位。 入侵响应功能在分析出由入侵行为发生后，根据相应的入侵行为产生 响应。 2 2 入侵检测系统体系结构分类 入侵检测系统在计算机网络上主要存在三种主要入侵检测体系结构 【8 9 】：基于主机的入侵检测系统( h o s t b a s e 4i n t r u s i o nd e t e c t i o ns y s t e m ) 、 基于网络的入侵检测系统( n e t w o r k - b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 和混 合分布式的入侵检测系统。基于主机的入侵检测系统是从计算机的主机 上提取计算机系统的日志等数据，以此作为数据源进行入侵分析；基于 网络的入侵检测系统是从计算机网络上提取数据帧等数据作为数据源进 行入侵分析。一般来说基于主机的入侵检测系统只能检测单个主机系统， 而基于网络的入侵检测系统可对属于同一个网段的多个计算机主机进行 检测。 2 2 1 基于主机的入侵检测系统 基于主机的入侵检测系统( h o s t - b a s e d i n t r u s i o nd e t e c t i o n 7 s y s t e m ，h i d s ) 是将检测模块驻留在受监控主机的系统上，通过提取被监 控主机系统的运行数据并进行数据分析来实现入侵检测的功能。h i d s 的 检测目标主要是计算机的主机系统和使用本系统的用户等信息，而不监 测计算机网络上的情况，主要是检测内部特权滥用攻击以及相应关键数 据的修改，还有就是主机的安全配置的变化问题。h i d s 产品主要是安装 在我们要进行重点检测的计算机主机上，对该主机的网络实时数据或者 审计数据等信息进行实时连接，以及对系统审计同志进行分析，以此来 判定是否有入侵行为发生。 基于主机的入侵检测系统开始用于审查用户的活动，如用户的登陆、 应用程序使用、命令操作、资源情况等。一般的通用入侵检测模型就是 建立在h i d s 之上的。基于主机入侵检测系统并不是孤立的单个系统，它 还可以在其它主机上使用代理进行通信。一般用在具体的操作中，可以 在用户进行登陆或者应用程序正在运行的情况下。 基于主机的入侵检测系统具有分析代价小，检测效率高，分析速度 快的特点，能够迅速并准确地定位入侵者并且对入侵进行进一步分析和 响应。同时入侵检测系统还可以结合计算机的操作系统或者正在使用的 应用程序的行为特征等，对入侵检测做进一步处理。一般情况下，基于 主机的入侵检测系统的误报率比基于网络入侵检测系统的要好，比较低， 因此基于主机的入侵检测系统有很重要的应用范围。 基于主机的入侵检测系统也有其很多缺点：因为它们驻留在受监控 的计算机主机，所以对整个计算机网络的拓扑结构认识不足。再就是它 在很大程度上依赖于计算机系统的可靠性，因此它要求计算机系统本身 具备基本的安全功能和更加合理的设置，然后我们才可以提取有用的入 侵信息：再就是计算机主机的日志能够提供的信息比较有限，有些新的 入侵手段不会在日志中反映出来。 2 2 2 基于网络的入侵检测系统 基于网络的入侵检测系统( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ， n i d s ) 放置在网络基础设施的关键区域，主要用于监控流向其它计算机主 机的流量。随着计算机网络的普及应用，来自网络的入侵行为和事件逐 渐成为安全信息系统的最大威胁，成为当前入侵检测系统发展的主要方 向。基于网络的入侵检测系统主要放置在重要的网段，通过线路窃听的 技术，对截获的计算机数据进行分组处理，提取有用的特征模式，然后 通过与已知的入侵特征进行匹配或者与正常网络行为原型进行比较来识 8 别入侵行为事件。基于网络的入侵检测系统根据协议分析、网络流量、 网络管理协议信息等数据来检测入侵行为。 基于网络的入侵检测系统主要搜集的信息来自于网络层。通常采用 嗅探器来获取信息数据，从混杂模式的计算机网络接口中获得信息。n i d s 主要位于客户端与服务端的通信链路中央，入侵检测系统可以访问到通 信链路的所有不同的层次。因此，这种入侵检测系统可以监视和检测来 自网络层的入侵行为。 与h i d s 相比，基于网络的入侵检测系统更安全也不容易中断，同时 对系统主机的要求比较低，耗费的系统资源比较少。由于不依赖计算机 主机的安全性，其证据不容易被破坏。同时不需要主机提供严格的审计， 对主机资源消耗少。并且因为网络协议是标准的，基于网络的入侵检测 系统可以提供对网络的保护而无需顾及异构主机的不同架构。 基于网络的入侵检测系统也有自己的缺点，其主要问题是n i d s 所要 监视的数据量非常庞大，并且n i d s 只能自己对网络数据和信息进行处 理，不能结合计算机的操作系统进行判断。另外，基于网络的入侵检测 系统只检查与它直接连接的某个网段的通信信息，无法检测不同网段的 数据信息，在交换以太网的环境中就可能出现监测范围比较狭窄的局限。 如果多安装数台基于网络的入侵检测系统传感器，有可能导致部署整个 系统的成本比较大。基于网络的入侵检测系统为了提高性能目标，我们 一般采用特征检测的方法，这样可以检测出很多普通的攻击，但是很难 实现对一些复杂的攻击行为进行检测，例如如果对于大量需要计算和分 析时间的攻击进行检测。如果对于已经加密的网络数据，基于网络的入 侵检测系统就不能扫描网络协议或者网络内容。当前的情况下通过加密 通道的特殊攻击比较少，但随着i p v 6 的普及和发展，这个问题会越来越 严重。 2 2 3 混合分布式的入侵检测系统 混合分布式入侵检测系统( d i s t r i b u t e di n t r u s i o n d e t e c t i o n s v s t e m ，d i d s ) 是综合以上两种系统的优点开发的系统。网络的发展速度 很迅速，随着网络的发展，网络入侵行为和手段手段越来越趋于多样化， 入侵行为变成越来越复杂的行为，并且表现出不同的入侵行为和手段相 互协作，共同入侵的态势，仅仅依靠基于主机的入侵检测系统或者基于 网络的入侵检测系统都有一定的缺陷，都会造成主动防御体系不全面。 况且不同类型的入侵检测系统之间需要互相协调，共同检测，需要我们 9 把握基于主机的入侵检测系统和基于网络的入侵检测系统优势共享，缺 陷互补，这样我们才能够组合出各种不同入侵检测系统的入侵检测的信 息，进行识别和定位不同的入侵行为和动作，这就形成了混合分布式入 侵检测系统。它主要综合了基于网络和主机入侵检测系统两种结构特点 的入侵检测系统，既可以利用来自网络数据，也可以利用来自计算机主 机的数据信息；采用混合分布式入侵检测系统可以联合使用基于主机和 基于网络这两种不同的检测方式，有很好的操作性，能够达到更好的检 测效果。 在混合分布式入侵检测系统研究方面，美国在这个领域处于领先地 位，其国防高级研究计划署和互联网工程任务组的入侵检工作组提出了 公共入侵检测框架c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，c i d f ) 。 公共入侵检测框架是目前入侵检测领域内采用和制定的标准。其应用促 进了i d s 的进一步深入发展。 c i d f 是一个通用模型，将入侵检系统分为四个组件：事件产生器、 事件分析器、响应单元和事件数据库。它旨在实现不同的入侵检测系统 之间的互用性相互协调。 由于不同入侵检测系统都是独立的，为了解决不同入侵检测系统之 间如何相互操作性和相互互用这些问题，国内外正在着手制定c i d f ，这 是国际入侵检测系统的标准，c i d f 是为了解决不同入侵检测系统的互操 作性和共存等问题而提出的i d s 的框架。 公共入侵检测框架主要基于三个目的： ( 1 ) 入侵检测系统构件共享。 ( 2 ) 入侵检测系统中的数据可以实现不同系统之间的共享。 ( 3 ) 完善入侵检测系统互用性标准，并建立一套独立支持的工具， 以提供独立开发部分入侵检测系统构件的能力。 公共入侵检测框架主要是通过对数据格式和数据交换接口等的定 义，以此来实现公共入侵检测框架目标，但是并没有对入侵检测系统的 体系结构进行任何约束，并且可以采用不同的计算机操作系统和采用不 同的计算机编程语言。 首先，根据入侵检测系统的需求、入侵检测系统的结构，可以将入侵 检测系统的构成划分为事件构件、分析构件、数据库构件、响应构件和 目录服务构件五类构件。 入侵检测系统的构成划分为五类构件，这五类构件的关系如图2 3 ： 团团 团团圆 图2 3公共入侵检测框架 计算机网络在飞速发展，入侵攻击行为也在不断变化，同时入侵检 测技术也在不断的发展，这时网络安全系统就提出新的需求，需要我们 改进入侵检测技术，出现很多入侵检测新系统，它们的互操作和协同工 作是我们迫切需要解决的。 2 3 入侵检测技术 现在应用最多的的入侵检测技术可分为异常检测和误用检测两类。 2 3 1 异常检测 异常检测( a n o m a l yd e t e c t i o n ) 通过对标准的测量，以此来检测滥用入 侵行为，如果有一个行为与标准不相同，就会发生报警。主要被用来对 应用程序来检测用户的行为，因此又被称为基于行为的入侵检测，使用 过程是根据用户的具体行为或应用程序资源使用状况是否偏离正常的情 况，以此来判断入侵行为是否发生。在异常检测中，我们观察到的主要 是网络上的异常现象或者通信过程中不正常的现象。这种入侵行为或者 异常行为有多种方式，可以是外部闯入，可以是内部渗透或者不恰当使 用资源。 异常检测可以用来监控权限升级攻击，也可以更好的捕获那些富有 经验的攻击者，只要入侵检测能检查出攻击者和正常行为有很大不同， 就可以检测出这些攻击。 对于掌握被保护对象的正常工作模式情况下，异常检测前提是其正 常工作模式是相对稳定的。异常检测最大的优点是我们可能检测出以前 从未出现过的攻击方法，就是新的入侵行为方式和手段。但由于计算机 系统比较复杂比较大，我们不可能对计算机系统内的所有的用户的操作 和行为进行全面的检测和描述，而且用户的不同操作和不同的行为是时 刻随时改变的，所以它的主要局限性，就是异常检测的误检率相对比较 高，而且管理起来比较复杂，安全管理人员工作量比较大，这也是目前 异常检测所面临的不足之处。 如何构造异常活动集，并且从异常活动集中查询出入侵活动，这是 异常检测要解决的主要问题。异常检测方法对异常模型的依赖非常大， 模型不同，构成出的检测方法就大不相同。根据观测到的一组测量值， 其偏离度，我们可以预测用户行为的变化是否合适，然后做出正确的决 策判断。 异常检测是作为入侵检测系统的主要研究方向，可以分为三种常见 异常检测技术，分别是基于统计分析的入侵检测技术、基于神经网络的 入侵检测技术和基于规则的入侵检测技术。 2 3 2 误用检测 误用检测( m i s u s ed e t e c t i o n ) 又称为基于知识的检测或者特征检测。 误用检测对那些以非标准手段使用计算机系统，以及误用检测对那些试 图以非标准手段使用系统的安全事件进行鉴别。入侵检测系统中存储着 已知的行为描述，入侵检测系统中存储着已知的入侵行为描述，以此和 系统的行为惊醒比较，若与入侵行为发生匹配时，就会作为发生入侵行 为，发出警报，交给入侵检测系统管理员处理。 误用检测在入侵检测中，针对已知攻击的检测是最准确的检测技术。 一个特征与一次入侵行为或者动作匹配时，就会发出一个警报，成功率 非常高。同时系统管理员做出相应措施提供了很大的方便，可以使系统 管理员和有关专家有针对性的建立高效的入侵检测系统。 误用检测也具有一定的局限性。由于特征检测并不关心进行匹配的 行为的意图，所以即使有时候是正常的流量也会触发警报。因此，采用 误用检测容易发生误报。误用检测需要我们提前了解攻击。 误用入侵检测对于模式库的依赖很大。常用的误用检测技术有三种， 分别是基于专家系统的入侵检测技术、基于状态迁移的入侵检测技术和 基于模型推理的入侵检测方法。 2 4 入侵检测系统的数据源 信息资源一般面临多种形式的入侵行为的威胁，对于目前流行的众 多入侵手段，要发现入侵留下的痕迹并不困难。通过网络或者主机等收 集到的数据包或者数据等信息均可以作为入侵检测的数据源，我们根据 收集到的数据信息的不同分为两大类： ( 1 ) 计算机网络的数据源 根据网络入侵行为所产生的报文一般情况与正常情况下的报文存在 比较明显差异，因而报文己经成为n i d s 系统最常用的一种可以收集到的 数据源。由于入侵检测系统一般放置于网络之上，非常靠近被检测的计 算机系统，也非常容易通过网络系统，根据对区中若干关键点进行数据 包和数据信息收集，我们通常称入侵检测作是防火墙之后的第二道安全 闸门。经过对收集到的信息进行分析，可以得到是否有违反安全策略的 入侵操作行为和遭到入侵袭击的迹象，对于入侵检测非常有用。 ( 2 ) 主机的数据源 但是当入侵行为的数据包通过网络抵达到目的主机后，防火墙没有 作用了，这时网络监控也没有作用了。这时我们只能依靠计算机的操作 系统所产生的各种安全日志作为数据信息。 2 5 入侵检测技术的现状 目前网络入侵检测技术面临的现状主要有以下三个不足之处： ( 1 ) 误报警多 目前流行使用的所有的n i d s 可以采用一个通用的指标就是误报警 率，就是在我们通过入侵检测技术检测到的结果中，合法行为被错误的 认为是入侵行为的次数占所有次数的百分比，通常一般的入侵检测系统 的误报警率都在8 0 都是误报警。这是个严重的问题。 ( 2 ) 入侵方式变化迅速 网络在不断发展，入侵检测技术也在不断发展。入侵检测也在随时 快速变化，已经由以前对计算机系统采取的单一的一种入侵行为手段， 逐渐演化到现在的复杂的联合多变入侵行为操作手段，同时由于网络安 全防范技术的复杂化，入侵行为攻击的难度和方式都大大增加，入侵者 在入侵时往往采取多种不同的复杂的入侵行为手段，进行分布式攻击。 我们往往无法揣摩出入侵者的真是意图，掩盖了入侵行为的目的，这同 样是个重要的问题。 ( 3 ) 配置和维护比较困难，不能对攻击作出实时的响应 2 6 国内外入侵检测系统发展方向 网络的不断发展，入侵行为的不断复杂化，引起了入侵检测技术的不 断发展。入侵行为的技术和手段也在不断更新，一些黑客( h a c k e r ) 和组织 已经将绕过入侵检测系统或攻击入侵检测系统作为自己研究的目标和重 点。网络的速度越来越快，随着交换技术的不断发展，以及通过对数据 加密进行通信，通过共享网段侦听方法进行数据采集的方法显得不方便， 同时告诉网络要求提高数据的通行量，大的通信数据对数据分析也提出 新的更高要求。因此目前i d s 的目标是应具有好的适应性和扩展性，降 低误报警率，提高正确率和检测效率，因此入侵检测技术的主要发展方 向有以下几个方面： ( 1 ) 分布式入侵检测与通用入侵检测架构 公共入侵检测框架以构建通用的入侵检测系统体系结构和通信系统 为目标，通过跟踪与分析分布系统入侵，来实现在大规模的计算机网络 和复杂环境中的入侵检测。以此可以解决传统的入侵检测系统的局限性， 可以对打规模的计算机网络系统进行检测。 ( 2 ) 应用层入侵行为检测 由于许多入侵行为的语义语法只在应用层才能解析。很多的入侵检测 系统检测能力有限。基于客户和服务器结构的对象技术的大型应用，因 此我们需要对应用层进行入侵行为检测的保护。 ( 3 ) 入侵检测的智能化 入侵行为的多样化，入侵方法的复杂化和综合化，因此我们需要对智 能化的入侵检测加以进一步的研究，以解决其应对新的入侵行为和方法， 以提高入侵检测系统的自适应能力。 ( 4 ) 入侵检测的评测方法 用户需对众多的入侵检测系统进行评价，包括入侵检测系统检测范 围、系统资源占用、入侵检测系统自身的可靠性、入侵检测系统鲁棒性 等。从而设计出通用的入侵检测测试平台，实现对多种入侵检测系统的 检测，已成为当前入侵检测的重要发展方向。 ( 5 ) 网络安全技术相结合 把入侵检测技术和防火墙、p k i x 、安全电子交易等新的计算机网络 安全与电子商务技术相结合，可以为我们提供完整的计算机网络安全保 障。 2 7s n o r t 入侵检测系统 s n o r t 是一个简单的网络管理工具，也是一个轻量级的占用很少资源 的入侵检测系统，它是典型的开放源代码的工具，有很好的配置性和可 移植性，还有很好的可移植性，s n o r t 是基于网络的入侵检测系统。它为 入侵检测提供即插即用的服务。s n o f t 被用于各种与入侵检测有关的活动， 我们一般把s n o r t 作用嗅探器，或者是包记录器，它可以抓取数据信息， 分析数据信息、进行报警。 s n o r t 是一个非常灵活的用于入侵检测的应用程序，可以被安装再所 有的操作系统中，同时可以被任意修改，免费进行获取源代码和传播。 s n o r t 采用了灵活的体系结构，可以便于我们执行新的任务。s n o r t 是一 种特征匹配的入侵检测系统。s n o r t 中的预处理程序是一个拆建，在数据 进入s n o r t 检测引擎以前，可以对抓取的数据信息进行处理，同时s n o r t 中的与处理程序也可以添加新的协议以提供支持。同时，s n o r t 可以保存 全部通过检测捕获的数据，供管理员进行分析或者领域专家进行查询。 这很大程度上减轻了入侵检测系统的分析员的工作量。s n o r t 基于l i b p c a p 库获得报文截取代码，能够检测出大多数的入侵攻击和探测。s n o r t 通过 灵活的规则语言来描述数据信息，可对新的复杂的入侵攻击行为和手段 做出快速的翻译。s n o r t 还可以进行实时报警。s n o r t 具有良好的扩展性。 同时s n o r t 还能够完整记录网络数据，并把它保存到固定的文件中。 s n o r t 的整体系统结构比较简单，它包括了以下基本组成模块：嗅探 器，解码器，预处理器，检测引擎，规则库和输出模块。其系统结构如 图2 4 所示。 图2 4s n o r t 的系统结构 1 5 各个部分功能如下： ( 1 ) 数据包嗅探器：利用l i b p c a p 抓取数据包，或者w i n p c a p 。 ( 2 ) 解码器：负责对嗅探器抓取的数据进行解码分析。 ( 3 ) 预处理器：通过调用预处理函数列表中的相应函数对解码后的数 据进行流重组和代码转换等。 ( 4 ) 检测引擎：将上面的数据包与规则链表中的已有规则进行模式匹 配，以判断是否有入侵行为发生。 ( 5 ) 规则库：保存已有的入侵检测规则和新的入侵检测规则。 ( 6 ) 输出模块：输出日志或报警信息。 2 8 本章小节 入侵检测是防火墙之后的第二道保护计算机信息安全的闸门，对计 算机网络的安全有着重要的意义。本章首先介绍了入侵检测的起源，并 从不同角度对入侵检测系统进行了分类，接着简述了入侵检测的三种模 型，然后详细介绍了目前入侵检测系统常用的两种检测技术，最后介绍 了入侵检测产品及其发展趋势。特别是对s n o r t 入侵检测系统做了详细的 介绍。 1 6 第三章数据挖掘技术 3 1 数据挖掘概述 数据信息现在每年都在成几十倍的增长，可是现在有用的信息却越 来越少。随着数据库的迅速发展，以及数据库管理系统的广泛被应用到 信息管理，人们接触到的数据越来越多，利用手工分析如此多的数据并 从中得到有价值的数据显然是很困难的。因此我们采用智能化的方法以 便自动从庞大的数据信息中迅速发现有用的知识，这就是数据挖掘技术 所致力与解决问题。 数据库中的知识发现( k n o w l e d g ed i s c o v e r yf r o md a t a b a s e ，k d d ) 与数据挖掘这两个术语经常是不分开，共同使用的。也有的这样说，知 识发现是由若干数据挖掘步骤组成的，而数据挖掘仅是知识发现其中一 个主要步骤。 整个知识发现挖掘的步骤【1 0 】有： 数据选择：其作用是获取数据； 数据预处理：其作用是将来相关数据处理后组合到一起； 数据变换：其作用是将来自不同数据源的数据统一格式； 数据挖掘：其作用是对变换后的数据应用算法来挖掘结果。它是知 识挖掘的一个基本步骤； 知识表示：其作用就是通过知识表达技术，向用户展示所挖掘出的 相关有用知识。 3 2数据挖掘算法分类 数据挖掘算法种类有很多，可以来自如：统计、机器学习、模式识别、 数据库等各种不同领域。通常按照不同的挖掘目标，我们把数据挖掘可 以分成四种主要类型：分类分析1 1 】、聚类分析、关联分析、序列模式分 析。其中分类和聚类是我们研究的热点。 3 2 1 关联分析算法( a s s o c i a t i o nr u i e s ) 购买一种产品的同时也购买另外一种产品的情形，这就是一条关联 规则。通过关联规则可以探测项目之间的联系和普遍使用的因果性或者 1 7 相关性。关联规则用于表明数据项之间的关系。可以考虑一个商场或者 超市里面的情况：一个超市里面，顾客l 中购买了物品a ；顾客2 购买 了物品b ；顾客3 中则同时购买了两个物品a 和b 。则物品a 和b 在某 个顾客之间同时购买出现相互之间的规律如何? 一个事务中，顾客同时 购买不同物品的规律就是我们这里的关联规则。 例如，啤酒与尿布的案例就证实了这一电。一个商场里面，有的男 子买啤酒，有的男子买尿布，同时购买啤酒和尿布的男子之间存在的规 律就是关联规则要研究的。还有市场利用收款机收集计算机里面存储的 售货数据，每个数据代表某个顾客一次性购买物品的购买记录，包括购 买的时间时间，顾客购买了什么物品以及物品的数量和金额等信息。通 过分析这些购物信息，我们可以得到这样的规律：购买牛奶的顾客当中， 再购买面包的占到所有购买牛奶的顾客的8 0 。根据这个挖掘到的信息， 根据这些关联规则，商场负责人重新更好地规划商场放置，把牛奶和面 包这样的商品摆放在一起，方便顾客购买。 设r = i l ，1 2 ，i m ) 是一组数据项集，w 是一组事务集。w 中的每 个事务t 是一组数据项，且满足= f 尺。假设有一个数据项集x ，一个事务 t ，如果五i 则称事务t 支持数据项集x 。 我们所要挖掘的关联规则是指如下形式的一种数据隐含规则： xj y ，其中x ，y 是两组数据项，xcr 。ycr ，xny = 中。 关联规则的属性一般通过4 个参数置信度、支持度、期望置信度和 作用度来描述： ( 1 ) 置信度 关联规则xj y 的置信度，是包含事务项x 或者y 的事务数与包含 x 的事务数的比值。我们可以举个啤酒和尿布的例子，该关联规则的置 信度可以表示如下：如果一个顾客购买了啤酒，那么他同时也购买尿布 的可能性，购买啤酒的顾客中有6 5 的人购买了尿布，所