（计算机应用技术专业论文）数据挖掘技术在入侵检测系统中的应用研究.pdf

数据挖掘技术在入侵检测系统中的应用研究 数据挖掘技术在入侵检测系统中的应用研究 中文提要 数据挖掘( d a t am i n i n g ) 技术是从已知数据集中挖掘有用知识的技术。近十年来的 有关研究结果表明，将数据挖掘技术应用于入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ， i d s ) ，对有效地进行特征选择，建立合适的检测模型，最终提高入侵检测系统的入侵 检测能力，降低其误报率和漏报率有着十分重要的意义。 虽然将数据挖掘技术应用于i d s 时可借鉴的算法较多，但由于能适合所有情形的 数据挖掘算法是不存在的，所以算法研究方面至今尚无权威性的成果；同时，很多研 究过于注重理论性与技术性，忽略了所引入的数据挖掘算法的复杂度对入侵检测系统 效率的影响；此外，目前成熟的i d s 产品基本都采用基于规则的检测方法，这类i d s 将数据包与规则库的规则进行精确匹配，如果攻击模式很常见或过于特殊，就容易产 生误报或漏报，从而降低入侵检测的准确率。 为此，本文以江苏省教育厅的研究项目“基于数据挖掘的入侵检测技术的研究 ( 0 2 s j d 5 2 0 0 0 2 ) 为背景，以适应i d s 数据源特点、降低复杂度、提高效率为目标，对 数据挖掘算法进行研究，包括特征选择算法、数值归约算法、聚类算法；也以增强灵 活性、降低误报率和漏报率为目标，对基于数据挖掘的入侵检测方法进行研究。 论文针对入侵检测系统中被检测数据的特点，提出了一种适用于i d s 的多次模糊 迭代特征选择算法和一种适用于i d s 的基于相关性度量的特征选择算法。多次模糊迭 代特征选择算法由在属性空间中搜索特征子集、评估每个候选特征子集和分类这三个 步骤组成，有与之相应的搜索算法和评估函数；该算法通过多次迭代去除特征值集的 冗余特征得到精确度较高的特征值集，使用模糊逻辑得到与精确度要求相应的取值范 围；由于单纯对数据进行操作，该算法能更客观地分析数据；论文还基于k d dc u p9 9 数据集对该算法进行了仿真分析；并将实验结果与特征可视化结果进行了比较；实验 结果表明该算法在i d s 数据集上可取得良好的特征选择效果。基于相关性度量的特征 选择算法对特征值进行模糊处理，计算特征相关性度量值，按度量值降序排列特征， 再基于该特征序列进行特征选择；以分类器作为评估系统，以k d dc u p9 9 为数据源 中文提要数据挖掘技术在入侵检测系统中的应用研究 的仿真结果验证了该算法能在不影响效率的同时降低时间复杂度。 论文还以提高i d s 中分类挖掘的效率为目标，提出了一种适用于i d s 中数据分 类的数值归约算法，该算法一方面用值域来减少特征值数目，一方面将孤立的点放大 为一个区域以预测类似行为；以k d dc u p9 9 数据集为数据源、以决策树分类算法为 例的仿真实验结果表明，该算法能在降低已有分类算法的时间复杂度的同时使分类准 确率有所提升。 聚类分析常被用于i d s 的入侵检测阶段。本文针对经典模糊c 均值算法f c m 的 缺陷，提出了一种基于层次聚类的模糊聚类算法h f c ，该算法采用凝聚的层次聚类 方法，快速地发现高度聚集的数据区域，并对这些高密度区域进一步分析与合并，通 过评估函数的评估，找到最优的聚类方案：仿真实验结果表明，该算法具有较高的聚 类精确度和较强的排除噪声的能力；论文还通过基于k d dc u p9 9 数据集的仿真实验， 分析了该算法对i d s 中入侵检测的适用性。 为了提高基于规则的i d s 的检测能力，论文提出了基于c b r ( c a s e b a s e d r e a s o n i n g ，基于案例的推理) 的入侵检测方法；描述了实现c b r 的步骤；给出了由规 则设计和构造案例库的启发式方法；设计了适用于i d s 的c b r 引擎及案例匹配算法； 分别通过基于s n o r t 的规则集、自行开发的攻击平台及离线检测系统的实验和基于在 线数据包的实验，验证了c b r 对基于规则的i d s 检测能力的增强作用。 最后，总结了所做的工作，分析了存在的不足，提出了进一步研究的目标。 论文对数据挖掘技术在入侵检测系统中的应用做了有益的研究。 关键词：数据挖掘；入侵检测系统；特征选择；层次聚类；基于案例的推理 i i 作者： 导师： 李玲娟 王汝传 r e s e a r c h 。nt h ea p p l i c a t i o n so f d a t am i n i n g t e c h n i q u ei ni n t r u s i o nd e t e c t i o ns y s t e m 1 j 1 1 a b s t r a c t 。蛐蚓s a t e c h n i q u et om i n et h eu s e f u lk nrecentt e n 删r ，。一一一一y e a r s m i n i n gt , r e l a t e d r e s e a r c hr e s u l t sh a v et e s t i 五e dt 1 1 a t - i - t , ；, 。- ，, o r e 二m ee x i s t i n g d a t a setinechnique t oi n t r u蛐n m g s i o nd e t e c t i o n s y s t e m ( i d s ) f o r 拯o * r c t i a y v e i m l y p o s r e t j a n e c t 她t oa p 窍p a l y d a t a p r o p e r l y b u i l d i nsg d e t 啷蛐e e c t i o nm o d e la sw e l la s improvingfalse 融e c t 妣e 磊写篡兰篡p o s i t i v d o t nm e er a t ea n dt h e n e g a t i v er a t e “w 衄1 呵跚1 qq e c r e a s l n g 姗n 艺：黧竺竺黑 幽帜- 川- 矾- , , , 。u m a l ya l g o n t h r n s t oc h o o s e , a b l u g t o n r i 。t h a l m g o r r e i s m m e a r c a na d a p tt o 酊1 c i r c u i l l s t a i l c e s ，s 。t 1 1 e r ea r es 鲫n 0 一， i v er e s u l t si 11ch 蛐c a lasdect。meanwhile,manyres砌妯删cuizuumontatw?阳辄n跚and = ：慨n e g l e c tt h e 砌u e n c 嘣射印蒜c 。茹喇s t r 够e s s o n t h e o r y andaddition删唧m , m o s t o ft h em a t u r ei d s m 小：7 o nt h e e t h o d d e t e b c 删t i o n o n r u l e st om a k et h e 嘶l ，t h 洲l l h e x a c 。t m a t c h b e t w e e n t h e 腻- - t a n v 1 , i f m 】u t c ：u e e t s e c 毗t l o nm 。= = 瑟：芝三裟砧m 哪姚e o r m 憾吨姊眺n a t 谢i i ：= 三嚣： techn芝慨b83甜蛐：竺h州ectreogyb a s e d s e 砌。nt l l e s i o nd etectiollond 蕊怒，i n c e a t a mining(02sjd520002椭忑：攀5既仰2thi脚up r 0 峨s d i s s e r t a t i o nm a k e sr e s e 砌e s o n 岫t v g y 。r i m e 上- a s u a d c a 枫t i o nbutoreaiudosfsucha s f e a t u r es e l 蜘b 瑚w 弛t h e 泌e 耐c t i c n f o na l g o r 。i t h m , n m n e r o s 蛐“, , u 一, 1 _ n i g o n m 儿r n 潮, a 粤n dc l u s 川t e r i 踯n g 兰篡竺l e 喇x i 如t 龇。雄t s0 f 避擘n s 她吐抛c 涮鲥c s 。f 姚d a t as 。眦e 如m s ，剃u c 血g y o fa l 2 融嘲汹g o r i t h ma n d ，；r e p r o ，v i n g 峨硒螂蚴= ：三：篡= 淼e 啪x i b i 出l i t 钯鲥o nm e 灿d b a s e ：! 羔? a t am 硒鸣t e ；三u e sw m 。= i 雾= 芝y a n dr e d 龇n u c i n g b o t h b蜘j s e 删v ：r a t e 锄蕊二= 罢0 1 咖鹕a f e 8 t u r es s e d o nt h ec h a r a c t e r i s t i c so f t h e d e t e c t e e l e c t i dd a t ai ni d s ，a 忑l t i ：t 盂之n e r a t i n g o n a l 融一 g o r i 眦t h m a d a p t i n gt o idsselectiona l ，毗c i = 戮：罴芝g o r i t h m f o r f e a t u r e s e l e c t i o i d s are脚oset蛐s洲：二“：篡誉焉乏盖na l 跚h eg o r i t h ；m i n c l u d e st h r e e s t 幽l s i u e 喊u m i l l 1 蔫：耋嚣o t h ：纛e 芝一e r i sv a l u a t i n g e 邺c 砌a a t er e a t u 糟。i i = 芸：? ： ：兰竺：麓黧竺：e = = = n ，笋“咖a n d 涮u 痂n 如n c 三二兰：三：置竺 蛔打m 翻删e l i m i n a t e s r e 如t 鼢u r e s 悉三：蒜蠢罴：竺 a b s t r a c tr e s e z r c ho nt h ea p p l i c a t i o n so f d a t am i n i n gt e c h n i q u ei ni n t r u s i o nd e t e c t i o ns y s t e m h i g hp r e c i s i o nf e a t u r ev a l u es e t ，a n du s e sf u z z yl o g i ct og e tt h ev a l u er a n g em e e t i n gt h e n e e do fp r e c i s i o n t h i sa l g o r i t h mc a na n a l y z ed a t am o r eo b j e c t i v e l yt h a nt h ea l g o r i t h m s w i t l lf i e l dk n o w l e d g eb e c a u s ei t o n l yo p e r a t e so nd a t a s e t s s i m u l a t i o ne x p e r i m e n ta n d a n a l y s i sa r ep e r f o r m e do nt h ea l g o r i t h mb a s e do nt h ek d dc u p9 9d a t as e t ，a n dt h e e x p e r i m e n tr e s u l t sa r ec o m p a r e dw i t hf e a t u r ev i s u a l i z a t i o nr e s u l t s t h er e s u l t si n d i c a t e ：t h i s a l g o r i t h m c a ng e tg o o df e a t u r es e l e c t i o ne f f e c to ni d sd a t a s e t s t h ec o r r e l a t i o n m e a s u r e b a s e df e a t u r es e l e c t i o na l g o r i t h mc a r r i e s f u z z yp r o c e s s t of e a t u r e v a l u e ， c a l c u l a t e st h ed e g r e eo ff e a t u r ec o r r e l a t i o n ，a r r a n g e sf e a t u r e s 、i t hd e s c e n d i n go r d e ro ft h e d e g r e e ，t h e nc a r r yo nf e a t u r es e l e c t i o nb a s e do nt h eo b t a i n e df e a t u r es e q u e n c e t h ev a l i d i t y o ft h i s d e s i g n e da l g o r i t h mh a sb e e nv e r i f i e db yd o i n ge x p e r i m e n t so nt h ea s s e s s m e n t s y s t e mb a s e do nc l a s s i f i e ra n dt h ed a t a s e tf r o mt h ek d dc u p9 9 i no r d e rt oi m p r o v et h em i n i n g e f f i c i e n c yo fd a t ac l a s s i f i c a t i o n i ni d s ，t h i s d i s s e r t a t i o na l s op r o p o s e san u m e r o s i t yr e d u c t i o na l g o r i t h ma d a p t i n gt ot h ed a t a c l a s s i f i c a t i o ni ni d s ，w h i c hu s e sr a n g eo fv a l u e st or e d u c et h ea m o u n to ff e a t u r ev a l u e s a n de x p a n d sa ni s o l a t e dp o i n tt oa r e g i o ni no r d e r t of o r e c a s ts i m i l a rb e h a v i o r t h er e s u l t s o fe x p e r i m e n t sw i t hd e c i s i o nt r e ea l g o r i t h m sa n dt h ek d d c u p9 9d a t a s e th a v es h o w nt h a t t h i sa l g o r i t h mc a nr e d u c et h et i m ec o m p l e x i t ya n di n c r e a s et h ec l a s s i f y i n ga c c u r a c yo ft h e e x i s t i n gc l a s s i f i c a t i o na l g o r i t h m s c l u s t e r i n g i sw i d e l yu s e di ni n t r u s i o nd e t e c t i o np h a s e i nt h i s d i s s e r t a t i o n ，a h i e r a r c h i c a lf u z z yc h a s t e r i n g ( h f c ) a l g o r i t h mi sp u tf o r w a r dt oo v e r c o m et h el i m i t a t i o no f c l a s s i c a lf u z z yc - m e a n s ( f c m ) a l g o r i t h m h f cc a nf a s td i s c o v e rt h eh i g hc o n c e n t r a t e d d a t aa r e a sb yt h ea g g l o m e r a t i v eh i e r a r c h i c a lc l u s t e r i n gm e t h o d ，a n a l y z ea n dm e r g et h ed a t a a r e a s ，a n dt h e nu s et h ee v a l u a t i o nf u n c t i o nt of i n dt h eo p t i m u mc l u s t e r i n gs c h e m e t h e e x p e r i m e n t a lr e s u l t si n d i c a t et h a th f c h a sh i g h e rc l u s t e r i n gp r e c i s i o na n d h i g h e ra b i l i t yo f e x c l u d i n gn o i s e s t h ea p p l i c a b i l i t yo fh f ca l g o r i t h mt oi d si sa n a l y z e db yd o i n g e x p e r i m e n t so nk d d 9 9 d a t a s e t i no r d e rt oi m p r o v et h ed e t e c t i o na b i l i t yo fr u l e - b a s e di d s ，t h i sd i s s e r t a t i o np u t s f o r w a r da i li n t r u s i o nd e t e c t i o nm e t h o db a s e do nc b r ( c a s e - b a s e dr e a s o n i n g ) t h es t e p s o fi m p l e m e n t i n gc b ra r ed e s c r i b e d ，s e v e r a li l l u m i n a t i v em e t h o d sf o r d e s i g n i n ga n d c o n s t r u c t i n gc a s eb a s ef r o mr u l e sa r ep r o p o s e d ，a n dac b re n g i n ea sw e l la st h ec a s e m a t c h i n ga l g o r i t h m si sd e s i g n e d f i n a l l y , t h ee x p e r i m e n tb a s e do ns n o r tr u l es e t s ，t h e a t t a c kp l a t f o r m ，t h eo f f i i n ed e t e c t i o ns y s t e m ，a ，n dt h ee x p e r i m e n tb a s e do no n l i n ep a c k e t s i v r e s e a r c ho nt h ea p p l i c a t i o n so fd a t am i n i n gt e c h n i q u ei ni n t r u s i o nd e t e c t i o ns y s t e m a b s t r a c t a r ep e r f o r m e dw h i c hv e r i f yt h ee f f e c to fc b rf o re n h a n c i n gt h ed e t e c t i o na b i l i t yo f r u l e b a s e di d s f i n a l l y , t h ew o r k sa r es u m m a r i z e d ，t h es h o r t a g e sa r ea n a l y z e d ，a n dt h et a r g e t so f f u r t h e rr e s e a r c ha r eg i v e n ，n l i sd i s s e r t a t i o nh a sd o n eu s e f u lr e s e a r c h e so nt h ea p p l i c a t i o n so fd a t am i n i n g t e c h n i q u ei ni n t r u s i o nd e t e c t i o ns y s t e m k e y w o r d s ：d a t am i n i n g ，i n t r u s i o nd e t e c t i o ns y s t e m ，f e a t u r es e l e c t i o n ，h i e r a r c h i c a l c l u s t e r i n g ，c b r v a u t h o r ：l il i n g j u a n a d v i s o r ：w a n gr u c h u a n 图表目录 图1 1 入侵检测系统的一般组成5 图1 2 数据挖掘过程示意图6 图2 1f i l t e r 的过程1 7 图2 2w r a p p e r 的过程17 图2 3 入侵特征选择过程2 2 图2 4 攻击特征的模糊取值：2 4 图2 5 多次模糊迭代算法产生的文件列表2 8 图2 6r e s u l t t x t 的显示结果2 8 图2 7 创建特征表的部分s q ls c h e m a 2 9 图2 8l a n d 特征取值的可视化显示3 0 图2 - 9l i n kc o u n t 特征取值的可视化显示31 图2 。1 0 捕获数据包的源文件31 图2 11 发起l a n d 攻击的界面3 2 图2 1 2 在线特征选择结果3 2 图2 1 3 特征值模糊化3 3 图2 1 4 相关性评估流程3 4 图2 15l a n d 攻击记录散点显示3 7 图2 1 6 相关性度量序列表t x t 的内容3 8 图2 1 7 基于相关性度量的特征选择算法第二部分的输入内容3 8 图2 18 特征选择仿真结果( p r o b i n g 攻击) 3 9 图4 1h f c 算法第一次循环结果5 4 图4 - 2h f c 算法第二次循环结果5 4 图4 3 实验一之数据分布图5 5 图4 4 实验一之h f c 聚类结果5 5 图4 5 实验一之f c m 聚类结果5 5 图4 6 实验二之数据分布图5 5 图4 7 实验二之h f c 第一次聚类结果5 6 图4 8 实验二之h f c 第二次聚类结果5 6 图4 9 实验三之h f c 第一次聚类结果5 7 图4 1o 实验三之h f c 第二次聚类结果5 7 图4 1 1 实验三心c 第三次聚类结果5 7 图4 1 2 实验四h f c 第一次聚类结果5 8 图4 1 3 实验四h f c 第二次聚类结果5 8 图4 1 4 实验四哪c 第三次聚类结果5 8 图4 1 5 实验四之h f c 第四次聚类结果5 8 图4 一l6 实验五之h f c 第一次聚类结果5 9 图5 1c b r 的基本思想：6 3 图5 2c b r 的处理步骤。6 4 图5 3i d s 中c b r 的推理过程6 6 图5 。4 由规则构造案例库的步骤7 0 图5 5s n o r t 规则示例7 0 图5 - 6s n o r t 规则转化为案例的示例7 0 图5 7 基于x m l 描述的案例的组成7 1 图5 8 基于x m l 的案例化过程7 2 图5 - 9 对规则集进行基于x m l 的案例化的d t d 文件7 3 图5 1 0 文献 1 1 5 1 的c b r 引擎类图7 9 图5 1 1 变权值c b r 引擎类图7 9 图5 1 2 基于c b r 的离线入侵检测系统内部处理流程8 l 图5 1 3 案例的x m l 文件s n o r t c a s e s x m l 的部分内容8 4 图5 1 4 攻击界面8 5 图5 1 5s n o r t 对不完全符合规则的攻击的检测结果( 漏报) 8 5 图5 16 基于c b r 方法的检测效果8 5 图5 1 7 在线捕获得数据包信息8 6 图5 1 8c b r 相似比较的结果8 6 图5 1 9 基于c b r 的在线检测结果8 7 表2 1k d dc u p9 9 前4 1 个特征的名称1 9 表2 2 训练数据集中所含攻击类型2 6 表2 3 使用全部的4 1 个特征的实验结果3 8 表2 4 使用优化的特征子集的实验结果3 9 表2 5 使用不同特征子集的效果对比3 9 表3 1 基于原始数据源的和基于所有数据值域化的实验结果比较4 7 表3 - 2 基于原始数据源的和基于部分数据值域化的实验结果比较4 7 表4 1 在k d dc u p9 9 上实施h f c 算法的初次聚类结果6 0 表4 - 2 在k d dc u p9 9 上实施h f c 算法的最终聚类结果6 1 表5 - 1 案例库文件示例8 3 数据挖掘技术在入侵检测系统中的应用研究 缩略语 缩略语 1 】a h p ：a n a l y t i c a lh i e r a r c h yp r o c e s s 层次分析处理 2 】b g ：b i d i r e c t i o n a lg e n e r a t i o n 双向搜索 【3 c b r ：c a s e - b a s e dr e a s o n i n g 基于案例的推理 4 】c c h a r c o n t i n o u sc h a r 相邻字符 5 】d m ：d a t am i n i n g 数据挖掘 【6 】d o m ：d o c u m e n to b j e c tm o d e l 文档对象模型 7 】d o s ：d e n i a lo fs e r v i c e 拒绝服务 8 d p o r t ：d e s t i n a t i o np o r t 目的端口 9 】d t d d o c u m e n tt y p ed e f i n i t i o n 文档类型定义 10 f c m ：f u z z yc - m e a n s 模糊c 一均值 【1 1 】h f c h i e r a r c h i c a lf u z z yc l u s t e r i n g 层次模糊聚类 【1 2 i c m p - i n t e m e tc o n t r o lm e s s a g ep r o t o c o l 网际控制消息协议 1 3 i d e s ：i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m 入侵检测专家系统 1 4 i d s ：i n t r u s i o nd e t e c t i o ns y s t e m 入侵检测系统 1 5 k d d ：k n o w l e d g ed i s c o v e r yi nd a t a b a s e 数据库中的知识发现 【1 6 m e m ：m e m o r y 缓存 【17 m i t ：m a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y 麻省理工学院 1 8 n i d s ：n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m 网络入侵检测系统 【1 9 n n ：n e a r e s tn e i g h b o r 最邻近 【2 0 p r o n a m e ：p r o t o c o ln a m e 协议名 【2 1 r g ：r a n d o mg e n e r a t i o n 随机搜索 2 2 s b g ：s e q u e n t i a lb a c k w a r dg e n e r a t i o n 后向搜索 2 3 s c h a r ：s a m ec h a r 相同字符 2 4 s f g ：s e q u e n t i a lf o r w a r dg e n e r a t i o n 前向搜索 2 5 s h o s t ：s o u r c eh o s t 源主机 1 0 3 缩略语一 _ 墼塑丝塑垫查垄全堡竺型墨竺主箜堕旦婴窒 - _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ - - - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - - - - _ 。_ 。一 【2 6 】t c p ：t r a n s m i s s i o nc o n t r o lp r o t o c o l 传输控制协议 2 7 】u d p ：u s e rd a t ap r o t o c o l 用户数据报协议 2 8 】w 3 c w - 0 d dw i d ew e bc o n s o r t i u m 互联网论坛 2 9 】x m l ：e x t e n s i b l em a r k u pl a n g u a g e 可扩展标记语言 1 0 4 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文 不含其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏 州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作 出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本 声明的法律责任。 研究生签名： 舛日 期：姓 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论 文合作部、中国社科院文献信息情报中心有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论 文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的 保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的 全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名 导师签名钥俄 一 ，li j 日期：也啦：i ? 日期：塑蔓：墨! = 数据挖掘技术在入侵检测系统中的应用研究第l 章绪论 1 1 课题来源和意义 第1 章绪论 随着信息网络在现代社会中的日益广泛应用，网络安全问题已倍受关注，各种安 全技术正在为保证网络健康发展发挥着重要作用。常用的安全技术有两类：预防和检 测。预防通过使用加解密算法、认证技术、建立安全信任关系等手段来达到避免攻击 的目的；检测通过建立一套机制来发现系统是否受到攻击、记录攻击、对攻击作出有 效的响应来达到最大限度地减少危害的目的。入侵检测系统( i n t r u s i o nd e t e c t i o n s y s t e m ，i d s ) 作为一种检测类安全技术，能够发现外部攻击和合法用户滥用特权，它 根据用户的历史行为，基于用户的当前行为，完成对入侵的检测，并留下证据，为数 据恢复和事故处理提供依据。目前，入侵检测技术已成为动态安全技术中最核心的技 术之一，也是网络安全领域的研究热点。 就检测技术而言，入侵检测系统有误用检测和异常检测之分，无论采用何种检测 技术，建立一个有效的入侵检测系统都是一个巨大的知识工程，通常要由专业人员根 据经验来选择分类方法，专家首先分析并分类攻击行为或正常行为，然后手工编码定 制相应的规则和模式用于进行误用检测和异常检测。由于手工的开发过程针对性较 强，使开发出来的入侵检测系统的可扩展性和适应性都受到限制。为了克服入侵检测 系统的局限性，在设计入侵检测系统时应采用一些更系统化和更自动化的方法，数据 挖掘( d a t am i n i n g ) 就是有效的方法之一。 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发 现隐含的、规律性的、人们事先未知的，但又是潜在有用的并且最终可被理解的信息 和知识的非平凡过程。任何有数据管理和知识发现需求的地方都可以借助数据挖掘技 术来解决问题。 自二十世纪九十年代末期至今，数据挖掘技术在入侵检测系统中的应用一直是数 据挖掘领域及信息安全领域的研究热点之一。近十年来的国内外相关研究成果已在理 论上和实践上证明了将数据挖掘技术应用于i d s 的可行性、必要性和有效性，比如： 1 第1 章绪论数据挖掘技术在入侵检测系统中的应用研究 将数据挖掘技术应用于i d s 能够从所收集的数据中较精确地捕获入侵和正常行为模 式，这对建立合适的检测模型，最终提高i d s 的入侵检测能力、降低其误报率和漏报 率都有着十分重要的意义。 但是，至今为止的研究都或多或少地侧重于数据挖掘技术在i d s 的某个方面的 应用，缺少系统性；同时将数据挖掘技术应用于i d s ，可借鉴的算法较多，不仅各有 优劣，而且由于能适合所有情形的数据挖掘算法是不存在的，因此到目前为止这些方 面尚无权威的研究成果；同时，很多研究过于注重理论性与技术性，忽略了所引入的 数据挖掘算法的复杂度对入侵检测系统效率的影响；此外，目前成熟的i d s 产品基本 都采用基于规则的检测方法，这类i d s 在数据包与规则库之间做精确匹配，如果攻击 模式很常见或过于特殊，就容易误报或漏报，这样会使得入侵检测的准确率不够高。 为此，本文以数据挖掘技术在入侵检测系统中的应用为研究课题，针对一些尚未 成熟的研究方面展开研究。 本课题来源于江苏省教育厅高校自然科学研究计划项目“基于数据挖掘的入侵检 测技术的研究”( 0 2 s j d 5 2 0 0 0 2 ) 。 由于本文以适用于i d s 、降低复杂度、提高效率为目标，对适用于i d s 的有关算 法进行研究，包括特征选择算法、数值归约算法、聚类算法；以增强灵活性、降低误 报率和漏报率为目标，对基于聚类的入侵检测方法和基于c b r ( c a s e b a s e d r e a s o n i n g ，基于案例的推理) 的入侵检测方法进行研究。因此，本课题具有以下研究 意义： ( 1 ) 作为信息网络的第二道安全防线，i d s 的价值不言而喻，相应地，能够提高其 效率的数据挖掘技术的应用研究也具有其实用价值。 ( 2 ) 数据挖掘应用于i d s 主要有三个方面的技术难点：入侵检测系统模型的设计、 判别特征的选择及攻击模式的建立、检测入侵的算法。论文针对尚无权威性研究成果 的后两方面进行研究，符合该领域的研究趋势。 ( 3 ) 从数据预处理、判别特征选择到实施检测这几个环节来较为全面地研究数据 挖掘技术在入侵检测系统中的应用，有益于全面提高入侵检测系统的效率，并为今后 形成智能入侵检测系统奠定基础。 ( 4 ) 针对入侵检测系统数据源的特点，研究对i d s 数据源的数据预处理方法和改 进经典数据挖掘算法，其研究成果将具有一定的通用性。 2 数据挖掘技术在入侵检测系统中的应用研究 第1 章绪论 ( 5 ) 将基于案例的推理这种数据挖掘中的分类技术用于i d s 中的入侵检测，可以 充分利用已有的基于规则的i d s 的资源，同时获得更好的检测效率。 ( 6 ) 在研究过程中，始终注重降低算法的复杂度，因此所设计的算法具有应用于 无线网络i d s 的可能性。 可以预见，数据挖掘技术将对i d s 的应用与发展以及智能i d s 的建立起到越来 越重要的作用，数据挖掘技术在i d s 中的应用将会向纵深发展，并且会因为不同的数 据挖掘技术对不同的应用和技术要求的符合程度不同而维持各种方法并存的态势；另 外，数据挖掘的应用面将进一步拓宽，例如拓展到无线网络及其它新兴应用领域。本 文所做工作将是对数据挖掘技术在i d s 中的应用的有益探索，既具有理论意义又具有 实用与参考价值。 1 2 入侵检测系统和数据挖掘技术概述 1 2 1 入侵检测系统概述 1 入侵检测系统的产生和定义 1 9 8 0 年4 月，j a m e sp a n d e r s o n 在为美国空军做的技术报告“计算机安全威胁的 监察( c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ”一文中详细阐述了入侵检 测的概念，提出了一种对计算机系统风险和威胁的分类方法，将威胁分为外部渗透、 内部渗透和不法行为三类，还指出必须改变现有的系统审计机制，以便为专职系统安 全人员提供安全信息，提出了用审计跟踪数据监视入侵活动的思想。此文被认为是有 关入侵检测的最早论述。 从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s r i 公司计算机科学实 验室的p e t e r n e u m a n n 研究出一个实时i d s 模型【l 】，该模型由主体、对象、审计记录、 轮廓特征、异常记录和活动规则这六个部分组成。该模型独立于特定的系统平台、应 用环境、系统弱点和入侵类型，为构建入侵检测系统提供了一个通用框架。1 9 8 7 年 s r i 公司计算机科学实验室的t e r e s al u n t 等人改进了d e n n i n g 的模型，开发出一个名 为入侵检测专家系统( i n t r u s i o nd e t e c t i o ne x p e r ts y s t