（计算机应用技术专业论文）面向入侵检测的范例推理和数据挖掘技术.pdf

中国科学技术火学硕：i ：论文面m 入侵榆测的范例撼矬翩数据挖掘投术艘应用研究 摘要 互联瓣蕊开放性为信惑酶共享茬l 交互提供了极大睦褒零l ，霹时也对信息魏安 全性提出了严峻的挑战。信息安全已成为信息系统的关键问题。入侵检测，作为 信息安全保障体系结构中的一个熏要组成部分彳畏好地弥补了访问控制、身份认 涯、防火琏等传统保护搬制溪不戆艇块憨运题在这方瑟酶萋嚣究国努从二卡世纪 八十年代末就已经开始了，并且从如何构建系统行为特 芷轮廓以及如何获取己知 入侵行为知识的角度，烩出了一些可行的知识描述方法和相应的检测算法。但是 传统兹基予姬列款误翅入侵检测技拳，只毙识别己知翳入经行为，不能识剐毅戆 未知的入俊行为。论文结合国家囱然科学基金照大研究计划项目“面向大规模网 络的分布式入侵检测和预警模型”，主要就基于范例推理及数据挖掘蒋入侵检测 技术畿了深入霹究。 主要工作与创新之处 ( 1 ) 本文详细介绍了入侵检测的撼本原理、分类及研究现状等，结合我们研发的 科祯网侦入侵检测系统，针对系统不能识别新的入侵行为和没有用户行为分析的 闼题，分爨键塞了基予莲骥雄瑾鞠基子数掇挖掘懿入侵梭测模型。 ( 2 ) 范例撒理是人工智能领域的颈重要技术，但是目前将范例推理虑用到入侵 检测的研究成果还很少，因而本文的研究是项创新性的工作。在范例推理中， 莲镶夔特 菠瑗毅零关系爨范铡兹羧索及稠强性度量，是c b r 疲爨残羧静关镶匿 紊。传统的特征项权遵由领域专家确定，具有一定的主观性。论文针对入侵检测 的特点，掇出一种基于代价敏感的特征项权重学习方法，并结合实验讨论方法的 有焉性。 ( 3 ) 在数据挖掘方而，针对用户行为的异常检测，本文采用了种改进的序列挖 掘算法，为用户建立用户行为模型此外，算法还结合用户的独特性评价，来研 究爱户舅常 亍为，实羧结柒表碉了浚方法弱露行瞧。 关键词：入侵检测：范例推理；数据挖掘 中国科学技术人学坝i 论文 嘶向入侵检测的范例摊耻和数捌挖掘技术段应用研究 a b s t r a c t t h eo p e ns p e c i a l i t yo fi n t e r n e tp r o v i d e st h eg r e a tc o n v e n i e n c eo fs h a r i n ga n d i n t e r a c t i o no fi n f o r m a t i o n ；m e a n w h i l e ，i tr a i s e st h eg r e a tc h a l l e n g eo fs e c u r i t yo f i n f o r m a t i o n s e c u r i t yo f i n f o r m a t i o nh a sb e e nt h ek e yp r o b l e mo fi n f o r m a t i o ns y s t e m i n t r u s i o nd e t e c t i o n a sa ne s s e n t i a l c o m p o n e n t i nt h ei n f o r m a t i o na s s u r a n c e f r a m e w o r k s e t t l e st h ei s s u e si nw h i c ht r a d i t i o n a lm e t h o d ss u c ha sa c c e s sc o n t r 0 1 i d e n t i f i c a t i o na u t h e n “c a t i o na n df i r e w a l le t cc o u l d n tw o r k i n t r t , s i o nd e t e c t i o nl l a s b e e ni nw o r l d w i d es t u d y i n gs i n c et h ee a r l y19 8 0 sa b r o a d s o m ea v a i l a b l em e t h o d st o d e s c r i b ek n o w l e d g ea n ds o m eu s e f u ld e t e c t i o na l g o r i t h m sb a s e do ns y s t e mb e h a v i o r p r o f i l eo ri n t r u s i o nk n o w l e d g ea r ep r e s e n t e d b n tt h et r a d i t i o n a li n t r u s i o nd e t e c t i o n m e t h o d sb a s e do nr u l e sc a no n l yi d e n t i f yt i l ek n o w ni n t r u s i o nb e h a v i o ra n dc a n n o t i d e n t i f yt h eu n k n o w ni n t r u s i o nb e h a v i o r t i l et h e s i ss u p p o r t e db yt h en a t i o n a ls c i e n c e f u n dk e yr e s e a r c hp r o j e c t ，g r e a ts c a l en e t w o r ko r i e n t e dd i s t r i b u t e di n t r u s i o n d e t e c t i o na n da l e r tm o d e l ，m a i n l yc o n c e r n st h r e ed i f f e r e n ti n t e l l i g e n ti n t r u s i o n d e t e c t i o nt e c h n o l o g y ，c a s e b a s e dr e a s o n i n g ，m a r k o vm o d e l ，a n dd a t am i n i n g m a i nw o r ka n dc o n t r i b u t i o n so ft h ep a p e r ( 1 ) t h e s i si n t r o d u c e st h eb a s i cp r i n c i p l e ，c l a s s i f i c a t i o na n dt h ec u r r e n tr e s e a r c h c o n d i t i o ne t c a b o u ti n t r u s i o nd e t e c t i o n w ea l s oi n t r o d u c ea n da n a l y z eg z n i d s t h a tw ed e v e l o p e d a i m i n ga tt h ep r o b l e mt h a tg z n i d sc a n n o ti d e n t i f yt h e u n k n o w ni n t r u s i o nb e h a v i o ra n dh a v en o tu s e rm o d e la n a l y z i n g ，w ep u tf o r w a r d c b ra n dd a t am i n i n go fi n t r u s i o nd e t e c t i o nm o d e l r e s p e c t i v e l y ( 2 ) c a s e b a s e dr e a s o n i n g ( c b r ) i sa ni m p o r t a n t t e c h n i q u ei na r t i f i c i a li n t e l l i g e n c e a n dt h e r ei sali t t l er e s e a r c hu s ec b rt oi n t r u s i o nd e t e c t i o n ；t h ew o r ko ft h ep a p e r i si n n o v a t i v ea n dc h a l l e n g i n g i nc a s e b a s e dr e a s o n i n g ，f e a t u r ew e i g h t i n gi sa k e yp a r t ，w h i c hi n f l u e n c e sc a s ei n d e x i n ga n ds i m i l a r i t ym e a s u r e t r a d i t i o n a l l y f e a t u r ew e i g b t i n gi sd e f i n e db ye x p e r ti nt i l ef i e l da n ds o m e w h a ts u b j e c t i v e a i m i n ga tt h es p e c i a l t yo fi n t r u s i o nd e t e c t i o n ，t h e s i sp u tl b r w a r dac a s e b a s e d r e a s o n i n gm e t h o du s i n gc o s t s e n s i t i v e t h ee x p e r i l n e n t si n d i c a t et h a tt h em o d e l c a l ld e t e c tt l n k n o w ns y s t e mb e h a v i o rt i n d e rt i l ec o n d i t i o no f p o o rs y s t e ms e c u r i t y i f 中国科学技术大学硕l 论史向向入侵榆测的范例推理和数据挖掘投术驶心用研究 k n o w l e d g e ( 3 ) a i m i n ga t t h ed e t e c t i o no fa b n o r m a lu s e rb e h a v i o r ，t h e s i s p u tf o r w a r da n i m p r o v e ds e q u e n t i a lm i n i n gm e t h o dt ob u i l d u s e rb e h a v i o rm o d e l t h em e t h o d c o m b i n e dw i t hu s e ru n i q u e n e s se v a l u a t i o n ，i sa d o p t e dt o s t u d y u s e ra n o m a l y b e h a v i o r , a n ds u f f i c i e n te x p e r i m e n t ss h o wt h e i rf e a s i b i l i t y k e y w o r d s ：i n t e l l i g e n ti n t r u s i o nd e t e c t i o n ，c a s e b a s e dr e a s o n i n g ，d a t am i n i n g 中国科学技术火学砸l 论文面向入侵检测的扎例推耻和数据挖掘技术，5 乏应用川。究 1 1 引言 第一章绪论 随着计算机技术的飞速发展，信息网络已经成为社会发展的重要保征。信息 网络涉及到国家的政府、军事、文教等诸多领域。其中存贮、传输和处理的信息 有许多是重要的政府宏观调控决策、商业经济信息、银行资金转账、股票证券、 能源资源数据、科研数据等重要信息。有很多是敏感信息，甚至是困家机密。所 以难免会吸引来自世界符地的人为攻击。近年来计算机犯罪案件急剧上升据美 团联邦渊查局的报告，计算机犯罪足商业犯罪中最大的犯罪类型，每笔犯罪的i i 均金额为4 5 0 0 美元，每年计算机犯罪造成的经济损失高达5 0 亿美元。网络入侵 不仅来自于网络外部，也来a 于刚络内部。据调查，威胁的来源一般为：国外敌 对势力2 1 ，竞争对手4 8 ，网络黑客6 5 ，内部人员7 6 。而内部人员的入 侵通常具有很强的同的性，一旦产生，将带来更大的损失，因为他们的行动非常 具有针对性，危害的往往是机构中最核心的数据、资源等，而很多公司赖以维护 安全的防火墙对内部人员毫无作用，同时内部人员行为不容易被发现。我国的计 算机系统及网络目前基本以国外的产霭为主，软硬f l ：系统巾潜在的各种漏洞给安 全带来很大威胁。单靠加密、防火墙等安全技术，虽然能起到一定的保护作用， 但要从根本上改善网络安全现状，必须深入丌展网络入侵检测领域的研究和应用 开发。 数据挖掘和范例排理技术都是人：i 二智能领域内知识发现的重要方法。数据挖 掘( d a t am i n i n g ) 就足从大鞋的，不完全的，有噪声的，模糊的，随机的实际应 用数据中，提取隐含在其巾的，人们事先不知道的，但又是潜在的有用的信息利 知识的过程。范例推理( c a s e b a s e dr e a s o n i n g ，简称c r r ) ，把肖d ，j 所面临的问 题或情况称为目标范例( t a r g e tc a s e ) ，而把记忆的问题或情况称为源范例f b a s e c a s e ) 。基于范例推理就是由目标范例的提示而获得记忆中的源范例，并由源范例 来指导目标范例求解的一种策略。范例推理中知识表示是以范例为摹础，范例的 获取比规则获敢要容易，大大简| 1 t ) i l l 谚 荻取。刘过去的求解结果进行复川，斯1 i 中翻科学技术夫学礤i - 论文面羽入侵捻捌c 勺范鲤椎鹧塑墼笾丝塑垫查璺坐塑塑薹 是褥次从头雄浮，可以提蕊对魏阅燧瓣求鼹效率。 强蕊，将数提挖撼技术应鼹烈入侵检测；一扣，已袁一些磺究成果， 理技术应震翻入侵裣添瀚研究还较少。 1 ，2 入侵检测技术 入侵捻测技术是继“黪火蟪”、“数螺热密”等传绞安全傣护箍辘蜃叛。代的 安全保障技术。入侵检测是通过收集计簿枧瓣终或计算枧系绞中的若干关键点瓣 绉惑，并对信惑进行分折，翔瑟溺络或系统中是否存在违反安全策旗熬行为和祓 攻啬的迹象。入侵检测系统的主簧任务茫：湓视、分桥厢产及系统活动：泌剐己 知沟攻击行为攘式，徽岛相应韵反应；评佑系统和数据文件的完整性：审计、跟 踪管理探作系统，识别用户违反安全策略的行为。入侵检测般分为三个步骤， 依次为信息收集，数据分析，响应。 信息收集嬲内容包禽系统，网络数据，及用户灼行为和状态。入侵检测列耀 的信息一般来源予系统h 志、目录、文搀中约异誊改变，以及程垮执行中黪骨常 行为。 数据分挢是灭侵检测游核心。鼗撅分拆鲍关键，在予采翔什么样瓣分折方法， 算法的效率如何。传统的入侵裣溯系统，主要采用基于潮则的榆铡方法，需要将 睃繁到的信息与已知的规猁作比较。 t d s 响应是指，入侵检浏系统在笈现入侵行为盾及时做出糨应的响应。i i 内应 包括切断网络连接、“录习i 件和报警等。响应分为主动响应和被动i 向应两种。主 动响应是拯隰峨正在发生黝攻击行为，例如切鞭网络连接等：被动峨应羔黧指滤 录、报告系统分叛到的异常行为等。主动暇应幽熏户骆动或系统本身蓉动执行， 可对入侵者采取行动( 如娅玎连接) ，修正系绞骡竣或收集有j l i l 信愚。被动 l 翔应 涮包括告警署【l 遴知，麓尊溺终管建旃b j , ( s n m p ) 麓璐穰摇俘等。另外还司“以按繁 路懿甏响应，司+ 分掰采取立即，綮急，适时本地的长j 辩和全局的长j j 等 r 动。 t + 3 范铡掺壤技术 漉例推理是近几十年米人工樱能中发展起来f 勺区别予基于规则雄瑕姻一秘 攘 l ! 模式，它是指借用 联嬲事例或经验来勰决阉趣、浮徐艇决方案、孵瓣凳常情 中瀚辩学技术大学颤 。论文淹鹈入侵稔测靛范铡捺瑾幂l 数据季毫撼技术致戍弱辨究 凝或理熊毅情况。c b r 兴起麓圭要原因是传统豹基予麓鬟蓦麓系统存在诸多袋点， 如：在知识获取问题上存在困难，对下处理过的问题没有记忆，导致推理效率低 下，不能有效的处理例外情况，档体性能较为脆弱等等。而c b r 恰好能解决以 上离题。范倒的定义是：蓖恻是一段带有| f 文信怠豹知识，该知滋表达了捺滩 机在达到e 1 标的过张中能起关键作用的经验。 在c b r 中，把当前面临的问题或情况称为目标范例( t a r g e tc a s e ) ，而把记忆 浆嗣题裁情躐称为源范饿( s o u r c ec a s e ) 。基予范例推理就是由强标范翻麴键示蕊 获得记忆中的源范例，并由源范例来指导目标范例求解的一静策略。范例搀理中 知识表示是以范例为基础，范例的获取比州则获墩要容易，大大简化知识获l 仪。 对过去瀚求辩结采逆行复瘸，蔼不是再次扶头稚导，可以提高对耨瀚题的求编效 率。过去求解成功或失败的经历可以指导当前求解时该怎样走向成功或避开失 败，这样可以改善求解的质量。对于那些曰n 口没有或根本不存在可以通过计算推 导来解决静阉趣。 c b r 求解问题燧0 ：类 e 推理的方法，借鉴原有的经验和成功案例，针列毅| 爨 问题的差异不断修改直至满足新的问题，新问题及其解形成新的范例添加剁范例 库中。c b r 求解阔题一般分为4 步，常称为r 4 过程：范佣捅取f r e t r i e v e ) 、范例 复用( r e u s e ) 、范例修正( r e v i s e ) 、存储范例( r e t a i n ) 。 范例抽取( r e t r i e v e ) ：根据待求解问题的有关信息，从范例库中检索最为相似 的范例集合。 笾铡复薅( r e u s e ) ：款捡索到舱钽似范铡集合中获驳求薅方寨，浮价方寨，必 要时对求解方案加以修正。 范例修? f 一( r e v i s e ) ：根据新胴问题差异，对复用的求解方案加以修正，使之 适合当前问题。 存储范铡( r e t a i n ) ：将薮笾铡及其囊譬( 线求瓣繁i l i s ) 存入范铡痒，宠袋系统学习。 1 4 数据挖耧技术 数掘挖掘( d a t em i n i n g ，简n c d m ) 是信息技术自然演化的结果，它是从火量的 数据中撬敬或挖掘翔t 谤 。它是一种决策支持过藏i ，乒要鏊于入工智能( a r t i f f c a i i n t e l l i g e n c e ，简称a 1 ) ，机器。学爿，统汁等技术。能l 魂艘自动化地分析熔确。魄数捌， 做出归纳性的推理，从r i ，挖掘出潜在的模式，预测客户的行为。 数霸挖掘技术基戳是入工餐能，宅稠蹋入一| 1 智缝豹些已经箴熟的算法簿1 技 术。例如人x ：* l t i 经网络，遗传算法，决策树，邻近搜索算法，蚬则捺理和模糊逻 中国辩学技术大学颤l ：论艾 由向入侵榆测的范倒推理和数据挖掘披术艇施埘硼究 辑等。数据挖掘算法的好坏直接影响到所发现知识的好坏，数据挖掘系统利用的 技术越多得出的结果精确性就越高，这主要取决于问题的类型以及数抛的类型和 痰搂。 数据挖掘是一个在数据库中发现知识的过程，他从数据集中识别出以模式表 示的知识。这个过程是一个多步骤的处理过程，多步骤之问相互影响，反复调整 影藏一秘螺旋式努麴过程。一令宠蘩戆数鬟挖撼过程主装由| 薹下步骥筑残： ( 1 ) 数搦准备数删挖掘的处理剥霖是大量的数据，这些数据一般缝过长期积 累并存储在数据库系统中。但是这些数据不适合直接用来进行数据挖掘，需要做 数据选择( 逡爨与分瓠任务穰关戆数据) ，数撵漆瑾乎漆啜声数据，识爱，翱除 孤立点，去掉数掘中的噪声，纠j l i 不一致) ，数据推算( 推辣空缺值) ，数据变换 f 将数据转换成适合于挖拥的形式，它包括：，i 滑数据中的噪声，对数据进行汇 总和聚集，使照概念分层对数蕹遴嚣概诧，将数豢麓蓬 皇翻特短褥造等等。 ， 数据缩减( 减少数掘鼙) 。数掘准备的好坏直接影响数据挖掘的效率和准确度以 及最终模式的有效性。 ( 2 ) 数鬃挖掘这是数蕹挖藏中菠荚键既步，使嗣黉貔麓方法趱取数蠢模 式。采用较多的技术有：决策树，分类，聚粪，粗糙集，关联规则，利l 经网络， 遗传算法等。首先决定臻从数据中掘取什么样的模型，然后选取相应的算法参数， 分撬鼗撂，德到可藐形藏知谈稳模式模鍪。 ( 3 ) 模式评估上面得到的模式模型，可能是没有实际懑义或没有使用价值 的，也可能是不能准确反映数据的真实意义，甚至在某些情况下是相反的，利用 模式译髂，霹淡确定溺鍪是有效，有爱秘搂式。评 吉i ， 良鬣澹嫣户震癸麓菜释兴 趣度度量( 如：支持度或簧信度) ，使模型能表示知识的真正有趣的模式。 ( 4 ) 巩固知识用户理解的并被认为是符合实际和有趣的模式模型形成了姐 滋。藏时要注意霹露识作一致瞧捡餐，簿决与以前褥爨翡知鼋 相互冲突，矛螽的 地方，使知识得到巩同。 ( 5 ) 运用知识运用知议有两利t 方法：一补是只需要看知f 谈本身所描述的关系 藏结栗，藏可以对决策挺 照支持；另一秘跫要求对薪豹数瓣运雳知识，由照可麓 产生新的问题，因此需嚣对知识做进一步的优化。 数据挖掘的过程可熊需要多次的循i l ：反复，每一个步骤一旦与预期f i 标不 符，都需要黼到蔫瑟豹步骡，重薪溺整，重蓊执行。数据挖澜戆结塞是糍育弱鑫句 模式提供给用户，或作为新的知识存放在知识库巾。 中国科学技术大学坝。i ：论义面向入侵枪测的范例批螋和数据挖掘技术及心用埘宄 1 5 入侵检测面临的主要问题和发展趋势 1 5 1 入侵检测面临的主要问题 ( 1 ) 误警。误警是指被入侵检测系统测出但其实是m 常及合法使用受保护网络 和计算机的警报。误警不但会带来很多麻烦，并且会降低入i d s 的效率。导致误 警的主要原因有：缺乏共享信息的标准机制和集中胁调的机制，不同的嘲络及主 机有不同的安全问题，不同的入侵检测系统有各自的功能：缺乏揣摩数据在一段 时间内行为的能力；缺乏有效跟踪分析等。 ( 2 1 有组织的攻击。一群攻击技术高超的人，长时间的筹备有组织的策划一 起全球性攻击，往往会照成非常大的影响。而要检测出这样复杂的攻击是非常困 难的。另外，高速网络技术，尤其是交换技术以及加密信道技术的发展，使得通 过共享网段侦听的网络数据采集方法显得不足，而巨大的通信量对数据分析也提 出了新的要求。 1 5 2 入侵检测的发展趋势 随蓿网络技术耵i 网络规模的不断发展，人们对于计算机网络的依赖也1 i 断增 强。与此同时针对网络系统的攻击越来越普遍，攻击手法f = i 趋复杂。i d s 也随 着网络技术和棚关学科的发展而n 趋成熟，：缕未来发展的趋势主要表现在以下方 面： ( i ) 宽带高速实时的检铡技术 大量高速网络技术，) h a t m 千兆以太网等，近年罩相继出现。在此背景f 的各利，宽带接八手段层i 叫j 刁i 穷，如何实现高速例络下的实时入侵检测，已经成为 当前而临的问题。目前的干；j e i d s 产- m 其性能指标与实际要求相差很远，要提高 其性能土要需考虑以下两个方面。首5 f ：i d s 的软件1 结构和算法需要重新没汁或 调整，以期适应高速网的环境，提高运行速度和效取。其次随着高逃网络技术的 不断发展与成熟，新的高速网络协议的设计也! 凶将成为未来发展的趋势，那么现 有i d s 如何适应和利j h 未来的新网络1 1 j 议将足一个令新的问题。 ( 2 ) 大规模分椰式的检测技术 传统的集中式i d s 的基本模，型是在网络的不同网段放置多个探测器，收集当 前网络状态的信息，然后将这些信息传送到中央控制台进行处理分析。返；| ；1 1 方式 前网络状态的信息，然后将这些信息传送到中央控制台进行处理分析。返利方式 中辫季辱学技木大学疆二论文 菇秘入侵检测蕊范翻推蛙帮鼗舞挖擒技求教疵翔掰究 i 5 入侵检测嚣瞄酶主要海题帮发震趋势 1 5 1 入侵检测面临的主要问题 ( 1 ) 误警。洪警是指被入侵检测系统测出但其实是i 卜* 常及合法使； i 受保护网络 和计算机的警报。误警不健会带来很多麻颓，并且会降低入i d s 的效率。导致谡 警的主要原因有：缺乏共享信惑的标撩机制萋鞋寞巾协调瓣枧剿，不网戆潮络及_ ! 兰 机有不同的安全问题，不同的入侵检测系统有各囱的功能：缺乏揣摩数捌在一段 时闯内行为酌能力；缺乏有效跟踪分析等。 ( 2 ) 有组织的攻击。一嚣攻击技术怒超黪人，长时闷躲筹务，有缌织鲍繁划一 起全球性攻击，往往会照成非常大的影响。而要检测出这样复杂的攻击是非常困 难的。另井，高速溺络技术，尤其是交换技术以及加密信道技术的发展，使得通 过共享心段侦甄的嬲终数据采集方法照得不足，蠢臣大黥遵信量对数撰分援也提 出了新的要求。 1 。5 2 入侵检测的发展趋势 隧警闲终技术器l 豫豢撬接的不鼗发溪，人翻对于诗篓枧麟络戆依赖盘不隧增 强。与此同时针对网络系统的攻击越柬越普遍，攻击手法日越复杂。i d s 也魑 着网络技术和相关学科的发展而同趋成熟，其未来发展的趋势丰要表现在以下方 面： ( 1 ) 霆带怒速实隧麓捡溅按术 大量高速网络搜术，蜘i a t m 千兆以太网等，近年取楣继出现。在此背景下 的各种宽带接入手段层出不穷，如何实现高速网络下的实时入侵检测，已经成为 当前面临酌阖题。嗣前的千- j g i d s 产。张其性能指标与实际要求稠差很远，疆提高 其性能羔三要蓑考虑以下薅个方露。首先i d s 熬软件结秘秘舞法需要霆凝浚跨或 调整，以期适应高速网的环境，提高运行速度和效率。其次随整高越网络技术的 不断发展与成热，新的高速网络协议n 勺没计也必将成为术来发展的趋势，那么现 有i d s 如何适应和利厢未来的新网络协议将是个令新的问题。 ( 2 ) 大规袋分奄j 式恐捡测技术 传统的集中式i d s 的基本嫫撄是在网络的不周删段放箴多个探测器，收集当 前网络状态的信息，然后将这些信息传送到“| t 央控制台进行处理分析。这种方式 中翻科学技零天学磷 论文 嚣彝入慢箍测靛范铡 l 理帮数据挖掘孝点术照瘴搦辑究 存在硝显的缺编，首先对予大规模的分布式攻击中央控制台豹负荷将会超过其赴 理极限，这季申螓援会造成大量信息处璎茨遗漏，导致预警率翳臻悫。其次多个攘 测器收集到的数据在网络上的传输。会在定程度1 2 增2 j “网络负担导致网络系统 性能的降低。辩者由于网络传输的时延问题，中央控制台处理的网络数据包中所 包禽的信恿灵蔽映了深骊器接收确它时网络的状态，不熊实时反映肖莳阐络状 惑。 ( 3 ) 数掘挖捌技术 操作系统的日益复杂和网络数据流量的急剧增加，导致了审计数据以惊人速 度澜增。如何在海量的审计数据中提敬出具有代表住的系统特征横式，以对程序 程耀户行为作擞更糖确蟾攥述，是实现入侵梭测懿关键。 数据挖掘技术足一项通用的知泌发观技术，其h 的魁要从海量数据中提取对 用户有用的数抓 ，将该技术用于入侵检测领域。利用数掘挖掘巾的关联分析序列， 模式分析等算法，提辍糟关的霜户行为特征，并报褥这些特征生成安全事件的分 类摸型，应用予安全事件黪交动鉴别。一个完整魄鏊予数提挖撅懿入侵检测模型 要包括对审计数据的采集，数据预处理，特 i f 变量选取，算法比较，挖掘结果处 理等一系列过程。这项技术难点在于如何根捌具体应用的要求，从用于安全的先 验知识出发，挝取出可以有效反映系统特性的特征属槛，应用适合的算法进行数 挺挖掘。另一技术难点在予如嚣将挖锻结采是动建癍嗣到实际鲶i d s 巾，疆 蠢 国际上在这个方向的研究很活跃，这些研究多数得到了美困国防部商级计划署国 家自然科学基金的支持。f 耳我们也应看到，数据挖掘技术用刁i 入侵检测的研究总 体上来蕊还处于理论探讨阶段，离实际应蹋还有福当距离。 ( 4 范倒拦毽按术 在入侵检测领域，如何精确以别攻出行为，是一个非常重缨的阉题。传统蛇 基于规则推理的方法，采用规则精确匹配的放发，对于规则库中没有的入侵行为 或是新的、未知的入侵行为，常常无泫榆澜出来。另外蕊刚的抽取通常需臻一个 比较复杂躲过程，对鼍：一个叛熬入侵行为要憋其穗歉残为+ 顼勰列盘嚣要一定的 时间。而基于范恻的摊理技术，存进行范例檎索的时候，采用的是套找最棚似范 例的方法，并不要求精确隧配。如果一个系统( 用户) 行为在当前的范例库中并 不存，但楚与蕊饲库中的莱些范秘稠似，弼可以通过这些辛罚似范稠来评价该系统 中瓣科学技术大掌颀0 论文舞彝入侵捡涮翁楚铡潦瑾秘数貉挖搦投寒嫠拉翔氍究 ( 蹋户) 行为。葡时范饲豹获敢比蕊鞠的获融要稠对容易。范饲捺理技术包含范 铡检索、范捌复蠲、范铡修正、范燃保存四个部分。 1 8 论文组织结构 论文六个章节组成，第一章是入侵检测、范例推理、数据挖掘技术的介 缨。第二毒详缫余缨入侵梭测系绫，分别余缨了入侵捡测系绕憋原壤、分类，主 流的入侵检测技术以及入侵检测系统在围内外的研究现j 状。第三章介绍范例推理 技术的毽论翔谈，第西章详细介绍我们提出的基于代价敏感的特征项学习算法。 第五章磷究数据挖撼领域嬲掇关技术，在关联娥剡挖掘冀法黪鏊础上提整一秘改 进的高频序列算法。笳六章是本文的结论及进一步的研究方向。 中潮辩学技术夫学碳| _ 逾文瀣南 浸褥测的篷翻揆鹱鑫l 数据携握技零敷癌攥垮 究 2 。1 入侵检测介绍 第二章入侵检测系统 入侵检测技术是继“防火墙”、“数据加密”等传统安全保护措施聪新一代的 安全保障技术。传统的安全防护措施( 如防火墙、加密、身份认证等) 都怒基于 一耱被动的防护方法，丽入侵稳溯系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 掇供了 秽主动的安全防护披术。入侵检测投术对汁簿机朔列终谈源上购恶意行为进行 识别和响应，它不仅检测来自外部滟入侵行为，嗣时也篮餐内部用广t 的来授权活 动。它能够为计算机系统的完整性、可用性以及可信任性提供积极手动保护，并 在诗葬巍系统受甏危害蓠遂亏亍陆护。入经检测系统作为对传统安全捺施麓 充， 以其藿壅莺弱实时擒测鞠捩途璃应糁性液越来越多滤入溪汲鼋麓秘接受。 i d s 的 j f 提是入侵行为弓正常行为是可区分的，通过提取系统及用户的行为 模式( b e h a v i o rp r o f i l e ) 来判定行为的性质。因此，入侵检测关键要解决：行为特 征数据的收集、行为模式瀚特征瓣取和快速高效瀚行为稹式判定。 2 。2 入侵梭浏簇本原疆 入侵检测魁用r 检测任何损害或企阕损害系统的保密性、完整性或可用性行 为豹种黼络安全技术。它通过褴视受保护系统的状态和活渤，采羽诶用检测 ( m i s u s ed e t e c t i o n ) 或异常捻n i l ( a n o m a l yd e t e c t i o n ) 麓方式，发现菲授权的绒恶意 的系统及网络行为，为防溅入侵行为掇供有效黪手段f 。入嫒检测系统是执莲亍入 侵捻测工作的硼钟或软件的产品，通过实时分析，梭测特定的攻击模式、系统醚 置、系统或程序漏洞以及系统或用户朐行为模式，j l 矗控与安全有关的活动。入侵 捻溅麓基本缀磺翔鬻2 所示。 ! 篓墅兰茎奎查兰燮坠茎 壁塑叁堡塑篓塑垫塑篓堡登鳖篓笙篓塾查垦堡塑! ! 曼 2 3 入侵检测系统分类 图2 1 入侵榆测系统基本原理图 入侵检测系统可按照不同的分类标准进行分类，我们将从事计数据源，检测 方法，检测的实时性这三个方面对i d s 进行分类。 2 3 。1 按数据源分类 入蠖捡测技术实囊上可归结为对安全审诗数据瀚处避，这耪处理露以铡测隧 络数据，也可针对主机的审汁记录或应用程序r 志。依据审计数据源的不同可将 i d s 分为主机型i d s 、网络艇i d s 、网络主机混合型i d s 。 2 3 1 1 主机型i d s 主机璎1 d s 主要剐柬保护网络r ；关键蜩芝4 j l ，如w e b 臌务器、d n s 臌务嚣 和e m a i l 服务器等。其数娲源主婴包括操作系统审讣记录、系统f 1 志，另外还有 基子应厢的审计信息和摹予目标的对象信息。垛作系统审计纪录是由探作系统内 按产生翡，它也是最晕被认为具有最重要麴安全意义翡数据涿，它援供了可靠的 数据源，由于没有经过高层抽象砸不易被入侵者更改。但不同操作系统的不j 容 性为入侵检测的丌发带来了吲难，针g , l 一种操作系统设计- j 佝入侵检测通常不能删 解舅一个操作系统的缸计纪录。系统嗣志建及成备种系统事件和设霄构文件。系 ! 翼型兰堡垄_ 天堂鳖。! ：鲨苎 窒塑垒霆堡篓塑垫望! 鏊鳖i 茎! 鍪蓬丝堡鏊垄丝整坐堡笙 统羁志与审诗澎录鞠毙曼徐篷蕊鞫久瞧 乞。纯篾获褥多个数据潺，泷荦令数撬添 反墩的事件更具有说服力。但是它较系统审计已录安全性要差，更容易被篡改。 基于主机的数据源的优势在于：针对性强、检测准确性高、适用检测复杂的攻击 模式、不受交换式翻络环境和数拯加密的影响，并鼠可以准确的判定攻击魑否成 功。 2 3 1 2 阏络墅i d s 网络狙i d s 利用网络数据包作为审订分析数掘源它般采用混杂工作模式 澄r o m i s c u o u s ) 酌两卡收集丽络中的鼗弦包，将收集翻数耀提交给i d s 的数舔分祈 模块进行分柝处理。鉴于网络约i d s 邋鬻有套单一一曩瓣款传感器( s e n s o r s ) 或放 在一个网络中不同地点的主机组成。这些单元j 监视网络通信流，做局部分析和判 断，并向一个中央管堋控制台报告攻击。由于传感器上仪限于运行i d s ，因此他 们鞠对比较安全两不会遭到攻击。缀多传感器都被设计运行在隐藏模式，这样佼 攻击者更雉发现他们的运行及运行位置。基于赆终的i d s 靛饯势在予：黠受镶 护系统的性能影响很小或几乎没有，并且无须改动原米的系统和网络结构，降低 了监视器本身遭到入侵者攻击的可能性，更容易获得某些基于网络协议的攻击方 法，可提供一个闼段韵实时溺络豁控。僵它电存在着诸如对大丽忙的两络不适用， 不能分析嬲密信息；捡测糖确度较差等阉题。 2 。3 1 。3 瘸络，主撬混合毽l 蚤 网络，主视混合型i d s ：针对阕络型i d s 和主机型i d s 的各自优势和缺陷， 漏合登i d s 缝合这薅静数据源，疆大凝度撵赢对瓣络及至撬系统静信息收集， 实现准确且高效的入侵检测。 2 3 。2 按捡测方法分类 谖溪硷 1 ) ! l i ( m i s u s ed e t e c t i o n ) 误用检测又称为旗于知i = x ( k n o w l e d g e - b a s e d ) f e j a 侵检测技术，它避过攻击模 式、攻击签名的行为描述入侵行为。系统需要对己知的入侵行为进行分析，提取 检测特征，构建攻击模式或攻击签粥，建立入侵模式厍，对观察剐的市计数据迸 中国科学投术人学颀 论文孤向入侵舱测的范例推理年n 数据挖掘技术及虑用研究 行分析检测，通过系统尚前状态与攻击模式或攻击签名的隧酉0 ，判断是甭有入侵 行为。这点非常类似于病毒检测技术的特征码分析。洪1 1 检测的优点是，采用模 式匿琵翡方法，可瞄浚迷离效豹梭溺崮当翦蕊入侵行为，且诶援率较低。误嗣检 测技术的缺点是，它只能检测已知的攻击模式，对未知的新型攻击无能为力，需 燹对入侵模式痒不断进行维护舟级。这秽舞级除了人工处璎外，还可以采用机器 学习的方法，将学习到瀚新的特征模式添魏臣n 入侵模式痒中跚孤。 异常检n 0 ( a n o m a l yd e t e c t i o n ) 舅常检测又弥为基予行为( b e 魏a v o 岫a s e 鑫，黪入爱硷溅技术。缓定势i 有入疆行 为都有区别于了f 常行为的芹常特性，那么我们可以为系统( 主机或用户) 建立丁f 常行为概貌，通过将当前主机或用户的行为和正常行为作比较，来判断当前行为 避甭是异常行为。我销蓄先为雩亍为菱异设定个潮德，然蜃魄较当兹行为与币常 行为的差异，如果该差异达到或大于预先设定的阔值，则判定用户和计辣机的行 为属于入侵行为：如果小子预先设定的阑值，财认为嗣户和计算机的行为属予正 常彳亍为。异常检测技术的优点是可以检测到来翔的入侵行为，这一点大大的弥补 了误用检测技术的缺陷。异常检测收集数据相对于洪用检测来说要容易很多。因 为误蠲硷测麓要妨数摇是入爱雩亍羹，露舅常捡溯霉要收集鲶数据是j f 常行为，显 然主机或网络中的f 常行为要远远尚于入侵行为。异常检测技术的关键魁系统或 用户行为的建模、系统特征量的选取以及闽值的选取，这些您接关系到检测的准 确缝。异常入侵捡滚静竣点是，捡溺豹难确性稳对较低，谈摄率 嚣对较辐。 2 3 3 按检测实时性分类 按照处理数据的实时性，i d s 可以分为实时攻击检测和事后攻击检测两种。 实时攻击检测采用实时船测系统及用户行为的方法，根据系缆及用户的历史行为 援型、安全策珞及锈域熟谚 等，实时晌分叛并判建善亍为麴嫠羔蕊，登硷溺龚攻击 行为立即做出响应。事后攻击检测魁采用批处理的方法，将一段时阳j 内的数据收 集起来，系统定时进行处理分析，如果在该段r i 4 i n j 内发现攻击行为就做i _ l _ 咖应。 瑟种捡潮方法吾寄後缺点。实时入侵稳灏的实时翻i 好，发现攻击焉可快速骰 出响应，但是这种方法对系统的软删什要求相对较l 断，同时系统的误报牢，剥较 高。由于强调系统检测及棚应的实时性，系统对收集到的数撼魄分柝只能采用一 些比较简单的方法，困两对数据的分析通常不够完善，这势必影响检测的准确性。 ! 鎏壁兰垫查叁兰堡i ：望茎堕塑垒璧塑塑墼苎型篓篷塑鳖筵笙望l 篓查丝坐望鎏壅 与实 靖入 ! 薏梭测不| 司，事后入侵裣溅的实时幢不好，煎可以运掰复杂且鬃致鑫冬分 析繁略，发现巢些复杂的攻击行为。我们可以将这甄秘方法提结合，取长於短， 用实时检测对审计数据实现粗略的检测，实现检测的实时性。复杂的分析采用事 后检测方法，分析的结采可进一少完善实时检测的检测繁略，提高实时检测的准 确墼薹。 2 。4 入侵检测萋并究现状 早在1 9 8 0 年，j a m e sa n d e r s o n 认为应该利用计算机系统中保存的同志数据来 分析箍断是甭有入侵行为。1 9 8 6 年，d o r o t h yd e n n i n g 提出了入侵检测专家系统 戆一令撼象模型i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) ，疆先掇塞应泼裂矮入侵 检测系统米解决汁算机系统的安全问题，这在入侵检测系统的发展历史中具有菲 常重要的意义，比起当时只是利用数捌加密和访问控制1 j 进了一大步。f _ 1 前在 i d s 的研究领域普遍受关注的方向有i d s 的性能评价、i d s 集成中通用的通讯格 式、嚣囱大怒族分布式网络静i d s 框架以及采舞一些最赣戆鬻箍按术柬谈爨藉 型未知攻击。 2 4 。1 主泷戆入俊检测技术 2 4 。1 。1 统诗摸型 基于统计的入侵检测方法辛臻用于芹常榆测。在基予统计的入侵检测系统 中，稷定叠三常系统行为存在一定麴统量 瘸霉，翔在一定时阚内，发囱一个特定溪 务器的s y n 数撼包数目应小于一定限度，超过这一限度川能存在s y nf l o o d 攻 击。构建熬于统计的入侵榆洲系统主要t ! = l 括选墩合遗的统计量、统计数据的分析 和入侵判断、统计筷，期勺自适应更新等。统汁分析投术是最早的异常检测技术， 在i d e s 、n i d e s 罩le m e r a l d 等中郝采用了这狰分摄技术h l 。 统计分析技术的优点是它不徽要象嵌用捡测那棒需戮维护个大的攻击模 式库，只需挑选特定的度量标准建立模型。然而，它的缺陷是统计分析技术大多 需婺大量的 j | | 练数据，采用批处理瀚方法，因此检测的实h ；l f l - 不好。统计分析模 型在度量参数选择一芝存在一定爨难，嚼援阂氆逡择也较露难。舅夕 ，统穰一努褥技 术在入侵攻击的描述上略显啦薄，如不能拙逃攻击序列( 芍俐) 的曲后依赖关系， 中国辩学技术天学联 。论文 蠹舟凡经楫稍酌茈捌推筵巳牵l 鼗搬控掘技术援f 畦j 聪毫叮究 因豆屯耩自2 检测的攻击也是有隈豹。 2 4 1 2 专家系统技术 专家系统技术是最早的误用梭测方法之一，它魁对已有的攻一1 _ r 模式用一条或 多条规剐送行擒述，针对审计事件记录系统运用知谚 库逊行推理，发现是否存在 入馁攻击。墓予专家系统技术的入侵检测的馋点是将系绞的摧理控到过程鄹细t 库相分离，用户不颓理解系统的求解过程而达到求解的日的。运用专家系统技术 的i d s 有很多，如i d e s 、m i d a s 、n i d s 、d i d s 和c m d s ， 专家系统技术应用至j ；入侵捻溅，主瑟困难和耍解决构问题有：检测怒翊太 都恢靠领域专家用硬编玛方式，专家系统的性能完全取决于设计者瓣知激秘接 能。对已知的攻击肖很好捡测能力，两对朱知攻击无能为力。且要求系统有自 适应能力，需进行知识库的自适应更新、修一和1 致胜维护等。入侵检测要处 理豁率计数据量菲常大，鏊于专家系统i d s 在处理海量审订数据时执行效率存 f 闰题。考虑数据闷序歹依救关系，罄于专家系统的i d s 处理序瓢数摄的能 力较差。 2 4 。1 - 3 数据挖掇技术 器稔缒珏大学( c o l u m b i au n i v e r s i t y ) 的w e n k el e e 在其磐二卜论文a 艮提耄了将 数据挖掘( d a t am i n i n g ，d m ) 技术应用到入侵检测中，分别从网络和主机疆个方面 进行审计数据朐挖掘处理，以发现混用检测的攻击模式和异常榆测的检测模掣 2 1 。针对误用