（管理科学与工程专业论文）基于数据挖掘的混合型网络入侵检测研究.pdf

基于数据挖掘的混合型网络入侵检测研究 摘要 入侵检测，作为信息安全保障体系结构中的一个重要组成部分，很好地弥补了访问 控制、身份认证、防火墙等传统保护机制所不能解决的问题。然而，传统的入侵检测系统 ( i d s ) 在有效性、适应性和可扩展性方面都存在不足，尤其是在遇到新的入侵类型时变得 无能为力。针对这些不足，本文从数据处理的角度，用数据挖掘的方法建立了入侵检测 的模型。 本文在对入侵检测基本知识等进行介绍的基础上，提出了基于数据挖掘技术的入侵 检测方案，设计了包含异常检测和误用检测的混合型网络入侵检测框架和实现算法，该 方案实现了在没有任何手工规则的前提下，仅根据审计数据的特征，就能较为准确地检 测出已知和未知攻击。 本文利用数据挖掘中的关联规则算法、频繁情节算法和分类算法，完成了对网络审 计数据的分析和入侵模型的建立，为了使挖掘出的模式更加适用于入侵检测，文中提出 用“关键属性”和“参考属性”作为关联规则和频繁情节算法产生规则的两个限制条件， 提高了模式挖掘的有效性。此外，我们还讨论用聚类分析的方法找出纯正的正常数据记 录，从而建立正确的正常模型。在分类算法中，本文使用多决策树合并方法对单一决策 树算法进行改进，在d a r p a 提供的入侵检测数据上进行的实验结果表明使用多决策树算 法能明显提高检测率并降低误检率。 关键词：入侵检测，数据挖掘，关联规则，频繁情节，分类，决策树 r e s e a r c ho nm i x e dn e t w o r ki n t r u s i o nd e t e c t i o n b a s e do nd a t am i n i n g a b s t r a c t i n t r u s i o nd e t e c t i o n a sa ne s s e n t i a lc o m p o n e n ti nt h ei n f o r m a t i o ns e c u r i t ya s s u r a n c e f r a m e w o r k s c a l e st h ei s s u e si nw h i c ht r a d i t i o n a lm e t h o d ss u c ha sa c c e s sc o n t r o l ，i d e n t i f i c a t i o n a u t h e n t i c a t i o na n df i r e w a l lc o u l d n th a n d l e h o w e v e r ，c u r r e n ti n t r u s i o nd e t e c t i o ns y s t e m sl a c k e f f e c t i v e n e s s ，a d a p t a b i l i t ya n de x t e n s i b i l i t y ，a n de s p e c i a l l y , t h e yb e c o m ei n e f f e c t i v ei nt h ef a c e o fn e wk i n do fa r a c k s a i m e da tt h e s es h o r t c o m i n g s ，t h i st h e s i st a k e sad a t a - c e n t r i cv i e wt o 1 d sa n db u i l d sa ni n t r u s i o nd e t e c t i o nm o d e lb ym i n i n ga u d i td a t a a f t e ri n t r o d u c i n gt h eb a s i ck n o w l e d g ea b o u ti n t r u s i o nd e t e c t i o n ，t h i st h e s i sp r e s e n t sa m i x e di n t r u s i o nd e t e c t i o ns c h e m eb a s e do nd a t am i n i n g t h ef r a m e w o r ka n da l g o r i t h m so ft h e s c h e m ew h i c hi n c l u d e sb o t ha n o m a l yd e t e c t i o na n dm i s u s ed e t e c t i o na r ed e s i g n e dt h e n n e s c h e m ei sa b l et od e t e c tk n o w na n du n k n o w na t t a c k so n l yb a s e do nt h ef e a t u r e so ft h ed a t a w i t h o u ta n ym a n u a lr u l e s t h i st h e s i s a d o p t s a s s o c i a t i o nr u l e s a l g o r i t h m ，f r e q u e n te p i s o d e sa l g o r i t h m a n d c l a s s i f i c a t i o na l g o r i t h mt oa n a l y z en e t w o r ka u d i td a t aa n de s t a b l i s hi n t r u s i o nd e t e c t i o nm o d e l i no r d e rt oe n a b l et h ep a t t e r ng e n e r a t e db ya s s o c i a t i o nr u l e sa l g o r i t h m ，f r e q u e n te p i s o d e s a l g o r i t h mt o b em o r es u i t a b l ef o ri n t r u s i o nd e t e c t i o n ，t h i st h e s i su s e sk e ya t t r i b u t e sa n d r e f e r e n c ea t t r i b u t e st oc o n s t r a i nt h er e s u l t s ，i m p r o v i n gt h em i n i n ge f f e c t i v e n e s s b e s i d e s ，w e d i s c u s sa b o u tu s i n gc l u s t e r i n gm e t h o dt op u r i f yc o n n e c t i o nr e c o r d sa n db u i l da c c u r a t en o r m a l m o d e l i nc l a s s i f i c a t i o na l g o r i t h m t l l i st h e s i su s e sm u l t i - d e c i s i o nt r e ec o m b i n a t i o nm e t h o dt o r e p l a c es i n g l ed e c i s i o nt r e e e x p e r i m e n to nt h ei n t r u s i o nd e t e c t i o nd a t ap r o v i d e db yd a r p a h a ss h o w nt h a tm u l t i d e c i s i o nt r e ec o m b i n a t i o nm e t h o dd e t e c t si n t r u s i o nw i t hh i g h e rd e t e c t i o n r a t ea n dl o w e rf a l s ea l a r mr a t et h a ns i n g l ed e c i s i o nt r e em e t h o d k e yw o r d s ：i n t r u s i o nd e t e c t i o n ，d a t am i n i n g , a s s o c i a t i o n r u l e s ，f r e q u e n te p i s o d e s ， c l a s s i f i c a t i o n ，d e c i s i o nt r e e 插图清单 圈2 1i d s 基本构成图6 圈2 2p e t r i 隧分辑：一分镑4 次登录失效1 0 图3 1k d d 过程示意圈】7 圈3 - 2 入侵检测中的数据挖掘流程2 5 翻垂l 篓予数据挖掘瓣入侵稳测摸爱2 8 图4 2 数据挖搬模块糕架2 9 圈4 3 稔测模块框架，3 0 赘4 4 事传序列中懿三葶孛蔫澎3 4 图4 5 分类决镣树4 l 圈4 6 多决策树算法原理4 5 爨4 7 多决策辫参与懿入侵梭溅结鬃会蒡爨理。4 5 圈4 8 多决策树与单决策树方案的检测率结果比较4 7 豳4 - 9 多决策树与单决策树方案的该检率缩果比较4 7 表4 - 1 连接记录的属性及含义 表4 2 连接记录数据示例表 表4 - 3w e b 服务器访问记录 表4 4 多决策树实验结果表 表格清单 3 1 3 2 3 8 4 6 独创性声明 零入声明所至交数学位论文燕奉大在导舞指导下滋铤豹研究工雩# 及骏褥瀚礤究成果。据我瑟躲， 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰骘过的研究成果，也不包 含为获得 金胆王些盔堂或其他教育机构的学位域证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均已襁论文中作了明确的说明辩液示谢意。 学位论文作者靛名： 主t 心签字日期：。舞j 月，秽日 学位论文版权使耀授权书 本攀钕论文作者完全了解愈月b 王业太堂有关保留、使用学位论文的规定，有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许论文被番阅和借阅。本人授权垒目b 王些盘堂可以将学 位论文的全部或部分内容编入糟哭数据库进行检索，研默采用影印、缩印或扫撼等复制手段保存、溅 绽学袋论文。 ( 傺密豹学位论文在解密矮适用本授权书) 学位论文佧者签名 、l 也 签字鞫鲻：毒栉妊；胃f 筘 学位论文作者毕业后去向： 工傺单健；合己兰霭d 逶适建照： 务雹皆装山咯弓7 砖 爵师签名： 绍钟 麓字日期：沁k 年r 月f ；磊 魄话：f 剃呼斑f 郛编： 毒加2 致谢 在论文即将完成之际，我在此谨向所有关心和帮助过我的老师、同学和家人朋友们 致以最真诚的感谢。 蓄先，我要深深蘧戆落我豹簿； | ；撬恚铎羧授。本天在嚣年多豹硕士磷究生深程攀习 和撰写学位论文的过程中，自始甄终得到了倪老师的悉心指导，无论从课襁学习、论文 选题，还是到资料收集、论文修改定稿，都倾注了倪老师的心血，在此由凝感谢倪惑体 老簿在学疆攒等及各方霪掰绘予我的关心。傻老爨高尚的天捂、渊博静翔识、严谨酶治 学态度、敏锐的洞察力，令我受黼良多，敬佩不已，这些都将使貔终身受蓣，并激励我 不断前进。 同时，舆诫感谢管理学院的黛体老师，缎们的教诲为本文的研究提供了理论基确， 并创造了许多必要条件和学习机会。 感谢餐熊簿理礤究掰的蹶有瞬学，正楚逶蓬与髂裁豹互穗交渡、互稳漆瓒，我方褥 以不断提高。衷心地祝备位前程戳锦! 此外，特别感谢我的室友张烨、黄铁梅、何夏青以及挚友刘俊在本文撰写期间所提 供筑零动，熬及在生溪中绘予我戆照蹶。 最后，我要感谢父母的养育之恩，是他们二十多年来的呵护、关心、支持和鼓励， 使我得以顺利究成学业e 感谢我的男友对我撰写论文的支持和鼓励，以及生活中的细心 嚼轳! 佟者：刘萎 2 0 0 6 年4 月 1 1 研究的背景 第一章绪论 隧着计算辊帮遗信援本豹发震，阏络邑成为全稼信惑萋磴设施的主要组成部 分，与每一个人的生活都密不可分。它为人们交换倍息， 敲进科技、文化、教育、 生产熬发震，对现代人类生溪矮量熬提高都带来投大熬霞糕。毽楚努一方覆，疆 络作为一把双刃剑，在推动人类进步的同时，也给社会、经济造成了极大的危害。 计算机病毒不凝产生秘传播， s 法入侵和盗援系统漆趱层壤不究，甚至由戴造戏 网络系统的瘫痪等。嘲络安全问题融给各个图家以及许多公司造成巨大的经济损 失，熬至危及到国家和地区的安全。据有关方面统计，目懿美国每每由于网络安 全闯磁雨遭受的经济损失超过1 7 0 亿夔元，9 9 的大公司都发生过大的入侵事件。 世界著名的商业网站，如y a h o o 、e b a y 、a m a z o n 等都曾被黑窖入侵，造成巨大的 经济攒失。甚至连专门麸事潮络安全魏r s a 丽菇迩受到遘嚣客韵致击。据统计， 全球平均每2 0 秒就发嫩1 次网上入侵攀件，黑客一旦找到系统的薄弱环节，网络用 户裁会遭殃。 为了加固网络，防范各种入侵，减少因网络安全事件两带来的经济损失，人 妇磅突纛应用了各零孛发全机铡、篆酶彝王其。售统上，采趱静态安全骧翁繁略寒 进行防御，主器使用防火墙、加密、身份认证、访问控制等。然而，随着攻击者 技术的豳趋成熟，攻凌工具鸟手法的目趋复杂多样，加之嚣辨系统、软徉存在蛇 安全漏洞，单纯的被动的静态安全骑御策略融经无法满足需要。就如同门上装了 锁，但无法阻止别人破坏锁，或者绕过这个门阉进来。因此，从网络安全的整体 解决方案来说，需要些积檄的、主动的酶御手段，这其中最重要豹就是入侵检 测技术。 入 受捡嚣豹醑究激早霹逡濮到j a m e s a n d e r s o n 簌1 9 8 0 年酌工终，德首先提出了 入侵检测的概念“3 。1 9 8 7 年，d e d e n n i n g 酋次给出了一个入侵检测的抽象模型。 弗将入侵检测佟兔一耱薮数安全茨甥疆藏挺糖。1 9 8 8 年，t e r e a nf l u n t 等人遴一多 改进了d e n n i n g 提出的入侵检测模型，并创建了i d e sf i n t r u s i o nd e t e c t i o n e x p e r t s y s t e m ) ”。该系统用于检测攀一主执的入侵，提出了与系统平台秃关斡实畦检测 思想。1 9 9 5 年开发了i d e s 完善后的版本n i d e s ( n e x t 。g e n e r a t i o ni n t r u s i o nd e t e c t i o n e x p e r ts y s t e m ) ”。，可棱测多个主机上的入侵。1 9 9 0 年出现7 一个新概念：基于网 络懿入侵捡嚣n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 掏。n s m 与此前韵i d s 系统最大的不 同在于宙并不检测主机系统的审计记录，它i 飘过在周域网上主动地败视网络信息 流量来遗踪可疑行为。d i d s ( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) “1 则是对n s m 的发展，把网络中主机系统的审计机制收集到的事件数据通过网络避行综合处理。 星蔻，潮羚基予程络戆入镁捡溅系统云逐步扩大弱齄够检溺大黧戆、其毒复杂拓 扑结构豹瓣络中的a 侵学为。 在潮外，入侵检测技术的发展如同病毒检测技术一样，许多检测手段都己变 得很成熟。仅在美国，目前市面上已有9 0 多种入侵检测产品。国内避些年来，网 络技术飞速发展，但网络焱众的现状却没有得到足够的重视，入侵检测领域的研 究也剐剐起步，与国外还鸯缀太差距。入侵梭测在理论建模帮成鲻研究上，都还 不够黢熬。 1 2 研究现状 目前图外不但有多个实验室从事入侵检测系统的研究和开发，而且己完成一 些原型系统和商业产品，弗鼹形成了多个标凇，其中主要有美国麓防部高级研究 诗絮餍d a r p a ( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 弱公筵入侵捡测摇蘩 c i d f ( c o m m o ni n t r u s i o nd e r e c t i o nf r a m e w o r k ) 标准”3 帮i n t e r n e t 工瑕任务组i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ) 的入侵检测数据交换格式i d e f ( i n t r u s i o n d e t e c t i o ne x c h a n g ef o r m a t ) 。这两个标准都从不间方面对i d s 系统谶行了比较详细 的描述。我国也已经开始着警入侵检测标准i d f ( i n t r u s i o nd e t e c t i o nf r a m e w o r k ) 的 研究与制定，若已取德一定瓣成果。 入穗羧测技术在巷惠安余强爨嚣求下褥笺了不酝兹发震帮蹇蘩。强在，入覆 检测技术滋经形成了较为完誉的技术体系和设计模型，比如d o r o t h ye d e n n i n g 、 t e r e s af l u n t 等人提出并改进的通用入侵检测系统抽象模型，同时祷不少大型入侵 检测系统软件出现，并获得了成功的商业化应用。它们中有”“”：s r i ( s t a n f o r d r e s e a r c hi n s t i t u t e ) 开发的i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) 系缆、n e t w o r k f l i g h t r e e o r d e r ( n f r ) 公司嚣发爨i d a ( i n t r u s i o nd e t e c t i o na p p l i a n c e ) 系统鞋及c i s e o 公司豹n e t r a n g e r 系统。这蹙巍韭软释所取褥鹣藏功应臻，辍大迪推动了学术赛对 入侵检测技术的研究热情和入侵检测技术在产舭界的推广。 目前大多数网络入侵检测系统都是通过手工定制的方式建立超来的，尤其是 用于识别削断入侵行为的检测知识，都是由安念领域专家自己总结提供，并将其 编写到鲻络入侵检测系统中。其中最著名的产黯靛是c i s c o 公司的n e t r a n g e r “。这 类入侵捡溅系统最大戆琴跫楚爨妻专家不瑟撼馁有关灭整检灏豹藏菠躲谖，强弱 不便予及辩有效翅发现来知的入侵或攻击行冀。 为了解决入侵检测系统上述缺陷，c o l u m b i au n i v e r s i t y 的w e n k el e e 研究组”2 3 首先提出了在入侵检测系统中应用数据挖掘技术。数据挖掘技术谯入侵检测系统 中的应用大大减少了手工和缎验的成分。基于数据挖掘的网络入侵检测模型可以 遴行撬魏学习帮模式扩充，入霞捡溅慈率农霹纛缝秘显褥到撵舞。实验表骥，耱 数据挖瓣技术瘟羯虱入侵狻溺系统孛其有报强酌淫论基穑，在技零上建立一套系 统是可行的。其技术难题主鼹在于如何根据具体应用的要求，从必于安全的先验 知识出发，提取出可以有效地反映系统特性的特征属性，应用含激的算法进行数 据挖掘。技术难点还在于如何将数据挖掘的结聚自动地应用到实际的入侵检测系 统中。圈前国际上在这些方藤研究缀活跃，其中最活跃的是美国，褥到d a r p a 耱 霆家奎然霉； 学基金( n s f ) 戆支持。不过，这登方嚣熬疆变憝转上谈遥楚予理论搽薅 酚段，离实际应用还有穗当的距离。 另一个主要的研究组：u t l _ i v e r s i t yo f n e wm e x i c o ( u n m ) 的s t e p h a n i ef o r r e s t “” 等人进行的是针对主机系统调用的审计数据分析处理，其最初的思想是基于生物 学中免疫系统的概念。无论是针对生物机体，逐是针对计算机系统，免疫系统的 关键阉戆都在手：使用一缀稳定豹、劳且在不阉令体之闺存在足够麓异鲢特征 ( f e a t u r e s ) 来獾述鑫我，获瑟经系统具备鏊澍“螽我 謇我”魏鹣力。然覆，对手 计算机系统来说，要解决这个问题相当困难。搽一，恶意代码憋溅在正常代码之 中难以区分；第二，系统可能的状态几乎是光限的，寻找一组稳怒的特征来定义 “自我”并不容易。s t e p h a n i ef o r r e s t 使用短序列匹配算法对特定的特权程序所产 生的系统调用序列进行了细致的分析，在这一镁域做出了大量开创健的工作。 蕊之，入侵检溅技术豢然邑获褥7 长是避疹，囊随羞网终入馒技寒兹不酝发 展，入侵麴行为表现密不确怒键、复杂往、多榉镶等特点，入侵稳浏蕊箍许多畜待 解决的燕键问题，如高效率的检测算法、入侵模式确认、实时j i 曩测、入侵描述语 言、检测数据标准化、高遮网络中的入侵检测、i d s 评估、i d s 与其他系统的协同 工作等一系列问题都有待进一步研究和实现。这也将不断地推动入侵检测技术得 至更深入的发展和更广泛的疲孀，翅造出更多鲍实惩徐值。 1 3 搴文缀织及章节安薅 本文欺分为五章，具体每章的内容如下： 第一墩：绪论。介绍课趱的研究背景以及研究现状。 第：露：入侵检测概述。阕述了入侵检测的概念、功能、缎戏及分类，并篱 要分撰了瑗枣魏入侵检溅技誉。 第三肇：数据挖掘及箕燕入侵检测中酌墩髑。概述了数据撼濑的定义、过程 及功能，并在此基础上探讨了数据挖掘技术在入侵检测中的应用。 第强章：纂予数籀挖掘的漉台登入侵裣渊模壅鹣建立。该章是率文研究的重 点，设计了基于数据挖掘的混合型入侵检测模型，将入侵检测的过稷分成数据挖 握模袭帮实霹羧溅模块嚣都分寒迸嚣。数据擦撼模块霞震嚣囊窜诗数据逶簿藏囊 挖掘，利用决策树算法作为误用检测簿法，关联规则和序列舰则算法作为辫常检 测算法，爨秀炎算法黪佐点缝合起寒，提亵入霞捡翱瓣捡溅率，簿低误裣率。对 于异常榆测，我们考虑用聚类分析来对连接记录聚类，以找出纯净的正常连接记 录，建立正确蛉正常模型。针对误用检测中的决策擞葵法本牵采用多决策撼会黉 箅法对筚一决蔬树算法进行改进，并在d a r p a l 9 9 8 数据上进行实验，结果擞示该 方法能商效提高检测效率。 第蠢章：憨结与栽望。总结了奉谦题的全都研究工作并对课趣深入开餍所需 的进一步工作提出设想与展望。 4 第二章入侵检测概述 入侵检铡技术是主动保护自识免受攻击的一种阐络安全技术。作为防火墙的 台瓒补充，入侵裣浏技术髓够帮助系统对付两络攻击，扩震了系统管理员的安全 管鬓能力( 包攒安全窜计、益辊、玫击谈鄹和稿疲) ，提商了信意安企基础缩构朗 完整牲。 2 1 入侵检测的概念及功能 2 1 。i 入侵糗测瓣概念 1 什么是入侵 入侵( i n t r u s i o n ) 是指任何企图危及计算机系统资源的宪整性( i n t e g r i t y ) 、机密性 f c o n f i d e n t i a l i t y ) 和可用性( a v a i l a b i l i t y ) 或试圈越过计算机或网络的安金机制的行 为“。它不仅包括发起攻击的人( 如恶意韵黑客) 取得超出合法范围韵系统控制权， 也鬣括牧集漏濑信惑，造城拒绝访问( d e n i a lo f s e r v i c e ，d o s ) 等对计算视系统造成 危害静行炎。入侵露熊是巍通过曼联潮谤闯系统翡攻击耆发起，或者是由系统的 莱些授权用户发起，用户在错误地使熙授予悠髑瓣特投黠，瞧将造戏对系绕的入 侵。 2 入侵检测的概念 入侵检测技术是一种主动保护自融的网终和系统免邂非法攻击的网络安全技 术。美国国际计算机安全协会o c s a ) 对入侵检测( i n t r u s i o nd e t e c t i o n ) l 拘定义怒：通 过从计算机网络或计算机系统中的若干关键点搜集信息并对其进行分析，从中发 现网络鬣系统中是否有违反安全策略的行为和遭到袭击的迹象的一种安全技术 ”。遗菠安全策略豹孳亍为有：入侵一一菲法用户的违规行为；漆用一一合法用户 的违援程为。 进行入授检测瓣软l 孛乓璜l 孛的缀会攫是入侵检测系统( i n t r u s i o nd e t e c t i o n s y s t e m ，越称i d s ) 。与其健安全产鼎不同的是，i d s 蓑要更多躲撰能，它必缨霹以 将得到的数据进行分析，并锝出有用的结果。一个合格的i d s 能大大的篾化管理 员的正作，保证网络安全的运行。 2 。1 2i d s 鹃凌煞 i d s 的应用，能使在入侵攻击对系统发生危寄前，检测到入侵攻击，势利月 报警与防护系统驱逐入侵攻击；在入侵攻击过程中，能减少入侵攻击所造成的损 失；在被入侵攻击詹，能收集入侵攻击的相关信息，作为防范系统的知识，添加 入知识库内，以增强系统的防范能力。其功能大致分为： 1 监控、分析用户和系统的活动 这是i d s 能够完成入侵检测任务的前提条件。i d s 通过获取进出某台主机及 熬个网络的数据，或者通过查看主机日志等信崽来实现对沼户和系统活动的靛控。 2 发凝入侵企图释雾常现蒙 这是i d s 的核，豁功挠。主要包摆掰令方瑟，一是i d s 对避出阚络或主橇的数 搬滚进露监控，霉是否窍在对系统麴入侵磐戈；另一个是评髂系统关键瓷源和数 擐文件的完煞性，蓉系统是否已经遭受了入侵。越者的作用蹩在入侵磐为发生时 及时发现之，从而避免系统遭受攻击：而后者一般是系统在遭到入侵时没熊及聪 发现和阻止，攻击的行为已经发生，但可以通过攻击行为留下的痕迹了解攻击行 为的些情况，从而避免再次遭受攻击。 3 记录、报警和响应 i d s 在裣铡劐攻击詹，应该采取相疲的措施来阻止攻击或响应攻击。i d s 作为 一耱主动防御策略，必然应该冀备托功能。它首先记录攻击的基本情况，其次及 时发寤投警，必要拜雪还嶷该采取菜释响应行为，鲡拒绝接收掰有来自菜台计算梳 款数据、追黥入侵行为等。 2 2 i d s 鳇组成 图2 - 1i d s 基本构成豳 1 事件产生嚣( e v e n tg e n e r a t o r s ) 事彳率产生器楚i d s 中负责琢始数据采集的部分，它对数据流、日志文件等进 行遣踩，然君将按案掰的原始数据转换为事件，并向系统的其他部分掇供此事件。 2 事辟分耩嚣( e v e n ta n a l y z e r s ) 事件分毒晕器接收事传信惫，然菇对它钓遴行分析，判断是否洚入侵行为躐异 常现象，最后将判叛的缝果转变为警告蠖患。 3 ，事件数据库( e v e n td a t a b a s e s ) 6 雾 一 - 善 二 嚣 事件数据库是存放各种中间和最终数攒的地方。它从事件产生器或事件分极 器接受数据，般会将数据进行较长时间的保存。 4 嚷瘟攀嚣( r e s p o n s eu n i t s ) 响应单元根据警告信息做出反应，它可以做出切断遴接、改变文传属性等强 烈反应、也可以只是简单的报警，它魁入侵检测系统中的主动武器。 馘上疆部分只是i d s 的基本组成部分。觚搽体实现的角度看，i d s 一般包括 硬馋秘软馋舞部分。硬孛设备圭要完戏数擐的袋集器瞧痰懿实施；较 率部分主要 宪成数据的处理、入侵的判断、响应的决策等功能。 2 3 i d s 的分类 随着入侵检测羧寒瓣发麓，裂嚣裁鸯囊，戳现了缀多入侵检涮系统，不闻的 入侵检测系统舆有不同的特徽。根据不同的分类标礁，i d s 可分为不同媳类别。 2 3 。i 摄撂原始数据来淫分类 i 萋予主梳静l d s 基于生极熬i d s 主要用予保护运蟹荚键应爱毂照务器。宅遴遘燕援与分攒主截 的审计记录和日志文件来检测入侵。通常，基于主机的i d s 可监视系统、事件、 w i n n t 下的安全记录以及u n i x 环境下的系统记泶，从中发现可疑行为。当有文件 发生交纯翼孪，i d s 将瑟豹记录条器与竣赘标韬稳魄较，看它销是否嚣配。鲡采涎配， 系统就会向管理员报警，并向别的目标报告以采取措施。 2 ，基于网络的i d s 蕊子两络酌i d s 使用原始阚络包作为数据源，保护菜个网络段。它侦听潮络上 的所鸯分缎，采集数据，分砉疃霹袋现象，一星检测到玫壶，入侵检测应答模块透 过通知、报警及中断连接等方式来对攻击做出反应。目前，大部分入侵检测产品 怒基予两络的。 3 基予应耀熬t d s 基于应用的i d s 可以说是基于主机的i d s 的一个特殊子集，也彤以说是基予主 机i d s 实现的进一步细化，所以其特性、优缺点与基于主机的i d s 基本相同。它监 控某个软佟应角程_ 亭中茇生静活动，信息来源主蒺是应用程序的目怎。它监控的 悫容熨为具体，攘应豹婺控对象更您狭窄。 2 3 。2 根据检测漂理分类 i 误麓检测( m i s u s ed e t e c t i o n l 误用检测是将入侵者活动用一种模式来表示，入侵检测系统的目标是检测主 体活动是否符合这些模式。由于与攻击相对应的模式也叫特征，误用检测也叫做特 征检测。在目前的商业产品中误用检测最通常的形式是将每一个攻击事件的模式 定义为一个独立的特征，这样建立入侵特征库。其难点在于如何设计模式既能够表 达“入侵”现象又不会将正常的活动包含进来。这种方法的优点是检测准确率较 高，缺点是只能对已知攻击类型和已知系统安全漏洞进行检测。 2 异常检测( a n o m a l yd e t e c t i o n ) 异常检测是假设入侵者活动异常于正常主体的活动。根据这一理念建立主体 正常( n o r m a l ) “模式”，将当前主体的活动状况与这些“模式”相比较，当违反其 规律时，认为该活动可能是“入侵”行为。异常检测首先要收集一段时期正常操作 活动的历史数据，建立代表用户主机或网络连接的正常行为的轮廓，即正常模式。 异常检测的难题在于如何建立这种正常“模式”以及如何设计算法，从而不把正常 的操作作为“入侵”或忽略真正的“入侵”行为。这种方法的优点是能检测未知 的攻击类型，缺点是误检率较高。 2 3 3 根据体系结构分类 1 集中式i d s 集中式结构的i d s 可能有多个分布于不同主机上的审计程序，但只有一个中央 入侵检测服务器。审计程序把当地收集到的数据踪迹发送给中央服务器进行分析 处理。但这种结构的i d s 在可伸缩性、可配置性方面存在致命缺陷。随着网络规模 的增加，主机审计程序和服务器之间传送的数据量会骤增，导致网络性能大大降 低。并且一旦中央服务器出现故障，整个系统就会陷入瘫痪。 2 等级式i d s 在等级式i d s 中，定义了若干个分等级的监控区域，每个i d s 负责一个区域， 每一级i d s 只负责所监控区的分析，然后将当地的分析结果传送给上一级i d s 。这 种结构也存在一些问题：首先，当网络拓扑结构改变时，区域分析结果汇总机制 也需要做相应的调整；第二，这种结构的i d s 最后还是要把各地收集到的结果传送 到最高级的检测服务器进行全局分析，所以系统的安全性并没有实质性的改进。 3 分布式i d s 分布式i d s 将中央检测服务器的任务分配给多个基于主机的i d s ，这些i d s 不 分等级，各司其职，负责监控当地主机的某些活动。所以，其可伸缩性、安全性 都得到了显著提高，但维护成本也高了很多，并且增加了所监控主机的工作负荷， 如通信机制、审计开销、踪迹分析等。 2 3 4 根据正作方式分类 1 离线检测 离线检测系统是一种非实时工作的系统，在攀件发生借分析审计事件，从中 捡囊入侵事传。这类系统约藏零低，霹黻分辑大爨事磐，溺套长麓豹壤援；毽趣 予是在事后进行，不能为系统提供及时的保护，而且很多入侵行为农完成后都将 审计事件去掉，使得检测系统凭法检测到。 2 在线硷溅 在线检测对网络数据包或生机的审计事件进行实时分析，可以快速反应，保 护系统的安全：但在系统规模较大时，潍以保证寓时性。 2 4 入侵检测技术 2 4 。1 误曩检测技拳 1 模式匹配 这是一耱最俦绕、最篱单豹入侵检测方法。窀建立一令攻击特级疼，然惹擦 事件记录同存放在特镊库中豹记录逐一比较，判断是否存谯攻击。这种分析技术 原理简单、扩展性好、效率高，可用于蜜时检测；缺点是谨只能用于检测比较简 单的袭壹摸建，误掭攀瞧较囊。鑫予系统戆实现、琵墨、缭轳罄缀方矮，模式霾 配技术得到了广泛的成用，s n o r t 和大部分商用i d s 都采用了这种技术。 2 专家系统 罩蘩戆i d s 多采黧专家系统来裣溅系统孛楚入强行秀。在这些系统中，有关入 侵的知识转化为i f t h 脒结构的规则，即将构成入侵所要求的条件转化为i f 部分， 将发现入侵聪采取的棚应措施转化成t h e n 部分。强其中某个或部分条件满足财， 系统藐努断为入稷嚣为发生。箕中豹i f t h e n 结梭构成了攒述其律玻蠢的规羯痒。 然而，使用专家系统规则袭示一系列的活动不具有直观性，除非由专业人员 寒傲专家系统的井级一作，否则姬剥的受菠将是缀困难的。嚣虽使鼹专家系绕来 分轿系统的窜计数据谗是很羝数豹。系统的处理速度滴题僵基予专家系统的i d s 只能作为一种研究原型，若要商用化则需要采用礅有效的处理方法。 3 状态转纯分橱技术 状态转换分析最苹由r k e m m e r e r “8 提出，即将状态转换图应用于入侵行为的 分析。状态转换法将入侵过程糟作一个行为序列，这个行为序列导致系统从初始 状态转天毅入侵凝态。分撰彝重繁先铮薅警一耱入 甍方法确定系统熬秘始狭态嚣被 入侵状态，以及导致状态转换的转换条件，即导致系统进入被入侵状态必须执行 9 的操作( 特征事件) 。然后用状态转换图来表永每一个状态和特 谁事件，这些事件 被集成于模型中，所以检测时不需要一个个地套找审计记录。 p e t r i 耀餍手入侵行必分掇是一静类骰予状态转换墼分辑熬蠢法“。稳蠲p e t r i 丽豹宥翻之箍在于它能一般托、图形证遗表遮状态，并置篱漕爨了。虽然缀复杂 的入侵特征能用p e t r i 网表达得很简单，但是对原始数据匹配时的计算量却会很大。 图2 - 2 是这种方法的一个简单示例，表示分钟内登录失败的次数越过4 次，系统便 发出警报。 登录失嫂 登录失致鼗最失致登录失散 广、i 厂一、 r 、i - - - - 广 l 、，卜叶弋。卜叶叫、广一叶弋广f 一弋 一 。 s ls 2 s 3s 垂s 5 图2 2p e t r i 网分析：一分钟4 次登录失败 2 4 2 羚常捡涮技术 统计分褥方法 统计分析是在异常入侵榆测中普遍使用的技术。该方法中用一些称为统计分 析检测点的统计变量刻画用户或系统的行为，例如审计事件的数缀、间隔时间、 资源消耗情况等。入侵检测常用的5 种统计模缴为： ( 1 ) 擞住模型：该模型假设异常可透过测爨绩累与一些固定擞标穗比较褥到， 淫定豢搽萄整根据经验餐或一段嚣阕走静绫诗擎驽褥到； ( 2 ) 方蓑：计算参数的方莲，设定其置信聪闻，当测量值超过：鬣信区间的范围 时表明有可能是异常； ( 3 ) 多元模型：操作模烈的扩展，通过同时分析多个参数来实现异常检测： ( 4 ) 码尔柯夫过程模型：将每种类型的事件定义为系统状态，用状态转移矩阵 来表示毛跫态静变化，当一个搴终发生酵，其状态矩阵转移壤率较小剩蜀鳇是吴霉 事释； ( 5 ) 时闻序列分析：将攀件计数与资源耗用根据时间排成序列，如果一个新事 件在该时间发生的概率较低，则该事件可能是入侵。 下瑟戳入馒裣灏专家系统( i d e s ) 建鲷来说爨一簸统诗分褥方法豹处毽遵程 “”。设m ，尥，眠为描述特征的变量，这些变量可以是c p u 的使用，i o 的使 用，使用地点及时间，邮件使用，所创建、删除、访问或改变的目录及文件。网 络活动等。矮s f ，& ，最分裂表示特 芷变量m 1 ，妫，嫉的吴拳测豢镬。这 些僮表硬了异常程度，糟墨的僮越离，剐强的异常程度越大。系统的特征俊可用& 的加权平方和来表示： m = a i 搿十嘎鹾+ + a i o ( i = l ，2 ，”) 这里a ，表暴每一释特薤熬粳重。 如莱选用标准偏差作为判别准剡，猁标准偏麓 疗= 、厨石面了 其中o = 膨昨，如祭荣个s 值超出了u + c r 就认为如现异常。 统谤方法静最大甓杰是宅毒潋“学习”蕉户豹使曩l 习瀵，兢覆昊鸯玻窝猃密 率与可用饿。但是它的“学习”能为也给入侵者以机会通过逐步“训练”使入侵 事件符合正常操作的统计规律，从而透过入侵检测系统。另外一点，统计分析检 测点的选取楚一个关键技术。因鸯窀的选取并不是根据特定的攻击，因j 墩瑟选择 骞嚣络帮系绫特薤意义瓣溺量点。 2 人工神经网络( a n n ) 方法 神经网络是一种非参量化的分析技术，使用自适应学习技术来提取异常行为 戆特堑，蒜骚对谢练数撵嶷送行学习，黻缮出歪鬻豹程兔攘式，黪显要求爨黪硼练 数据静筑潴性两不包含任何入侵或茹常的角户行为“”。 基于a n n 的入侵检测技术的基本思想“们是用命令序列来训练人工神经网络。 经训练后，该神经网络就构成了用户的活动描述文件，给定组输入后，就可预 测羧出。将入王耪经弱终露予入覆羧溺系统，哭鼗挺头嚣捡溯熬数蕹添，耱经两 络就可阻通过自学习能力，从中提取正常的用户域系统活动的特征模式，而不需 人工描述磁常行为模式的统计分布。可以向a n n 输入新发现的入侵攻击样本，通 过训练样本使a n n 能够对凝的攻击模式产生畹应，从丽使入馒捡 9 l ! | 系统更鸯学习 黟塞逶痉能力。当a n n 学会了系统纛常雩亍为模式嚣，麓够对獭离系统正鬻行为瓣 事件做出响成，进而可以发现一些新的攻击模式。 基于人正神经网络构建的入侵检测技术能够缀好的处理带噪声数据，检测时 不依赖于底瀑数据特征鲶统诗假设，蕊虽套易修改戳适应毅懿震户环境。 2 4 3 高级梭测技术 1 计算机免疫( c o m p u t e ri m m u n e ) 技术 计算机免疫学利用动物的免疫机理，即区分本体成分和非本体成分并消除非 本体成分，建立每个程序正常行为的数据库，定义属于自己的体系结构、软件版 本和配置、管理策略、使用模式等，用来监测程序的行为，识别非自身的外来攻 击活动。免疫系统成功保护有机体免受各种侵害的机理为入侵检测系统的研究提 供了重要依据。当前计算机安全正朝向以预防为主的方向发展，基于生物免疫系 统的入侵检测技术研究正符合这一发展要求。 基于计算机免疫学的i d s 从免疫系统中抽象出与计算机安全相关的原理、结构 和算法，并将其基因选择、阴性选择、抗体检测及克隆选择等机制应用于入侵检 测系统的设计。设计出的基于生物免疫的入侵检测系统相对于传统入侵检测系统 将具有多样性、适应性、记忆性、灵活性等优点。u n i v e r s i t yo f n e wm e x i c o ( u n m ) 的s t e p h a n i ef o r r e s t 研究组基于免疫技术，针对主机系统调用的审计数据分析处理， 进行了系统调用短序列方法的研究。认为特权进程的系统调用的短序列相对稳定， 可以代表“自己”。因而可以利用系统进程正常执行轨迹中的系统调用短序列集， 来构建系统进程正常执行活动的特征轮廓”“。在检测时，比较特权进程的系统调 用序列与已建立的模型的相似程度，如果相似程度较低，说明是异常。如果能够 获得程序运行的所有情况的执行轨迹，那么所得到的程序轮廓特征将会很好地刻 画程序的特征，而基于它的检测系统将会具有很低的误检率。 2 遗传算法( g e n e t i ca l g o r i t h m ，g a ) 遗传算法是进化算法( e v o l u t i o n a r ya l g o r i t h m ) 的一种。引入了达尔文在进化论 中提出的自然选择的概念对系统进行优化”“。遗传算法利用对染色体的编码和相 应的变异及组合，形成新的个体。 遗传算法在入侵检测中的应用，通常可以分为以下步骤来完成：首先，使用 一组字符串或者比特组对可能出现地检测结果进行编码；然后，采用定义好的最 适应性函数( f i t t e s tf u n c t i o n ) ，对所有的字符串或者比特组个体进行测试，找出最 优个体，并对所有的个体执行重组、变异和复制等操作，不断产生新的字符串个 体；之后，不断重复上述的测试、选择、重组或变异等操作步骤，直到获得满意 结果。 以s u p e r l e e 和l u d o v i cm e 开发的g a s s a t a ”系统为例，该系统采用了遗传算 法的检测技术，通过一组向量表示形式，使用遗传算法对系统事件流进行分类检 测。每个系统事件数据流用一个n 维的向量h 来表示其所处的状态情况，其中n 代表 当前所知的攻击类型的总数，而向量h 中各个分量的取值代表当前事件流中是否发 生了特定类型的攻击活动( 1 代表发生了攻击，而o 代表没有发生) 。然后，系统 应用所定义的最适应性函数，对最初假定的各个向量( 比特组) 进行测试，并根 据测试结果- 对每个向量进行遗传算子操作( 重组、复制和变异) ，其中包括对 不符合实际的分量值进行修淑等