（计算机应用技术专业论文）网络入侵检测中检测引擎的智能算法研究.pdf

摘要 摘要 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 作为一种主动的信息安 全保障措施，有效地弥补了访问控制、防火墙等传统安全防护技术的缺陷， 能有效的检测到入侵企图和入侵行为。本文以提高检测算法对未知入侵的 检测有效性为目标，从检测率和误报率两个重要指标出发，提出以遗传算 法和聚类分析为主线的相关检测算法，选题具有理论意义的实用价值。 本论文主要研究工作如下： 首先，对特征子集的选择方法进行研究，提出基于遗传算法的特征子 集选择算法。此过程有利于提高检测的精确度同时降低系统的负荷。 其次，将判别遗传聚类算法用于异常入侵检测，并对算法的执行策略 进行相应的改进，提出基于遗传聚类的网络异常检测酿v o r ka n o m a l y i n t r u s i o nd e t e c t i o nb a s e do ng e n e t i cc l u s t e r i n g ，n a i d g c ) 算法，省去了构 造训练数据集的繁重工作量，降低了算法对初始参数的敏感性。 再次，针对n a i d g c 算法存在的问题和网络入侵检测的有效性问题， 提出改进的基于遗传聚类的入侵检澳l j ( i n t r u s i o nd e t e c t i o nb a s e do ng e n e t i c c l u s t e r i n g ，i d b g c ) 算法。该算法由最近邻聚类和遗传优化两部分组成。 遗传算法采用模拟退火选择算子和自适应变异算子，以增强遗传算法的局 部优化性能和改进随机变异的不足。 最后，本文采用通用数据库u c ik d dd a t a b a s er e p o s i t o r y 的数据集和 k d dc u pd a t a 网络数据集进行了实验。结果表明：本文所研究的三种 算法都有效，其中改进的i d b g c 算法对未知入侵攻击平均检测率和平均 误检率保持较高水平，且具有很好的适应性和可扩展性。 本文提出的应用于异常检测引擎的算法，对提高针对未知入侵的检测 效率有重要的意义。 关键词网络入侵检测；异常检测：特征子集选择；遗传算法；聚类分析 遗传聚类算法 i 燕山大学工学硕士学位论文 a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e ma c t sa st h ee f f e c t i v ec o m p l e m e n tt ot r a d i t i o n a l p r o t e c t i o nt e c h n i q u e ss u c ha sa c c e s sc o n t r o l ，f i r e w a u i n t r u s i o nd e t e c t i o ni s c o n s i d e r e dt ob ea l le f f e c t i v et e c h n i q u et od e t e c ta t t a c k st h a tv i o l a t et h es e c u r i t y p o l i c yo fs y s t e m s i tc a nd e t e c tt h es u c c e s s f u lb r e a c h e so fs e c u r i t ya sw e l la s m o n i t o ra t t e m p t st ob r e a c hs e c u r i t y i nt h i sp a p e r , i no r d e rt oe n h a n c et h e e f f e c t i v e n e s sf o ru n k n o w ni n t r u s i o n , s o m en e t w o r kd e t e c t i o na l g o r i t h m sm a i n l y u s i n gg e n e t i ca l g o r i t h m sa n dc l u s t e r i n ga n a l y s i sa r ep r o p o s e d t h e ya r e m e a s u r e db yt h ed e t e c t i o nr a t ea n dt h ef a l s ep o s i t i v er a t e i th a sa p p l i e dv a l u e o nt h e o r y t h em a i nc o n t r i b u t i o n so f t h i sd i s s e r t a t i o na r es u m m a r i z e da sf o l l o w ： f i r s t l y , t or e s e a r c hm e t h o d so nf e a t u r es u b s e ts e l e c t i o n , an e wa l g o r i t h mo f f e a t u r es u b s e ts e l e c t i o nb a s e do nt h eg e n e t i ca l g o r i t h mw a sp r o p o s e d i tc a nb e p r o p i t i o u st oe n h a n c e d e t e c t i v ep r e c i s i o na n dt or e d u c eb u r t h e no f t h ei n t r u s i o n d e t e c t i o ns y s t e m s e c o n d l gd i s t i n g u i s h e dg e n e t i cc l u s t e r i n ga l g o r i t h mw a sa p p r o a c h e dt o a n o m a l y i n t r u s i o nd e t e c t i o n t h e i m p l e m e n t a t i o n t a c t i cw a s i m p r o v e d a c c o r d i n g l yt h e nt h en e t w o r ka n o m a l y i n t r u s i o nd e t e c t i o nb a s e do ng e n e t i c c l u s t e r i n g ( n a i d o c ) a l g o r i t h mw a sp r o p o s e d i tn o to n l ym a k e sw o r k l o a do f c o n s t r u c t i n gt r a i n i n gd a t as e th es a v e db u ta l s or e d u c es e n s i t i v i t yo ni n i t i a l p a r a m e t e r s t h i r d l y , i m p r o v e di d b g ca l g o r i t h mw a sp r o p o s e db a s e do ns o l v i n gt h e p r o b l e mo ft h en a i d g ca l g o r i t h mt o e n h a n c ee f f e c t i v e n e s so fn e t w o r k i n t r u s i o nd e t e c t i o n t h ei m p r o v e di d b g ca l g o r i t h mc o n s i s t so fn e a r e s t n e i g h b o rc l u s t e r i n gs t a g ea n dt h eg e n e t i co p t i m i z a t i o ns t a g e m e a n w h i l e ，a s i m u l a t e da n n e a l i n gs e l e c t i o no p e r a t o ra n da na d a p t i v em u t a t i o no p e r a t o rw e r e a p p l i e dt og e n e t i ca l g o r i t h mt o e n h m c ea b i l i t yo fl o c a ls e a r c h i n ga n dt o a b s t r a c t i m p r o v es h o r t c o m i n g so f r a n d o mm u t a t i o n f i n a l l y , e x p e r i r a e n t so nt h ec u r r e n c yd a t a b a s eu c ik d dd a t a b a s e r e p o s i t o r ya n dd a r p a l i n c o i nl a b sd a t aw e r ed e s c r i b e d t h e s ee x p e r i m e n t s s h o wt h a tt h e s e t h r e ea l g o r i t h m sa r e e f f i c i e n c y , t h ei m p r o v e di d b g c a l g o r i t h ma c h i e v e sg o o dp e r f o r m a n c ef o rt h ea v e r a g ed e t e c t i o nr a t ea n dt h e a v e r a g ef a l s ep o s i t i v er a t e i th a sp r e f e r a b l ya d a p t a b i l i t ya n de x p a n s i b i l i t y t 1 1 e a l g o r i t h m sp r o p o s e di nt h i sp a p e ra p p r o a c ht oa n o m a l yd e t e c t i o n e n g i n e t h e ya r es i g n i f i c a n tt 0i m p r o v ee f f i c i e n c yo fd e t e c t i n gu n k n o w n i n t r u s i o r l s k e y w o r d sn e t w o r ki n t r u s i o nd e t e c t i o n ；a n o m a l yd e t e c t i o n ；f e a t u r es u b s e t s e l e c t i o n ；g e n e t i c a l g o r i t h m ；c l u s t e r i n ga n a l y s i s ；g e n e t i c c l u s t e r i n ga l g o r i t h m i n 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文网络入侵检测中检测引 擎的智能算法研究，是本人在导师指导下，在燕山大学攻读硕士学位期间 独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不 包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的 个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本 人承担。 作者签字玺意殓 日期：l 瞄年胁月f 。日 燕山大学硕士学位论文使用授权书 网络入侵检测中检测引擎的智能算法研究系本人在燕山大学攻读 硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕 山大学所有，本人如需发表将署名燕山大学为第一完成单位及相关人员。 本人完全了解燕山大学关于保存、使用学位论文的规定，同意学校保留并 向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人 授权燕山大学，可以采用影印、缩印或其他复制手段保存论文，可以公布 论文的全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密囱。 ( 请在以上相应方框内打“”) 作者签名：素穗、企 日期：3 眦年l 。月f 。日 翮繇弦第 嘲乃棚扫 第1 章绪论 1 1 研究背景 第1 章绪论 随着计算机和网络技术的不断发展，上网的计算机数和上网的用户人 数都在不断增加，截止到2 0 0 5 年6 月3 0 日，我国的上网计算机总数己达 45 6 0 万台，上网用户总数突破1 亿大关，达1 0 3 亿人【l 】。人类社会网络 信息化程度日益增加，对网络依赖性日益增强，系统遭受的入侵和攻击也 越来越多。方面，网络的规模越大，结构越复杂，软件的规模和数量越 大，系统遭受攻击的机会就越多；另一方面，随着计算机和网络技术的不 断普及，越来越多的漏洞被人们发现，入侵者的水平也越来越高，手段变 得更加高明和隐蔽。我国国家计算机网络应急技术处理协调中心( n a t i o n a l c o m p u t e rn e t w o r ke m e r g e n c yr e s p o n s et e c h n i c a lt e a m c o o r d i n a t i o nc e n t e r o f c h i n a ，c n c e r t c c ) 2 0 0 5 年上半年网络安全事件报告总数和月度统计 2 1 如图1 1 所示。 图1 1c n c e r t c c 网络安全事件报告删 f i g 1 - 1c n c e r t c cn e t w o r ks e c u r i t ye v e n t sr e p o r t l 2 1 l 燕山大学工学硕士学位论文 据报道，世界平均每2 0 秒钟发生一起黑客攻击、入侵事件，在美国每 年因此造成的经济损失高达1 0 0 多亿美元，涉及政府机构、军事国防、科 研院校、金融商业等各部门。2 0 0 5 年上半年，蠕虫、木马、间谍软件等恶 意代码在网上的传播和活动仍然频繁。据c n c e r t c c 技术中心统计，从 2 0 0 5 年1 月1 日到2 0 0 5 年6 月3 0 日，全球共新增蠕虫、木马、病毒等恶 意代码1 18 5 1 种，系去年同期增长数量的1 2 倍。病毒厂商瑞星的统计数 据也显示，2 0 0 5 年上半年其新截获的病毒数量达到了1 34 6 4 个，比去年同 期增加了一倍多。因此，网络与信息安全问题显得越来越突出，入侵检测 也成为研究的热点问题。 1 2 入侵检测技术的发展现状 入侵检测系统是信息系统安全保障防御体系中一个重要的组成部分， 扮演着数字空间“预警机”的角色。入侵检测的研究最早可追溯到j a m e sp a n d e r s o n 在1 9 8 0 年的工作。在这一年的4 月，他为美国空军做了一份题 为( ( c o m p u t e rs e c u r i t yt h r e a tm o n k o r i n ga n ds u r v e i l l a n c e ) ) 的技术报告，这 份报告被公认为入侵检测的开山之作。1 9 8 7 年，乔治敦大学的d e n n i n g 提 出了一个实时的入侵检测系统抽象模型入侵检测专家系统，首次将入 侵检测的概念作为一种解决计算机系统安全防御问题的措施提出，为构建 入侵检测系统提供了一个通用的框架【3 】。如图1 2 所示 图1 - 2 通用入侵检测模型【3 】 f i g 1 - 2g e n e r a li n t r u s i o nd e t e c t i o nm o d e l p l 2 新 篮燃甄_一 9 一固 第1 章绪论 1 9 9 5 年以后出现了很多不同的新i d s 研究方法，特别是智能i d s 。包 括神经网络【4 ，一1 、遗传算法【6 1 、代理技术 7 - 9 1 、免疫系统 1 0 , 1 1 、数据挖掘1 2 等，本文重点分析遗传算法和聚类分析在入侵检测领域中的应用。 遗传算法( g e n e t i ca l g o r i t h m s , g a s ) 已经以很多的方式应用于网络入侵 检测中。一类方法是直接用g a s 产生分类规则l l ”】；另一类方法是应用不 同的人工智f 毙, ( a r t i f i c i a li n t e l l i g e n c e ，a t ) 方法获取规则，而g a s 则用来选择 更合适的特征【1 6 1 或对一些函数参数进行优化1 7 1 9 1 。 1 9 9 0 年，m a e c a b e 最早把遗传算法引入入侵检测中 2 0 。他提出应用遗 传方法来搜索整个度量子空间，以寻找正确的度量子集。其方法是使用学 习分类器方案生成遗传交叉算子和基因突变算子，除去降低预测入侵的度 量子集，而采用遗传算子产生更强的度量子集。这种方法采用与较高的预 测度量子集相结合，允许搜索的空间大，比其它启发式搜索技术更加有效。 1 9 9 5 年，c r o s b i e 等人应用多代理技术和遗传规划算法( g e n e t i c p r o g r a m m i n g ，g p ) 来共同检测网络异常【2 ”。每一个代理监视一个网络审计 数据的参数，然后用g p 对这些代理进行查找和组合。这个方法有利于许 多小的自动代理的应用，但是他们之间的信息交流仍然存在一定的问题。 如果代理的初始化不合适，训练过程就会相当费时。 2 0 0 0 年，b r i d g e s 等人提出了一个新的方法，把模糊数据挖掘技术和 遗传算法结合起来检测网络误用和异常【1 7 】。在大多数现有的基于g a 的 i d s 中，虽然一些网络审计数据的量化特征与入侵行为有很大的关联，但 这些特征常常被忽略或者被简单的处理。b r i d g e s 等人提出了一种通过引入 模糊数值函数而得到量化特征的方法。他们的最初试验显示了量化特征和 模糊函数显著的改善了产生的规则的精确性。在这个方法中，g a 用来寻 找模糊函数的最优参数，同时用来选择最相关的网络特征。 2 0 0 3 年，刘勇国等人提出了一种基于遗传聚类的入侵检测算法【2 2 1 。该 算法为一种混合算法，通过最近邻聚类方法和遗传算法相结合来共同检测 异常数据，但对于遗传算法只应用了一般的遗传策略，对不同的入侵行为 的检测波动性较大。 2 0 0 4 年，w l u 等人提出了一种应用g p 直接从历史网络数据中生成一 3 燕山大学工学硕士学位论文 组分类规则的方法1 3 】。这个方法应用置信度作为适应度函数，能检测并恰 当分类网络入侵。但是，g p 实现很困难，并且训练系统时要求更多的数 据或时间。 2 0 0 5 年，h a r m 等人提出了一种应用信息理论和g a 共同检测异常行 为的方法 2 3 1 。基于网络特征和网络入侵类型的共有信息，少量网络特征和 网络攻击非常一致，然后应用选择的特征和g a 产生线性结构的规则。应 用共同信息减少了g a 的复杂性，同时应用具有单一结果的线性规则提高 了入侵检测在实时环境中的效率。然而，此方法只考虑了不连续特征，没 有考虑到连续特征的问题。 i b mz u r i c h 研究实验室、s r ii n t e r n a t i o n a l 、n e t w o r kf l i g h tr e c o r d e r 等 公司和麻省理工学院l i n t o i n 实验室、普渡大学c o a s t 实验室、l a w r e n c e b e r k e l e yn a t i o n a ll a b o r a t o r y 、加州大学s a n t ab a r b a r a 分校、加卅大学d a v i s 分校口4 筇1 、卡耐基一梅隆大学软件工程研究所、北卡罗来纳，h 3 , 1 l r 大学、瑞 典c h a l m e r su n i v e r s i t yo ft e c h n o l o g y 等研究机构都分别进行了入侵检测研 究，提出了各自相应的检测模型。 一个安全的系统应该满足用户系统的保密性、完整性及可用性的要求， 入侵检测系统按照一定的安全策略建立起相应的安全辅助系统，入侵检测 作为安全技术其作用在于：识别入侵者；识别入侵行为；检测和监视已成 功的安全突破；为对抗入侵及时提供重要信息，阻止事件的发生和事态的 扩大。 入侵检测是对危及系统安全，即对系统保密性、完整性和可用性的恶 意行为的识别和反应过程，其基本前提条件： ( 1 ) 用户和程序行为是可见的； ( 2 ) 正常和入侵行为具有截然不同的迹象。 总体来说，入侵检测系统的发展经历了五个阶段：最早的是基于主机 的入侵检测系统，如i d e s ；基于多主机的入侵检测系统，如n i d e s ；基 于网络入侵检测系统，如n s m ；基于分布式入侵检测系统，如d i d s ；以 及面向大规模网络的入侵检测系统。目前入侵检测系统得到了长足的进步， 出现一些技术比较成熟的产品，国外入侵检测的产品主要有i s s 公司的 4 第1 章绪论 r e a l s e c u r e 、a x e n t 公司的i t a 及e s m ，以及n a i 公司的c y b e r c o p m o n i t o r ， 其中i s s 公司的r e a l s e c u r e 的智能攻击识别技术是当前i d s 系统中最为先 进的。国内在入侵检测系统的研究和市场化方面也出现了一些相关产品， 如安氏( 中国) 公司的l i n k t n s t 入侵检测系统等。 以上研究成果为我们的课题提供了宝贵的经验。在国内，这方面研究 刚刚起步，和国外比较起来差距很大，我们可以借鉴国外的基本框架来开 发研究我们自己的模型，从而达到我们网络的高安全性要求。 1 3 现有入侵检测系统存在的问题 目前的i d s 存在很多的缺陷，不同种类的系统存在一定的差异，总体 来说主要表现在以下几方面【2 7 j ： f 1 ) 结构缺陷和易被攻击目前几乎所有的i d s 都采用多层次结构。叶 子节点为信息收集点，包括基于网络和基于主机的信息收集点。内部节点 聚集来自不同叶子节点的信息。更高层次的节点对数据进行进一步积聚、 提取和精简，直到到达根节点。根节点是一个命令和控制系统，用来评估 攻击形式和产生响应。根节点通常向操作控制台报告。由于依赖于这种层 次结构，许多i d s 容易受到攻击。攻击者可以通过攻击一个内部节点来切 断i d s 的控制链，或者通过取得根用户权限来破坏整个i d s ： ( 2 ) 缺乏可扩展性和自适应性i d s 的可扩展性和自适应性对于今天的 网络环境来说非常重要。i d s 需要有可扩展性来与新的模块配合工作。而 且i d s 也必须能够经常自我更新，以检测新的入侵模式。检测机制也很难 适应不同的使用模式。依据定期改进检测技术、裁剪入侵检测机制，对于 i d s 存在很大的困难； ( 3 ) 易被欺骗性基于网络的i d s 使用一般的网络协议栈来对受保护 主机的协议栈行为进行建模和评价网络数据包。攻击者可利用这种协议栈 的差异，向一个目标主机发送让i d s 解释困难的数据包，如修改分段、序 列号和包的标志位进行欺骗【2 8 】。源地址欺骗是攻击者常用的欺骗手段之 一。当i d s 对攻击变盲，或被欺骗认为已制止了攻击，攻击者就可以进入 目标主机了； 燕山大学工学硕士学位论文 f 4 ) 响应能力欠缺传统的i d s 更重视对攻击的检测而不是响应。当检 测到一个攻击时，通常情况下系统管理员无法及时分析来自i d s 的警告并 采取合适的行动，这给攻击者在管理员采取相应的行动之前有了一个随意 操作的机会。虽然很多的i d s 开始具备自动响应能力，以减少攻击者扩大 对网络控制所需要的时间，但这种自动响应机制还是非常不完善的； ( 5 ) 系统维护困难对目前i d s 的维护通常需要特殊的知识和足够的 努力。例如，误用检测一般由专家系统来实现，用规则库来进行模式匹配， 对规则库的更新涉及专家系统的细节和描述规则库的语言，对于网络管理 员来讲维护是比较困难的。 所以将多种技术相融合，探索新的实现方法来完善入侵检测功能是现 在和未来研究的发展方向。 1 4 入侵检测研究的必要性 由于入侵检测能在不影响网络性能的情况下对网络进行监测，为系统 提供对内部攻击、外部攻击和误操作的有效保护。因此，为网络安全提供 高效的入侵检测及相应的防护手段，如记录证据用于跟踪和恢复、断开网 络连接等。入侵检测以探测与控制为技术本质，能弥补防火墙的不足，起 着主动防御的作用，是网络安全中极其重要的部分。入侵检测作为一个新 的安全辅助机制开始集成到网络系统安全框架中。入侵检测在信息网络体 系结构中能够完成以下功能： ( 1 ) 整合信息安全体系结构中不同构件间的集成特性； ( 2 ) 增强系统监控性能： ( 3 ) f l 全程有效监控用户行为； ( 4 ) f l b 识别并报告数据文件的修改情况； ( 5 ) 能确定系统中的错误配置，在一定情况下还可对其修正； ( 6 ) 能有效地识别入侵并通知系统安全管理人员及时采取防范措施； ( 7 ) 促使系统管理员把握最近对程序的修改情况； ( 8 ) 允许非专业人士向系统提供安全策略建议； ( 9 ) 能提供信息安全策略的指导意见。 6 墨! 翌缝笙 入侵检测工作原理、检测模型的建立及相关细节将在第二章进行详细 阐述。 1 5 本文主要研究内容和结构 入侵检测系统目前仍然存在很多问题，尤其是具有自适应能力、能自 我学习的入侵检测系统还不完善。而且传统的异常检测方法需要构造一个 关于系统正常行为轮廓的参考模型，然后检查系统的运行情况，若与给定 的参考模型存在较大的偏差，则认为系统受到了入侵攻击 2 吼。但是设置恰 当的特征轮廓和异常警报的门限值是相当困难的。因此，为了克服以上问 题本文引入遗传算法和聚类分析方法对入侵检测系统进行改进，以形成智 能化的入侵检测系统。本文研究的是网络入侵检测中检测引擎的智能算法， 这对如何有效的提高入侵检测系统的检测性能、自适应性和可扩展性有着 重要的意义。 本文正文共分为五部分： 第1 章主要分析计算机网络系统的安全性和主要面临的威胁，叙述入 侵检测的发展与现状，对国内外的研究现状作了总体的概述，同时指出本 文研究的主要内容及结构。 第2 章主要在分析入侵检测研究的基本情况的基础上，结合入侵检测 通用框架结构建立网络入侵检测系统的工作模型，并对各功能模块进行简 单描述。介绍误用检测和异常检测常用的检测方法，以及近几年出现的智 能检测方法，并在对这些方法进行评析的基础上提出适合本课题的算法研 究重点。 第3 章依据本课题算法研究的需要，首先对攻击的特征进行分析，介 绍特征子集选择的主要方法。然后针对数据集存在冗余和不相关的信息， 利用遗传算法的特性，提出应用遗传算法进行特征子集选择的方法。 第4 章在完成特征子集选择的基础上，首先针对入侵检测数据中各特 征字段间异构的特点，提出采用混合型数据间度量方法来计算入侵检测样 本间的差异性，扩展了以往聚类分析只能进行数据型分析的不足。然后在 分析现有异常检测算法不足的基础上，提出将判别遗传聚类应用到异常检 7 燕山大学工学硕士学位论文 测中对未知入侵进行检测，并对算法进行相应地改进，提出n a i d g c 算法。 继而又分析n a i d g c 算法不足之处，提出将改进的i d b g c 算法用于对未 知入侵行为的检测，同时在遗传优化阶段采用模拟退火选择算子和自适应 变异算子以增强遗传算法的局部优化性能和改进随即变异的不足。 第5 章通过m a t l a b 的仿真实验对本文提出的技术进行验证。 结论部分总结了本课题的研究成果和今后的研究方向。 苎：兰笙型堡型堕垄皇兰丝型! ! 竺箜竺鎏坌堑 第2 章检测模型的建立与检测引擎的算法分析 入侵检测技术是近2 0 年来出现的一种主动保护自己以免受黑客攻击 的新型网络安全技术。入侵检测是对面向计算资源和网络资源的恶意行为 的识别和响应，入侵检测技术是信息安全保障模型( p r o t e c t i o nd e t e c t i o n r e s p o n s er e s t o r e ，p d r r ) 的一个重要组成部分，是动态安全技术的核心技 术之一，是对防火墙的必要补充。 2 1网络入侵检测模型的建立 2 1 1 工作原理 入侵检测系统通过从计算机网络或计算机系统的关键点收集信息并进 行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹 象。入侵检测作为必要的防范措施和一种积极主动的安全防护技术，提供 了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之前 拦截和响应入侵。 基于网络的入侵检测系统使用原始网络包作为数据源，通常首先利用 一个运行在随机模式下的网络适配器来实时监视，分析通过网络的所有通 信业务。然后对收集的信息进行检测分析，采用的攻击辨识模块通常使用 四种常用技术来识别攻击标志：模式、表达式、字节匹配频率或穿越闽值 的低级事件的相关性统计学意义上的非常规现象检测，但随着学科的交叉 发展，各种先进的检测技术也运用到网络入侵检测中，出现了基于数据挖 掘、遗传算法、神经网络、数据融合等入侵检测系统，这些先进的检测方 法目前正成为入侵检测系统研究的一个热点，它们从不同的技术角度分析 入侵行为，目的是提高系统的可扩展性和自适应性，能够智能化地检测出 未知入侵行为。最后一旦i d s 检测到了攻击行为，其响应模块就提供多种 选项进行通知或报警并对攻击采取相应的措施。措施因产品而异，但通常 都包括通知管理员、中断连接或为法庭分析和证据收集而做的会话记录。 9 燕山大学工学硕士学位论文 2 1 2 检测模型的设计与建立 2 1 2 1 基于主机的入侵检测系统基于主机的i d s 可监测系统、事件和 w i n d o w s n t 下的安全记录以及u n i x 环境下的系统记录。其输入数据来源 于系统的审计日志，即在每个要保护的主机上运行一个代理程序，一般只 能检测该主机上发生的入侵。其检测过程如图2 - 1 所示。 基于主机的入侵检测系统 l 原始审计数据阿司相关审计数最阿习 检测结果。j j7 也到7 匕型 7 i 图2 - 1 基于主机的入侵检测过程口0 1 f i g 2 - 1p r o c e s so f i n t r u s i o n d e t e c t i o n b a s e do n h o s t 2 1 2 2 基于网络的入侵检测系统基于网络的i d s 的输入数据来源于网 络的信息流，该类系统一般被动地在网络上监听整个网段上的信息流，通 过捕获网络数据包，进行分析，能够检测该网段上发生的网络入侵。其检 测过程如图2 2 所示。 图2 2 基于网络的入侵检测过程9 0 1 f i g 2 - 2p r o c e s so fi n t r u s i o nd e t e c t i o nb a s e do i ln e t w o r k l 3 0 l 1 0 第2 章检测模型的建立与检测引擎的算法分析 2 1 2 3 分布式入侵检测系统近来对分布式的入侵检测逐步引起重视， 通过数据收集和数据分析的分布式处理，能够提高检测系统应对协作入侵 攻击”弛1 和日趋分散化的系统漏洞口3 3 5 】的能力。分布式入侵检测系统一般 由多个部件组成，分布在网络的各个部分，完成相应的功能。通过中心的 控制部件进行数据汇总、分析、产生入侵报警等。 2 1 2 4 网络入侵检测系统工作模型的建立 本文在通用入侵检测框架 ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，c i d f ) 的基础上建立了基于网络 入侵检测系统( n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) i 拘i 作模型，如 图2 3 所示a 因此，该模型在结构和功能上都包含了c i d f 中定义的主要 模块，是针对本文所研究问题的具体实现。 图2 - 3 网络入侵检测系统工作模型 f i g 2 - 3w o r k i n gf o r m e ro f i n t r u s i o nd e t e c t i o ns y s t e mb a s e do i ln e t w o r k 下面介绍n i d s 的主要模块及其功能： ( 1 ) 数据源系统的数据源是网络上的原始数据包或t 印d 岫叩文件中记 录的原始网络数据； 燕山大学工学硕士学位论文 ( 2 ) 信息收集模块信息收集模块收集的内容包括网络及用户活动的 状态和行为。入侵检测利用的数据源一般来自系统日志( 含操作系统审计记 录、操作系统日志、应用日志) 、目录以及文件中的异常改变、程序执行中 的异常行为、网络数据包等几个方面。本工作模型中利用网络抓包引擎从 数据源获取数据，交给已经注册的数据预处理部件处理，其作用相当于事 件产生器； ( 3 ) 数据预处理模块数据预处理模块从数据包中提取关于网络连接 的特征模式，然后对其进行同构处理和标准化处理等； ( 4 ) 数据检测引擎模块数据检测引擎模块是入侵检测系统的核心，它 完成对原始数据的同步、整理、组织、分类及各种类型的细致分析，提取 其中隐含的系统活动特征或模式，用于判断是否有入侵行为发生； ( 5 ) 响应模块入侵检测系统在发现入侵后应该根据预定的策略及时 作出响应，包括切断网络连接、记录事件和报警等。响应一般分为主动响 应( 阻止攻击或者影响攻击进程) 和被动响应( 记录和报告所检测出的入侵事 件) 两种类型。主动响应由用户驱动或系统本身自动执行，可对入侵者采取 行动( 如断开连接) 、修正系统环境或收集有用信息；被动响应则包括告警、 设置s n m p 陷阱等； ( 6 ) 控制台与户界面用户主要通过用户界面与控制台交互信息，控制 台的作用主要是对各个模块进行配置，同时接收响应模块发送的告警信息。 在数据检测引擎模块设计中，首先建立一个行为分类模型f 实质上是一 个数据分类器) ，再把预处理过的数据和模型装配成检测引擎( 对异常检测 这一过程称之为“训练”) ，最后将模型保存在知识库中供实际检测过程使 用。在执行分析阶段，先将实际的数据流经过预处理转化为格式化的事件 记录，然后利用模式匹配、统计分析和完整性分析等技术，将格式化的事 件记录同知识库中的内容相比较，将此事件记录分类为正常或异常，并根 据预定的策略产生响应。在优化检测引擎阶段，主要是更新入侵模式特征 知识库以反映新攻击的相关信息，或定期更新用户和系统行为的历史统计 模式以反映用户和系统正常行为的新变化，这一阶段体现出入侵检测系统 必须利用反馈信息优化检测引擎以适应环境的新变化，是一个动态的过程。 1 2 第2 章检测模型的建立与检测引擎的算法分析 模型中的入侵检测引擎为误用与异常检测方法相结合的检测分析器。 对于误用检测，本文拟采用s n o r t 规则匹配方法，因为s n o r t 规则分析引擎 是目前应用比较多而且代码完全公开的误用检测方法，这不是本文研究的 重点内容。文本研究的重点是异常检测模块，文中重点应用了两种异常检 测方法，即聚类分析方法和遗传算法，并通过对现有的遗传聚类算法的改 进，提出了两种遗传聚类的检测方法。 2 2 检测引擎的算法分析 检测引擎是基于网络的入侵检测系统的核心模块。本文所指的检测引 擎是指混合型的入侵检测技术。从具体的实现机制来看，可分为误用检测 f m i s u s ed e t e c t i o n ) 和异常检钡l j ( a n o m a l yd e t e c t i o n ) 0 6 】两大类。这两种入侵检 测技术在处理数据的方式上是互补的。 2 2 1 误用检测引擎的算法分析 误用检测技术，又称为基于知识的入侵检测技术或特征检测，指运用 已知攻击方法，根据已定义好的入侵模式，通过判断这些入侵模式是否出 现来检测。该模型的结构如图2 - 4 所示。 图2 4 误用入侵检测模型【蚓 f i g 2 - 4m o d e lo f m i s u s ed e t e c t i o n 【蚓 因为很大一部分的入侵是利用了系统的脆弱性，通过分析入侵过程的 特征、条件、排列以及事件间关系能具体描述入侵行为的迹象。这种方法 用于依据具体特征库进行判断，所以检测准确度很高，误警率低，并且能 1 3 燕山大学工学硕士学位论文 够迅速可靠地诊断特定攻击工具和技术的应用，为系统管理员做出相应措 施提供了方便。主要缺陷：只能检测出那些已知的攻击，因此，需要不断 地更新它们使用的攻击特征库来检测新的攻击；这种检测方法与具体系统 依赖性太强，不但系统移植性不好，维护工作量大，而且将具体入侵手段 抽象成知识也很困难。 误用入侵检测方法大致有以下几种： 2 2 1 1专家系统专家系统的建立依赖于知识库的完备性，知识库的完 备性又取决于审计记录的完备性与实时性【3 7 l 。特征入侵的特征抽取与表 达，是入侵检测专家系统的关键。将有关入侵的知识转化为i f - t h e n 结构( 也 可以是复合结构) 的规则，即将构成入侵所要求的条件转化为i f 部分，将发 现入侵后采取的相应措施转化成t h e n 部分。当其中某个或某部分条件满足 时，系统就判断为入侵行为发生。其中的i f - t h e n 结构构成了描述具体攻击 的规则库，状态行为及其语义环境可根据审计事件得到，推理机根据规则 和行为完成判断工作。在具体实现中，专家系统主要面临以下问题： ( 1 ) 全面性问题 即难以科学地从各种入侵手段中抽象出全面地规则 化知识； ( 2 ) 效率问题即所需处理的数据量过大，而且在大型系统上，如何获 得实时连续的审计数据也是个问题。 2 2 1 2 状态转换分析状态转换分析最早由r k e m m e r e r 提出，即将状态 转换图应用于入侵行为的分析【3 引。状态转换法将入侵过程看作一个行为序 列，这个行为序列导致系统从初始状态转入被入侵状态。分析时首先针对 每一种入侵方法确定系统的初始状态和被入侵状态，以及导致状态转换的 转换条件，即导致系统进入被入侵状态必须执行的操作( 特征事件) 。然后 用状态转换图来表示每一个状态和特征事件，这些事件被集成于模型中， 所以检测时不需要一个个地查找审计记录。但是，状态转换是针对事件序 列分析，所以不善于分析过分复杂的事件，而且不能检测与系统状态无关 的入侵。 2 2 1 3p e t r i 网状态转换着色的p e t r i 网状态转换是另一种采用状态转移 技术来优化误用检测系统的方法，i d i o t 系统就是该方法的具体实现0 9 1 。 1 4 第2 章检测模型的建立与检测引擎的算法分析 利用p e t r i 网的有利之处在于它能般化、图形化地表达状态，并且能够简 洁明了。 此外，误用入侵检测的方法还有：模式匹配与协议分析、基于模型、 按键监视、模型推理等【4 0 】。 目前在市场上使用较多是s n o r t 嵌入式规则匹配检测方法。这是由于 嵌入式规则检测方法设计比较简单，用户可以在既定的规则集合中选取特 定子集，或根据条件创建自己的规则。又因为s n o r t 检测规则的源代码完 全开放的特点，因此无论在商用系统中还是在中小型网络系统中该方法都 能够有效地监视网络流量和检测入侵行为。归纳起来主要有以下优点【4 1 l ： 第一，s n o r t 是一个基于l i b p c a p 的数据包嗅探器，可作为一个轻量级 的网络入侵检测系统，所谓轻量级是指在检测时对网络的正常操作影响较 低： 第二，可以运行在多种操作系统平台上，例如u n i x 系列和w i n d o w s 9 x ( 需要l i b p c a pf o rw i n 3 2 的支持) ，与很多商业产品相比，它对操作系统的依 赖性较低； 第三，用户可以根据自己的需要及时地在短时间内调整检测策略，修 改配置进行实时的安全响应； 第四，s n o r t 集成了多种告警机制来提供实时告警功能，包括：s y s l o g 、 用户指定文件、u n i xs o c k e t 、通过s m b c l i e n t 使用w i n p o p u p 对w m d o w s 客户端告警。 由于误用检测不作为本文论述的重点，因此只作简单介绍，关于s n o r t 规则检测引擎的格式及系统架构等详见文献 4 1 1 。 2 2 2 异常检测引擎的算法分析 异常检测技术，又称为基于行为的入侵检测技术，它假定了所有的入 侵行为都有异常特性。异常检测是通过建立目标系统用户的正常行为特征 轮廓，来监控用户的当前活动是否符合正常特征轮廓，不符合，则认为该 用户的当前行为异常，目标系统遭受攻击破坏。 基于行为的检测与系统相对无关，而且通用性较强。它甚至有可能检 燕山大学工学硕士学位论文 测出以前末出现过的攻击方法，不像基于知识的检测那样受已知脆弱性的 限制。因此它的最大优点是能检测出未知入侵，漏警率很低，缺点是误警 率高，入侵行为很容易通过逐步训练被判为正常。该模型的结构如图2 5 所示。 图2 - 5 异常入侵检测模型m 1 f i g , 2 - 5m o d e lo f a n o m a l yd e t e c t i o n 口6 】 异常