（计算机应用技术专业论文）基于半监督分类的入侵检测系统模型研究.pdf

-，；，； i 、 d e t e c t i o ns y s t e mb a s e do n s e m i - - s u p e r v i s e dc l a s s i f i c a t i o n a t h e s i si n c o m p u t e rs c i e n c ea n dt e c h n o l o g ye n g i n e e r i n g b y a d v i s e db y s u b m i t t e di np a r t i a lf u l f i l l m e n t o ft h er e q u i r e m e n t s f o rt h ed e g r e eo f m a s t e ro fe n g i n e e r i n g d e c e m b e r , 2 0 0 9 一 ， 承诺书 本人声明所呈交的硕士学位论文是本人在导师指导下进 行的研究工作及取得的研究成果。除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得南京航空航天大学或其他教育机构的学位 或证书而使用过的材料。 本人授权南京航空航天大学可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本承诺书) 作者签名：盈i 生逡 e l 期：幽f d 3 ，l 窭 0 南京航空航天大学硕士学位论文 摘要 入侵检测系统是一种主动防御系统，它作为网络的“第二道防线”，有着其他静态防御体系 无法替代的功能。随着网络攻击方式日趋多样，越来越多的智能技术被引入入侵检测系统。半 监督学习是目前机器学习的热点，但它在入侵检测系统中的应用研究还甚少。 本文对目前基于监督学习与无监督学习的入侵检测的优缺点进行了对比，将半监督分类技 术应用至入侵检测系统中，根据具体的分类模型，提出新的算法，并设计了半监督入侵检测模 型。首先，系统地介绍了当前入侵检测的现状，总结当前入侵检测中存在的问题及局限，并展 望了今后的发展趋势。然后回顾了半监督学习的背景、理论、基本假设及几种常见的半监督分 类方法。鉴于当前的半监督学习多以单分类器为主，而集成的多分类器又具有一些前者无法比 拟的优势，本文主要对基于集成学习的半监督分类方法进行了研究，总结了集成学习的理论基 础，介绍了几种常用的集成学习算法，并对集成学习的性能作了初步分析。最后，根据具体的 入侵检测问题，提出一种适合入侵检测数据集的半监督算法一一r s t ( r e g u l i z a t i o n s e l f - t r a i n i n g ) 算法，给出基于半监督分类的入侵检测模型一一s s c ( s e m i s u p e r v i s e d c l a s s i f i c a t i o n ) 模型，并利用实验验证了r s t 算法对分类器性能的改进。 论文设计的半监督分类模型及r s t 算法能够充分减少安全专家对网络数据的人工标记，并 能充分利用大量的无标记数据，具有一定的理论意义和使用价值。 关键词：入侵检测；集成学习；半监督分类：自训练；r s t ；s s c ； 基于半监督分类的入侵检测系统模型研究 a b s t r a c t i d s ( i n t m s i o nd e t e c t i o ns y s t e m ) i sa na c t i v ed e f e n s es y s t e ma st h es e c o n dl i n eo fn e t w o r k d e f e n s e ，h a san o n - s u b s t i t u t a b l ef u n c t i o na g a i n s to t h e rs t a t i cd e f e n s es y s t e m a sn e t w o r ka t t a c km o d e b e i n gd i v e r s i t y , m o r ea n dm o r ei n t e l l i g e n tt e c h n o l o g yi su t i l i z e di ni n t r u s i o nd e t e c t i o ns y s t e m _ s e m i s u p e r v i s e dl e a r n i n gi st h eh o t s p o to f m a c h i n el e a r n i n gb u ti t sa p p l i c a t i o ni ni d s i ss t i l lv e r y “h l e t h i sp a p e ra i m sa tt h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h ei d sb a s e d0 1 1s u p e r v i s e dl e a r n i n ga n d u n s u p e r v i s e dl e a r n i n g ，a p p l i e ss e m i - s u p e r v i s e dc l a s s i f i c a t i o nt e c h n i q u e st oi n t r u s i o nd e t e c t i o n , a c c o r d i n gt ot h es p e c i f i cc l a s s i f i c a t i o nm o d e l ，p r o p o s e san e wa l g o r i t h ma n dd e s i g n sas e m i s u p e r v i s e di n t r u s i o nd e t e c t i o nm o d e l f i r s t ，i ti n t r o d u c e st h ec u r r e n ts t a t u so fi n t r u s i o nd e t e c t i o n s y s t e m a t i c a l l y , s u m su pt h ep r o b l e m sa n dl i m i t a t i o n se x i s t i n gi nt h ec u r r e n ti n t r u s i o nd e t e c t i o n ，a n d l l o o k i n gf o r w a r dt ot h ef u t u r et r e n d s i nv i e wo ft h ec u r r e n ts e m i - s u p e r v i s e dl e a r n i n gb e i n gu s u a l l y b a s e do ns i n g l ec l a s s i f i e r , s i n c et h ei n t e g r a t i o no fm u l t i p l ec l a s s i f i e r sh a ss o m ei n c o m p a r a b l e a d v a n t a g e st h a nt h ef o r m e r t h i sp a p e rr e s e a r c h e sm a i n l yo ns e m i - s u p e r v i s e dc l a s s i f i c a t i o nb a s e d o n e n s e m b l el e a r n i n g ，s u m su pt h e o r e t i c a lb a s i so ft h ee n s e m b l el e a r n i n g ，i n t r o d u c e ss o m ec o n l l m o n e n s e m b l el e a r n i n ga l g o r i t h ma n da n a l y s e sp r e l i m i n a r i l yt ot h ep e r f o r m a n c eo fe n s e m b l el e a r n i n g f i n a l l y , a c c o r d i n gt os p e c i f i ci n t r u s i o nd e t e c t i o np r o b l e m , p u tf o r w a r das e m i - s u p e r v i s e da l g o r i t h m s u i t a b l ef o ri n t r u s i o nd e t e c t i o nd a t a s e t - - - - r s t ( r e g u l i z a t i o ns e l f - t r a i n i n g ) ，g i v ea ni n t r u s i o n d e t e c t i o nm o d e lb a s e do ns e m i s u p e r v i s e dc l a s s i f i c a t i o n s s c ( s e m i s u p e r v i s e dc l a s s i f i c a t i o n ) a n d v e r i f yt h ec l a s s i f i c a t i o np e r f o r m a n c ei m p r o v e m e n to fr s ta l g o r i t h mb ys o m ee x p e r i m e n t s s e m i s u p e r v i s e dc l a s s i f i c a t i o no ft h e s i sd e s i g nm o d e la n dr s ta l g o r i t h mc a nf u l l yr e d u c et h e q u a n t i t yo ft h el a b e l so fn e t w o r kd a t aa r t i f i c i a l l yl a b e l l e db ys e c u r i t ye x p e r t s ，a n dm a k e sf u l l 嘴o f t h eu n l a b e l l e dd a t a , w i t hs o m et h e o r e t i c a ls i g n i f i c a n c ea n dv a l u e k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；e n s e m b l el e a r n i n g ；s e m i s u p e r v i s e dc l a s s i f i c a t i o n ；s e l f - t r a i n i n g ； r s t ；s s c ； 一 l l 第一章绪论1 1 1 研究背景及意义1 1 2 国内外研究现状2 1 3 本文工作。3 1 4 论文的组织结构3 第二章入侵检测技术5 2 1 网络入侵5 2 1 1 网络入侵概述5 2 1 2 网络入侵的发展趋势6 2 2 入侵检测系统7 2 2 1 入侵检测框架8 2 2 2 入侵检测系统策略。9 2 2 3 入侵检测系统的缺点和局限1 l 2 2 4 入侵检测系统的发展趋势1 2 第三章半监督学习基础1 4 3 1 半监督学习。1 4 3 1 1 半监督学习产生的背景。1 4 3 1 2 半监督学习的原理1 4 3 1 3 前提假设1 5 3 2 半监督分类的方法1 6 3 2 1 生成式模型( e m 算法) 1 6 3 2 2 自训练1 7 3 2 3 协同训练1 9 3 2 4 基于图的方法2 l 3 2 5t s v m ( t r m l s d u c t i v es u p p o r tv e c t o rm a c h i n e s ) 。2 5 第四章集成学习。2 8 4 1 集成学习概述2 8 4 2 集成学习方法3 0 4 2 1b a g g i n g 算法3 0 l l l 基于半监督分类的入侵检测系统模型研究 4 2 2a d a b o o s t 算法3 0 4 2 3 随机森林算法。3 2 4 3 集成学习分类器的性能分析。3 3 第五章基于半监督分类的入侵检测算法及模型研究3 6 5 1 基于集成学习的半监督分类算法。3 6 5 2r s ，r 算法3 9 5 2 1 信息量评价3 9 5 2 2 正则化量4 0 5 2 3r s t 算法描述4 0 5 3 基于半监督分类的入侵检测系统模型4 l 5 3 1 系统总体定位4 l 5 3 2 基于半监督分类的入侵检测系统结构4 2 第六章r s t 入侵检测算法的评估4 4 6 1 数据集4 4 6 1 1 数据集描述4 4 6 1 2 网络数据的属性特征分析4 5 6 2 数据预处理4 6 6 2 1 数据的选取4 6 6 2 2 归一化处理4 7 6 3 实验仿真4 7 6 3 1 仿真环境4 7 6 3 2 仿真结果和分析。4 8 第七章总结与展望5 2 参考文献5 3 j l | 【谢5 7 在学期间的研究成果及发表的学术论文5 8 i v 图3 7s v m 与t s v m 的分类边界2 6 图4 1 集成学习分类器结构。2 8 图5 1s s c 模型结构图4 2 图6 1l 占训练集的3 时三种算法的错误率4 9 图6 2l 占训练集的5 时三种算法的错误率4 9 图6 3l 占训练集的1 0 时三种算法的错误率5 0 图6 4l 占训练集的1 5 时三种算法的错误率5 0 v 8 4 4 8 8 9 9liili，l 基于半监督分类的入侵检测系统模型研究 表清单 表6 1 各种攻击的数量4 7 表6 2 不同可信度下的错误率改进、平均信息量、伪标记错误率4 8 表6 3 正则化自训练训练前和训练后分类器的错误率及其改进幅度。5 0 v l r 南京航空航天大学硕七学位论文 注释表 英文简称英文全称中文释义 r s t r e g u l i z a t i o ns e l f - t r a i n i n g 正则化自训练 c g ic o m m o ng a t e w a yi n t e r f a c e 公共网关接口协议 d n sd o m a i nn a m es e r v e r 域名系统 c i d f c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k通用入侵检测框架 g i d og e n e r a l i z e di n t r u s i o nd e t e c t i o no b j e c t s 通用入侵检测对象 k n i d sn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m 网络入侵检测系统 i s s hs e c u r es h e l l 安全外壳协议 d d o sd i s t r i b u t i o nd e n i a lo fs e r v i c e 分布式拒绝服务攻击 i d si n t r u s i o nd e t e c t i o ns y s t e m入侵检测系统 t s v mt r a n s d u c t i v es u p p o r tv e c w rm a c h i n e s 直推支持向量机 e m e x p e c t a t i o nm a x i m i z a t i o n 期望最大化 s v m s u p p o r tv e c t o rm a c h i n e s 支持向量机 s s c s e m i - s u p e r v i s e dc l a s s i f i c a t i o n 半监督分类 k d d k n o w l e d g ed i s c o v e r yi nd a t a b a s e 知识发现 v n 的工作。 1 1 研究背景及意义 随着个人、企业和政府机构日益依赖于i n t e r n e t 进行通讯、协作及销售，对安全解决方案 的需求急剧增加。这些安全解决方案应该能够阻止入侵者同时又能保证客户及合作伙伴的安全 访问。防火墙强大的身份验证能保护系统不收未经授权访问的侵扰，但它们对内部那些经授权 用户的非法访问却无能为力，致使依赖防火墙建立的网络往往“外紧内松”，而8 0 的入侵来 自内部1 1 。 据统计，全球约每2 0 秒就有一次计算机入侵事件发生，互联网上的网络约有1 4 的防火墙 被突破，约7 0 以上的网络信息主管人员报告因机密信息泄露而受到损失。虽然近年来我国政 府部门及各信息系统和安全组织采取了一系列措施，维护国家基础设施安全运行，但安全事件 仍然频发。2 0 0 9 年上半年，木马、僵尸检测情况显示，被控制的m 地址总数为1 8 6 7 4 1 7 个， 较2 0 0 8 年上半年增长了2 5 7 。2 0 0 8 年捕获的恶意代码样本达1 6 0 多万次，比2 0 0 7 年增加了 3 1 ，同时网络高危漏洞也频频出现。 计算机信息技术和其他科学技术一样是一把双刃剑。当人们利用信息技术提高工作效率， 为社会创造更多财富的同时，却有少数人利用信息技术做着相反的事情。他f f t p 法侵入他人的 计算机系统窃取机密信息或篡改和破坏数据，给社会造成难以估量的巨大损失。网络安全是一 个关系国家安全和主权、社会稳定、民族文化的继承和发扬的重要问题。 面对当前网络安全的严峻形势，传统的静态安全技术如验证机制、加密和防火墙往往难以 胜任。入侵检测作为一种重要的动态安全技术，能够提供对计算机系统和网络的外部攻击、内 部攻击以及误操作的全面检测，其主要功能是监视并分析用户和系统的行为、审计系统构造和 弱点、评估重要系统和数据文件的完整性、识别已知攻击的行为模式等。作为防火墙之后的第 二道安全防线，入侵检测已成为网络安全领域重要而迫切的课题。 入侵检测是对防火墙极其有益的补充。入侵检测系统能使在入侵攻击对系统发生危害前， 检测到入侵攻击，并利用报警与防护系统驱逐入侵攻击。在入侵攻击过程中，它能及时发现攻 击并减少攻击所带来的损失。在被入侵攻击后，能收集入侵攻击的相关信息，作为防范系统的 知识，添加入知识库内，增强系统的防范能力，避免系统再次受到入侵。它能在不影响性能的 基于半监督分类的入侵检测系统模型研究 情况下对网络进行监听，从而提供内部攻击、外部攻击和误操作的实时保护，大大提高网络的 安全性。 入侵检测通过分析计算机网络或系统中的审计数据，从中发现网络或系统中是否存在入侵 行为或入侵企图。入侵检测的本质是一个模式分类问题，就是将网络数据正确地分为正常类和 异常类，或是进一步指出异常类表示具体的某种攻击方式，因此各种机器学习技术越来越多地 应用到入侵检测领域中。 传统的入侵检测算法是基于监督学习的，检测率较高，误报率较低，但需要训练集中的数 据被正确地标记为正常或异常。然而，在网络环境中存在大量数据，要对所有数据正确地标记 是一项艰巨的任务，这将耗费大量人力。而基于无监督学习的入侵检测算法就是用来解决这个 问题，它无需对任何数据标记，只需要用网络数据捕获器将数据进行收集，并转化为聚类算法 可以应用的格式。但无监督算法往往假定正常数据与异常数据满足某种比例( 如正常数据占全 部数据的9 7 ) ，这种假定约束了这种入侵检测系统所应用的网络环境，并且算法的误报率通常 较高。 半监督学习技术是机器学习领域中一个新的研究热点，它可以适用于各种分类问题，包括 入侵检测分类问题。因为在复杂的网络环境下，获得少量的标记数据是可行的，而剩余的无标 记数据如果不利用则造成资源的浪费。半监督学习的目的是利用大量无标记数据辅助分类器的 训练过程，并改进分类器的准确率。它既减轻了人工标记的工作量，也很好地利用了那些由数 据捕获器自动收集的无标记数据，综合了监督学习和无监督学习的优点。 1 2 国内外研究现状 随着入侵检测技术的发展，目前已经出现基于各种技术的入侵检测系统。但绝大部分基于 机器学习技术的入侵检测系统的研究都着眼于监督学习，也有部分研究是基于无监督学习的。 目前，已经有若干关于将半监督聚类的方法应用至入侵检测的研究，其核心思想是聚类，而标 记数据的作用是指导与约束聚类的过程瞳儿3 1 。 半监督分类与半监督聚类同属于半监督学习，但它对标记数据与无标记数据的处理方式与 半监督聚类不同。半监督聚类将标记数据作为聚类过程的约束来指导大量无标记数据的聚类过 程，以便使聚类后生成的簇中的所有数据都具有一样的标记，其主体还是无标记数据，因此它 对标记的数量往往需求较少；半监督分类的本质是分类，无标记数据的作用在于能改善分类器 的性能，这使得在分类器达到同样的准确率的前提下，用一定比例的无标记数据代替标记数据 成为可能。而关于如何量化一个无标记数据的价值，要根据具体的分类模型与分类问题来处理， 目前还未给出形式化地评价无标记数据对分类器的贡献的方法。 早期的半监督分类的研究都是基于单个分类器的，集成学习是一种多分类器技术，它不但 2 南京航空航天大学硕士学位论文 具有较单分类器更好的分类性能和鲁棒性，并且能与半监督学习很好地结合。但是，集成学习 和半监督学习是机器学习的两个独立的方向，关于两者结合应用到入侵检测中的研究还甚少。 1 3 本文工作 基于传统监督学习的入侵检测系统由于训练时依赖网络安全专家的数据标记，不但耗时耗 力，且难以适应网络安全状况不断变化的需求：而基于无监督学习的入侵检测虽然无需任何标 记样本，但其检测率与误报率在实际应用中不甚理想。本文提出基于半监督分类的入侵检测算 法，其对网络样本的分类准确率介于两者之间。 本文研究的主要内容是，设计实现基于半监督分类的入侵检测算法，该算法具有理想的分 类准确率，且只需要少量标记样本。论文主要创新和贡献如下： i ： ( 1 ) 系统地总结了半监督学习的各种方法，分析了基于集成学习的半监督学习方法，并从 实验中总结出传统的半监督学习方法在入侵检测应用中存在的问题。 ( 2 ) 针对传统半监督学习无法正确地选取无标记数据来改进分类器的准确率的问题，提出 基于集成学习的半监督入侵检测分类算法_ r s t ( r e g u l i z a t i o ns e l f - t r a i n i n g ) 算法。分析了 算法中考虑的信息量与正则化量的计算问题，提出一种新的评价无标记数据的方法。 ( 3 ) 给出基于半监督分类的入侵检测系统模型，利用k d dc u p 9 9 数据集( 用于评估入侵 检测算法的标准数据集) 对r s t 算法进行了实验。实验结果表明算法能合理地选择那些对当前 集成分类器改进有明显的帮助的无标记样本，入侵检测分类器的准确率能在不同标记样本比例 及不同集成学习算法的情况下得到改进。 1 4 论文的组织结构 本文共分六章，具体章节的内容安排如下： 第一章：绪论。介绍了课题研究背景、国内外研究现状和本文的工作。 第二章：入侵检测技术。介绍了网络入侵方法及发展趋势、入侵检测的定义、框架及入侵 检测系统的策略、局限和发展趋势。 第三章：半监督学习基础。阐述了半监督学习产生的背景、原理、基本假设，并总结了各 种半监督分类的具体方法。 第四章：集成学习方法。介绍了集成学习的理论基础及几种常用的集成学习算法，并分析 了分类器性能与差异性的关系。 第五章：基于半监督分类的入侵检测算法研究。回顾了基于集成学习的半监督分类方法， 分析并阐述了r s t 算法，然后给出基于半监督分类的入侵检测系统模型。 第六章：r s t 入侵检测算法的评估。利用k d dc u p9 9 数据集进行了两个实验：实验一采 用传统的基于可信度的半监督方法，实验二采用r s t 算法，最后对实验结果进行了分析与比较。 3 基于半监督分类的入侵检测系统模型研究 第七章：总结与展望。总结了本课题所完成的内容，同时展望了今后需要进一步研究和完 善的工作。 4 南京航空航天大学硕士学位论文 第二章入侵检测技术 随着网络环境的复杂化和普及化，网络安全正逐渐受到不同程度的威胁。网络入侵的方式 多种多样，并趋向自动化、智能化，传统的静态防御技术，如防火墙、访问控制、加密等无法 防御所有入侵攻击。为了增强计算机系统和网络系统的安全，需要采用更强大的主动策略和方 案，其中一个有效的途径就是入侵检测。自从d e n n i n g 提出入侵检测模型以后，人们对入侵检 测产生了极大的研究兴趣，提出许多关于入侵检测系统原型。 本章将从网络入侵和入侵检测两个角度来介绍当前的入侵检测系统。 2 1 网络入侵 2 1 1 网络入侵概述 网络入侵是指对信息系统的非授权访问以及未经许可在信息系统中进行的操作，是系统内 部发生的任何违反安全策略的行为。主要包括尝试性闯入、伪装攻击、安全控制系统渗透与泄 露、拒绝服务、恶意使用等6 种类型。 具体的网络入侵手段可分为：t 4 1 ( 1 ) 探测攻击：指对计算机网络或服务器进行扫描，获取有效口地址、活动端口号、主 机操作系统类型和安全弱点的攻击方式。探测攻击分为隐蔽型与公开型两种，它们的共同点是 都收集包括p 地址、易受攻击的端口号和操作系统类型的信息；不同点是隐蔽型探测信息的速 度慢、收集到的信息更集中。常见的探测攻击有s a t a n 、n e s s u s 等。 ( 2 ) 拒绝服务( d o s ) ：指一个用户占据了大量的共享资源，使得目标系统没有足够的剩 余资源给其他用户来使用的攻击方式。它可以用以攻击域名服务器、路由器及其他网络操作服 务，使c p u 等资源的可用性降低。典型的拒绝服务攻击有s y nf l o o d i n g 、p i n gf l o o d i n g 、l a n d 、 s m u f f 等。 ( 3 ) r 2 l ( r e m o t e t o l o c a la t t a c k s ) ：在目标主机上没有账户的攻击者获得该机器的当地访 问权限，从机器中过滤出数据、修改数据等的攻击方式。它也是一种远程攻击方法。攻击的一 般过程为： 收集被攻击方的有关信息，分析被攻击方可能存在的漏洞： 建立模拟环境，进行模拟攻击，测试对方可能的反应： 利用适当的工具进行扫描； 实施攻击 ( 4 ) u 2 r ( u s e r t or o o t a t t a c k s ) ：指一台机器上的本地用户获取操作系统管理员权限的攻 s 基于半监督分类的入侵检测系统模型研究 击方法，缓冲溢出就是典型的u 2 r 攻击。 除了上述常用的攻击方式，随着网络协议与服务的多样化，目前出现了各种各样方式类型 的新攻击，如： ( 1 ) 电子欺骗攻击：黑客利用t c p i p 协议本身的一些缺陷对网络进行攻击，主要方式有： a r p 欺骗、d n s 欺骗、w e b 欺骗、电子邮件欺骗等。 ( 2 ) w w w 攻击：利用w e b 服务器的不合理配置，或c g i 程序的漏洞进行攻击，达到获 取脚本源码，非法执行程序，使w w w 服务器崩溃等目的。随着b s 软件体系及数据库技术的 发展，这种方式的攻击目前已逐渐成为网络攻击的主要方式。由于它依赖各种w e b 程序的漏洞 与配置不当，使得这种攻击更加灵活，新的攻击方式也层出不穷，如：s q l 注入攻击，上传漏 洞等。 ( 3 ) 病毒攻击。病毒是黑客实施网络攻击的有效手段之一。它具有隐蔽性、寄生性、繁殖 性和破坏性等特性，在网络中其危害更加可怕。 2 1 2 网络入侵的发展趋势 随着网络状况的不断变化，当前的网络入侵有如下发展趋势：【5 】 ( 1 ) 网络攻击的自动化程度和攻击速度不断提高 自动化攻击一般分为四个阶段，每个阶段都发生了新的变化。在扫描阶段，扫描工具的发 展，使得黑客能够利用更先进的扫描模式来改善扫描效果，提高扫描速度；在渗透控制阶段， 安全脆弱的系统更容易受到损害：攻击传播技术的发展，使得以前需要依靠人启动软件工具发 起的攻击，发展到攻击工具可以自动发动新的攻击：在攻击工具的协调管理方面，随着分布式 攻击工具的出现，黑客可以容易地控制和协调分布在互联网上的大量已部署的攻击工具。目前， 分布式攻击工具能够更有效地发动拒绝服务攻击，扫描潜在的受害者，危害存在安全隐患的系 统。 ( 2 ) 攻击工具越来越复杂 攻击工具的开发者正在利用更先进的技术武装攻击工具，攻击工具的特征比以前更难发现， 它们已经具备了反侦破、动态行为、攻击工具更加成熟等特点反侦破是指黑客越来越多地采 用具有隐蔽攻击工具特性的技术，使安全专家需要耗费更多的时间来分析新出现的攻击工具和 了解新的攻击行为。动态行为是指现在的自动攻击工具可以根据随机选择预先定义的决策路径 或通过入侵者直接管理，来变化它们的模式和行为，而不是像早期的攻击工具那样，仅能够以 单一确定的顺序执行攻击步骤。攻击工具更加成熟，是指攻击工具已经发展到可以通过升级或 更换工具的一部分迅速变化自身，进而发动迅速变化的攻击，且在每一次攻击中会出现多种不 同形态的攻击工具。 6 南京航空航天大学硕士学位论文 ( 3 ) 黑客利用安全漏洞的速度越来越快 新发现的各种系统与网络安全漏洞每年都要增加一倍，每年都会发现安全漏洞的新类型， 网络管理员需要不断用最新的软件补丁修补这些漏洞。黑客经常能够抢在厂商修补这些漏洞前 发现这些漏洞并发起攻击。 ( 4 ) 防火墙被攻击者渗透的情况越来越多 配置防火墙目前仍然是防范网络入侵的主要保护措施，但是，现在出现了越来越多的攻击 技术，可以实现绕过防火墙的攻击。 ( 5 ) 安全威胁的不对称性在增加 互联网上的安全是相互依赖的，每台与互联网连接的计算机遭受攻击的可能性，与连接到 全球互联网上其他计算机系统的安全状态直接相关。由于攻击技术的进步，攻击者可以较容易 地利用分布式攻击系统，对受害者发动破坏性攻击。随着黑客软件部署自动化程度和攻击工具 管理技巧的提高，对安全威胁的不对称性将继续增加。 ( 6 ) 攻击网络基础设施产生的破坏效果越来越大 由于用户越来越多地依赖计算机网络提供各种服务，完成日常业务，黑客攻击对基础设施 造成的破坏影响越来越大，人们越来越怀疑计算机网络能否确保服务的安全性。例如对d n s 的攻击包括伪造d n s 缓存信息、破坏修改提供给用户的d n s 数据、迫使d n s 拒绝服务或域劫 持等。对路由器的攻击包括修改、删除全球互联网的路由表，使得应该发送到一个网络的信息 流改向另一个网络，从而造成对两个网络的拒绝服务攻击。 2 2 入侵检测系统 入侵检测系统指的是进行网络安全检测的软件与硬件的组合，它可以将得到的数据进行分 析，并得出有用的结果。一个合格的入侵检测系统能大大地简化管理员的工作，保证网络安全 的运行。因此，入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下 能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。这些都通过它执行 以下任务来实现： ( 1 ) 监视、分析用户及系统活动： ( 2 ) 系统结构和漏洞的分析： ( 3 ) 识别反映已知进攻的活动模式并向相关人士报警； ( 4 ) 异常行为模式的统计分析； ( 5 ) 评估重要系统和数据文件的完整性； ( 6 ) 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 对一个成功的入侵监测系统来讲，它不但可使系统管理员时刻了解网络系统( 包括程序、 7 基于半监督分类的入侵检测系统模型研究 文件和硬件设备等) 的任何变更，还能给网络安全策略的制定提供指南。更为重要的一点是其 管理、配置简单，从而使专业人员非常容易地获得网络安全。而且，入侵检测的规模还应根据 网络威胁、系统构造和安全需求的改变而改变。入侵检测系统在发现入侵后，会及时做出响应， 包括切断网络连接、记录事件和报警等。具体来说，入侵检测系统的主要功能有： ( 1 ) 监测并分析用户和系统的活动： ( 2 ) 核查系统配置和漏洞； ( 3 ) 评估系统关键资源和数据文件的完整性； ( 4 ) 识别已知的攻击行为； ( 5 ) 统计分析异常行为； ( 6 ) 操作系统日志管理，并识别违反安全策略的用户活动。 2 2 1 入侵检测框架 目前，入侵检测系统由于缺乏相应的通用标准，不同系统之间缺乏互操作性和互用性，大 大阻碍了入侵检测系统的发展。为了解决不同入侵检测系统之间的互操作和共存问题，1 9 9 7 年 3 月，美国国防部高级研究计划局( d a r p a ) 开始着手c i d f ( c o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ，通用入侵检测框架) 标准的制定，c i d f 标准提供一个允许入侵检测、分析和相应 系统和部件共享攻击信息的基础结构。 c i d f 标准主要包括四部分：入侵检测系统体系结构、通信机制、描述语言和应用编程接口 a p i e 6 j 。 ( 1 ) 体系结构 c i d f 定义了一个通用的入侵检测框架，将入侵检测系统需要分析的数据统称为事件，事件 可以是网络中的数据包，也可以是从系统日志等其他途径得到的信息。按功能，一个入侵检测 系统由以下基本组件构成，如图2 1 所示。 图2 1 入侵检测系统的基本构成 事件产生器( e v e n tg e n e r a t o r s ) ：它从整个计算环境中获得事件，并把事件转化为标准的 格式以便向系统的其他部分提供。事件产生器可以被划分成不同级别，通常分为网络级别和主 机级别。对于网络级别，它的处理对象是网络数据包。对于主机级别，它的处理对象一般是系 8 南京航空航天大学硕士学位论文 统的审计记录。 事件分析器( e v e n ta n a l y z e r s ) ：分析得到的数据，对输入的格式化后的事件作实际分析 处理，产生分析结果，确定哪些事件与正在发生或者已经发生的入侵有关。两类最常用的分析 方法是误用检测和异常检测。 事件数据库( e v e n td a t a b a s e ) ：是存放各种中间和最终数据的地方的统称。它可以是复杂 的数据库，也可以是简单的文本文件。 响应单元( r e s p o n s eu n i t s ) ：分析结果并做出反应的功能单元。它可以做出切断连接、改 变文件属性等强烈反应，甚至发动对攻击者的反击，也可以是简单的报警。 以上四类组件以g i d o ( g e n e r a l i z e di n t r u s i o nd e t e c t i o no b j e c t s ，通用入侵检测对象) 的形 式交换数据。 在现有的入侵检测系统中，经常用数据采集部分、分析部分和响应部分来分别代替事件产 生器、事件分析器和响应单元这些术语。 ( 2 ) 通信机制 为了保证各个组件之间安全、高效地通信，c i d f 将通信机制分成一个三层模型：g i d o 层、 消息层和协商传输层。 ( 3 ) c i d f 语言 c i d f 定义了一种应用层的语言( c o m m o ni n t r u s i o ns p e c i f i c a t i o nl a n g u a g e ，通用入侵规范 语言) ，g i d o 通过c i s l 定义的标准通用格式来表示，并制定了一套对这些信息进行编码的协 议。 ( 4 ) c i d f 的a p i 接口 c i d f 的a p i 负责g i d o 的编码、解码和传递，它提供的调用功能使得程序员可以在不了 解编码和传递过程具体细节的情况下，以一种很简单的方式构建和传递g i d o 。 2 2 2 入侵检测系统策略 根据入侵检测系统的检测原理的不同可分为：异常检测和误用检测。异常检测是指根据非 正常行为和使用计算机资源的非正常情况检测出入侵行为，误用检测是指根据已知的入侵模式 来检测入侵。下面分别介绍这两种检测策略。 2 2 2 1 异常检测 异常检测也称为基于行为的检测，是根据用户行为或资源使用状况的正常程度来判断是否 入侵，而不依赖于具体行为是否出现来检测。它的前提是入侵的行为能够由于偏离正常或期望 的系统和用户的活动规律而被检测出来。 异常检测的关键问题在于特征量的选择，异常检测需要建立系统或用户的“正常”行为特 9 基于半监督分类的入侵检测系统模型研究 征轮廓，要求在建立正常模型时，选取的特征量既要能准确地体现系统或用户的行为特征，又 能使模型最优化，即以最少的特征量就能涵盖系统或用户的行为特征；其中参考阈值的选定是 异常检测的关键因素，阈值定得过大，漏警率可能会升高，阈值定得太小，则误警率就会提高， 因此，合适的参考阈值选定是影响异常检测准确率的至关重要因素。 异常检测的优点是可以检测出未知的和复杂的入侵行为，且检测速度比较快。它能够发现 任何企图发掘、探测系统最新和未知漏洞的行为。同时，在某种程度上，它较少依赖于特定的 操作系统环境。另外，对于合法用户越权操作的违法行为，这种检测技术也可以有效地对其进 行检测。 其缺点是存在较高的误警率，尤其采用的训练数据包含入侵行为时，可能得到错误的训练 模型或阈值；它一般不能解释异常事件，从而无法采取正确的响应措施；因为入侵行为和异常 行为往往不是一对一的等价关系，可能会出现如下情况：某一行为是异常行为，而它并不是入 侵行为；同样存在某一行为是入侵行为，而它却并不是异常行为的情况。信息系统的正常活动 和行为模式并不一定在学习建模阶段就能被入侵检测系统完全了解。另外，系统的活动行为是 不断在变化的，这就需要不断地进行机器