（计算机软件与理论专业论文）基于人工免疫的入侵检测器生成算法研究.pdf

重庆大学硕士学位论文中文摘要 摘要 自然免疫系统成功地保护机体，使其免受大量外来病原体的侵袭，而入侵检 测系统与自然免疫系统具有本质的相似性。因此，基于人工免疫的入侵检测系统 是近年来入侵检测领域的研究热点，它利用自然免疫系统的原理、规则与机制来 实现对入侵行为的反应和检测。入侵检测器是入侵检测系统的一个核心组件，检 测器的好坏决定了整个系统的性能。论文围绕入侵检测器的生成模型展开了较为 深入的研究，主要研究工作如下： 对入侵检测进行了研究，分析了入侵检测的分类、主要方法及其不足，以 及入侵检测的发展方向。 研究了自然免疫学和人工免疫系统，对基于人工免疫的入侵检测问题进行 了系统的描述，将基于人工免疫的检测器生成算法大致分为三类，结合理论分析 与仿真实验，全面地对比研究了这些典型的生成算法，总结了它们的性能以及不 足之处。 借鉴自然免疫学中的抗体的生成机制，设计了两个新的算法：一是为了避 免检测器之间的重复，提高检测器的“非我”空间的覆盖率而提出的基于相似性 和亲和力相结合的概率选择算法，并给出了此类概率选择的一般形式，理论分析 了算法中的权重参数a 。二是在产生子代检测器时，为了使得父代的优良基因能最 大程度地遗传给子代，防止交叉变异中的退化现象，同时提高检测器的多样性， 提出了检测器有效因子的概念和使用有效因子进行的保优策略。 提出一种新的检测器的生成模型，并将两个新算法应用于其中，详细分析 了该模型的性能。论文完成了两组实验：其一是仿真实验，选择出了最佳的权重 参数a 值和有效因子的长度阈值 k ，对实验结果进行了分析，证明合适的权重参 数口以及有效因子的长度阈值从。能使该模型具有很好的多样性和适应性，呈现出 较高的“非我”检测率和低的误检率；其二是采用了k d dc u p1 9 9 9d a t a 的数据 集，并与传统的检测器生成算法做了比较，实验结果表明，新模型的性能具有明 显改善，实验效果较好。 关键词：入侵检测，人工免疫系统，克隆选择，亲和力，相似性，有效因子 重庆大学硕士学位论文英文摘要 a b s t r a c t n eb i o l o g i c a ls y s t e mi ss u c c e s s f u l l yp r o t e c t i n gt h eh u m a nb o d ya g a i n s tav a s to f f b r e i 驴p a t h o g e n s i n t r u s i o nd e t e c t i o ns y s t e md e a l s 谢mt h e s i m i l a rp r o b l e m s o i n t r u s i o nd e t e c t i o ns y s t e mb a s e do na r t i f i c i a li m m u n es y s t e mh a sb e c o m eah o tr e s e a r c h i nr e c e n ty e a r s n 璩i n t r u s i o nd e t e c t i o ns y s t e md e t e c t sa n dr e a c t st oi n t r u s i o n sb y e x p l o r i n gn a t u r a li m m u n o l o g i c a lt h e o r i e s 砧eg e n e r a t i o n o fd e t e c t o ri sak e y c o m p o n e n ti ni n t r u s i o ns y s t e m , a st h eq u l i t yo fd e t e c t o ri sp r e t t yi m p o r t a n tt ot h ew h o l e s y s t e m f o rt h a tr e a s o n , t h i sd i s s e r t a t i o n i sd e d i c a l e dt ot h er e s e a r c ho fg e n e r a t i o n m o d e lo f d e t e c t o r s ，m a i nw o r ki sa sf o l l o w s ： s t u d yo ft h ec o n c e p to fi n t r u s i o nd e t e c t i o na n da n a l y s i so fi t sc l a s s i f i c a t i o n , a d v a n t a g e sa n dd i s a d v a n t a g e so fm a i nm e t h o d s ，t h e n , s u m m a r i z e st h ed e v e l o p i n g d i r e c t i o n so f i n t r u s i o nd e t e c t i o n r e s e a r c h0 1 1t h eb a s i ci m m u n o l o g i c a lm a t e r i a la n da r t i f i c i a li l d i n u n es y s t e m ( a i s ) n e c e s s a r yf o rt h i sd i s s e r t a t i o n , c o m p r e h e n s i v ef o r m a l i z a t i o no ft h ei n t r u s i o nd e t e c t i o n m o d e lb a s e do na i si sp r e s e n t e d a n a l y s e sa r ed e r i v e df r o ms e v e r a lt y p i c a la l g o r i t h m s o f d e t e c t o rg e n e r a t i o n 1 1 1 er e s u l t so f e x p e r i m e n t sa r ea l s op r e s e n t e d i n s p i r i t e df r o mt h em e c h a n i s mo fn a t u r a li m m u n o c y t eg e n e r a t i o n , t h i sd i s s e r t a t i o n p r o p o s e st w on e w l yd e v e l o p e da l g o r i t h m s ：f i r s t l y , i no r d e rt or e d u c ot h ep r o b a b i l i t yo f o v e r l a p p i n ga m o n gd e t e c t o r sa n di m p r o v et h ec o v e r a g eo fn o n s e l fs p a c e , ap r o b a b i l i t y s e l e c t i o na l g o r i t h mb a s e db o t ho ns i m i l a r i t ya n da f f m i t yi sp r e s e n t e d , a l s o ，t h ec o n l r n o n f o r mo f t h i sk i n do f p r o b a b i l i t ys e l e c t i o ni sg i v e n 而ea u t h o r i t yf a c t o ri nt h i sa l g o r i t h m i sa n a l y z e di nt h e o r y s e c o n d l y , i no r d e rt op a s st h eb e s tg e n eo ff a t h e rd e t e c t o r st ot h e c l l i i d r e na sw e l la sp o s s i b l e , ，p r e v e n td e g r a d a t i o ni np r o c e s so fm u t a t i o nc r o s s o v e ra n d e n h a n c ed i v e r s i t y , c o n c e p to fe f f e c t i v eg e n ea n dak i n do fs t r a t e g yt h a ti su s e dt ok e e p e x c e l l e n c ea r ep r o p o s e d f a n a l l y , an o v e lm o d e lo fg e n e r a t i o no fd e t e c t o r si sd e s i g n e d t l l i sm o d e lw o r k s w i t ht h et w on e w l yd e v e l o p e da l g o r i t h m s n er e s u l t so fs e r i e so fe x p e r i m e n t si n d i c a t e t h ea p p r o p r i a t ev a l u eo f p a r a m e t e raa n dt h r e s h o l d 心o fl e n g t ho fe f f e c t i v eg e n e 1 1 1 e i d e a lc h o i c ea l l o w st h em o d e lt oa c h i e v eh i 曲l e v e lo fd i v e r s i t ya n da d a p t a b i l i t y , s h o w s a g o o d n o n s e l f d e t e c t i o nr a t e 、：l ，i t h a v e r y l o wr a t e o f s e l f d e t e c t i o n a n o t h e re x p e r i m e n t b a s e do nk d d c u p1 9 9 9d a t a , c o m p a r e dw i t ht h et r a d i t i o n a lm e t h o dw h i c h i sa l s ou s e d t og e n e r a t ed e t e c t o r s ，t h en e wm o d e lp e r f o r m sm u c hb e t t e r k e y w o r d s ： i n t r u s i o nd e t e c t i o n , a r t i f i c i a li n a n l l l n es y s t e m ,c l o n a ls e l e c t i o n , a f f i n i t y , s i m i l a r i t y , e f f e c t i v eg e n e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重宏太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：德恩恩 签字日期：州年i a 月莎日 学位论文版权使用授权书 本学位论文作者完全了解重麽盍堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重鏖盍兰可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( ) 。 ( 请只在上述一个括号内打“”) 学位论文作者签名：樽思恩 导师签名： 路 签字日期：枷f 年l 文月f 日 签字日期：乒c 衫年脚月日 重庆大学硕士学位论文l 绪论 1 绪论 1 1 研究背景和意义 人工免疫系统( a r t i f i c i a ti m m u n es y s t e m ：a i s ) 是继人工神经网络、进化计算 之后又一新的计算研究方向。人工免疫系统研究旨在通过深入探索自然免疫系统 所蕴含的信息处理机制，建立相应的工程模型和算法，开拓新型智能信息处理系 统，来解决国民经济和社会发展中所面临的众多科技问题【1 】。目前人工免疫系统在 自动控制、机器人、故障检测与恢复以及优化问题等方面取得广泛的应用，国内 外已掀起一股人工免疫系统的研究热潮，许多研究学者都针对这一领域开展了深 入的、富有成效的研究工作。 随着互联网的飞速发展，因特网已经成为现代信息社会的重要组成部分。然 而，在便利和高效的同时，各种网络攻击已经严重危及社会、国家、企业和个人 的利益，其破坏性、损失的严重性也日益加剧。因此，网络安全的问题已经引起 了各国、各部门、各行各业以及每一个计算机用户的充分重视。目前解决网络安 全采取的主要技术有防火墙，安全路由器，身份认证系统等。但仅仅有这些防御 手段是不行的，对一个安全的网络系统来说还应该有能够对网络安全进行实时监 控，识别攻击并进行反攻击的网络入侵检测系统。作为防火墙背后的第二道防线， 入侵检测系统己经成为当前网络安全研究的重要内容。 目前，人们采用基于规则的方法，或采用统计分析、专家系统、人工神经网 络及其它人工智能方法来解决入侵检测问题，并取得了一定进展，甚至有不少已 经商业化。但是大多数商业化或较为成熟的入侵检测系统均为误用检测系统，它 是通过已知的入侵模式来检测入侵行为，因此不能识别未知的攻击，从而导致较 高的漏报率( f a l s en e g a t i v e ) 。而到目前为止，异常检测技术( 通过学习正常的模式 来检测入侵行为) 具有很高的误报率( f a l s ep o s i t i v e ) ，尚处于不成熟阶段，因为实 际系统的正常行为是一个随时间改变的动态环境，要求系统正常行为的特征库也 要动态。 在分布协作方面，很多时候，单个机器所采集的信息不足以发现一个危险的 入侵，需要在整个网络环境下来进行入侵检测和分析，整个网络的安全状态提供 一个完整的分析图。这时，就要求在各个入侵检测点之间共享信息，通过信息关 联或融合来进一步分析整个网络的状态【l 】。 自然免疫系统的保护机体，使其免受大量外来病原体的侵袭，它的自我保护 机制，如免疫识别、免疫记忆、免疫耐受、多层保护、个体的多样性等正好可以 满足入侵检测系统的这些需求。如果能成功地模拟免疫系统的免疫机制在计算机 重庆大学硕士学位论文l 绪论 入侵检测上，无疑是计算机入侵的一个重要的突破。因此，基于人工免疫的入侵 检测研究具有广阔的发展前景。 从学科发展的角度来看，基于人工免疫系统的入侵检测系统的研究是生命学 科和计算机学科相交叉而产生的全新的研究领域，它的发展完全顺应于当前多交 叉学科不断产生和发展的潮流。因此，此研究对于交叉学科的发展也具有极其重 要的意义。 1 2 主要研究内容 在基于人工免疫的入侵检测系统中，检测器集的生成是一个非常重要的组件。 如何快速有效地生成高性能的检测器集对于提高系统性能至关重要。 本文采用理论分析、仿真实验相结合的方法，将免疫系统的原理、规则与机 制应用于入侵检测问题，在检测器集生成问题上进行深入的理论研究。 论文的研究主要体现在以下几个方面： 结合理论分析与仿真实验，对人工免疫系统的检测器生成算法进行了全厩、 系统的对比研究。 提出了基于相似性和亲和力相结合的概率选择算法，并给出了此概率选择 的一般形式。 提出了检测器有效因子的概念以及使用有效因子进行的保优策略。 提出适应于入侵检测的新的检测器生成模型，并详细分析了此模型以及模 型中的两个核心算法，通过两组实验，不仅选择出了最佳的参数，而且验证了该 新模型的性能，并对实验结果进行了分析。 1 3 论文组织结构 论文可大致分为两个部分，共七章。 一 第一部分是背景和基础知识，包括了前面三章。 第一章绪论。介绍论文的研究背景和意义，概述了论文的研究内容、主要创 新点和组织结构。 第二章介绍现有入侵检测方法与技术，包括其概念、分类、主要的方法及其 不足，最后介绍了入侵检测方法的发展趋势。 第三章叙述免疫学的概念与机制，特别是对人工免疫有极大启示作用的特异 性识别、多样性机制、自适应性以及耐受机制等。并介绍了人工免疫系统的相关 理论与主要算法，以及人工免疫系统的应用现状和研究进展。 第二部分包括了后续的章节，是本文的重点研究内容。 第四章讨论基于人工免疫的入侵检测技术，结合人体免疫系统与网络入侵检 2 重庆大学硕士学位论文1 绪论 测系统在概念上的对照，给出基于人工免疫的入侵检测问题描述；总结了现有的 几种基于人工免疫的入侵检测系统模式的编码表示方法，亲和力测度和匹配规则 等。 第五章重点对比研究了在基于人工免疫的入侵检测器生成模型中，检测器的 各种生成算法，比较了它们的优缺点，应用领域，并进行了仿真实验加以验证。 第六章介绍了新的入侵检测器生成模型，详细分析了此模型和模型中的两个 核心算法，以及这两个算法在提高系统性能中所起的重要作用，做了两组实验， 并对实验结果进行了对比分析：第一组仿真实验，得出了最佳的a 值和有效因子 的阈值他。的取值：另一组实验，采用k d dc u p 1 9 9 9d a t a 的数据集对新模型进行 了测试，与传统方法做了比较，实验结果表明这个新模型能较好地检测出入侵， 性能较优。 第七章总结全文的工作，并提出了有待进一步研究的问题。 3 重庆大学硕士学位论文2 入侵检测方法与技术 2 入侵检测方法与技术 当越来越多的公司将其核心业务向互连网转移的时候，网络安全作为一个无 法回避的问题呈现在人们面前。由于攻击者的日趋成熟，攻击工具与手法日趋复 杂多样，单纯的防火墙策略已经无法满足对安全高度敏感的部门的需要，网络的 防卫必须采用一种纵深的，多样的手段。在这种环境下，入侵检测系统是利用强 大的主动策略和方案来增强网络系统的安全性，它可以弥补防火墙的不足，为网 络系统安全提供实时的入侵检测及采取相应的防护手段，如记录证据、跟踪入侵、 恢复或断开网络连接等。这引发了人们对入侵检测技术研究和开发的热情。 本章介绍入侵检测的基本概念，在此基础上讨论入侵检测系统的分类，入侵 检测的主要方法及其不足，最后总结了入侵检测的发展方向。 2 1 入侵检测的定义 1 9 8 0 年，j a m e s a n d e r s o n 首先提出了入侵检测的概念【2 】，他将入侵定义为：潜 在的、有预谋的、未经授权的访问信息与操作信息，致使系统不可靠或无法使用。 他提出审计追踪可应用于监视入侵威胁，但这一设想的重要性当时并未被理解。 1 9 8 7 年，d o r o t h yd e n n i n g 提出了i d s 的抽象模型【3 】，首次将入侵检测的概念 作为一种计算机系统安全问题的防御措施提出，成为入侵检测发展史上的里程碑， 该模型今天仍在入侵检测系统中得到广泛应用。模型的三个主要的部件是事件产 生- 器( e v e n tg e n e r a t o r ) ，活动记录器( a c t i v i t yp r o f i l e ) 和规则集( r u l es 。事件产生器 负责为模型产生事件，活动记录器保存目标系统的状态。当事件在数据源中出现 时，活动记录器中的状态就会发生改变。规则集是一个普通的核查事件和状态的 检查器引擎，它根据模型、规则、模式和统计结果来检测入侵行为。此外，反馈 也是模型的一个重要组成部分，现有的事件会引发系统的规则学习，加入新的规 则或者修改己有规则。系统的三个子系统是独立的，可以分布在不同的计算机节 点上运行。 宙 图2 1d e n n i n g 的通用入侵检测模型 f i g 2 1t h e c o m m o n m o d e lo f i n t r u s i o n d c t g c t i o n 4 重庆大学硕士学位论文2 入侵检测方法与技术 入侵检测( i n t r u s i o nd e t e c t i o n ，d ) ，顾名思义，是对入侵行为的发觉。它通 过对系统( 网络) 的运行状态进行监视与分析，发现各种攻击行为或者攻击结果并作 出相应的响应，以保证系统( 网络) 资源的机密性、完整性与可用性的一种行为。 进行入侵检测的软件与硬件的组合便是入侵检测系统( i n t r u s i o nd e t e c t i o n s y s t e m ，简称d s ) 。入侵检测系统主要通过以下几种活动来完成任务： 监测并分析用户和系统的活动： 核查系统配置和漏洞： 评估系统关键资源和数据文件的完整性； 识别已知的攻击行为； 分析预测异常行为； 操作系统日志管理，并识别违反安全策略的用户活动。 对异常结果作出反应。 除此之外，有的入侵检测系统还能够自动安装厂商提供的安全补丁软件，并 自动记录有关入侵者的信息。 2 2 入侵检测技术的分类 入侵检测的数据一般来自网络数据包或者系统审计记录，根据数据源可以把 入侵检测分为网络型和主机型两类。主机型i d s 采用系统审计、应用程序审计等 作为数据源，其保护目标一般是所在的计算机系统；网络型i d s 的数据源是网络 上的数据包，一般担负着保护整个网段的任务。 根据数据分析方法，入侵检测又可以分为误用检测( m i s u s ed e t e c t i o n ) 和异 常检测( a n o m a l yd e t e c t i o n ) 。 2 2 1 基于网络的入侵检测 基于网络的入侵检测系统( n i d s ) 使用原始网络包作为数据源，通过在共享 网段上对通信数据的侦听采集数据，分析可疑现象，这类系统不需要主机提供严 格的审计，对主机资源消耗少，并可以提供对网络通用的保护而无需顾及异构主 机的不同架构。它的攻击辨识模块通常采用4 种常用技术来识别攻击标志：模 式、表达式或字节匹配；频率或穿越阀值：低级事件的相关性：统计学意 义上的非常规现象检测基于网络的入侵检测系统。一旦检测到攻击行为，入侵检 测系统的响应模块就提供多种选项以通知，报警并对攻击采取相应的反应。基于 网络的入侵检测系统主要有以下优点： 拥有低成本。基于网络的入侵检测系统允许部署在一个或多个关键访问点 来检查所有经过的网络通信。因此，基于网络的入侵检测系统并不需要在各种各 样的主机上进行安装，大大减少了安全和管理的复杂性。 重庆大学硕士学位论文2 入侵检测方法与技术 攻击者转移证据困难。基干网络的入侵检测系统使用活动的网络通信进行 实时攻击检测，因此攻击者无法转移证据，被检测系统捕获的数据不仅包括攻击 方法，而且包括对识别和指控入侵者十分有用的信息。 实时检测和响应。一旦发生恶意访问或攻击，基于网络的入侵检测系统可 以随时发现它们，因此能够很快地作出反应。例如，对于黑客使用t c p 启动基于 网络的拒绝服务攻击( d o s ) ，入侵检测系统可以通过发送一个t c p r e s e t 来立即终止 这个攻击，这样就可以避免目标主机遭受破坏或崩溃。这种实时性使得系统可以 根据预先定义的参数迅速采取相应的行动，从而将入侵活动对系统的破坏减到最 低。 能够检测未成功的攻击企图。一个设置在防火墙外面的基于网络的入侵检 测系统可以检测到旨在利用防火墙后面的资源的攻击，尽管防火墙本身可能会拒 绝这些攻击企图。基于主机的系统并不能发现未能到达受防火墙保护的主机的攻 击企图，而这些信息对于评估和改进安全策略是十分重要的。 操作系统独立。基于网络的入侵检测系统并不依赖主机的操作系统作为检 测资源，而基于主机的入侵检测系统需要特定的操作系统才能发挥作用。基于网 络的入侵检测系统具有强制性而且是独立于平台的，部署它们对网络影响很小或 没有影响，只对带宽有较高要求。基于网络的入侵检测系统依靠对网络数据包和 网络故障等的分析来进行检测，往往能对异常情况做出较快的响应。基于网络的 入侵检测通常采用多个入侵检测系统检测器配合一个入侵检测系统指示器的分布 式结构来协同工作。 网络入侵检测系统也有其弱点，现在总结如下： 网络入侵检测系统只检查它直接连接网段的通信，不能检测在不同网段的 网络包。在使用交换以太网的环境中就会出现监测范围的局限。而安装多台网络 入侵检测系统的传感器会使部署整个系统的成本大大增加。 网络入侵检测系统为了性能目标通常采用特征检测的方法，它可以检测出 普通的一些攻击，而很难实现一些复杂的需要大量计算与分析时间的攻击检测。 网络入侵检测系统可能会将大量的数据传回分析系统中。在一些系统中监 听特定的数据包会产生大量的分析数据流量。一些系统在实现时采用一定方法来 减少回传的数据量，对入侵判断的决策山传感器实现，而中央控制台成为状态显 示与通信中心，不再作为入侵行为分析器。这样的系统中的传感器协同工作能力 较弱。 网络入侵检测系统处理加密的会话过程较困难，目前通过加密通道的攻击 尚不多，但是由于入侵技术的发展，在点对点的入侵攻击中，完全可以通过加密 来实现对于网络高层的攻击。 6 重庆大学硕士学位论文2 入侵检测方法与技术 2 2 2 基于主机的入侵检测 基于主机的入侵检测系统( r i d s ) 通常是安装在被重点检测的主机之上，主要 是对该主机的网络实时连接以及系统审计日志进行智能分析和判断。如果其中主 体活动十分可疑( 特征或违反统计规律) ，入侵检测系统就会采取相应措施。 就目前的情况来看，d n s 、e m a i l 和w c ；b 服务器是多数网络攻击的目标，大约 占据全部网络攻击事件的1 3 以上。这些服务器必须要与i n t e m e t 系统交互作用， 所以应当在各服务器上安装基于主机的入侵检测软件，其检测结果也应及时地向 管理员报告。基于主机的入侵检测系统没有带宽的限制，它们密切监视系统日志， 能识别运行代理的机器上受到的攻击。基于主机的入侵检测系统提供了基于网络 的入侵检测系统不能提供的精细功能，包括二进制完整性检查、系统日志分析和 非法进程关闭等功能。 基于主机的入侵检测系统最大的好处就在于能根据受保护站点的实际情况进 行针对性的定制，使其工作非常有效，误警率相当低。 基于主机入侵检测系统的优点在于： 基于主机入侵检测系统对分析“可能的攻击行为”非常有用。例如，有时 候它除了指出入侵者试图执行一些“危险的命令”之外，还能分辨出入侵者干了 什么事：他们运行了什么程序、打开了哪些文件、执行了哪些系统调用。主机入 侵检测系统与网络入侵检测系统相比通常能够提供更详尽的相关信息。 基于主机入侵检测系统通常情况下比网络入侵检测系统误报率要低，因为 检测在主机上运行的命令序列比检测网络流更简单，系统的复杂性也小得多。 适用于被加密的和交换的环境 既然基于主机的入侵检测系统驻留在网络中的各种主机上，它们可以克服基 于网络的入侵检测系统在交换和加密环境中面临的一些部署困难。由于在大型交 换网络中确定安全入侵检测系统的最佳位置并且实现有效的网络覆盖非常困难， 而基于主机的入侵检测系统通过驻留在所有需要的关键主机上避免了这一难题。 不需要额外的硬件 基于主机的入侵检测系统驻留在现有的网络基础设施上，包括文件服务器、 w e b 服务器和其他共享资源。这样减少了基于主机的入侵检测系统的实施成本， 因为不需要增加新的硬件，同时也减少了以后维护和管理这些硬件设备的负担。 相比较于网络入侵检测系统，主机入侵检测系统的弱点是： 基于主机入侵检测系统安装在需要保护的设备上。举例来说，当一个数据 库服务器要保护时，就要在服务器本身上安装入侵检测系统。这会降低应用系统 的效率。此外，它也会带来一些额外的安全问题，安装了主机入侵检测系统后， 将本不允许安全管理员有权力访问的服务器变成他可以访问的了。 7 重庆大学硕士学位论文2 入侵检测方法与技术 基于主机入侵检测系统的另一个问题是它依赖于服务器固有的日志与监视 能力。如果服务器没有配置日志功能，则必需重新配置，这将会给运行中的业务 系统带来不可预见的性能影响。 全而部署基于主机入侵检测系统代价较大，企业中很难将所有主机用主机 入侵检测系统保护，只能选择部分主机保护。那些未安装主机入侵检测系统的机 器将成为保护的盲点，入侵者可利用这些机器达到攻击目标。 主机入侵检测系统除了监测自身的主机以外，根据监测网络上的情况。对 入侵行为的分析的工作量将随着主机数目增加而增加。 2 2 3 误用检测 误用检测( m i s u s ed e t e c t i o n ) 分析系统活动行为，寻找与预定义入侵模式匹 配的事件或者事件集，从而发现入侵行为。预定义的入侵模式一般称为攻击特征， 因此误用检测又称作基于特征的检测。当前流行的系统基本采用了这种模型，它 的局限性是只能发现己知的入侵，但对未知的入侵方法无能为力。其难点在于如 何设计模式既能够表达“入侵”模式又不会将正常的活动包含进去。 基于误用的入侵检测技术的研究主要是从2 0 世纪9 0 年代中期开始的，当时 主要的研究组织有s r i ，p u r d u e 大学和c a l l f o r n i a 大学的d a v i s 分校。最初的误用 检测系统通常忽略了系统的初始状态，只对系统运行中各种变化的事件进行匹配， 并从中标识出相应的攻击行为。这种不考虑初始状态的入侵信号标识有时无法发 现所有的入侵行为，现在多数误用检测系统己经考虑了系统的初始状态。基于误 用的入侵检测系统通过使用某种模式或者信号标识表示攻击，进而发现相同的攻 击。这种方式可以检测许多甚至全部己知的攻击行为。 误用信号标识需要对入侵的特征、环境、次序以及完成入侵的事件相互间的 关系进行详细的描述，这样误用信号标识不仅可以检测出入侵行为，而且可以发 现入侵的企图，误用信号局部上的符合就可能代表一个入侵的企图。 对于误用检测系统来说，最重要的技术问题有： 如何全面描述攻击的特征，覆盖在此基础上的变种方法。 如何排除其他带有干扰性质的行为，减少误报率。 解决问题的不同方式从一定程度上划分了基于误用的入侵检测系统的类 型。 主要的误用检测系统类型有专家系统、按键监视系统、模型推理系统、误用 预测系统、状态转换分析系统和模式匹配系统。 2 2 4 异常检测 异常检测( a n o m a l yd e t e c t i o n ) 根据系统的异常行为或者对资源的异常存取来 判断是否发生入侵事件，异常检测需要建立一个阈值来区分正常事件与入侵事件。 重庆大学硕士学位论文 2 入侵检测方法与技术 简单来说，基于异常入侵检测系统就是“学习正常发现异常”，它的特点主要体现 在学习过程中，可以在检测系统中大量借鉴其他领域的方法来完成用户行为概貌 的学习。这种检测技术的局限性在于，并非所有的异常都表现为入侵，而且系统 的模型难于计算和更新。 2 0 年以前a n d e r s o n 就提出了基于异常的入侵检测的思想，随后很多机构也进 行了一些相关的研究，理论上这种入侵检测方法具有一定入侵检测的能力，并且 相对而言与基于误用的入侵检测相比它有一个非常强的优势，就是它能够检测出 未知的攻击。但在现实情况中，还有很多的技术问题有待解决，比如如何建立模 型以及如何设计算法，从而不把正常的操作作为“入侵”或忽略真正的“入侵” 行为。 常用方法有统计学方法、人工免疫方法、基于神经网络的方法、基于数据挖 掘技术的方法以及使用状态机的方法。 2 3 入侵检测的主要方法 统计分析方法在i d s 中最早得到应用，其基本原理是根据系统内部保持的用 户行为概率统计模型来检测用户对系统的使用情况，不足之处在于它属于事后分 析，不能对入侵检测提供实时的检测功能，而且难于选取合适的统计分析阈值。 自2 0 世纪9 0 年代以来，不少研究人员又提出了不少新的检测算法。这些检测方 法从不同的技术角度来看待入侵检测的基本问题，并利用许多人工智能或机器学 习的算法，试图解决传统检测技术中存在的若干问题，例如虚假警报、缺乏检测 未知或变形攻击的能力、扩展性和自适应性差等。这些新的检测技术与传统的检 测技术，既有联系，也有区别，通常无法单纯地把它划分到哪个具体的技术类型。 主要涉及神经网络、数据挖掘、数据融合、进化计算、机器学习和计算机免疫学 在内的多个技术领域的知识在入侵检测领域内的应用。 神经网络 神经网络的特点之一是它具有学习的能力。因此一些i d s 使用它来学习用户 的行为，这个算法允许神经网络模拟用户行为并且根据最新的变化进行调整；神 经网络的另一特性就是允许模糊数据或噪声数据。其处理过程包括两个阶段：第 一阶段构造入侵检测分析模型的检测器，使用代表用户行为的历史数据进行训练， 完成网络的构造和组装；第二阶段是入侵分析模型的实际执行阶段，网络接收输 入的事件数据，与参考的历史行为相比较，判断出两者的相似度或偏离度。神经 网络方法的优点在于属性选择无关性，对选择的系统度量不要求满足某种分布条 件。其缺点是：需要解决神经网络对大容量入侵行为类型的学习能力问题，神经 网络的解释能力不足的问题与执行速度问题。 9 重庆大学硕士学位论文2 入侵检测方法与技术 数据挖掘 将数据挖掘技术引入到入侵检测的关键思想就是：根据从审计数据中观察到 的用户行为来判断异常检测行为。目前已有现成的k d d ( k n o w l e d g ed i s c o v e r yi n d a t a b a s e s ) 算法可以借用。数据挖掘分析方法的优点在于它适应处理大量数据的情 况，但对于处理实时入侵还存在问题。如何利用数据挖掘技术建立一个全面的入 侵检测度量集，形式化地描述出来，并能够证明它的完整性、灵活性及可扩充性， 是一个没有解决的关键课题。它需要开发更为有效的数据挖掘算法和相应的体系 结构。 数据融合 数据融合是一种多层次的、多方面的处理过程，这个过程是对多源数据进行 检测、结合、相关、估计和组合以达到精确的状态估计和身份估计，以及完整、 及时的态势评估和威胁估计。基于数据融合的入侵检测系统的输入可以是从网络 嗅探器处得到的各种网络数据包、系统日志文件、s n m p 信息、用户资料信息、 系统信息和操作命令等，甚至包括各种“带外”数据源等。系统输出是入侵者的 身份估计和位置确定、入侵者的活动信息、危险性信息、攻击的等级和对整个入 侵行为危险程度的评估等。数据融合技术在入侵检测中的应用前景非常广阔。 机器学习 此方法通过机器学习实现，其主要方法为死记硬背式、监督学习、归纳学习、 类比学习等。通过编码内部属性依赖关系的相似度将观察到的离散的、无序的时 间序列转换到一个可度量的空间，然后应用相似度实例学习方法和一种新的基于 序列的分类方法，来检测异常事件是否发生，以此确定是否有入侵行为，其中阈 值的选取由成员分类的概率决定。该方法检测速度快而且误报率较低。然而，其 对用户动态行为变化以及单独异常检测还有待改善。 进化计算 对生物进化过程的仿生学研究，促进了进化计算技术领域的发展。进化计算 的主要算法包括以下5 种类型：遗传算法( g e n e t i ca l g o r i t h m ，g a ) 、进化规划 ( e v o l u t i o n a r yp r o g r a m m i n g ，e p ) ，进化策略( e v o l u t i o n a r ys t r a t e g i e se s ) 、分类器系 统( c l a s s i f i e rs y s t e m s ，c f s ) 和遗传规划( g e n e t i cp r o g r a m m i n g ，g p ) 。这五种进化 算法从理论上讲，都可以应用在入侵检测中，但是目前主要是对遗传算法和遗传 规划的应用进行了研究。遗传算法在入侵检测中的应用，通常分以下步骤：首先， 使用一组字符串或比特组对可能出现一的检测结果进行编码；然后，采用定义好 的最适应性函数，对所有的字符串或比特组个体进行测试，找出最优个体，并对 所有的个体执行交叉、变异和复制等操作，不断产生新的字符串个体；之后，不 断重复上述的测试、选择、交叉或变异等操作步骤，直到获得满意的结果。遗传 重庆大学硕士学位论文2 入侵检测方法与技术 算法在动态环境中有鲁棒性、自适应性强的特点，所以基于遗传算法的入侵检测 的研究将成为网络安全领域的重要方向和研究热点。 计算机免疫 计算机免疫技术是直接受到自然免疫机制的启发而提出的。根据这种理论， 由于计算机网络受到安全策略、计算机程序以及系统配置等多种因素中所可能包 含的错误的影响而总是处于易受入侵的状态，所以入侵检测技术必须面对这种现 实。在生物系统中所存在的种种脆弱性因素都是由免疫系统来妥善处理的，而这 种免疫机制在处理外来异体时呈现出分布的、多样性的、自治的以及自修复的特 征。自然免疫系统通过识别出不正常或者以前从未出现的特征，来确定异体。新 墨西哥大学的研究人员f o r r e s t 对此进行了研究，在自然免疫系统和计算机系统的 保护之间发现了某种相似性。免疫系统最基本的能力是识别“自体月 自体”，这和 入侵检测中的异常检测的概念相似。f o r r e s t 等通过大量的实验发现对于一个特定 程序而言，其系统特权进程调用系列是相对稳定的，使用系统调用系列来识别自 体可以满足系统的要求。基于计算机免疫的方法充分利用了生物免疫系统的多样 性、分布计算、容错性、以及动态学习、自适应和自监控能力，是一项强大并有 发展前途的入侵检测技术。 2 4 现有入侵检测方法的不足 从总体上来说，现有入侵检测方法在下列特性上存在明显的不足： 可扩展性 一个好的i d s 应该能够根据其应用环境进行灵活配置，检测方法不应该对检测 系统的环境做出假设，否则将会影响检测系统的可扩展性。但像基于神经网络等方 法的检测系统，要么依赖于特定类型操作系统【4 】，要么依赖与特定的网络结构【5 】。 检测效率 一 实际的i d s 通常很难检测出具有欺骗性的入侵。异常检测的计算代价非常大， 因为系统维护的活动记录要随着每个事件更新。误用检测一般都采取专家系统 s h e l l 来编码和匹配攻击特征，这些s h e l l 需要解释规则集，因而运行时刻费用很高， 而且规则集只允许间接定义序列事件的相互关系。 可维护性 维护一个i d s 所需要的技能远远超过专门的安全知识。更新规则集需要了解 专家系统规则语言，并理解系统如何处理这些规则，如此才能够避免系统中己有 规则和新增规则之间不必要的关联。为统计检测模块增加新的统计变量时也存在 同样的问题。 可移植性 重庆大学硕士学位论文 2 入侵检测方法与技术 迄今为止的i d s 都是为某个单一的环境构建的，很难直接应用于其他环境， 即使它们具有类似的安全策略和安全目标。例如，将一个单层自主存取控制系统 的检测部件移植到一个具有相同安全目标的多层安全系统就非常困难。这是因为 i d s 的大部分都是目标系统特有的，是为目标系统进行过定制的。这些系统的重用 和重新定位都非常困难，除非系统一开始就设计成一种通用模式。但通用模式下 的系统效率较低，且功能受限。 从后面的研究中我们可以知道，基于人工免疫的i d s 在系统可扩展性与可移 植性方面具有先天的优势，检测效率较高，可维护性好。因此，基于人工免疫的 i d s 具有广阔的发展前景。 2 5 入侵检测方法的发展趋势 无论从规模与方法上，入侵的手段与技术近年来都发生了变化。入侵技术的 发展与演化主要反映在下列几个方面： 入侵或攻击的综合化与复杂化。 入侵主体对象的间接化，即实施入侵与攻击的主体的隐蔽化。 入侵或攻击的规模扩大。 入侵或攻击技术的分布化。 攻击对象的转移。 针对入侵技术的不断变化，入侵检测技术大致朝下述四个方向发展： 智能化入侵检测。目前，入侵检测技术越来越多样化与综合化，尽管已经 有神经网络、遗传算法以及免疫原理应用在入侵检测领域，但这些只是一些尝试 性的研究工作，需要对入侵检测系统的智能化进一步研究，以解决其自学习与自 适应的能力。 分布式入侵检测。第一层含义，针对分布式网络的攻击的检测方法；第二 层含义是指使用分布式的方法来检测分布式的攻击，其中的关键技术为检测信息 的协同处理与入侵攻击的全局信息的提取。 分析技术的改进。入侵检测误报和漏报的解决最终依靠分析技术的改进， 目前入侵检测分析主要有统计分析、模式匹配、数据重组、协议分析和行为分析 等。目前最好综合使用多种检测技术，而不只是依靠传统的统计分析和模式匹配 技术。另外，规则库是否及时更新也和检测的准确程度密切相关。 全面的安全防御方案：使用安全工程风险管理的思想与方法来处理网络安 全问题，将网络安全作为一个整体工程来处理，从管理，网络结构，加密通道， 防火墙，病毒防护，入侵检测多方位全方面对所关注的网络作全面的评估，然后 提出可行的全面解决方案【6 】。 1 2 重庆大学硕士学位论文 2 入侵检测方法与技术 2 6 小结 本章总结了入侵检测的方法和技术。包括入侵检测的概念，主要分析了入侵 检测的分类及其各自的特点。然后简述了现代入侵检测的方法，最后总结了这些 方法的不足和今后的发展趋势。 重庆大学硕士学位论文3 免疫学与人工免疫系统 3 免疫学与人工免疫系统 3 1 生物免疫系统的基本原理 3 1 1 免疫系统的功能 如果把人体看作一个国家，免疫系统则可以看作是保卫这个“国家”安全的 “警察”和“军队”。人类和其他生物的免疫系统是一个由许多执行免疫功能的器 官、组织、细胞、分子以及淋巴循环等组成的复杂系统，其基本作用是保护自身， 抵抗外来病原体和自身癌变细胞威胁。文【7 l 中定义：“免疫是指机体接触抗原性异 物( 如各种微生物) 后，能产生一种特异性的生理反应，通过这种生理反