（计算机应用技术专业论文）免疫入侵检测自体集优化和检测器生成算法研究.pdf

哈尔滨理工大学工学硕士学位论文 免疫入侵检测自体集优化和检测器生成算法研究 摘要 入侵检测系统是网络安全一个重要组成部分，可以较好地弥补传统的防 火墙技术不能解决的问题。生物免疫系统与入侵检测系统有着许多相似之处， 比如分布式保护、多样性、自适应性、健壮性、记忆能力、容错能力、动态 稳定性等良好特性。这些相似性使免疫系统为入侵检测系统提供了一个自然 的研究模板。将免疫原理应用到入侵检测技术中对计算机网络的发展和网络 安全技术的研究都具有重要意义。 免疫入侵检测系统的检测性能主要由检测器对非自体空间的覆盖决定， 系统中检测器的生成主要采用否定选择算法。针对不同的网络入侵形式，检 测器又分为两种表示形式：二进制表示和实值表示。 对于二进制检测器，针对生成算法中匹配规则单一造成的检测器质量低 下的不足，本文提出一种混合匹配规则的检测器生成算法：海明距离整体匹 配的各段内r 连续比特匹配的否定选择算法，即二进制混合匹配否定选择算 法，并对模型和算法性能进行了分析。实验结果表明，该算法能够更为高效 地产生所需的检测器，从而显著地提高了系统性能。 对于实值检测器，经过理论研究和实际论证，单位时间内的网络数据在 网络状况相对稳定的情况下其概率符合一定的分布；而且，由于自体数据来 自真实网络数据，所以自体集必定存在大量的错误自体和高重叠率问题。本 文利用概率论中的原理对自体数据进行优化处理，然后对检测器生成算法进 行改进。通过实验表明，自体优化处理不仅除去了错误自体并减少自体重叠 率，提高了检测器生成的效率，而且，改进的检测器生成算法也表现出了很 好的性能。 关键词入侵检测：人工免疫：否定选择；检测器；自体集 喻尔演理t 人学t 学硕i 学位论工 t h es e l fr e g i o no p t i m i z a t i o na n dd e t e c t o r g e n e r a t i o no fi d sb a s e do ni m m u n i t y a b s t r a c t t h ei d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) i sas i g n i f i c a n tp a r to fn e t w o r ks e c u r i t y , w h i c hc a nd e a lw i t ht h ep r o b l e mp r o p e r l yt h a tt r a d i t i o n a lf i r e w a l lt e c h n i q u ec a n n o t i th a sal o to fs i m i l a r i t i e sw i t ht h e b i o l o g i c a li m m u n es y s t e m ，s u c ha s d i s t r i b u t i o n ，v a r i e t y , a d a p t a b i l i t y ，m e m o r ya b i l i t y ，f a u l t t o l e r a n ta b i l i t y , d y n a m i c s t a b i l i t ye t c ，s oi tm a k e st h ei m m u n es y s t e mo f f e ran a t u r a lr e s e a r c ht e m p l a t ef o r i n t r u s i o nd e t e c t i o n i d sb a s e do ni m m u n et h e o r yh a st h ei m p o r t a n ts i g n i f i c a n c e f o rt h ed e v e l o p m e n to fc o m p u t e rn e t w o r ka n d s e c u r i t yt e c h n o l o g y t h ed e t e c t i o np e r f o r m a n c eo fi n t r u s i o nd e t e c t i o ns y s t e mi sm a i n l yd e c i d e db y d e t e c t o rc o v e r a g et on o n s e l fs p a c e ，w h i l et h en e g a t i v es e l e c t i o na l g o r i t h mi s m a i n l ya d o p t e db yg e n e r a t i o no fs y s t e md e t e c t o r o na c c o u n to fd i f f e r e n tt y p e so f n e t w o r ki n t r u s i o n ，t h e r ea r et w ok i n d so fd e t e c t o r ：b i n a r ya n dr e a l v a l u e f o rt h eb i n a r yd e t e c t o r , t h ed e f i c i e n c i e so ft h ec u r r e n td e t e c t o rg e n e r a t i n g a l g o r i t h m sw i t hs i n g l ea f f i n i t ym a t c h i n ga r ed i s c u s s e d ，a n dt os o l v et h el o w q u a l i t y o f d e t e c t o r s ，a l li m p r o v e d d e t e c t o r g e n e r a t i n ga l g o r i t h mu s i n g m i x m a t c h i n gr u l e si sp r o p o s e d ：h a m m i n gw h o l em a t c h i n ga n dr c o n t i g u o u s m a t c h i n gi ne a c hs e g m e n t ，n a m e dm m n s ( m i x - m a t c h i n gn e g a t i v es e l e c t i o n ) a n dt h ea l g o r i t h mi sa n a l y z e da sw e l l 。t h e s e e x p e r i m e n t ss h o wt h a t ，t h e a l g o r i t h mm o d e lc a nh i g he f f i c i e n t l yg e n e r a t et h en e e d e dd e t e c t o r s ，e v i d e n t l y e n h a n c et h ei d s sp e r f o r m a n c e a st ot h er e a l - v a l u e dd e t e c t o r ，t h e o r e t i c a la n a l y s i sa n de x p e r i m e n tr e s u l t s d e m o n s t r a t et h a t ，i nar e l a t i v e l ys t a b l et i m ep e r i o d ，t h en e t w o r kt r a f f i ci nu n i t t i m ei si na c c o r d a n c ew i t ht h ep r o b a b i l i t yd i s t r i b u t i o n m o r e o v e r ，o w i n gt ot h e s e l v e sc o m i n gf r o mt h er e a ln e t w o r k ，t h e r ea r es u r e l ym a n yi m p r o p e rs e l v e sa n d t h es e l fr e g i o nh a sap r o b l e mo fh i g ho v e r l a p p i n gc o e f f i c i e n tw h i c ht or e d u c et h e e f f i c i e n c yo fd e t e c t o rg e n e r a t i n g s o ，t h i sd i s s e r t a t i o no p t i m i z e st h es e l fr e g i o n 哈尔滨理工大学工学硕士学位论文 w i t ht h ep r o b a b i l i t yt h e o r y ，a n dt h e ng e n e r a t e sd e t e c t o r su s i n gt h ei m p r o v e dn s a e x p e r i m e n t ss h o wt h a tt h ee f f e c to fs e l fr e g i o no p t i m i z e di sp r o m i n e n t ，a n dt h e g e n e r a t e dd e t e c t o r s d e t e c t i o np e r f o r m a n c e sh i g h l ye f f i c i e n t k e y w o r d s i n t r u s i o nd e t e c t i o n ，i m m u n i t y , n e g a t i v es e l e c t i o n ，d e t e c t o r ，s e l f r e g i o n 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文免疫入侵检测自体集优化和检 测器生成算法研究，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期 间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含 他人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均已 在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签名：伤乞 日期妒声；月r o b o 哈尔滨理工大学硕士学位论文使用授权书 免疫入侵检测自体集优化和检测器生成算法研究系本人在哈尔滨理工大 学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈 尔滨理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了 解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部门 提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可以采 用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。 本学位论文属于 保密口，在年解密后适用授权书。 不保密由。 ( 请在以上相应方框内打) 作者签名： 导师签名： 辫电 1j ，l- ， 1 钤d y 日期：硼声岁月w 日 日期：瑚p 年弓月归日 1 1 课题背景与意义 第1 章绪论 网络已经进入了普通人们的生活中。在各个领域中，网络都得到了广泛的 应用。但是伴随而来的网络安全问题却越来越引起人们的重视。随着网络环境 变得越来越复杂，网络入侵行为也变得多种多样而且越来越不好防范。据统计， 目前网络攻击手段已经多达数千种，安全问题变得极其严峻。 现在的安全概念已经不限于信息的保护，人们需要的是对于整个信息系统 的保护和防御，包括对信息的保护、检测、反应和恢复的能力。信息保障不同 于传统的加密、身份验证、访问控制、防火墙、安全路由器等安全技术，它强 调信息系统的整个生命周期的防御和恢复。 国际标准化组织i s o 将“计算机安全”定义为：“为数据处理系统建立和采 取的技术，保护计算机软硬件数据不因偶然和恶意的原因而遭到破坏、更改和 泄露”。因此，从技术角度来看，网络安全的目标包括n - 引：网络服务的可用性、 网络信息的保密性、信息的完整性、信息的不可否认性、运行的可控性等。 在这种背景下，网络安全产品应运而生了，主要包括防火墙f i r e w a l l 和网 络入侵检测系统i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 。就后者而言，i d s 经过近二 十年的发展，已经成为安全领域内的重要技术和研究方向口1 ，已经在军事、金融、 政务、商业、交通、电力等行业发挥关键的作用。与传统的被动防御式的f i r e w a l l 不同，i d s 是一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和 误操作的实时保护n 。它能很好的弥补f i r e w a l l 的不足，在不牺牲网络性能的前 提下对网络进行检测，可以看作f i r e w a l l 之后的第二道安全闸门悔1 。它是对系统 中未授权访问或异常现象、活动与时间进行审计、追踪、识别和检验的全部过 程。它可以识别出系统是否被入侵，从而做出及时的反应。 人工免疫是近年来发展起来的融合了生命科学、计算机科学和控制科学等 门类的一项重要的研究方向。入侵检测领域所遇到的问题和人工免疫所遇到的 问题有惊人的相似性，两者都需要在不断变化的环境中维持系统的稳定性。免 疫系统的解决方式是分布的、灵活的、自适应的，这些特征正是入侵防护领域 所期望得到的伸。因此，将免疫机制运用到网络安全领域中的研究越来越得到人 们的重视。 哈, q , i e 理- i i 人学t 学顺i ，亨他论义 高等动物和人体内存在一个复杂的免疫系统。它的生理功能主要是识别“自 体”与“有害的非自体”，并能破坏和排斥“有害的非自体”，并对“自体”形 成免疫耐受，不发生排斥反应，以维持机体的自身免疫稳定盯刖。 基于免疫的入侵检测模型主要应用了免疫原理中的“自体非自体”理论来 识别入侵行为。“自体”指正常的网络行为，“非自体”指异常的网络行为，即 入侵行为。模型首先对网络信息进行信息解码，将网络信息转化成标准的格式， 然后与所有合格检测器进行匹配：一旦与一个合格检测器匹配，则认为这个网 络行为是入侵行为，否则认为是正常行为并让其通过旧1 。 免疫入侵检测的主要研究目的是利用免疫机制的原理和规则来实现对入侵 行为的检测和反应，以此构建一个具有生物免疫系统分布性、多样性、自适应 性、自动应答和自我修复等特点的人工免疫计算机网络系统，使其具有检测异 常现象、利用不完备信息进行检测的能力。免疫机理为设计高性能的i d s 提供 了新的思路。基于免疫机制的入侵检测研究具有广阔的应用前景和重要的理论 意义。 1 2 入侵检测系统概述 1 2 1 网络入侵与入侵检测 网络入侵是指一系列试图去破坏一个计算机系统资源的完整性、机密性和 可用性的行为。相对于传统的破坏手段而言，网络入侵手段隐蔽和复杂，攻击 时往往混杂在大量正常的网络活动之中，隐蔽性强，而且没有地域和时间的限 制。 网络入侵的类型和方法多种多样，根据其行为的后果，大致可以分为：非 授权访问、信息的泄漏或丢失、破坏数据的完整性和拒绝服务攻击d o s ( d e n i a l o fs e r v i c e ) 。引。 入侵检测指通过计算机系统或者网络环境中采集数据，分析数据，发现可 疑攻击行为或者异常时间，并采取一定的响应措施拦截攻击行为。入侵检测是 一种动态安全技术，是安全体系的一种防范措施。它试图检测、识别和隔离入 侵企图或者计算机的未授权使用。它不仅能监视网上的访问活动，还能针对正 在发生的入侵行为进行报警，甚至采取相应的阻断和关闭设备等措施。入侵检 测技术可以检测和识别针对计算机系统和网络系统，或者更广泛意义上的信息 系统的非法攻击，或者违反安全策略事件的过程。 n 合：i ：浮理t 人学1 _ 学硕i 。学位论义 1 2 2 入侵检测系统的任务 i d s 是对f i r e w a l l 等传统手段的必要补充。它可以对系统或网络资源进行实 时检测，及时发现闯入系统或网络的入侵者，也可预防合法用户对资源的误操 作。入侵检测系统通过对系统或网络进行数据分析，获得系统或网络目前的安 全状况，发现可疑或非法的行为。 和其他安全产品不同的是i d s 需要更多的智能。它必须对得到的数据进行 分析，并得到有用的结果。具体来说，i d s 的主要任务： 1 监测并分析用户和系统的活动。 2 检查系统配置和漏洞。 3 评估系统关键资源和文件的完整性。 4 识别已知的入侵行为。 5 对操作系统进行日志管理，并识别违反安全策略的用户活动。 6 统计分析异常行为，从而识别未知的入侵行为。 针对已经发生的攻击行为做出适当的反应，如报警、中止进程等。 i d s 从网络或系统的若干关键点中收集数据，并对其进行分析，从而发现 是否有违反策略的行为和被攻击的迹象。i d s 可以安置在网络的任何关键区域 中。所以，它能够对系统当前的状态有更加清楚的认识，一旦发现问题能够及 时解决，i d s 已经成为信息安全整体架构的必不可少的一道防线。 1 2 3 入侵检测技术分类 入侵检测技术的研究切入点总体上可以分为如下两大类： 1 以数据来源为研究对象入侵检测技术可以分为基于主机的入侵检测技 术和基于网络的入侵检测技术1 ：前者从主机的审计记录和日志文件中获得所 需的主要数据源，并辅之以主机上的其他信息，完成检测攻击行为的任务：后 者通过监听网络中的数据包来获得必要的数据来源，并通过协议分析、特征匹 配、统计分析等手段发现当前发生的攻击行为。 入侵检测技术的发展起始于主机审计，早期的入侵检测系统都是基于主机 的入侵检测技术。基于主机入侵检测技术能够较为准确的监听到发生在主机系 统高层的复杂攻击行为。并且其中许多发生在应用进程级别的攻击行为是无法 依靠基于网络的入侵检测技术来完成的。然而其缺点也是显而易见的： 首先，严重依赖于特定的操作系统平台，可移植性差。 n 合尔演理t 人掌厂掌硕f j 学位论文 其次，它在所保护的主机上运行，影响主机的运行性能。 再次，它通常无法对网络环境下发生的大量攻击行为，做出及时的反应。 基于网络的入侵检测技术的分析对象是标准化的网络协议，独立于主机的 操作系统类型，有较好的可移植性。它能够实时监控网络中的数据流量，发现 潜在的攻击行为并做出迅速的响应。所以，它拥有更广阔的研究和应用空间。 2 以检测方式为研究对象入侵检测技术可以分为基于误用( 特征) 的入 侵检测技术和基于异常的入侵检测技术引：前者的技术基础是分析各种类型的 攻击手段，并找出可能的“攻击特征”集合，并利用这些特征集合或者对应的 规则集合，对当前的数据来源进行各种处理后，再进行特征匹配或者规则匹配 工作，如果发现满足条件的匹配，则指示发生了一次攻击行为；后者假设对攻 击行为的检测可以通过观察当前活动与系统历史正常活动情况之间的差异来实 现，首先建立一个关于系统正常活动的状态模型并不断进行更新，然后将用户 当前的活动情况与这个正常模型进行对比，如果发现了超过设定阈值的差异程 度，则指示发生了非法攻击行为。 相比异常入侵检测技术而言，误用入侵检测技术具备更好的确定解释能力， 即明确当前发生的攻击类型。另外，误用入侵检测具备较高的检测率和较低的 误报率，开发规则库和特征集合相对于建立系统正常模型而言，也更要方便、 更容易。其主要缺点在于一般只能检测到已知的攻击模型，模式库只有不断更 新才能检测到新的攻击行为。而异常检测的优点就是可以检测到未知的攻击， 尽管可能无法明确指示是何种攻击类型。 具体来讲，结合不同的技术产生了不同种类的入侵检测模型，大体可分为 如下几种： 1 基于统计分析的入侵检测模型该模型通过对系统的审计数据的分析， 建立起基于统计的正常行为特征描述。特征描述可以是登陆时间和位置、c p u 的使用时间及文件存取属性等。在进行检测时，检测模型将系统中的审计数据 与已建立的正常行为特征比较，如果相异度大于设定的阈值，则判断该行为是 入侵行为。这种技术在用户工作模式比较稳定的信息系统环境中会十分有效， 如果用户行为变化幅度较大，将会导致较高的误报率。 2 基于专家系统的入侵检测模型该模型将入侵或攻击行为编码成专家系 统规则，一个规则以“i f 条件t h e n 动作”的形式表示，其中条件描述了对审已 记录中每个域的约束，动作描述了当规则被触发时应采取的措施。依据这些规 则，通过模式匹配在审计跟踪中进行检测。这种入侵检测技术弥补了基于统计 分析入侵检测技术的不足，但也存在局限性：一是规则只能包含已知的攻击行 哈尔滨理工大学工学硕士学位论文 为，不包含未知的攻击行为；二是未触发规则的行为将躲过检测。因此，只有 当规则库庞大到足以检测绝大部分的非法攻击时，基于该技术的入侵检测系统 才是有效的。 3 基于数据挖掘的入侵检测模型该模型利用数据挖掘在有效利用信息方 面的优势，将入侵检测视为一类数据分析过程，研究审计数据建模的可行性和 有效性，并构造出检测模型。其关键问题在于检测模型的生成，目前数据挖掘 中最常见的分析技术包括诸如分类分析、聚类分析、关联分析和序列分析等技 术。由于入侵检测的主要目标是区分正常行为和异常行为，因此分类分析和聚 类分析较多地应用到入侵检测研究中。 4 基于神经网络的入侵检测模型神经网络具有许多优良的特征，将神经 网络引入入侵检测可以达到很好的效果： ( 1 ) 神经网络的容错性便于分析各种日志和网络数据，因为这些数据常常 是不完整或有一定的失真。 ( 2 ) 神经网络较高的处理速度有利于实时地保护计算资源，检测入侵攻击 并完成快速响应。 ( 3 ) 神经网络的输出是以概率形式表示，它给出的是对入侵的预测。 ( 4 ) 神经网络的自适应学习能力可以通过学习获得检测经验，以提高辨认 攻击过程的事件可能发生的位置的能力，如果发现某信息是入侵企图，则该信 息可以引发一系列相应的处理事件。通过跟踪这些事件的后继事件，系统能够 提高分析事件的能力并能在攻击完成前采取相应的防护措施。除此之外，神经 网络还可以学习误用攻击的特性并确定以前未观察到的行为实例，通过训练系 统以具有较高的检测率。 5 基于免疫原理的入侵检测模型正如前文所述，免疫原理的特性与入侵 检测要求的性能指标极其相似，将免疫原理的应用到入侵检测系统中为入侵检 测研究领域提供了一条新的研究方向，而且取得了巨大的成就。该模型的核心 技术是如何区分“自体”和“非自体”，如何得到合格的检测器集是最重要的 研究热点。 1 3 免疫入侵检测技术研究现状 1 3 ，l 国外研究现状 自从1 9 9 4 年k e p h a r t 首次提出了将免疫原理应用到计算机安全系统的思想 哈尔演理t 人学t 学坝i j 学位论文 以来，国外在该领域的研究已经有十几年的历史。具有罩程碑意义的大事件如 下： 1 9 9 7 年美国新墨西哥大学的f o r r e s t 等人提出了构建基于免疫的计算机安全 系统的基本原理。 1 9 9 8 年d a s g u p t a 将人工免疫系统与i d s 结合起来并于1 9 9 9 年提出一种多 层次框架。 1 9 9 9 年，h o m f e y r 和f o r r e s t 提出一种人工免疫系统模型l i s y s ，并且将它映 射到网络入侵检测这个实际的领域“。 2 0 0 2 年n a s r a o u i 等提出一个称为r i a l s 的改进模型。 2 0 0 4 年，a z z e d i n eb o u k e r c h e 提出一种新型的基于免疫原理的i d s 模型， 该模型采用z 语言，较好地描述了免疫网络的抗原识别机制，体现了良好的抗 攻击性和自适应性n 轧。 2 0 0 4 年，g e r r yd o z i e r 等人提出将人工免疫原理与遗传算法和群体智能算 法相结合，设计出了一种新型i d s n 。 最近几年，国外在该领域的研究更是取得了巨大的成就n 。旧1 。比较有名的研 究小组及其研究成果有： 美国的d a s g u p t a 研究小组提出一个基于免疫的多a g e n t j n 侵检测模型。该模 型运行遗传算法，但是最大的问题是系统负载非常大n 引。此外，该小组还提出 了可变阈值检测器( v d e t e c t o r ) 啪1 ，通过自动调节生成检测器的大小，利用较 少的检测器，实现对较大“非自体集 空间的覆盖，从根本上提高系统效率和 检测率。 英国i 拘k i m & b e n t l e y 研究小组提出了基于免疫的分布式网络入侵检测系统 模型瞳。这个模型中引入了多种免疫机制，系统的鲁棒性、多样性、轻巧性和 检测性能的可扩展性等方面都有一定的改善。该模型由两个部分组成：通往某 子网络的两个路由器之间的一台主机形成中枢i d s ，该子网络中若干台主机构成 周围i d s 。该模型的算法搜索范围较大，同时模型的层次结构给系统带来了较多 的通讯工作量。 1 3 2 国内研究现状 在我国，入侵检测技术的研究从九十年代末期才开始，相对起步较晚，研 究还是处于初级阶段，还只是停留在大学相关专业及研究所内进行研究。但是 我国对该领域的研究给予了相当大的投入，先后启动的国家8 6 3 信息安全应急计 哈尔i 冀删t 人学t 学坝l 学位论上 划、国家8 6 3 高科技计划等中包含了相关研究项目。目前对于该领域的研究已经 取得很大进展，主要研究成果有： 武汉大学梁意文教授的利用免疫原理对大规模i d s 的预警技术，通过动态 更新自体集合的手段达到动态的控制人工免疫系统的识别能力的要求他引，缺点 是对于自体的更新需较多的人为控制，对系统效率存在潜在的负面影响；同时， 他还提出一种基于免疫的克隆选择算法，在算法中引入否定选择算子以降低误 报率妲驯。 四川大学李涛教授提出了基于免疫的大规模网络入侵动态取证，以及网络 安全风险与控制等技术幢引。提出了新的自体自然动态定义方法，避免了成熟细 胞训练的时空代价呈指数增长的难题幢5 1 ；提出了基于抗体浓度的网络安全风险 定量检测模型，研究了系统面临某些攻击时的风险和系统的整体综合风险忙引。 信息安全国家重点实验室戴英侠教授采用扩展的有向图来表示攻击类别及 其逻辑关系，按照后向匹配规则和缺项匹配的方式对报警进行关联，根据已关 联攻击链的累计权值和攻击逻辑图中各分支的权值计算其可能性，提出基于入 侵意图的复合攻击检测和预测算法幢7 。 中国科学技术大学罗文坚提出了一种有效的检测器自适应生成算法幢引，能 够依据实际情况不断调整当前检测器集合，在仅用较小的检测器集就能够快速 检测到大规模非自体空间中的异常变化的同时，也保证了算法的普适性，对各 种异常检测问题具有一定的适用性。 哈尔滨理工大学王大伟提出利用蒙特卡洛积分法和模拟退火算法对实值检 测器集优化覆盖问题进行研究心引。首先用蒙特卡洛积分法来估计自体( 非自体) 空间的体积，并利用模拟退火法来优化非自体空间的抗体分布。这样处理可以 使检测器更合理地覆盖非自体空间，还可以计算出给定空间需要抗体的数量。 1 4 免疫入侵检测当前存在的问题和研究热点 1 4 1 当前存在的问题 免疫入侵检测技术虽然发展很快，但毕竟研究的时间还很短，其中有许多 问题有待解决且必须解决： 1 检测器表示问题当前主要的表示方法有二进制表示法和实值表示法， 分别针对不同的攻击类型。二进制表示简单易行，但是这种方法有一个明显的 缺点：自体和非自体之间的区别太“硬”。在实际情况中，许多问题需要一个“软” 哈尔j 宾理t 人学t 。学顺l 学位论艾 的区别，即：系统的输出必须是一个异常度( 弹性机制) ，而不是像二进制表示 那样非是即非，从而造成了在实际的检测中对于些特定的攻击，比如：d o s 攻击等的检测率较低且误报率较高；实值表示法使用实值表示检测器，针对的 攻击类型比二进制检测器要广泛很多。但是实值表示法目前发展还很不成熟， 存在一些很棘手的问题有待解决，尤其在设计和实现上孔。 2 检测器生成算法问题为了提高入侵检测系统的检测性能，i d s 需要足 够的、有效的检测器。但是，目前的检测器生成算法在生成效率上表现得并不 稳定。当前主要的算法主要是穷举法、贪婪算法、否定选择算法、肯定选择算 法等。穷举法在字符串匹配上耗费了大量的时间，很不可取。坦1 ：贪婪算法通过 消除冗余的检测器改进了线形算法的效率，同时保证了生成的检测器能够尽量 多地覆盖非白体空间，但缺陷是为了得到完全的检测器集合要牺牲产生检测器 的速度，使得算法的复杂性大大增加m 1 ；目前研究的热点是否定选择算法，而 且研究日趋成熟；另外，原来一向认为效果不好的肯定选择算法现在又重新被 提了出来，z h o uj i 和d i p a n k a rd a s g u p t a 指出，否定选择算法和肯定选择算法二 者之间，选择哪个算法更好一些是由很多因素决定的，不能单纯地认为否定选 择算法就比肯定选择算法好引。 3 算法的有效性问题理想的i d s 要求高检测率和低误报率，但目前许多 较为成熟的算法，在检测器的分布均匀性上和检测率的测量技术上，存在很多 问题，由于检测器集覆盖空间的黑洞问题和重叠问题，导致要么检测率很高， 误报率也很高而且检测效率低下，要么误报率低但检测率也不高。同时，在测 量攻击的来源上，目前还没有很好的办法。 另外，免疫入侵检测技术存在的问题还有很多，如检测系统自身的安全性 以及检测系统的易用性等，有必要加大投入对入侵检测进行更深入的研究。 1 4 2 当前的研究热点 针对以上问题，国内外已经有许多可行的理论和方法，有许多方法是现在 研究的热点： 1 二进制检测器当前最基本的二进制检测器生成算法主要还是否定选择 算法，主要的匹配规则有两种：海明距离匹配5 l 和r 连续比特匹配。蚓。同时， 针对否定选择算法的改进算法也有很多：基于有限状态机协议分析的入侵检测 器算法”川、检测器长度可变的非选择算法。圳等。这些方法都有各自可取的地方， 同样也有许多问题有待进一步研究和改进。 呛尔滨胖t 人学t 学f 哆! j 。学位论文 2 实值检测器该方向的研究是当前免疫入侵检测研究的新热点。由于开 始时f b j 比较晚，所以其实现方法主要还是利用二进制检测器研究中的比较成熟 的一些方法进行移植和改进。比如：基于可变半径的实值否定选择算法”坤1 、随 机实值否定选择算法“等。 3 检测器分布优化策略目前在此方面研究的还比较少，有些也只是提出 一些理论和设想。其中，z h o uj i 在边境困境问题和估计检测器分布区域问题上 进行了初步研究n 2 们；有人把蒙特卡罗算法引用到该方面内进行研究，也取得一 定的进展n4 。：还有人提出摒弃欧氏距离( e u c l i d e a nd i s t a n c e ) 而改用曼哈顿距离 ( m a n h a t t a nd i s t a n c e ) 的理论剥。 另外有文献指出，在实际检测中，可以通过调整检测器匹配阈值来提高检 测率和降低误报率n 引。在这个方向上的研究也是一个热点。 1 5 论文主要研究内容 1 5 1 课题来源 本课题来源于国家自然科学基金项目( 编号6 0 6 7 1 0 4 9 ，基于免疫的检测理 论与技术研究) 。该项目由我的导师张风斌教授申请并负责。 1 5 2 本文主要工作 本文大量翻阅前人的文献资料，了解当今世界该研究领域的现状和前景。 由于检测器是免疫入侵检测的研究重点，而目前检测器又分为二进制和实值两 种表示形式，所以本文分别对其进行研究：对于二进制检测器，研究重点是检 测器生成算法中匹配规则的分析；对于实值检测器，研究重点是自体集的优化 和检测器生成算法的改进。从而达到免疫入侵检测系统获得高质量检测器，提 高系统检测性能的目的。具体研究内容如下： 1 二进制检测器该方向的研究重点是检测器生成算法，算法匹配规则有 两种：海明距离( h a m m i n g ) 匹配规则、r 连续比特( r c b ) 匹配规则。但是， 经过分析发现，无论使用哪种匹配规则，算法都有明显的不足。于是本文提出 一种基于混合匹配规则的检测器生成算法：h a m m i n g 总体匹配的分段r c b 匹配 否定选择算法。并给出具体算法和实验分析。 2 实值检测器自体数据来自实际网络数据。由于网络环境中的各种因素， 实值表示法的自体集中存在不可避免的错误自体数据，同时，自体数据重叠率 哈尔滨理工大学工学硕士学位论文 很高。用错误的自体来生成检测器，必然造成检测器集黑洞问题，自体的高重 叠率也直接影响了检测器的生成效率。于是，在生成检测器之前，有必要对自 体集进行预处理。所以，本文原创性地提出实值自体集优化理论并给出具体的 解决办法。对于实值检测器生成算法，我们摒弃了原始的生成算法，而采用改 进的实值否定选择算法，要求检测器半径根据自体半径来确定。 1 5 3 本文的组织结构 第1 章阐述课题的研究背景和意义，对免疫入侵检测系统进行总体概述， 分析课题国内外研究现状以及目前存在的问题和研究热点，并给出本文主要研 究内容和总体结构框架。 第2 章介绍免疫原理的基本知识，总结免疫机制的性质和特点。将免疫原 理和入侵检测进行比较，并从数学的角度对免疫系统和入侵检测系统的相关理 论进行形式化描述，给出免疫入侵检测系统的总体框架。 第3 章研究二进制检测器。首先介绍相关知识，引出否定选择算法。然后 分析二进制检测器生成算法目前存在的问题，并提出一种二进制混合匹配规则 否定选择算法，最后对算法进行实验分析和论证。 第4 章研究实值检测器。首先介绍相关知识，针对实值自体集存在的错误 自体和边界交叉等问题，提出自体集优化理论并给出具体方法。然后针对当前 实值检测器生成算法生成的检测器效果不好等问题，提出一种改进的实值否定 选择算法：检测器半径依自体半径决定的实值否定选择算法。 第5 章对第4 章的实值检测器自体集优化方法和检测器生成的改进算法进 行实验论证，利用仿真实验和真实数据实验，证实了自体集优化方法和改进的 检测器生成算法的优越性。 哈尔滨理工大学工学硕士学位论文 2 1 引言 第2 章免疫原理与入侵检测系统 传统的入侵检测技术从定义入侵模式开始，然后把采样的模式与这些入侵 模式进行匹配来进行检测。这样使得系统失去了多样性和自适应性，尤其对已 知攻击的变种和未知攻击的检测无能为力，而且在检测性能、灵活性等方面已 远远不能满足需要。 本章首先介绍入侵检测技术目前的性能弊端及发展趋势，然后给出免疫原 理的相关知识，对比免疫原理与入侵检测，为免疫原理应用到入侵检测系统提 供充分的依据，最后给出免疫入侵检测相关理论表示和系统框架。 2 2 当前入侵检测技术的性能弊端和发展趋势 2 2 1 性能弊端 目前的入侵检测技术，在技术实现和体系结构等方面，还存在许多局限性 和不足。 1 可扩展性一个好的i d s 应该能够根据其应用环境进行灵活配置，检测 方法不应该对检测系统的环境做出假设，否则将会影响检测系统的可扩展性。 但当前的i d s 都依赖于操作系统、网络结构等外部环境，扩展性并不好。 2 可维护- 性维护一个i d s 所需要的技能远远超过专门的安全知识更新规 则集，需要了解专家系统规则语言，并理解系统如何处理这些规则，如此才能 够避免系统中己有规则和新增规则之间不必要的关联。为统计检测模块增加新 的统计变量时也存在同样的问题。同时系统的自适应能力差，软件的配置和使 用复杂，不能自动地适应环境。 3 可移植性入侵检测技术及相关标准化仍处于研究与开发阶段，各个标 准没有类似的机制，限制了攻击的检测能力：i d s 之间难于协同和交换信息， 因此要建立一种大型网络的安全预告系统是很难的。如果一开始就设计成一种 通用模式，又可能遇到通用模式下的系统效率较低、功能受限的问题。 4 自适应性中心控制台对攻击数据的关联和分析能力不足，人工参与过 多。系统的自适应能力差，软件的配置和使用复杂，不能自动地适应环境，需 哈尔滨理工大学工学硕士学位论文 要安全管理员根据具体的环境对软件进行复杂的配置。 5 检测效率实际的i d s 通常很难检测出具有欺骗性的入侵。异常检测的 计算代价非常大，因为系统维护的活动记录要随着每个事件更新。误用检测一 般都采取专家系统来编码和匹配攻击特征，需要解释规则集，因而运行时刻费 用很高。同时现有i d s 的性能也不能够适应高速网络发展。安全策略和安全目 标。入侵检测系统的内部各部件缺乏有效的信息共享和协同。 2 2 2 发展趋势 入侵检测研究已经取得了长足的进展，但是，在系统体系结构、检；贝l i 方法 和测评等方面均存在许多问题；同时，网络技术的发展和攻击的复杂化、多样 化，对入侵检测技术的研究提出了更高的要求： 1 智能化检测方法是入侵检测研究的重点。由于网络攻击方法的多变性和 复杂性，导致现有检测方法的检测率达不到性能要求并且具有较高的误报率。 为克服现有系统的缺陷，数据挖掘、神经网络、智能体等方法广泛应用到入侵 检测研究中。 2 分布式入侵检测与通用入侵检测架构是i d s 体系结构的发展方向。围绕 分布式结构，重点解决数据标准、通信协议、数据分析技术等关键技术。 3 入侵事件关联分析与报警信息融合成为入侵检测技术研究的一个新的重 要领域。传统i d s 根据单一检测手段常常得到的是不完善的信息，而入侵行为是 一个非常复杂且具有个性化的行为，仅仅依据某一方面的检测信息得出的结论， 其可靠性、准确性都无法得到保证。利用入侵事件关联分析与报警信息融合， 可以将多个入侵检测器的检测结果进行组合和相互验证，达到精简入侵事件报 告、消除误报、提高检测率的作用。 4 性能测评方法逐渐成为入侵检测研究的一个重要内容。用户需要对众多 的i d s 进行评价，研究人员也希望对自己设计和开发的i d s 性能进行测试，设计 出通用的测试与评估方法，实现对多种i d s 的测评成为当前入侵检测研究的另一 个重要研究与发展领域。 5 入侵容忍技术的研究和应用是入侵检测研究的一个新方向。目前，入侵 检测技术大多针对己知的攻击类型，对于未知的攻击无法全部发现，同时入侵 检测系统的性能仍然有待提高。如何保持系统在遭受入侵或攻击时依然能够提 供服务就显得相当重要。 n 合尔滨理t 人学t 学硕l 学位论义 2 3 免疫原理和特性 免疫学是研究机体免疫系统的组织结构和生理功能的科学n 引。免疫是指机 体对感染具有抵抗能力从而不患疾病或传染病。免疫系统具有免疫识别、免疫 细胞的分布检测、免疫调节、免疫记忆、免疫耐受等功能特征。这些特点恰好 可以满足i d s 的要求。将免疫原理运用到入侵检测技术中为研究者开辟了新的思 路。 生物免疫系统b i s ( b i o l o g i c a li m m u n es y s t e m ) 是生物体执行免疫功能的机 构，是产生免疫应答的物质基础。免疫系统是由免疫活性因子、免疫细胞、免 疫组织和器官组成的复杂系统n 8 1 。它能准确地识别“自体j e 自体”。“自体” 指生物体自身的细胞和分子，“非自体”指病原体。 b i s 通过分析和学习进入体内的外在物质，并且同时产生抗体来消灭入侵 的抗原，这个过程叫做免疫响应。b i s 最大的特点是免疫记忆、抗体的自我识 别能力和免疫多样性。b i s 具有以下特征： 1 耐受性免疫耐受指免疫活性细胞接触抗原性物质时所表现出来的一种 特异性的无应答状态。它是免疫应答的一种重要类型。外来的或自身的抗原均 可诱导免疫耐受。生物体内随机产生的受体由于体细胞的高频变异，能与自体 结合，引起自体免疫，自体免疫将导致b i s 攻击自己。而实际上，通过免疫耐 受，正常的b i s 不攻击自己，与自体结合的抗原将被杀死。 2 认知能力认知能力包括对物体的识别和对自体的识别。免疫学中，认 知强调的是免疫系统和抗原相遇时，能认识知道它所寻找的东西，也就是内部 组织赋予其某一种意识。能够从生物体自体细胞或自体分子和外因感染的微组 织中检测并消除病毒等病原体本身以及因感染而引起的机能不良、功能紊乱、 功能障碍等症状。 3 学习能力学习指系统能够通过某种过程而改进它的性能叭。免疫学习 包括：有害非自体识别过程；提高相关淋巴细胞群体数量和亲和力，清除低亲 和力细胞繁殖体。学习的结果是免疫细胞的个体亲和力提高，群体规模扩大， 并且最优个体以免疫记忆的形式得到保存。b i s 的学习机制将使机体的指令系 统进化为能更清晰地反映实际抗原环境的指令系统。 4 记忆能力b i s h 匕够记住由自适应性学习得到的入侵病原体的特征结构， 在以后遇到结构或特征相似的入侵时它能快速地做出反应。这种记忆特点促使 系统能够对已知的入侵病原体进行检测。 哈 ：请理t 凡学t 学哦l 学位论文 5 多样性和并行性多样性可以归纳为两个方面：。_ 方面是免疫细胞多样 性，另一方面是抗体多样性。b i s 中抗体的数目要远低于外部可能抗原数目， 抗体多样性可以保证b i s 中少量抗体对众多抗原进行识别并消除。抗体多样性 的生物机制主要包括抗体的组合方式、体细胞高频变异及其基因转换等忡1 。并 行性是指在b i s 中，检测器的产生、异物的识别和清除，以及对感染模式记性 等过程都是并行进行的。 6自适应性分散于机体的各个部分的淋巴细胞采用学习的方式实现对特 定抗原的识别。同时，通过分化为效应细胞和记忆细胞分别实现对抗原的有效 清除和记忆信息的保留。适应性加快了免疫响应。 7 多层次性和分布性b i s 的结构是多层次的，由分布在几个层次的防御 系统组成“，如图2 - 1 所示。最外层的是皮肤。第二道屏障包括体温和p h 值等。 第三层和第四层，即固有性免疫应答( i n n a t ei m m u n er e s p o n s e ) 和适应性免疫 应答( a d a p t i v ei m m u n er e s p o n s e ) 对病菌发起有效的免疫反应，分别在病菌感 染的早期和中后期执行免疫功能，保护机体的安全。分布性取决于抗原的分