（模式识别与智能系统专业论文）基于免疫算法的混合智能系统在异常检测中的应用研究.pdf

摘要 异常检测作为信息安全保障体系结构中的一个重要组成部分，很 好地弥补了访问控制、身份认证、防火墙等传统保护机制所不能解决 的问题。然而传统的异常检测系统在有效性、适应性和可扩展性方面 都存在不足，尤其是在遇到新的入侵类型时变得无能为力。针对这些 不足，本文提出基于免疫算法的混合智能系统，并将其应用到异常检 测研究中。 本文首先在对异常检测基本知识等进行介绍的基础上，提出了基 于免疫算法混合智能系统的异常检测方案。本文综述了国内外异常检 测的研究现状和应用成果，深入分析了异常检测的基本理论，并介绍 了经典算法，以及对各种方法进行了综合比较。接着在基本理论分析 的基础上，本文构建了集粗糙集理论、聚类理论、模糊逻辑理论、免 疫算法理论、人工神经网络理论于一体的一个新的混合智能系统 r - f c c s n n 。它先通过粗糙集将输入数据进行约简，然后用聚类技 术将简化后的数据进行聚类，对不同的聚类使用经过克隆选择免疫算 法改进了的神经网络进行训练，接着将这些经过不同神经网络训练的 数据用模糊权值组合起来，放入新的用克隆选择免疫算法改进了的神 经网络再进行训练，从而完成分类的整个训练过程。并且通过u c i 下的6 个经典数据集，对模型的有效性进行了初步检验。 最后，本文在k d d 9 9 提供的实验数据基础上，经过预处理、特 征属性选取等步骤，使用本文提出的基于免疫算法的混合智能系统， 对入侵行为进行了检测，实验结果证明本文提出的模型具有较好的使 用效果。 关键词：免疫算法；混合智能系统；异常检测；神经网络 a b s t r a c t a n o m a l yd e t e c t i o n ，a sa ne s s e n t i a lc o m p o n e n ti nt h ei n f o r m a t i o n s e c u r i t ya s s u r a n c ef r a m e w o r k , s e r i e st h ei s s u e si nw h i c ht r a d i t i o n a l m e t h o d ss u c ha sa c c e s sc o n t r o l ，i d e n t i f i c a t i o na u t h e n t i c a t i o na n df i r e w a l l c o u l d n t h a n d l e h o w e v e r , c u r r e n ti n t r u s i o nd e t e c t i o ns y s t e m sl a c k e f f e c t i v e n e s s ，a d a p t a b i l i t ya n de x t e n s i b i l i t y , a n de s p e c i a l l ym e yb e c o m e i n e f f e c t i v ei nt h ef a c eo fn e wk i n do fa t t a c k s a i m e da tt 1 1 e s e s h o r t c o m i n g s ，t h i s t h e s i st a k e sad a t a - m i n i n gv i e wt ob r i n gf o r w a r d h y b r i di n t e l l i g e n ts y s t e m sb a s e do nt h ei m m u n ea l g o r i t h m ，a n di ti sp u t i n t ot h er e s e a r c ho fa n o m a l yd e t e c t i o n a f t e ri n t r o d u c i n gt h eb a s i ck n o w l e d g ea b o u ta n o m a l yd e t e c t i o n ，t h i s t h e s i sp r e s e n t sam i x e da n o m a l yd e t e c t i o ns c h e m eb a s e do nd a t am i n i n g t h et h e s i ss u m m a r i z e st h er e s e a r c h i n ga c t u a l i t ya n dt h ep r o d u c t i o no f a p p l i c a t i o n , t h e na n a l y s e st h es t a n d a r dt h e o r i e so fa n o m a l yd e t e c t i o n d e e p l y m o r e o v e r , t h et h e s i ss y n t h e s i z e sa n dc o m p a r e se v e r yc l a s s i c a l a l g o r i t h m b a s e do nt h et h e o r ya n a l y s i s ，t h ea u t h o rp r o p o s e san e wh i s ： r - f c - c s n n a c c o r d i n g t or o u g h s e t 、c l u s t e r i n gt h e o r y 、f u z z yl o g i c 、 i m m u n ea l g o r i t h ma n da r t i f i c i a ln e u r a ln e t w o r k f i r s t l y ，r f c - c s n n u s e st h er o u g hs e tt or e d u c et h ed a t a a n dt h e ni tc l u s t e r st h ed a t au s e d t h ec l u s t e r i n gt h e o r y a f t e rt h a ti tb s e sd i f f e r e n ta n di m p r o v e da n n w h i c hi si m p r o v e db yc l o n i n gs e l e c ta l g o r i t h mt ot r a i n s u b s e q u e n t l y t h ed a t at r a i n e di sf a b r i c a t e db yf u z z yp o w e r l a s t l y , t h ed a t ai st r a i n e d b y a n o t h e ri m p r o v e da n nw h i c hi si m p r o v e db yc l o n i n gs e l e c ta l g o r i t h m a n dt h ew h o l ep r o c e s so f t r a i n i n gi sc o m p l e t e d b ys i xc l a s s i c a ld a t a s e ti n u c i ，t h ev a l i d i t yo f t h em o d e li st e s t e d a tl a s t ，w ed e s c r i b ei nt h e p r o c e s s o fb u i l d i n gm a n ys u b s e t s h i e r a r c h yc l a s s i f i c a t i o nm o d e l sf r o md a t ap r o v i d e db yk d d 9 9 a n dt h e d a t ad e t e c tt h ea c t i o no fi n t r u s i o nb yt h eh y b r i di n t e l l i g e n ts y s t e m sb a s e d o nt h ei m m u n ea l g o r i t h m f i n a l l y , t h er e s u l tp r o v e st h a tt h em o d e lw h i c h i sp r o p o s e dh a sb e t t e ru s i n ge f f e c t k e yw o r d s ：i m m u n ea l g o r i t h m , h y b r i di n t e l l i g e n ts y s t e m s ，a n o m a l y d e t e c t i o n ，n e u r a ln e t w o r k 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：叁 进 生日期： 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：叁旦导师签黜) 日期塑r _ 年三月旦日 硕士学位论文 第一章导论 1 1 引言 第一章导论 1 1 1问题的提出 人工智能( a r t i f i c i a li n t e l l i g e n c e ，简称a i ) 自2 0 世纪5 0 年代问世以来， 已经取得了丰硕的成果，并且广泛应用于机器学习、过程控制、经济预测、工程 优化等各大领域，引起了这些领域革命性的变化【1 1 。但是回顾4 0 多年的曲折发 展历程，人工智能并未象人们预料的那样取得巨大的成功，许多研究者深感现在 的人工智能离真正的智能还差得很远。开始从方法论到技术实现各个层次对传统 a i 理论及技术的局限性进行反思，认为在计算机科学中，智能行为不能用简单 的教学模型描述，人工智能应该从生物学而不是物理学受到启示，基于“还原论” 的传统a i 应该转向“进化论”1 2 j 。 事实上，生命现象和生物的智能行为一直为人工智能研究者所关注，尤其是 近l o 年人工智能的成就与生物有着密切关系，不论是从结构模拟的人工神经网 络，还是从功能模拟的模糊逻辑系统，还是着眼于生物进化微观机理和宏观行为 的进化算法，都有仿生的痕迹。也正是模仿生物智能行为，借鉴其智能机理，许 多解决复杂问题的新方法不断涌现，丰富了人工智能的研究领域。 人工免疫系统是模仿自然免疫系统功能的一种智能方法，它实现一种受生物 免疫系统启发，通过学习外界物质的自然防御机理的学习技术，提供噪声忍耐， 无教师学习、自组织、记忆等进化学习机理，结合了分类器、神经网络和机器推 理等系统的一些优点，因此具有提供新颖的解决问题方法的潜力。其研究成果涉 及到了许多科学研究领域，已经成为继神经网络、模糊逻辑和进化计算后人工智 能的又一研究热点1 3 “。 多年来，生物成为许多发明家创新的灵感源泉，他们已经从许多角度开创不 同的学科来研究生物体系，其中一个重要领域就是生物信息处理系统。免疫系统 是一种高度进化的生物信息处理系统，能够识别和消除病原体，具有学习、记忆 和模式识别能力，因此可以研究借鉴其信息处理机制解决工程和科学问题。实际 上，对免疫系统与神经网络、模糊、进化这四种生物现象和信息处理体系的借鉴 和利用已经逐步形成了一个新兴的学科一混合智能系统。 当今，许多领域都存在着异常，例如电信和信用卡欺骗、灾害气象、网络入 侵等等。异常检测研究具有十分重要的实际意义。异常检测【6 1 通过定义正常行为 来区分异常行为，它能够检测到未知入侵模式。它的核心思想就是把正常数据和 硕士学位论文 第一章导论 异常数据区分开来。随着计算机技术的应用与发展，异常检测成为国内外学术界 研究的热点问题。随着数据挖掘技术的发展，为了处理大数据量的异常检测问题， 聚类 7 1 、分类嘲等数据挖掘技术，神经网络技术 9 1 也作为异常检测的新技术涌现 出来。这些方法一定程度上解决了异常检测的问题，但它们也存在着不少缺陷， 以上诸多方法还缺少学习进化能力、自适应能力等，使系统的灵活性和准确性不 够。 当今世界上各种科学技术相互交叉、渗透，许多研究课题已经不能单靠一个 领域的理论和方法能够解决，许多边缘学科正是多个领域的不断扩展。在异常检 测方面也出现同样的问题，目前仅靠单一的方法很好地解决异常检测中的问题已 不太现实。而引用混合智能系统则可以克服在单一方法中存在问题，使异常检测 可以继续深入地发展下去，为此本文提出基于免疫算法的混合智能系统在异常检 测中的应用研究。 1 1 2 研究背景 本文的主要研究背景基于人工免疫系统的诞生、发展，通过构建基于免疫算 法的混合智能系统的结构框架，将其应用于异常检测研究应用中。 1 时代的挑战 多年来，生物成为许多发明家创新的灵感源泉，他们已经从许多角度开创不 同的学科来研究生物体系，其中一个重要领域就是生物信息处理系统。免疫系统 是一种高度进化的生物信息处理系统，能够识别和消除病原体，具有学习、记忆 和模式识别能力，因此可以研究借鉴其信息处理机制解决工程和科学问题。实际 上，对免疫系统与神经网络、模糊、进化这四种现象和信息处理体系的借鉴和利 用已经逐步形成一个新兴的学科一生物计算智能系统。 2 工程应用的需要 异常检测是安全保护体系结构中的一个重要的组成部分。传统的入侵检测系 统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 总的来说还存在一些不足：系统建立的速度 慢、更新代价高，而且更重要的是难于与新的检测模型相结合；面对日益更新的 网络设施和层出不穷的攻击方法，目前的入侵检测系统显得缺乏有效性、适应性 和可扩展性。因此需要用一种更加系统化、自动化的方法来构造入侵检测模型。 本文研究的基本思想以数据为中心，把异常检测看成是一个数据分析过程。本文 主要研究用基于免疫算法的混合智能系统实现对异常行为的检测。 3 学科的发展 1 9 7 4 年，美国诺贝尔奖获得者，生物学家、医学家、免疫学家j e r n e 提出了 免疫网络理论而引起关注【1 0 1 。继该文之后，f a r m e r 、p e r e l s o n 、b e r s i n i 、v a r e l a 等理论免疫学者分别在1 9 8 6 年、1 9 8 9 年和1 9 9 0 年发表了有关论文，在免疫系 2 硕士学位论文第一章导论 统启发实际工程应用方面做出突出贡献，其中f a r m e r 的关于免疫系统与机器学 习的研究是具有创造性和开拓性的工作，他们的研究工作为建立有效的基于免疫 原理的计算系统和智能系统的发展开辟了道路【u 】。另外，v a r e l a 在1 9 8 9 年讨论 了免疫网络以某种方式收敛的思想以及免疫系统能够通过产生不同的抗体和变 异适应新环境的思想，都为使免疫系统成为有效地解决工程问题的灵感源泉做出 巨大贡献。由此诞生了一个崭新的研究领域一人工免疫系统( a r t i f i c i a l i n 3 1 n u n e s y s t e m ，a i s ) 1 2 1 。 4 方法一混合智能系统h i s ( h y b r i d i n t e l l i g e n ts y s t e m s ) 早在1 9 9 1 年，越领域的著名专家m i n s k y 就认识到研究不同智能技术组成 的人工智能系统的必要性。9 0 年代初，钱学森教授也提出了综合集成研究更是 将机器体系、专家体系和知识体系有机结合起来而构成的一个高度智能化的人机 结合系统。现已出现多种智能方法，如模拟退火( s a ) ，遗传算法( g a ) ，神经 网络算法( a n n ) ，免疫算法( 认) 等。混合智能系统则为了克服单一算法由于 问题规模和复杂度越来越大所带来的局限，将两个或两个以上的算法有机的结合 起来，共同解决问题而提出来的。 1 1 3 研究目的 本文在综述目前混合智能系统发展的基础上，旨在分析和改进免疫算法用于 更好地优化神经网络，提出一种基于免疫算法的混合智能系统的异常检测算法， 以使该算法在异常检测中速度、精确性、鲁棒性等方面得以改善。具体目的如下： 1 综述目前混合智能系统发展的热点 混合智能系统是人工智能领域一个新的研究方向。它是一种综合集成的方 法，通过将各种方法有机结合起来，扬长避短，以获得各种模型整合功效，从而 解决异常检测问题。将混合智能系统引入异常检测算法的研究，必将能使异常检 测算法在速度、精确性、鲁棒性等方面得到改善。本文旨在分析免疫优化算法特 点和神经网络的基础上，提出改进算法，并将与其他算法组成的混合智能系统引 入异常检测算法的研究中去。 2 分析和改进免疫算法用于更好地优化神经网络 免疫算法的研究虽然开始较晚，但是它在理论方面与遗传算法的相似之处迅 速被研究人员发现，一些研究人员利用遗传算法研究免疫系统的方法，因此基于 免疫原理的计算方法也可以看做是遗传算法的补充。采用改进的免疫算法可以应 付入侵抗原的变种，从而进一步提高免疫反应的识别多样性，有助于防止陷入局 部最优解和优化早熟收敛。相反，神经网络具有局部寻优强而全局性较差的特点， 在速度、精确度和鲁棒性上存在问题，因此有必要对各类算法进行综合分析，对 其进行改进。 硕士学位论文第一章导论 3 基于免疫算法的混合智能系统在异常检测中的应用研究 异常检测实际上是一个“自我，和“非我”识别问题，正常状态是“自我”，异常 状态便是“非我。生物体的免疫功能与异常检测问题很类似，免疫算法也是从生 物体的免疫功能引申过来的，因此免疫算法同样也具有区分“自我”和“非我”的功 能。本文用到的混合智能系统是在粗糙集、聚类理论、神经网络、模糊逻辑和免 疫算法各分支发展相对成熟的基础上，相互融合而形成的一种新的计算方法。论 文研究的目的在于把基于免疫算法的混合智能系统应用于异常检测系统，使异常 检测在速度、精确性、鲁棒性等方面更有效。 1 2 国内外研究现状 自1 9 9 8 年w c c i 第一次在美国召开人工免疫系统专题会议后，在过去的几 年中，各类研究人员对免疫系统的研究兴趣不断增加。其中主要的研究内容之一 是将免疫系统与神经网络、模糊技术、粗糙集等自然计算、软计算技术相结合， 相互借鉴，互补长短，建立智能计算系统。本文的另一个研究背景是异常检测， 异常入侵检测经过十年的发展，已有了长足的进步，但目前还存在一些问题，如 存在过多的报警信息、自身的抗强力攻击能力差等。因此异常检测系统的设计趋 势是使系统的智能分析能力得到提高，构建智能化入侵检测。下面我们就分别对 免疫算法、混合智能系统和异常检测的研究现状进行综述。 1 2 1 免疫算法的研究现状 人工免疫系统结合了如人工神经网络、粗糙集、聚类理论等原有一些智能信 息处理的特点，在解决大规模复杂性问题方面具有很大的潜力。鉴于此，近年来 人们对人工免疫系统及相应算法的研究逐渐活跃起来。国内外人工免疫系统的具 体研究内容和范围主要包括以下两个方面【1 3 l 1 4 1 ： 第一个方面：免疫计算智能系统 自然免疫系统是一种并行和分布式的自适应系统，用学习、记忆和联想完成 识别和分类任务，特别是学习识别相关的模式，记住以前见到的模式，用组合学 高效地建立模式检测器。自然免疫系统是发展智能技术的启发源泉，研究人员已 经开发了许多基于免疫系统的计算技术，包括各种基于免疫原理的免疫算法、人 工免疫网络和免疫计算系统等。 ( 1 ) 根据生物免疫系统原理发展新的算法或对现有的免疫算法进行改进， 主要有阴性选择算法、克隆选择算法、免疫遗传算法、免疫优化算法，以及为完 成各种特定任务而设计的基于免疫原理的算法等，可统称为免疫算法。目前这方 面的研究和发展较活跃，也较为迅速。 4 硕士学位论文 第一章导论 ( 2 ) 根据生物免疫系统原理建立新的人工模型，包括人工免疫网络模型和 人工免疫系统模型两种形式。各种免疫网络学说，如独特型网络、互联耦合免疫 网络、免疫反馈网络和对称网络等，可借鉴用于建立人工免疫网络( a r t i f i c i a l l m l ：u n en e t w o r k ，简称a 矾) 认知模型。基于免疫网络理论创立发展具有更强 自组织、自学习、自适应的混合智能网络。 ( 3 ) 建立混合智能系统。将免疫系统与神经网络、模糊技术等自然计算、 软计算技术相结合，相互借鉴，互补长短，建立智能计算系统，将可用于解决采 用其他智能系统和自然计算方法、软计算方法不易解决的复杂问题，进一步丰富 免疫计算方法、自然计算方法和计算智能的研究范畴，使它们的研究内容和应用 范围更为宽广。 第二方面：免疫工程应用研究。包括各种免疫计算智能技术在工程中的应用 研究，建立利用生物免疫系统某一特性或某些特性解决特定工程问题的人工智能 系统。例如，基于对免疫反馈和学习原理的研究，设计出具有自组织、自学习、 自调整能力的自动控制方法，还可以基于免疫学原理发展各种保安系统、疾病诊 断系统、各种计算机安全和网络入侵诊断和检测系统、各种工业生产中的故障诊 断、异常检测系统等。 目前人工免疫系统研究手段和内容及应用涉及多个领域，包括医学免疫学、 计算机科学技术、计算智能、人工智能、模式识别、智能系统、控制理论与控制 工程等，是比较典型的交叉学科，其理论极为广泛和丰富，发展出的人工免疫系 统形式也是多种多样的。 1 2 2 混合智能系统的研究现状 混合智能系统研究的两种主要方法是符号逻辑方法和连接机制方法，分别以 专家系统和神经网络为代表【1 5 】。它是随着8 0 年代中期神经网络研究热潮的再次 兴起而产生的，尽管研究时间较短，但仍取得了一些进展。下面对几个具有代表 性的研究成果分别给予简单介绍和评价【1 6 1 。 美国n o r t h e a s t 大学的g a l l a n t 教授首次提出并建立了联接专家系统 ( c o n n e c t i o n i s te x p e r ts y s t e m ) ，该系统用于肉蝇病( s a r c o p h a g a ) 的诊断和治疗， 采用了一个三层局部互联网络，其中第一层为输入层，有6 个节点分别代表症 状，第二层有2 个节点表示疾病，第三层为输出层，有3 个节点表示治疗药物 该系统通过从样本学习获取知识并分布表达于网络权值和阈值中，以并行计算方 式进行推理，并可用i f t h e n 规则对推理结果解释。 美国w i s c o n s i n 大学以s h a v l i k 教授和t o w e u 博士为首的研究小组从1 9 8 9 年起，对联接机制与符号机制相结合的机器学习领域做了深入的研究，在研究将 解释学习与神经网络相结合的基础上，提出了一种基于知识的人工神经网络 5 硕士学位论文第一章导论 ( k n o w l e d g eb a s e da r t i f i c i a ln e u r a ln e t w o r k ，k b a n n ) 。它利用不完善的领域理 论和带有噪音的数据进行解释学习，产生一种近似正确的规则树，用其构造初始 神经网络，对该网络用b p 算法进行训练，形成正确表示目标概念的网络，最后 从训练好的网络中提取出最终符号知识。t o w c l l 证明用k b a n n 方法进行知识 求精时，比纯符号求精系统要好。 美国a m e r i c a n 大学的m e d s k e r 教授提出了智能混合系统的5 种模型，即 独立模型、转换模型、松耦合模型、紧耦合模型和全集成模型，促进了智能混合 系统的实际应用。 美国f l o r i d a 大学的f u 教授对智能混合系统的理论和方法进行了一系列创 造性的研究，先后提出了基于知识的概念神经网络( k n o w l e d g eb a s e dc o n c e p t u a l n e u r a ln e t w o r k s ，k b c n n ) 、从神经网络中提取规则的k t 算法、规则知识的神 经网络表示方法、神经网络知识获取中的知识增长方法等，并研究了专家网络的 学习能力和泛化能力。这些研究为智能混合系统奠定了一定的理论基础。 国立新加坡大学以t c h 教授为首的研究小组提出了一种模拟人类决策思维 的神经逻辑网络( n e u r a ll o g i cn e t w o r k ，简称n c u l o n e t ) 。n e u l o n e t 能实现三值 逻辑问题求解，能处理现实问题中的不确定( 未知) 情况这种神经网络已在金 融、财经、诊断等领域取得了较好的效果。 我国中科院自动化研究所的戴汝为院士和王珏研究员，以著名科学家钱学森 院士的巨型开放复杂系统方法论从定性到定量的综合集成方法论为指导，提 出了智能系统的综合集成。该方法的基本思想是把人作为智能系统中的成员，建 立人机结合c 人的“心智”与机器的“智能”相结合) 的智能系统。 1 2 3 异常检测的研究现状 1 9 8 7 年d o r o t h yed e n n i n g 提出入侵检测系统的抽象模型，首次将入侵检测 的概念作为一种计算机系统安全防御问题的措施提出，与传统加密和访问控制的 常用方法相比，入侵检测系统是全新的计算机安全措施【 】。 早期的入侵检测系统都是基于主机的系统，1 9 8 8 年，t e r e s al u n t 等人进一 步改进了d e n n i n g 提出的入侵检测模型，并创建了i d e s ( i n t r u s i o nd e t e c t i o n e x p e r ts y s t e m ) ，该系统被设计用于检测针对单一主机的入侵尝试，它提出了与 系统平台无关的实时检测思想。1 9 9 5 年开发了i d e s 完善后的版本 - - n i d s ( n e x t - g e n e r a t i o ni n t r u s i o nd e t e c t i o ns y s t e m ) 可以检测多个主机上的入侵。 另外，在1 9 8 8 年，美国空军开发了h a y s t a c k 系统。同时，出于几乎相同的原因， 出现了为美国国家计算机安全中心m u l t i c s 主机开发的m i d a s ( m u l f i c si n t r u s i o n d e t e c t i o na n da l e r t i n gs y s t e m ) 。1 9 8 9 年，l o sa l a m o s 美国国家实验室开发了 w & s ( w i s d o ma n ds c n c e ) 系统，p l a n n i n gr e s e a r c h 公司开发了i s o a ( i n f o r m a t i o n 6 硕士学位论文第一章导论 s e c u r i t yo f n c e 培a s s i s t a n t ) a 1 9 9 0 年，h e b e r l e i n 等人提出了一个新的概念：基于网络的入侵检测 n s m ( n e t w o r ks e c u r i t ym o n i t o r ) ，n s m 与此前的入侵检测系统最大的不同在于 它并不检查主机系统的审计记录，它可以通过在局域网上主动地监视网络信息流 量来追踪可疑的行为。1 9 9 1 年，n a d i r ( n e t w o r k a n o m a l yd e t e c t i o na n di n t r u s i o n r e p o r t e r ) 与d d s ( d i s t r i b u t ei n t r u s i o nd c = t e c t i s y s t e m ) 提出了收集和合并处理来 自多个主机的审计信息从而用以检测针对一系列主机的协同攻击i l 卅。 1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 建议使用自治代理( a u t o n o m o u s a g e n t s ) 以便提高入侵检测系统的可伸缩性、可维护性、效率和容错性，该理念 非常符合正在进行的计算机科学其他领域如软件代理的研究。另一条致力于解决 当代绝大多数入侵检测系统伸缩性不足的途径于1 9 9 6 年提出，这就是 g r i d s ( g r a p h - b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和实现，该系统使得对大 规模自动或协同攻击的检测更为便利，这些攻击有时甚至可能跨过多个管理领 域。同年，f o r r e s t 等人将免疫原理运用到分布式入侵检测领域，并取得了较好效 果。1 9 9 8 年r o s sa n d e r s o n 和a b i d ak h a t t a k 给入侵检测带来了创新，他们将信 息检索技术引进到入侵检测。 异常检测是通过建立一个“正常活动”的系统或用户的正常轮廓，凡是偏离了 该正常轮廓的行为就认为是入侵；误用检测是建立在使用某种模式或者特征编码 方法对任何已知攻击进行描述这一理论基础上的。鉴于异常入侵检测系统“学习 正常、发现异常”的特点，其核心内容主要体现在学习过程中可以在检测系统中 大量借鉴其它领域的方法来完成用户行为的学习和异常的检测。 总体上讲，目前除了完善常规的、传统的技术外，异常检测应重点加强与统 计分析相关技术的研究。其主要发展方向可概括为【1 9 】： ( 1 ) 分布式异常检测与通用异常检测相结合：针对传统i d s 对异构及大规 模网络监测不足，不同的i d s 系统不能协同工作的问题，需要分布式异常检测 技术与通用异常检测架构，增强通用性。 ( 2 ) 智能化入侵检测：现阶段常用的智能化方法有神经网络、遗传算法、 模糊技术、免疫原理等，这些方法常用于异常特征的识别和泛化，使系统具有学 习能力，特征库得到不断更新与扩展，使设计入侵检测系统的防范能力不断增强。 ( 3 ) 全面安全防御方案：把网络安全作为一个整体工程来处理。从管理、 网络结构、加密技术、防火墙、病毒防护、入侵检测全方位考虑。 ( 4 ) 建立异常检测系统评价体系：设计通用的异常检测测评、评估方法和 平台，实现对异常检测系统的检测。 ( 5 ) 网络安全技术相结合：基于异常检测是主动防御的特点，它能响应攻 7 硕士学位论文第一章导论 击而不能阻断攻击的问题，结合防火墙、安全电子交易等网络安全技术，提供完 整的网络安全保障。 1 3 研究内容及论文结构 1 3 1 研究思路 本文遵循从理论到实验的研究思路。 首先研究已有的异常检测算法。对已有的算法，如免疫算法、神经网络、粗 糙集、聚类理论、模糊逻辑进行系统研究，分析各个算法的利弊，为进一步提出 新的异常检测算法打下基础。 然后从理论上分析基于免疫算法的混合智能系统。免疫算法是缘于生物系统 的启示而构造出来的随机启发式搜索算法，由于具有多样性搜索，目前已越来越 受到人们的重视。混合智能系统就是用两个或两个以上的智能算法来提高模型精 度的一种方法，本文根据这种思想建立了全新的混合智能系统r - f c c s n n 。通 过粗糙集来对冗余信息进行剔除，使经过免疫算法改进的神经网络的输入空间减 少。再通过模糊聚类算法，将分类空间进行分割，分别用不同免疫算法改进的神 经网络进行训练，从而提高神经网络的效率。最后，通过模糊逻辑将不同神经网 络得到的训练值进行汇总，并用一个新的免疫算法改进的神经网络对得到的结果 进行进一步学习，从而可提高网络的预测精度。本文提出了改进的免疫算法优化 神经网络，从而提高了系统的鲁棒性，使得基于免疫算法的混合智能具有更强的 抗噪声性。 最后，本文着重于实际应用，在前文深入研究的混合智能系统基础上，把异 常检测看成是一个数据分析过程。用基于免疫算法的混合智能系统实现对异常行 为的检测。 1 3 2 主要内容及论文结构 根据上述研究思路，研究的主要内容有： ( 1 ) 免疫优化算法研究 采用改进的免疫算法可以应付入侵抗原的变种，从而进一步提高免疫反应的 识别多样性，有助于防止陷入局部最优解和优化早熟收敛。相反，神经网络具有 局部寻优强而全局性较差的特点，在速度、精确度和可理解上存在问题，因此有 必要对各类算法进行综合分析，并比较各种方法的优缺点，对其进行改进，为 h i s 的设计作准备。 ( 2 ) 混合智能系统研究 综合粗糙集、聚类理论、模糊逻辑、免疫算法、神经网络的特点，先通过粗 8 硕士学位论文 第一章导论 糙集将输入数据进行删减，然后用聚类技术将简化后的数据进行聚类，对不同的 聚类使用经过免疫算法改进了的神经网络进行训练，接着将这些经过不同神经网 络训练的数据用模糊权值组合起来，放入新的用免疫算法改进了的神经网络再进 行训练，通过构建混合智能系统，从时间效率角度对已有算法进行优化。 ( 3 ) 免疫在异常检测中的应用研究 将改进的基于免疫算法的混合智能系统应用在异常检测中，通过m a t l a b 7 0 仿真实验数据的结果，验证这个基于免疫算法的混合智能系统模型在异常检测中 具有较好的使用效果。 本文从混合智能系统r o f c c s n n 的体系结构、支撑技术、系统功能等三个 层次展开研究。根据所提出的研究内容和论文结构，本文共分六章。 第一章，导论。主要讨论本文的研究背景和目的，综述了国内外关于免疫算 法、混合智能系统和异常检测的研究现状，并在此基础上提出了本文的研究思路、 研究内容和结构安排。 第二章，基于免疫算法的混合智能系统的提出。对生物免疫系统和人工免疫 系统的理论、免疫优化算法进行了研究。在此基础上提出了混合智能系统，帮助 提高异常检测算法的精度、速度和鲁棒性，并对免疫在异常检测中的应用进行研 究。 第三章。基于免疫算法的混合智能系统r - f c - c s n n 。在上两章研究的基础 上，构建了一个全新的混合智能系统r - f c c s n n ，此模型共分为四个子模型， 将粗糙集理论、聚类理论、模糊逻辑理论、免疫算法理论、人工神经网络的理论 综合在一起。以粗糙集作为前端处理器，通过聚类理论将输入空间进行细化，使 经过免疫算法改进的神经网络具有更强的适应性，最后再用模糊逻辑将各神经网 络训练的数据组合起来，放入新的改进的神经网络进行训练，从而完成分类的过 程。 第四章，混合智能系统r - f c - c s n n 的实现和初步实验分析。在前面三章的 基础上，提出了混合智能系统设计的基本原则和总体结构。通过u c i 下的6 个 经典数据集，对模型的有效性进行了初步检验。 第五章，混合智能系统r - f c - c s n n 在异常检测中的应用。在k d d 9 9 提供 的实验数据上，经过预处理、特征属性选取等步骤，使用本文提出的基于免疫算 法的混合智能系统，对异常行为进行了检测，实验结果证明本文提出的模型具有 较好的使用效果。 第六章，结束语。最后对全文进行了总结，并对进一步研究作了展望。 9 硕士学位论文第二章基于免疫算法的混合智能系统的提出 第二章基于免疫算法的混合智能系统的提出 2 1 免疫算法的概念和设计 2 1 1 生物免疫系统和人工免疫系统 生物免疫系统是一种高度进化的智能系统，具有学习、识别和记忆等诸多特 征，能提供给科学和工程领域各种富有成效的技术和方法。 生物免疫系统由免疫器官、免疫组织以及多种淋巴细胞组成，淋巴细胞主要 包括t 细胞和b 细胞两种，它们分布于整个身体，在免疫中起主要作用，b 细 胞可以分泌抗体，辅助t 细胞刺激或抑制b 细胞抗体的分泌。当病原体侵入机 体后，被一些b 细胞识别，这些b 细胞在t 细胞的作用下分裂，进而变成浆细 胞，分泌抗体来消灭抗原，发生免疫应答1 2 0 。生物免疫系统的最大特点是免疫 记忆、抗体的自我识别能力和免疫多样性，因此，免疫系统具有分析和学习进入 体内的外在物质，并且同时产生抗体来消灭入侵的抗原的能力。另一方面，从信 息处理的角度来看，免疫系统主要具有以下的特征：分布性、鲁棒性和适应性、 多样性和自组织性等。 从生物免疫系统发展和应用来看，人工免疫系统就是研究借鉴、利用生物免 疫系统信息处理机制而发展的各类信息处理技术、计算技术及其在工程和科学中 应用而产生的各种智能系统的统称。它是一个跨越多个学科的研究领域，是与生 物免疫系统相对应的工程概念【2 1 1 。 人工免疫系统已经用于解决许多不同的工程问题。日本学者i s h i d a 在1 9 9 0 年利用免疫系统解决传感器网络故障诊断问题，这是目前可查的最早的免疫系统 在工程领域的研究成果。随后，美国学者f o r r e s t 在1 9 9 4 年首次将免疫系统手段 用于计算机安全和病毒检测，此后，越来越多的人注意到p e r e l s o n 、b e r s i n i 和 v a r e l a 等理论免疫学者在1 9 8 9 年、1 9 9 0 年所作的旱期研究工作的重要性，他们 尝试建立免疫系统的模型，以期为生物计算智能提供新的方法，人工免疫系统的 应用领域由此不断得到扩大。在过去的十多年间，人工免疫系统从无到有，并逐 渐成为智能计算领域的研究热点。在经历了初步探索时期之后，随着2 0 0 2 年第 一届国际人工免疫大会的召开，标志着人工免疫系统的研究已经进入了稳步发展 时期 2 2 1 。 2 1 2 免疫优化算法 许多人工免疫系统对工程问题的解决可以抽象为对一些目标函数的优化。于 是不同研究人员出于不同的研究目的，开发了许多免疫算法。免疫算法是模拟生 1 0 硕士学位论文 第二章基于免疫算法的混合智能系统的提出 物体的免疫系统，从体细胞理论和网络理论等得到启发，实现了类似于免疫系统 的自我调节功能和生成不同抗体的功能。下面将比较常见的免疫优化算法归纳如 下几种： 1 免疫a g e n t s 算法 基于多样性、白体耐受和免疫记忆的免疫特性，i s h i d a 从免疫系统提取出信 息处理技术，发展了一种基于a g e n t s 的免疫算法，该算法分为3 个步骤：产生多 样性，建立自体耐受，记忆非自体。该算法是一种基于a g e n t 结构方法，其中a g e n t 群体和和它们之间的通信反映了反映与环境的交互作用。在产生多样性阶段，用 类似遗传算法方式对识别器进行遗传编码。在建立自体耐受阶段，从基于a g e n t 结构中移除对自体模型特异的识别器。在非自体记忆阶段，调整网络参数。免疫 算法被用于噪声的自适应控制，该算法还可用于模型调整和决策制定田】。 2 b 细胞网络算法( b - c e l la l g o r i t h m ) 以独特性网络理论和克隆选择理论为基础，h u n t 等人模拟生物免疫系统的 自学习，自组织机理提出一种人工免疫网络模型b 细胞网络模型 2 4 1 及其算 法。该模型由骨髓、b 细胞网络、抗原、抗体组成。b 细胞网络由一组b 细胞实 现，这些细胞互相连接，通过相互作用，实现抗体模式自组织记忆。抗原对应于 最优模式，骨髓用于产生新的抗体模式，用于补充死亡的抗体或b 细胞。 算法主要步骤如下：1 调用抗体群体；2 初始化b 细胞网络；3 循环，直到 满足：3 1 从抗原群体中随机选择一个抗原；3 2 从b 细胞网络中随机选择一点 插入抗原；3 3 选择此点b 细胞领域内某个百分比数的所有b 细胞；对以上选中 的b 细胞，计算每个b 细胞与抗原的免疫相应程度，若没有细胞产生免疫响应， 则由骨髓产生一个细胞连入网络。根据免疫响应程度进行排序；3 4 清除5 免疫 响应最差的b 细胞；3 5 由骨髓随机产生2 5 新b 细胞，选择其中5 最好的细 胞连入网络。该算法在机器学习和优化计算中应用较广，其缺点是计算量大。 3 免疫遗传算法( i i i l m l l n eg e n e t i ca l g o r i t h m ) 借鉴免疫系统中抗体的浓度控制原理，文 2 5 】提出一种免疫遗传算法。为了 克服遗传算法容易出现早熟现象的缺陷，免疫遗传算法在简单遗传算法的基础上 增加了抗体浓度概率激素、抗体的促进与抑制、抗体散布性计算三个模块来提高 解的多样性。其中：抗体浓度是指与某一抗体相同或相近的抗体被看作同一抗体； 抗体的选择概率取决于其适应度概率和浓度概率，高适应度概率和低浓度概率的 抗体的选择率相对较高，因此该抗体受到促进；反之低适应度概率和高浓度概率 的抗体的选择率相对较低，因此改抗体受到抑制；抗体的散布性是指每一代抗体 群都应具有较好的分布特性。通过抗体的散布性计算来衡量新一代抗体群是否己 达到要求。一旦抗体的散布性满足要求，则可停止新抗体的产生。算法过程以基 硕士学位论文 第二章基于免疫算法的混合智能系统的提出 本的遗传算法为框架，中间加入了免疫算子。该方法因为将免疫系统中抗体多样 性维持机制引入了遗传算法，使得免疫遗传算法比标准遗传算法更近了一步。 4 克隆选择算法( c l o n es e l e c t i o na l g o r i t h m ) 克隆选择是免疫优化的重要方式，在人工免疫系统中被广为应用。d e c a s t r o 提出一种克隆选择算法( c l o n a l g ) 。算法模拟免疫细胞克隆选择原理，被选 择的细胞受制于亲和力成熟过程，该过程改善对抗原的亲和力。 算法主要步骤如下；( 1 ) 产生候选方案的集合s 口) ，该集合为记忆细胞子集 ( m ) 和剩余群体( p r ) 的总和( p = p 什m ) ；( 2 ) 基于亲和度度量确定群体p 中 的n 个最佳个体p n ；( 3 ) 对群体中的这