（计算机应用技术专业论文）基于遗传神经网络的入侵检测系统的研究.pdf

西南科技大学硕士研究生学位论文第1 页 摘要 本文围绕基于遗传神经网络的入侵检测技术进行研究，提出一种基于遗 传神经网络的入侵检测系统，该系统基于遗传算法( g e n e t i ca l g o r i t h m s ，g a ) 的全局搜索和b p ( b a c kp r o p a g a t i o n ) 网络局部精确搜索的特性，将g a 和b p 算法有机结合，利用遗传算法优化网络初始权重，使训练好的网络更有效的 检测入侵，从而克服了b p 算法收敛速度慢、易陷入局部极小值、全局搜索力 弱、受网络结构限制等缺点。研究表明，该方法效果良好，学习速度快，分类 准确率高。 本系统研究的主要内容：一是通过对遗传神经网络算法本身的研究以及 网络数据( 包括对正常数据和攻击数据) 特征的研究，提高系统对入侵行为检 测的准确性；二是在o n e _ c l a s s 分类器( 单类分类器) 的实现问题上，研究 如何将攻击数据分离出去并能够使数据处理速度适应高速网络。 本文的主要创新之处：一是利用系统的o n e _ c l a s s 分类器首先将大部分 正常数据分流来适应高速网络的发展要求；二是利用系统的误用检测模块的 检测结果来更新神经网络的训练数据库，使异常检测模块不断提高检测的准 确性，而异常检测模块检测到的新的攻击信息也可以通过人工的规则提取来 更新误用检测模块的检测规则，使二者互为补充、互相提高。 关健词：网络信息安全入侵检测系统遗传神经网络b p 神经网络 西南科技大学硕士研究生学位论文第1 l 页 a b s tr a c t t h et h e s i se m p h a s i z e so nr e s e a r c h i n gh o wt o a p p l yn e u r a ln e t w o r ki n r e a l t i m ei n t r u s i o nd e t e c t i o nf o rh i g h - s p e e dc o m p u t e rn e t w o r k t h ea u t h o rh a s b r o u g h tf o r w a r di n t r u s i o nd e t e c t i o nm e t h o db a s e do ng e n e r i cn e u r a ln e t w o r k s ， a d o p t e dg e n e t i ca l g o m e t r ya n db pn e u r a ln e t w o r k su n i o nm e t h o d ，a n da p p f i e di n i n t r u s i o nd e t e c t i o ns y s t e m ，s o l v e dt r a d i t i o n a lb pa l g o m e t r yl i ei na b s e n c ea b o u t c o n s t r i n g e n c yr a t es l o w l ya n di m m e r s i o nm i n i mv a l u e t h er e s u l tp r o v e dt h i s t e c h n o l o g yw a sw e l l ，i tl i e d i na d v a n t a g ea b o u tl e a r n i n gr a t er a p i d i t y , c l a s s i f y n i c e t yh i g h t h em a i nr e s e a r c ha r ea sf o l l o w s ：f i r s t l y , t h i sd i s s e r t a t i o ns t u d i e st h e a l g o r i t h m i cb a s e dg e n e r i cn e u r a ln e t w o r k sa n dc h a r a c t e r i s t i co f n e t w o r kd a t a ， i m p r o v i n gv e r a c i t yo fd e t e c t i n ga t t a c k s ；s e c o n d l y , i no r d e rt oa d a p tt h ed a t a p r o c e s s i n gs p e e d o nt h e h i g h s p e e dn e t w o r k ，o n e c l a s s c l a s s i f i c a t i o nf o r i n t r u s i o nd e t e c t i o ns y s t e m sb a s e do ng e n e t i cn e u r a ln e t w o r k sw a sd e s i g n e dt o a b a n d o nt h en o r m a ld a t ab ei d e n t i f i e d t h ei n n o v a t i o n so ft h es y s t e ma r ea sf o l l o w s ：f i r s t l y , t h r o u g hm a k i n gu s eo f t h eo n e c l a s sc l a s s i f i c a t i o no fs y s t e ma b a n d o ng r e a t l yp a r to fn o r m a ld a t a s ，t h e s y s t e mc ana d a p tt h ed a t ap r o c e s s i n gs p e e do nt h eh i g h s p e e dn e t w o r k ；s e c o n d l y ， m a k i n gu s eo ft h ed e t e c t i o nr e s u l to ft h em o d u l eo fa b u s e dd e t e c t i o nt or e n e wt h e t r a i n i n gd a t a b a s eo fn e u r a ln e t w o r ks ot h a ti m p r o v i n gt h ev e r a c i t yo fd e t e c t i n g a t t a c k s ；a n dt h en e wa t t a c ki n f o r m a t i o no fb e i n gd e t e c t e db yt h em o d u l eo f a b n o r m i t yd e t e c t i o nc a n a l s ob eu s e dt or e n e wt h ed e t e c t i o nr u l eo ft h em o d u l eo f a b u s e dd e t e c t i o n ，a n dt h i sm e t h o dc a nm a k et h e ms u p p l e m e n ta n di m p r o v ee a c h o t h e r k e y w o r d s ：n e t w o r ki n f o r m a t i o ns e c u r r y ；i n t r u s i o nd e t e c t i o ns y s y s t e m ； g e n e t i cn e u r a ln e t w o r k s ；b pn e u r a ln e t w o r k s 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得西南科技大学或其 它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均己在论文中作了明确的说明并表示了谢意。 签名数r日期：护76 6 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论 文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：惑同导师签名：哆、殳日期：朋占石 西南科技大学硕士研究生学位论文第1 页 1绪论 1 1研究背景与意义 随着计算机技术和通信技术的飞速发展，网络缔造了前所未有的新感觉 和新生活，为各社会群体创造了无限的发展空间。但是网络的开放性也为信 息的窃取、盗用、非法修改以及各种扰乱破坏提供了可乘之机，使得信息在 存储、处理和传输等各个环节都有可能遭到入侵者的攻击或病毒的危害，造 成系统的瘫痪或重要数据的丢失。 传统的计算机安全体系研究包括设计一定的安全策略，建立支持该策略 的安全模型，并通过身份认证、访问控制、审计等技术使安全模型在计算机 系统中得以实现，使之成为针对各种系统入侵的防护屏障。这些安全技术都 属于静态安全技术范畴，静态安全技术的缺点是需要人工来实施和维护，不 能主动追踪侵入者。 入侵检测系统正是在这种背景下，经过了近二十年的发展成为安全领域 内的重要技术和研究方向“，与传统的被动式防御的防火墙相比，入侵检测 作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误操作 的实时保护m 。它能很好地弥补防火墙的不足，在不牺牲网络性能的前提下 对网络进行检测，可以看作防火墙之后的第二道安全闸门“它是对系统中 未授权访问或异常现象、活动与时间进行审计、追踪i 识别和检验的全过程。 它可以识别出系统是否被入侵，从而做出及时的反应，切断网络连接、记录 时间和报警，提醒系统管理员采取相应的措施，进一步可以提供法律上的依 据，避免系统受到进一步的侵害入侵方式不同，入侵检测的策略和模型也 不一样m 。在这种环境下，i d s 己成为安全市场上新的热点，不仅愈来愈多地 受到人们的关注，而且己经开始在军事、金融、政务、商业、交通、电力等 行业中发挥其关键作用” 1 2 本论文的主要研究工作和创新之处 从目前国外入侵检测研究的发展趋势来看，今后入侵检测的工作将侧重 在以下几个方面“： ( 1 )如何解决高速交换网环境的入侵检测问题； ( 2 )大规模分布式的入侵检测系统以及异构系统之间的协作和数据共 西南科技大学硕士研究生学位论文第2 页 享问题；需要制定统一的入侵模式库，为不同系统的入侵描述建立转换机制； ( 3 ) 入侵检测的智能性问题； ( 4 )入侵检测的自我保护问题；i d s 自身的安全性至关重要，需要和其 它的安全机制配合使用； ( 5 )建立有效的入侵检测的评测方法； ( 6 )与其它网络安全技术相结合，如结合防火墙、安全电子交易等新的 网络安全与电子商务技术，提供完整的网络安全保障。 本文在查阅了大量国内外文献的基础上，设计一种基于遗传神经网络的 入侵检测系统，主要考虑上述的第一和第三两个方面问题。 该系统结合异常检测和误用检测的优点( 异常检测的检测速度快和误用 检测的检测准确性) ，首先通过采用o n e c l a s s 分类器将大部分正常数据分流 来适应高速网络。然后利用误用检测模块检测己知的攻击行为，并利用其检 测结果来更新神经网络的训练数据库，不断提高异常检测模块对入侵行为检 测的准确性。 本系统研究的主要内容：一是通过对遗传神经网络算法本身的研究以及 网络数据( 包括对正常数据和攻击数据) 特征的研究，提高系统对入侵行为检 测的准确性；二是在o n e _ c l a s s 分类器的实现问题上，研究如何将攻击数据 分离出去，并能够使数据处理速度适应高速网络；三是在误用检测技术与异 常检测技术的有机结合问题上，研究如何利用误用检测的结果来更新异常检 测的训练数据库。 本文的主要创新之处有两点：一是利用系统的o n e c l a s s 分类器首先将 大部分正常数据分流来适应高速网络的发展要求；二是利用系统的误用检测 模块检测结果来更新神经网络的训练数据库，而系统的异常检测模块检测到 的新的攻击信息也可以通过人工的规则提取来更新误用检测模块的检测规 则，使二者互为补充、互相提高。 本系统特色在于适应入侵检测研究的发展趋势，从高速网络的发展需求 以及智能算法方面进行系统设计另外，系统的误用检测模块可以很容易的 用商用的i d s 代替，且异常检测模块可随着误用检测模块病毒库的更新而不 断的提高检测的准确性。 1 3 论文组织结构 围绕着如何建立一个基于遗传神经网络的入侵检测系统本文分为六章 西南科技大学硕士研究生学位论文第3 页 进行了阐述： 第一章绪论，介绍了论文的研究背景与意义，概述了本文的研究工作与 创新之处。 第二章对入侵检测的历史与现状、 述，并分析了当前研究中存在的问题， 展方向。 入侵检测系统的设计等方面作了的综 同时分析了入侵检测的未来可能的发 第三章主要介绍了遗传算法和人工神经网络的相关知识，介绍了遗传算 法的基本流程、遗传算法的特点、b p 网络及b p 算法等。并从神经网络和遗 传算法在现实中的应用和国内外所进行的研究概括了遗传神经网络用于入侵 检测的总体思路。 第四章首先分析了b p 算法和遗传算法的不足和遗传神经网络算法的优 点。然后重点分析了遗传神经网络算法原理，设计了遗传算法中的选择算子、 交叉算子、变异算子、遗传神经网络的编码、适应度函数的选择等，并进行 了遗传算法性能分析。 第五章设计一种基于遗传神经网络的入侵检测系统，该系统首先通过采 用o n e _ c l a s s 分类器将大部分正常数据分流来适应高速网络。然后利用误用 检测模块检测已知的攻击行为，并利用其检测结果来更新神经网络的训练数 据库，不断提高异常检测模块对入侵行为检测的准确性。 第六章主要是针对遗传神经网络算法参数的确定、单类分类器的可行性 以及遗传神经网络算法检测的准确性进行实验 结论部分对全文的研究工作做出总结，并提出以后的进一步研究的方向 和思路。 西南科技大学硕士研究生学位论文第4 页 2 入侵检测概述 2 1 入侵检测定义 入侵的经典定义是：一系列试图去破坏一个计算机系统资源的完整性、 机密性和可用性的行为。入侵的类型和方法多种多样，根据其行为的后果， 大致可以分为：非授权访问、信息泄漏或丢失、破坏数据完整性和拒绝服务 攻击“， 进行入侵检测的软件与硬件的组合便是入侵检测系统。它从计算机网络 系统中的若干关键点收集信息，分析这些信息，检查网络中是否有违反安全 策略的行为或遭到袭击的迹象m 入侵检测技术是动态安全技术的最核心技 术之一，与此相对应的传统的操作系统加固技术和防火墙隔离技术等都是静 态安全防御技术，对网络环境下不断变化的攻击手段缺乏主动的反应。入侵 检测系统在发现入侵后，应及时响应，包括切断网络连接记录事件和报警 等m 。 2 2 入侵检测的历史与现状 入侵检测由传统电子数据处理( e d p ) 、安全审计以及统计技术发展而来。 入侵检测研究的出现可追溯到2 0 多年前。j a m e sp a n d e r s o n 首次将入侵检 测引入到计算机安全的研究中m ，1 9 8 0 年，a n d e r s o n 写的一篇题为“c o m p u t e r s e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ”的论文“，被认为是该领 域最早的出版物。1 9 8 4 到1 9 8 6 年，d o r o t h yd e n n i n g 和p e t e rn e u m a n n 合作 研究并开发了一个实时入侵检测系统模型，称作入侵检测专家系统( i d e s ) 。 1 9 8 7 年d o r o t h yed e n n i n g 提出入侵检测系统的抽象模型n w ，首次将入侵检 测的概念作为一种计算机系统安全防御问题的措施提出。 早期的i d s 都是基于主机的系统，1 9 8 8 年t e r e s al u n t 等人进一步改进 了d e n n i n g 提出的入侵检测模型，并创建了i d e s ( i n t r u s i o nd e t e c t i o n e x p e r ts y s t e m ) n ，该系统被设计用于检测针对单一主机的入侵尝试，它提 出了与系统平台无关的实时检测思想。1 9 9 5 年开发了i d e s 完善后的版本一 一n i d s ( n e x t g e n e r a t i o ni n t r u s i o nd e t e c t i o ns y s t e m ) “”可以检测多个主 机上的入侵另外，在1 9 8 8 年，美国空军开发了h a y s t a c k 系统“”同时， 出于几乎相同的原因，出现了为美国国家计算机安全中心m u l t i c s 主机开发 的m i d a s ( m u l t i c si n t r u s i o nd e t e c t i o na n da l e r t i n gs y s t e m ) “。 1 9 8 9 西南科技大学硕士研究生学位论文第5 页 年，l o sa l a m o s 美国国家实验室开发了w & s ( w i s d o ma n ds e n c e ) 系统“”， p l a n n i n gr e s e a r c h 公司开发了i s o a ( i n f o r m a t i o ns e c u r i t y o f f i c e r s a s s i s t a n t ) ”。 1 9 9 0 年，h e b e r l e i n 等人提出了一个新的概念：基于网络的入侵检测一 一n s m ( n e t w o r ks e c u r i t ym e n i t o r ) “”，n s m 与此前的i d s 系统最大的不同 在于它并不检查主机系统的审计记录“，它可以通过在局域网上主动地监视 网络信息流量来追踪可疑的行为1 9 9 1 年，n a d i r ( n e t w o r ka n o m a l y d e t e c t i o na n di n t r u s i o nr e p o r t e r ) “与d i d s ( d is t r i b u t ei n t r u s i o n d e t e c t i o ns y s t e m ) m 1 提出了收集和合并处理来自多个主机的审计信息从而 用以检测针对一系列主机的协同攻击。 1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 2 “建议使用自治代理 ( a u t o n o m o u sa g e n t s ) 以便提高i d s 的可伸缩性、可维护性、效率和容错性， 该理念非常符合正在进行的计算机科学其他领域如软件代理的研究。另一 条致力于解决当代绝大多数入侵检测系统伸缩性不足的途径于1 9 9 6 年提出， 这就是g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和 实现，该系统使得对大规模自动或协同攻击的检测更为便利，这些攻击有时 甚至可以跨过多个管理领域。同年，f o r r e s t 等人嘲t 一一w 将免疫原理运用到 分布式入侵检测领域，并取得了较好效果。1 9 9 8 年r o s sa n d e r s o n 和a b i d a k h a t t a k 给入侵检测带来了创新，他们将信息检索技术引进到入侵检测。 入侵检测经过二十多年的发展，己经有了长足的进步。基于专家系统的 i d s 对已知的攻击十分有效，大量用于商用入侵检测系统的开发，如i s s 公 司的r e a l s e c u r e 系统n m 和b r o 系统“”模型；随着新的攻击技术不断出现，专 家系统难以检测未知的攻击，因此入侵检测的智能研究成为i d s 研究的主要 方向基于状态转移分析的i d s ，如u s t a t “ ，入侵被表示成为目标系统的状 态转换图，它虽然能在一定程度上预测下一步可能的攻击，但是它能够检测 的入侵模式局限于指定的连续事件，而不能检测更复杂的形式；1 9 9 6 年 l u d o v i cm e 以及其他学者利用遗传算法对入侵检测问题进行了建模“； 1 9 9 8 年，c a n n a d y 提出的用于入侵检测的m l p 模型另外，在文献 3 6 和 3 7 中也提出了不同的基于神经网络的入侵检测方法1 9 9 9 年w e n k el e e 在 其博士论文中提出了一个完整的基于数据挖掘的入侵检测模型一，为数据挖 掘在该邻域的应用做了开创性的工作 西南科技大学硕士研究生学位论文第6 页 2 3 入侵检测研究中的问题及可能发展方向 作为一个新的技术，入侵检测仍然处在初级阶段。总的来说，当前的研 究存在的共同问题是系统性能的不稳定。入侵检测性能的主要量度是误警率、 检测率及检测速度，当一个系统的检测率很高而误警率很低时我们才认为其 性能很好导致系统性能上的不稳定可能有以下几个方面的因素： ( 1 )许多技术给出的是在己知入侵或入侵和正常会话被清楚区分的情 况下的优良功能，然而现实环境中数据却是高度混合的，也就是说，数据中 带有噪声； ( 2 )模式的编码仍然依赖于人工方式； ( 3 )检测算法的可扩展性不够。这表现为：一是数据量猛增时，检测效 率大不如从前；二是当面l 临新的入侵时，算法无法检测或过度报警。 尽管在该领域己经有许多解决策略，但仍然需要更有效的技术，这些技 术不仅能改善当前的方案，还能为设计下一代操作系统和网络协议提供更有 价值的知识随着黑客技术的不断发展，入侵行为表现为不确定性、复杂性、 多样性特点。一些黑客组织己经将如何绕过i d s 或攻击i d s 作为研究重点。 从目前国外入侵检测研究的发展趋势来看，今后入侵检测的工作将侧重在以 下几个方砸： ( 1 )如何解决高速交换网环境的入侵检测问题。高速网络，尤其是交换 技术的发展以及通过加密信道的数据通信使得通过共享网段侦听的网络数据 采集方法显得不足，而大量的通信量对数据分析也提出了新的要求。 ( 2 )大规模分布式的入侵检测系统以及异构系统之间的协作和数据共 享问题。这需要制定统一的入侵模式库，为不同系统的入侵描述建立转换机 制一。 ( 3 )入侵检测的智能性问题。入侵方法越来越多样化与综合化，尽管己 经有神经网络与遗传算法等模式识别方法应用在入侵检测上，但是这只是初 步的研究工作，需要对智能化的i d s 加以迸一步的研究以解决其自学习与自适 应能力。 ( 4 ) 入侵检测的自我保护问题。i d s 自身的安全性至关重要，需要和其 它的安全机制配合使用。 ( 5 )建立有效的入侵检测的评测方法“”用户在选择i d s 时，需要对众 多的i d s 系统进行评价，评价指标包括i d s 检测范围、系统资源占用、i d s 系统 自身的可靠性与鲁棒性。因此设计通用的入侵检测测试与评估的平台，实现 西南科技大学硕士研究生学位论文第7 页 对多种i d s 系统的统一评估，已经成为当前入侵检测系统的另一重要研究与发 展领域“”“。 ( 6 )与其它网络安全技术相结合，如结合防火墙、安全电子交易等新的 网络安全与电子商务技术，提供完整的网络安全保障。 2 4 通用入侵检测系统模型 d e n n i n g 在1 9 8 7 年提出了一个基于异常行为检测模型，如图2 - 1 所示， 其基本思想是为用户建立和维护一系列描述用户正常使用系统的行为特征轮 廓，入侵检测系统利用这些特征轮廓来监控当前用户的活动，当一个用户的 当前活动与其特征轮廓的差别超出预定义的边界条件时，这个当前活动行为 就被认为是异常的。例如，登陆口令超过三次，则认为是异常的。其方法用 到统计方法和专家系统。d e n n i n g 定义的模型独立于任何特殊的系统、应用 环境、系统脆弱性或入侵种类，因此提供了一个通用的入侵检测专家系统框 架，简称i d e s 模型w 。这个模型能够检测出黑客入侵、越权操作及其它种类 的非正常使用计算机系统的行为，i d e s 模型由主体、客体、审计记录、轮廓、 异常记录和活动规则六部分组成 图2 - 1 通用入侵检测系统模型 f i g 2 - 1c u r r e n c yi n t r u s i o nd e t e c t i o nm o d e l 2 5 入侵检测系统的设计 对入侵检测系统的设计主要从以下6 个方面进行考虑”1 ： ( 1 )信息源 任何探测系统都必须监控和分析从计算机或网络系统收集的信息。考虑 西南科技大学硕士研究生学位论文第8 页 到它们所用的信息源，检测系统可分为基于主机的和基于网络的。然而，许 多系统为了提高其性能往往是组合这两种方法。 基于主机的信息源分为操作系统审计轨迹和系统日志( o p e r a t i o n s y s t e m a u d i tt r a i l sa n ds y s t e ml o g s ) 。系统审计轨迹由特定审计子系统( 操 作系统的一部分) 产生，这些审计轨迹是有关信息活动的集合，并以字典顺序 存放并被组织到一个或多个文件中，s u ns o l a r i sb s m 的安全包是u n i x 系统 的典型的操作系统审计子系统，w i n d o w s 操作系统也有类似的审计和日志机 制“w 。基于系统审计轨迹的入侵检测可参见系统i d e s “螳 ；系统日志是对系 统和应用事件的记录，经常由系统程序以文本文件的方式写入，系统日志是 记录系统事件和设置的文件，它由软件产生( 不是作为操作系统的一部分) ， 通常，操作系统会提供几个记录发生在系统中的事件的工具。 网络流量是当前研究中最普通的信息源，尤其是一些商业产品如 n i d e s 一基于网络的入侵检测系统使用网络包作为信息源。基于网络的检测 系统有如下两个优势：一是它们不容易被入侵者发现。这将最小化入侵者定 位检测系统的机会和能力；二是能发现不容易被基于主机的检测系统发现的 攻击，如p a c k e ts t o r m s 攻击等。 有几种方法可以监控或收集网络数据包，如c s p f ，n f r 和b p f 。 c s p f ( c m u s t a n f o r dp a c k e tf i l t e r ) 从早期的u n i x 系统开发而来，因此，它是 为老式系统结构设计的机制；由m a r c u sjr a n u m 开发的n f r ( n e t w o r k f i l t e rr e c o r d e r ) 是公共的被用作网络监控的工具之一；b p f ( b e r k l e y p a c k e tf i l t e r ) 是l a w r e n c eb e r k l e yl a b o r a t o r y 的研究者为运行在 r i s c - b a s e dc p u s 上的操作系统设计的。 通常，基于主机的入侵检测比基于网络的入侵检测更准确。其理由之一 是网络入侵检测仅仅把注意力放在信息系统的前门活动上入侵者可以化装 成正常用户而成功地从前门进入。例如，入侵者可以通过使用t e l n e t 创建正 常会话，但一旦他进入主机，就会用别名命令操作文件。检测的缺失降低了 命中率相反，基于主机的入侵检测保护信息系统的内核，因此没有入侵能 够逃脱；基于网络的入侵检测的另一个不利是它有时不能检测网络内部的入 侵。例如，如果一个银行内部的成员试图破解银行内部数据库中心的密码， 安装在防火墙上的入侵检测系统将无法检测到这个行为，然而，安装在数据 库中心的入侵检测系统却有机会发送警告。 ( 2 ) 分析模式 仅有信息源是不够的，因为它不能清晰地告诉我们系统上发生了什么， 西南科技大学硕士研究生学位论文第9 页 因此，入侵检测系统必须应用某种分析模式以获取隐藏在审计事件f 包括主机 事件和网络流量) 中的知识。通常，有两类分析模式：异常检测和误用检测。 基于异常的入侵检测系统通过与正常模式进行比较来检测入侵。即当观 察到的活动被证明与正常模式之间存在一个设定的偏差时，系统将给出警告。 模式由一些度量集组成，通常是统计度量集。 基于误用的检测技术存储入侵标签模式，然后将这些模式与观察到的模 式进行匹配以探测入侵。由于基于误用的检测技术是通过抓获入侵标签的特 征模式来建立探测机制的，因此，误用检测对新的入侵显得无能为力。但误 用检测能清楚地描述特定入侵行为的特征。 基于异常的检测技术相比误用检测有着更强的生命力，因为基于晃常的 检测技术是基于正常活动( 不包括异常活动) 建立的模式，这样检测一个新的 入侵和一个已知的入侵并没有什么分别，一种探测技术可能探测许多不同的 攻击，这样系统的性能随之增加了然而尽管基于标签的误用检测技术在探 测新的入侵方面不如基于异常的检测有前途，但迄今为止它在实际的环境中 却有着更为广泛的应用，理由是相比正常行为，特定入侵的特征容易收集， 模式更容易构造，且基于标签的入侵检测在实现上相对简单，另外，高效的 误用检测技术还能很容易被改动以适应新的攻击。 ( 3 )操作模式 一个好的分析模式还不足以保证其在实时环境中的高效实现一个值得 设计者考虑的关键问题是检测速度。根据检测速度，入侵检测系统可分为实 时检测和离线检测。 实时检测是指一个系统以在线的方式检测入侵，并且当入侵刚刚进入时 即给出警告，这种类型的入侵需要很快的反应速度。 许多检测系统工作在离线下载的审计数据上。 ( 4 )空间和时间跨度 在设计一个入侵检测系统时还要考虑时间和空间跨度一个入侵可能跨 越时间和空间的限制，因此检测系统的设计者必须考虑如何处理分布在几个 主机上的攻击和持续长期的攻击 越来越多的入侵者以分布式模式的形式发起攻击。 在时问领域，也有着与空间相同的问题。一些攻击用很长的时间攻击一 个系统。 ( 5 )系统结构 检测系统的结构也能影响性能。大多数检测系统同时包含几种检测技术。 西南科技大学硕士研究生学位论文第1 0 页 如何在系统中组织这些技术要视具体情况而定。其中有一些是同时实现几种 技术并在一个较高的层次对每种技术的结果进行组合，而有一些则是几种技 术进行协作，同时只给出一个判断。 ( 6 )知识更新 计算机系统中活动的频繁改变要求检测系统能不断的更新其知识。知识 更新策略依赖于系统设计中所作的假设，对异常检测是指用新的参考数据更 新模式。对误用检测，知识的增量更新不仅包括旧的入侵特征的更新，也包 括新的入侵标签的增加。 在一些检测系统中，从信息源获取的知识被频繁地更新，且每一步决策 都是基于来自信息源的新知识，频繁更新的知识更准确地反映了现实情况， 检测结果更加真实可靠。 2 6 小结 上述围绕入侵检测的历史与现状、入侵检测系统的设计等方面作了的综 述，并分析了当前研究中存在的问题，同时分析了入侵检测的未来可能的发 展方向。 西南科技大学硕士研究生学位论文第1 1 页 3 遗传算法和神经网络 3 1遗传算法 遗传算法( 6 e n e t i ca l g o r i t h m ，6 a ) 是近年来迅速发展起来的一种随机 搜索与优化算法，其基本思想是基于d a r w i n 的进化论和m e n d e l 的遗传学说。 该算法由密执安大学教授h o l l a n d 及其学生于1 9 7 5 年创建一。g a 以生物进 化过程为背景，模拟生物进化的步骤，将繁殖、杂交、变异、竞争和选择等 概念引入到算法中，通过维持一组可行解，并通过对可行解的重新组合，改进 可行解在多维空问内的移动轨迹或趋向，最终走向最优解。它克服了传统优 化方法容易陷入局部极值的缺点，是一种全局优化算法 遗传算法的步骤如下： ( 1 )定义一个目标函数； ( 2 )将可行解群体在一定的约束条件下初始化，每一个可行解用一个 向量x 来编码，称为一条染色体，向量的分量代表基因，它对应可行解的某 一决策变量； ( 3 ) 计算群体中每条染色体x 。( i = 1 ，2 ，n ) 所对应的目标函数 值，并以此计算适应值f 。按f 。的大小来评价该可行解的好坏； ( 4 ) 以优胜劣汰的机制，将适应值差的染色体淘汰掉，对幸存的染色 体根据其适应值的好坏，按概率随机选择，进行繁殖，形成新的群体； ( 5 )通过杂交和变异的操作，产生子代。杂交是随机选择两条染色体 ( 双亲) ，将某一点或多点的基因互换而产生两个新个体，变异是基因中的某 一点或多点发生突变； ( 6 ) 对子代群体重复步骤( 3 ) 到( 5 ) 的操作，进行新一轮遗传进化过程， 直到迭代收敛( 适应值趋稳定) 即找到了最优解或准最优解一。遗传算法的基 本流程如图3 1 所示。 遗传算法在入侵检测中的应用，通常分以下步骤：首先i 使用一组字符 串或比特组对可能出现的检测结果进行编码；然后，采用定义好的最适应性 函数，对所有的字符串或比特组个体进行测试，找出最优个体，并对所有的 个体执行交叉、变异和复制等操作，不断产生新的字符串个体；之后，不断 重复上述的测试、选择、交叉或变异等操作步骤，直到获得满意的结果遗 传算法在动态环境中有鲁棒性( 系统的健壮性或者说生存能力) 、白适应性强 的特点，所以基于遗传算法的入侵检测的研究将成为网络安全领域的重要方 西南科技大学硕士研究生学位论文第1 2 页 向和研究热点“，。 图3 - 1 遗传算法的基本漉程 f i g 3 - 1 t h ep r o c e s so fg e n e t i ca i g o r i t h m 3 2 人工神经网络 3 2 1 人工神经网络概述 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 是对人类大脑的一 种物理结构上的模拟，即以计算机仿真的方法，从物理结构上模拟人脑，以 使系统具有入脑的某些智能。作为对人类智能研究的重要组成部分，神经网 络一直是人工智能、神经科学、认知科学、心理学、行为学等学科共同关心 的焦点 神经网络具有如下特点w ： ( 1 )大规模并行处理 人脑神经元之间传递脉冲信号的速度远低于冯诺依曼式计算机的工作 速度，但由于人脑是一个大规模并行与串行组合处理系统，因而可以作出快 速判断、决策和处理，其速度远高于串行结构的冯诺依曼式计算机。神经 网络具有并行处理的特征，大大提高了工作速度 ( 2 )非线性处理 神经网络的每个神经元接受大量其它神经元的输入，通过非线性输入 输出关系，产生输出，迸一步影响其它神经元，实现了从输入状态空间到输 出状态空间的非线性映射 ( 3 )自组织及自适应性 西南科技大学硕士研究生学位论文第1 3 页 神经网络具有初步的自组织与自适应能力，能够在学习过程中自适应地 发现蕴涵在样本数据中的内在特性及规律性。同一神经网络因学习方式及内 容的不同可具有不同的功能。而冯诺依曼式计算机强调程序的编写，系统 的功能取决于程序给出的知识和能力。 ( 4 )分布式存储，存储与计算相结合 人脑存储信息的特点是利用突触效能的变化来调整存储内容，也b 口信息 储存在神经元之问连接强度的分布上，存储区与运算区合为一体。而冯诺依 曼式计算机具有相互独立的存储器和运算器，知识存储与数据运算互不相关， 只有通过人的编程给出指令使之沟通。 ( 5 )联想能力等 入脑具有很强的“容错性”和联想记忆功能。另外，入脑每日有大量的 细胞死亡，但并不影响大脑功能而对于冯诺依曼式计算机来说，情况完 全不同，元件的局部损坏、程序中的微小错误，都可引起严重后果，表现出 极大的脆弱性。 由于分类标准的不同，神经网络有多种分类方法。按照神经元互连模式 的不同，神经网络通常分为两种典型的网络结构： ( 1 )前向网络( 前馈网络) 网络可划分为若干“层”，各层依次排列，通常情况下，第i 层的神经元 只接受第( i 1 ) 层神经元给出的信号，各神经元之间没有反馈。第一节点层 与输出节点层统称为“可见层”，而其它中间层则成为“隐含层”( h i d d e n l a y e r ) ，这些神经元称为隐单元。 ( 2 ) 反馈网络 反馈网络与前向网络的重要区别在于反馈网络至少有一个反馈连接反 馈连接既可以是异反馈( 一个神经元的输出反馈到其它神经元作为输入) ，也 可以是自反馈( 一个神经元的输出反馈到自身而作为其输入) 。同时网络中还 可以有计算功能的隐神经元。 神经网络的主要任务就是对外部世界进行建模，并通过学习使模型与外 部环境充分一致，从而达到完成特定应用的目的学习的实质就是使神经元 之问的权重随外部激励( 环境) 作自适应变化。 3 2 2b p 网络及8 p 算法 在众多的a n n 模型中，多层前馈神经网络模型是目前应用最为广泛的模 型用反向传播学习算法( 简称b p 算法) 可以实现多层前馈神经网络的训练。 西南科技大学硕士研究生学位论文第1 4 页 b p 网络的结构如图3 2 ，给网络的输入层提供一组输入信息，使其通过网络 而在输出层上产生逼近期望输出的过程，称之为网络的学习，或称对网络进 行i ) t l 练，实现这一步骤的方法则称为学习算法。 缝八擦 孛间屡翁出屡 图3 - 2b p 网络的结构 fig 3 - 2 丁h es t r u c t u r eo fb pn e t w o r k 图3 门b p 算法的流程 f i g 3 - 3 t h ep r o c e s so f 印a i g o r i t h m b p 算法的流程如图3 - 3 所示。b p 网络的学习过程包括两个阶段：第一个 阶段是正向过程，将输入变量通过输入层经隐层逐层计算各单元的输出值； 第二阶段是反向传播过程，由输出误差逐层向前计算出隐层各单元的误差， 并用此误差修正前层权值误差信息通过网络反向传播，遵循误差逐步降低 西南科技大学硕士研究生学位论文第1 5 页 的原则来调整权值，直到达到满意的输出为止，网络经过学习以后，一组合 适的稳定的权值连接权被固定下来，将待预测样本作为输入层参数，网络 经过向前传播便可以得到输出结果，这就是网络的预测。 3 2 3b p 神经网络在入侵检测中的应用 神经网络技术在入侵检测中的应用历史比较长，并且一直在不断发展。 早期的一些研究人员通过训练b p 神经网络来识别己知的网络攻击行为。更进 一步的实验通过训练反向传播神经网络来识别未知的网络入侵行为。基本的 思想是首先使用若干正常行为的样本来训练神经网络，然后检测任何偏离这 些行为样本的行为模式。研究人员还在“正常”训练样本集中加入随机模式( 这 些通常被认为是异常状态) ，期望减小检测的漏警率。 时至今日，神经网络技术体现出了强大的攻击模式分析能力，它的优势 包括能够较好地处理带噪声的数据，不需要费力的模型构建过程并且分析计 算速度很快而能用于实时分析等。早期的实验结果己经证明，该种技术能够 检测到未知的入侵模式，因此，具有更进一步发展的潜力。 3 ，3 遗传神经网络 遗传算法应用于神经网络引起许多学者的特别注意，这其中主要包括连 接权系数的优化、网络结构的优化和学习规则的优化。遗传算法与神经网络 相结合，已成功地用于从时间序列分析来进行财政预算。在这些系统中，神 经网络的训练信号是模糊的，数据是有噪声的，一般很难正确给出每个执行 的定量评价。如果采用遗传算法来学习，就能克服这些困难。显著提高系统 性能。m u h l e n b e i n 分析了多层感知机网络的局限性，甚至猜想下一代神经网 络将是遗传神经网络m ， 遗传神经网络是遗传算法和神经网络相结合的一种新兴的寻优技术，适 合于复杂的、叠加的非线性系统的辨识描述。遗传算法一般可以通过两种方 式应用到神经网络中种方式是利用遗传算法训练己知结构的网络，优化 网络的连接权；另一种方式是利用遗传算法寻找网络的规模、结构和学习参 数。目前这种方法在理论上还不完全成熟，寻优机理、学习效率等有待进一 步研究，离实际应用还有一定的距离一 g 与b p 算法可以有多种不同的组合方法。基本组合之一是先b p 后g 。这 种组合方法的基本思想是先用b p 确定使误差函数取极小值的参数组合在参数 西南科技大学硕士研究生学位论文第1 6 页 空间的位置，再利用g a 摆脱掉可能的局部极小。应用这种组合必须事先选定 a n n 的结构。即只能用它确定a n n 的连接权重。显然，如果事先选择的a n n 结构 不合理或有关的参数( 如学习率等) 不合适，可能会导致搜索不收敛。另一种 是先g a 后b p 。这种组合方法的基本思想是先用g a 粗选a n n 模型，再用b p 算法精 细与优化。这种组合方法的优点是通用性好，既可像前一组合方法那样用来 优选指定结构下的部分参数，也可用来优选其它的参数，例如a n n 的结构、学 习率等，甚至还可用于优选它们的组合。 利用遗传神经网络方法进行入侵检测的基本思路和步骤可以描述如下： ( 1 )使用事件生成器采集网络数据包数据，并进行数据格式化表示( 遗 传神经网络输入所需要的格式) ； ( 2 )构造学习样本集和测试样本集； ( 3 )提出神经网络的遗传学习算法； ( 4 )利用步骤2 和3 的结果进行学习训练和校验，获得一个基于遗传神经 网络的入侵检测器； ( 5 )对于新的、随机发生的一个事件( 获得网络数据包数据) ，可以作为 入侵检测器输入，使用入侵检测器进行预测。当遗传神经网络学会系统正常 工作模式后，能够对偏离系统正常工作的事件做出反应，进而可以发现一些 新的攻击模式； ( 6 )预警：如果检测到入侵行为发生，入侵检测系统立即通知网络安全 管理员或数据库安全管理员采取适当