（计算机系统结构专业论文）入侵检测的神经网络方法.pdf

摘要 摘要 自从上个世纪8 0 年代以来，人工神经网络理论及其应用的研究一直都是科 学和工程界的一个研究热点，其重要意义已经毋庸置疑。作为计算智能发展的 一个重要主流方向，神经网络在最近二十年来取得了很多重要的研究成果。神 经网络所具备的独特知识表示结构和信息处理原则，使其在很多应用领域都取 得了显著的进展。 随着互联网的规模和应用的发展，网络安全问题越来越受到人们的关注，也 逐渐成为各相关科研机构研究的热点。面对网络大规模化以及入侵攻击复杂化 的发展趋势，以防护为主的传统的网络安全技术越来越力不从心。由此产生了 以入侵检测技术为主的主动保护技术。 将神经网络技术应用到入侵检测领域，已经引起了很多国内外研究者的广 泛关注。结合神经网络的优点以及入侵检测的实际应用特点，研究和构建基于 神经网络技术的入侵检测方法，不仅能够拓展神经网络的应用领域，更能够取 得现实的社会和经济效益。这也是本论文关注和研究的重点内容。本文的研究 工作及主要成果如下： ( 1 ) 研究p c a 神经网络在在线入侵检测中的应用问题。提出了一种分层的 基于p c a 神经网络分类器的入侵检测系统模型h p c a n n ，用于克服基于单层网 络的检测缺陷，从而使之同时适用于异常检测和误用检测；结合p c a 在特征提 取和数据降维的特点，给出了基于p c a 神经网络的分类器设计，详细阐述了分 类器设计中参数的确定问题；同时探讨了不同距离度量尺度在不同数据分布情 况下对于检测器性能的影响；采用改进的g h a 神经网络，自动逼近深入数据的 特征子空间维数，避免了设计中主元空间维数的事先确定。为解决分类器检测 门限值确定问题，结合局部p c a 特征模式竞争的思想提出了一个多分类器竞争 模型； ( 2 ) 研究应用自组织神经网络进行入侵检测数据的自动聚类问题。将p c a 可 以实现类别特征抽取的特点和s o m 神经网络结合，建立s o m 网络各个神经单元 的特征结构，提出了简化的p c a s o m 模型；建立了在线p c a s o m 学习算法，对 算法的特点进行了分析；分析了神经网络无监督聚类的一般过程，给出了一种 基于置信度因子的后期聚类标记方法； ( 3 ) 研究基于神经气网络算法理论及其在入侵检测中的应用问题。在分 i 摘要 析静态结构的神经气网络缺陷的基础上，提出了一种简单的自增长神经气算 法s g n g ，分析了该算法的特点，基于此算法给出了两类划分的类别特征刻画， 通过建立“n o r m a l ”数据的特征模式，将之应用于监督异常检测。为了适应输入 空间数据的拓扑结构，结合p c a 和神经气思想提出了p c n g 聚类方法，并给出了 其在线学习算法，研究了基于p c n g 的入侵检测性能： ( 4 ) 研究了实际环境的i d s 设计问题。基于本文研究的多种方法，提出了针 对外部入侵的多种神经网络融合的入侵检测系统模型m n n i d s 以及基于a r p 协 议的内部入侵检测、阻击和内部访问控制方法。对m n n i d s 的各个部分功能以 及使用的神经网络方法进行了具体设计，分析了其应用特点；对内部入侵检测 和访问控制部分进行了实际的软件设计和实现。 关键词：入侵检测，p c a 神经网络，自组织神经网络，神经气网络，访问控制 i i a b s t r a c t a b s t r a c t s i n c e1 9 8 0 s ，t h er e s e a r c ho nt h et h e o r ya n da p p l i c a t i o n so fa r t i f i c i a ln e u r a l n e t w o r k sh a sa l w a y sb e e nah o tt o p i ci nt h es c i e n c ea n d e n g i n e e r i n gf i e l d s a sa v e r yi m p o r t a n tr e s e a r c hb r a n c ho fc o m p u t a t i o n a li n t e l l i g e n c e ，al o to fa c h i e v e - m e n t sh a v eb e e no b t a i n e dd u r i n gt h el a s tt w od e c a d e s n e u r a ln e t w o r k sh a v et h e s p e c i a ls t r u c t u r e sa n dp r i n c i p l e sf o rk n o w l e d g er e p r e s e n t a t i o na n di n f o r m a t i o n p r o c e s s i n g a l lt h e s em e r i t sr e s u l ti nl o t so fd i s t i n g u i s h e dd e v e l o p m e n t si nm a n y a p p l i c a t i o nd o m a i n s w i t ht h ed e v e l o p m e n to ft h ei n t e m e t ，m o r ea n dm o r ea t t e n t i o nh a sb e e n d r a w nt on e t w o r ks e c u r i t yw h i c ha l s ob e c o m e saa t t r a c t i v ef o c u sf o rm a n yr e - s e a r c h e r s f o l l o w i n gt h et e n d e n c yo fl a r g es c a l en e t w o r ka n dc o m p l e x l yi n t r u s i v e b e h a v i o r s ，t h ec o n v e n t i o n a ln e t w o r ks e c u r i t yt e c h n o l o g i e s ，a i m i n ga td e f e n c ep u r - p o s e ，c a nn o tf u l f i l lt h en e wr e q u i r e m e n t sa n ym o r e t h e r e f o r e ，a c t i v ep r o t e c t i n g t e c h n o l o g i e sc o m ei n t ob e i n ga n dc a nb eu s e dt ot a c k l et h i sp r o b l e m ，i n c l u d i n g t h em o s ti m p o r t a n tt e c h n o l o g yf o ri n t r u s i o nd e t e c t i o n t h er e s e a r c ho na p p l y i n gn e u r a ln e t w o r kt ot h ef i e l do fi n t r u s i o nd e t e c t i o n h a sa t t r a c t e dm o r ea n dm o r ea t t e n t i o no fw o r l dw i d er e s e a r c h e r s c o m b i n i n gt h e a d v a n t a g e so fn e u r a ln e t w o r k sw i t hp r a c t i c a lc h a r a c t e r i s t i c so fi n t r u s i o nd e t e c t i o n ， m a n yn e wd e t e c t i o na p p r o a c h e sc a nb ec o n s t r u c t e d s t u d y i n gt h ec o m b i n a t i o n c a n n o to n l ye x t e n dt h ea p p l i c a t i o nf i e l d so fn e u r a ln e t w o r k s ，b u ta l s oa c q u i r e m u c hs o c i a la n de c o n o m i cb e n e f i t s t h em a i nc o n t r i b u t i o n so ft h ed i s s e r t a t i o n a r ea sf o l l o w s ： ( 1 ) u s i n gp c an e u r a ln e t w o r k s ( p c a n n ) t os t u d yi n t r u s i o nd e t e c t i o n c o m b i n i n gt h ep r o p e r t i e so fp c a f o rf e a t u r ee x t r a c t i o na n dd i m e n s i o n a l i t yr e - d u c t i o n ，t h ec l a s s i f i e rd e s i g nm e t h o d sa r ed e s c r i b e di nd e t a i l ，i n c l u d i n gt h ep a r a m - e t e r ss e t t i n gm e t h o d so fp c a n n - b a s e dc l a s s i f i e r a f t e ra n a l y z i n gt h es h o r t a g e s o fs i n g l e - l a y e rn e t w o r ks t r u c t u r ef o ri n t r u s i o nd e t e c t i o n ，ah i e r a r c h i c a ld e t e c t i o n m o d e lb a s e do na p e xp c a n n ，n a m e l yh p c a n n ，i sp r o p o s e dw h i c hc a nb e a p p l i e dt ob o t ha n o m a l yd e t e c t i o na n dm i s u s ed e t e c t i o n m e a n w h i l e ，d i f f e r e n t d e t e c t o rp e r f o r m a n c e sa r ea n a l y z e db yu s i n gd i f f e r e n td i s t a n c em e t r i c su n d e rd i f - i i i a b s t r a c t f e r e n td a t ad i s t r i b u t i o ns c e n a r i o s am o d i f i e da d a p t i v eg h ap c a nn w h i c h i sa b l et oa p p r o a c ht h ei n t r i n s i cd i m e n s i o no fi n p u td a t a ，i su s e df o ri n t r u s i o n d e t e c t i o n t h i sm e t h o dd o e sn o tr e q u i r eap r e d e f i n e dd i m e n s i o np a r a m e t e rf o r t h ep r i n c i p a ls u b s p a c eo fap c a n n - b a s e dc l a s s i f i e r t oa v o i ds e t t i n gad e t e c t i o n t h r e s h o l df o ro n ec l a s s i f i e r ，am u l t i - c l a s s i f i e rc o m p e t i t i v em o d e li sp r e s e n t e db a s e d o nt h ec o m p e t i t i o na m o n gt h o s el o c a lp c af e a t u r ep a t t e r n s ( 2 ) u s i n gs e l f - o r g a n i z i n gm 印( s o m ) n e u r a ln e t w o r k sa n di t sa u t o - c l u s t e r i n g a b i l i t yt os t u d yi n t r u s i o nd e t e c t i o n t h ef e a t u r ep a t t e r no fe a c hs o m u n i ti sc o n - s t r n c t e du s i n gp c af e a t u r ee x t r a c t i o nm e t h o da n das i m p l i f i e dp c a s o mm o d e l i sp r o p o s e d a no n l i n el e a r n i n ga l g o r i t h mi sa l s og i v e na n di t sp r o p e r t i e sa r ea n - a l y z e d b ya n a l y z i n gt h eg e n e r a lf l o w so fc l u s t e r i n ga n a l y s i su s i n gu n s u p e r v i s e d m a n n e r ，ac l u s t e rl a b e l l i n gm e t h o di sg i v e nb a s e do nc o n f i d e n c ef a c t o r s ( 3 ) u s i n gn e u r a lg a s ( n g ) n e u r a ln e t w o r k st os t u d yi n t r u s i o nd e t e c t i o n b y a n a l y z i n gt h el i m i t a t i o n so fn gn e t w o r k sw i t hs t a t i ca r c h i t e c t u r e as i m p l eg r o w - i n gn g ( s g n g ) a l g o r i t h mi sp r o p o s e da n dt h ep a t t e r nc h a r a c t e r i z i n gm e t h o d o fo n e - c l a s sc l a s s i f i e ri sa 1 8 0d e p i c t e d t h es g n gc a nb eu s e df o rs u p e r v i s e d a n o m a l yd e t e c t i o nb yc o n s t r u c t i n gt h en o r m a lp r o f i l e i no r d e rt oa d a p tt ot h e d a t ad i s t r i b u t i o n si ni n p u ts p a c e ，ap r i n c i p a lc o m p o n e n tn e u r a lg a s ( p c n g ) c l u s - t e r i n gm e t h o di sp r o p o s e dw i t hi t so n l i n el e a r n i n ga l g o r i t h m s o m es i m u l a t i o n s a r ec a r r i e do u tb a s e do nt h ep c n ga l g o r i t h m ( 4 ) d e v e l o p i n ga ni n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) i nt h ea c t u a ln e t w o r k e n v i r o n m e n t i td e s c r i b e sh o wt od e s i g nar e a li d si nd e t a i l t h ep r o p o s e di d s m o d e li n c l u d e st w op a r t s ，i e ，am u l t i p l en e u r a ln e t w o r k sb a s e di d s ( m n n i d s ) m o d e lf o ro u t s i d e ri n t r u d e r sd e t e c t i o na n da na d d r e s sr e s o l u t i o np r o t o c o l ( a r p ) b a s e ds c h e m et od e t e c ta n dp r e v e n ti n s i d ei n t r u d e r sa n dt oc o n t r o lt h el i m i t e d a c c e s sb e t w e e nl e g a lh o s t si nal o c a la r e an e t w o r k ( l a n ) t h ef u n c t i o n sa n d p r o p e r t i e so fm n n i d sb yu s i n gm u l t i p l en e u r a ln e t w o r k sa r ea n a l y z e d t h e s e c o n da r p b a s e dp a r to ft h ea c t u a li d si sd e s i g n e da n di m p l e m e n t e di nd e t a i l k e y w o r d s ：i n t r u s i o nd e t e c t i o n ，p c an e u r a jn e t w o r k s ，s o mn e u r a ln e t w o r k s ， n e u r a lg a sn e t w o r k s ，a c c e s sc o n t r o l i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 日期一7 年c 硼严日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师 日期：砂司年f 胡丫e t 第一章绪论 第一章绪论 人工神经网络a n n ( a r t i f i c i a ln e u r a ln e t w o r k s ) 研究的重要意义已经被许 多科学家所承认。它是计算智能( c o m p u t a t i o n a li n t e l l i g e n c e ) 发展的一个重要 主流方向。神经网络的发展过程也颇具波折，但最近二十年来却取得了很多重 要的研究成果。神经网络所具备的独特知识表示结构和信息处理原则，使其在 很多应用领域都取得了显著的进展。 随着互联网的规模和应用的发展，网络安全问题越来越受到人们的关注， 也逐渐成为各相关科研机构研究的热点。传统的网络安全技术以防护为主，主 要采用以防火墙为主体的安全防护措施。但面对网络大规模化以及入侵攻击 复杂化的发展趋势，这种被动防御技术越来越力不从心。由此产生了以入侵检 测( i n t r u s i o nd e t e c t i o n ) 技术为主的主动保护技术。 将神经网络技术应用到入侵检测领域，已经引起了很多国内外研究者的关 注。结合神经网络的优点以及入侵检测的实际应用特点，研究和构建基于神经 网络技术的入侵检测方法，不仅能够拓展神经网络的应用领域，更能够取得现 实的社会和经济效益。这也是本论文关注和研究的重点内容。 本章简述了神经网络的发展和应用情况，简单列举了当前主要的入侵检测 方法；在分析入侵检测的神经网络方法研究现状的基础上，给出了基于神经网 络模型进行入侵检测的一般流程。最后说明了本文的研究工作和各章节内容安 排。 1 1神经网络的发展和应用 1 1 1神经网络的产生和发展 早在2 0 世纪初期，人们已经知道了人脑的工作方式与现在的计算机是不同 的。1 9 4 3 年，美国生理学家m c c u u o c h 和数学家、逻辑学家w a l t e rp i t t s 进行了长 时间的创造性合作，提出以后被称之为m p 模型的脑模型 i i ，他们提出的人工神 经元模型具备“开关”两种状态，并首次提出了神经网络学习的概念。这也成 为以后人工神经网络设计的基础。1 9 4 9 年，h e b b 在其著作行为组织学中第一 次清楚说明了“突触修正”的生理学学习规则，他提出人脑的连接方式在机体 学习不同功能任务时是连续变化的，神经组织就是通过这种变化创建而来，并 1 电子科技大学博士学位论文 由此提出了著名的h e b b 学习规则。1 9 5 8 年，f r a n kr o s e n b l a t t 提出了著名的感知 器模型，打开了深入研究人工神经网络的理论、功能与技术应用的大门，并成 为2 0 世纪8 0 年代影响巨大的多层感知器的基础【2 】。1 9 6 9 年，人工智能先驱m a r v i n m i i l s k y 在其著名的感知器书中给出了出色、严格的数学分析以后，证明 了r o s e n b l a t t 的感知器学习缺乏一般性，从本质上无法实现全局的优化，并将单 层感知器的局限延伸到多层感知器，提出了质疑。这种质疑对学术界和投资方 产生了极大的影响，历史上出现了一直延续到2 0 世纪8 0 年代中期神经网络的“黑 暗时期”。 在2 0 世纪7 0 年代，计算机科学界基本上放弃了神经网络领域，而其他领域 的学者还在继续进行相关研究。8 0 年代，首先由物理学家、心理学家、电子与 生物工程学领域学家带头突破了神经网络l o 多年的“黑暗时期”。1 9 8 2 年，j o h n h o p f i e l d 提出了具有联想记忆能力的新型神经网络，并用它巧妙地求解“旅行 商路径问题”，取得了令人鼓舞的结果。同年，赫尔辛基理工大学教授t e u v o k o h o n e n 提出了自组织映射s o m ( s e l f - o r g a n i z i n gm a p ) 算法1 3 】，s o m 既把握了 大脑自组织映射的本质，体现了神经元之间相互竞争、合作与自适应的过程，同 时又简化了计算，是一种简单而有效的无监督学习算法。这些工作消除了人们 对神经网络研究价值的怀疑，引起了研究者的广泛兴趣。 1 9 8 6 年，美国数学心理学家r u m e l h a t 、心理学家m c c l e l l a n d 和英国心理学 家h i n t o n 编著出版了影响巨大的并行分布式处理：认知的微细构造探索， 总结了当时神经网络研究取得的重要成果，并重新提出了简明有效的误差反 传b p ( e r r o rb a c k - p r o p a g a t i o n ) 算法，成为神经网络走向新高潮的重要标志。 自此至今的二十多年来，关于神经网络理论和应用的研究一直都是国内外科学 界研究的热点。迄今为止，神经网络模型已经多达四十多种【2 】，其中最为常用的 有多层感知器m l p 、h o p f i e l d 网络与k o h o n e n 的s o m 网络等十多种。 人脑是由大量的神经元( n e u r o n ) 经过复杂的互相连接而形成的一种高度 复杂的、非线性的、并行处理的信息处理系统。每个神经元的反应速度在毫秒 级，虽然比不上计算机逻辑门的计算速度，但由于人脑的高度并行和分布式计 算的特点，对有些问题的处理速度反而比计算机快得多。神经网络的学习过程 不断地从数据( 样本) 中自动获取知识，并将这种知识以网络结构和神经元连接 权值的方式存储与网络当中。因此，作为一种自适应机器，神经网络可以定义 为【4 l “一个由简单处理单元构成的大规模并行分布式处理器。天然具备存储知识 和使之可用的特性。神经网络在两个方面和人脑相似：( 1 ) 获取的知识是从外界 环境中学习而来( 2 ) 神经元权值用于存储获取的知识”。 2 第一章绪论 因此，可以说神经网络理论是巨量信息并行处理和大规模平行计算的基础， 神经网络既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、 决策及控制的智能行为。它的中心问题是智能的认知和模拟。从解剖学和生理 学来看，人脑是一个复杂的并行系统，它不同于传统的n e u m a n n 式计算机，更重 要的是它具有“认知”、“意识”和“感情”等高级脑功能。 1 1 2神经网络的应用 尽管目前人们对神经网络结构、运行机制，甚至单个神经细胞的工作原理 的了解还不完善，但是基于生物神经系统的分布式存储、并行处理、自适应学习 这些现象，已经构造出有一定初级智能的人工神经网络。而从8 0 年代初以来的 神经网络的崛起，已对认知和智力的本质的基础研究乃至计算机产业都产生了 空前的刺激和极大的推动作用。从理论上对神经网络的计算能力、对任意连续 映射的逼近能力、神经网络的学习理论以及动态网络的稳定性分析上都取得了 较为丰硕的成果。 在工程应用上，神经网络的应用越来越广泛。其应用已经深入到经济、军 事、工程、医学、以及科学的许多领域，并在信号处理、智能控制、模式识别、 机器视觉、非线性优化、自动目标识别、知识处理、遥感技术等领域取得重要 成果。科技发达国家的主要公司对神经网络芯片、生物芯片的研发进行了大量 的投入，并取得了令人振奋的研究成果。例如i n t e l 公司、i b m 公司、贝尔实验室 和h n c 公司等已取得了多项专利，已有产品进入市场，被国防、企业和科研部 门选用，公众手中也拥有神经网络实用化的工具，其商业化令人鼓舞。神经网 络独特的性质及其强大的计算能力已为科学工作者和工程师们所肯定。1 9 8 8 年， 在d a r p a 的“神经网络研究报告中列举了各种神经网络的激动人心的应用。 截至目前，神经网络在以下一些重要领域做了大量的应用研究【5 1 ： ( 1 ) 模式识别与图像处理：印刷体和手写体字符识别，语音识别，签字识 别，生物特征识别( 指纹，人脸) ，r n a 与d n a 序列分析，癌细胞识别，目标检 测与识别，心、脑电图分类，故障检测，图像压缩复原等； ( 2 ) 控制和优化：化工过程控制，机械手运动控制，运载体轨迹控制以及电 弧炉控制； ( 3 ) 金融预测和管理：股票市场预测，有价证券管理，借贷风险分析以及信 用卡欺骗检测； ( 4 ) 通信领域：自适应均衡，路由选择，a t m 网络中呼叫接纳识别以及控 3 电子科技大学博士学位论文 制，导航以及多媒体处理系统； ( 5 ) 其它：知识发现和数据挖掘，气象与地球科学等。 当前神经网络理论研究的一个重要的特点就是越来越紧密地和数学等其它 学科结合起来，利用这些学科的最新成果来解决神经网络中的理论问题；同时对 神经网络的应用领域不断拓展，从而更好的促进相关理论研究工作。虽然在神 经网络的发展道路上存在诸多问题，但有理由相信，随着人类对人脑本身的认识 越来越深入，神经网络技术的发展及其对应用的拓展和支持也将越来越惊人。 1 2入侵检测的研究方法 1 2 1研究意义 随着网络的开放性、共享性、互连程度的扩大，网络的重要性和对社会的影 响也越来越大。网络上各种新兴业务的兴起，比如电子商务、电子现金、数字货 币、网络银行等，以及各种专用网的建设，比如党政网、金融网等，使得网络与 信息系统的安全与保密问题显得越来越重要。目前，全世界每年由于信息系统 的脆弱性而导致的经济损失逐年上升。面对这种现实，各国政府有关部门和企 业不得不重视网络安全的问题。 信息安全市场在最近几年中增长很快，根据i d c 预测，2 0 0 7 年全球安全 市场总额将从2 0 0 2 年的6 3 9 亿美元增长为1 1 8 8 亿美元，其中硬件、软件和服 务的市场占有率将分别为3 2 4 、3 4 和3 3 6 ，其市场规模平均增长率分 别是1 1 8 、1 2 2 和1 5 8 。根据i d c 预测，亚太地区信息安全的市场规模将 从2 0 0 3 年的3 7 亿美元增长为2 0 0 7 年的8 3 4 美元，而中国信息安全市场则从2 亿美 元增长为6 7 亿美元，年均增长率为3 4 ，远远超过整个亚太市场2 2 9 的年均增 长率。2 0 0 6 年，对于一些信息化水平较高的关键行业来说，正在呈现出全面网络 安全优化的局面，即已经不再满足于简单的通过升级传统的安全产品来提高网 络安全水平，而是通过加强内外建设等一系列手段，逐步从整体上考虑安全问 题。 入侵检测技术是网络安全的核心技术之一，它通过从计算机网络或计算机 系统中的若干关键点收集信息并对其进行分析，从而发现网络或系统中是否有 违反安全策略的行为和遭到袭击的迹象。利用入侵检测技术，不但能够检测到 外部攻击，而且能够检测到内部攻击或误操作。因此，可以说入侵检测系统就是 网络摄像机，能够捕获并记录网络上的所有数据；同时它也是智能摄像机，能够 4 第一章绪论 分析网络数据并提炼出可疑的、异常的网络数据；它还是x 光摄像机，能够穿透 一些巧妙的伪装，抓住实际大额内容；另外，它还是保安员的摄像机，能够对入 侵行为自动地进行反击，如阻断连接等。 一个入侵检测系统的作用如图1 1 所示。在网络安全体系中，入侵检测系统 是唯一一个通过数据和行为模式判断其是否有效的系统。防火墙可以阻断某些 攻击，但不能阻断“伪装”攻击，对内部攻击更是无能为力；访问控制系统可以 防止越权的操作，但不能保证获取高权限的人做破坏工作，也无法阻止较低权限 的人非法获取高级权限；而漏洞扫描系统可以发现系统和网络存在的漏洞，但 无法对系统进行实时扫描。 内部有职权的人员 内部访问 监视外部入员l 监视内部人员实时监测系统 受 保 护 的 系 统 定时扫描系统 入侵检测系统i i 漏洞扫描系统 图i - i 入侵检测的作用 计算机网络安全应该提供保密性、完整性以及抵抗拒绝服务的能力，但是 由于互联网用户的增加，越来越多的系统遭受攻击。为了对付这些攻击企图，可 以要求所有的用户确认并验证自己的身份，并使用严格的访问控制机制，还可 以用各种密码学方法对数据提供保护，但这并不完全可行；另一种对付破坏系 统的理想方法是建立一个完全安全的系统，这就要求所有用户能够识别和认证 自己，还要采用各种各样的加密技术和强访问控制策略来保护数据。这在实际 中是根本不可能的。 因此，一个实用的方法就是建立比较容易实现的安全系统，同时按照一定 的安全策略建立相应的安全辅助系统。而入侵检测系统就是这样一个系统，它 一般不是采取预防的措施以防止入侵和攻击，其主要目的是识别入侵者，检测 和监视已经成功的安全突破，为对抗入侵及时提供重要信息，阻止事件的发生 5 电子科技大学博士学位论文 和事态的扩大。从这个角度看待安全问题，入侵检测非常必要，它将作为传统安 全保护措施的有效补充。 目前，入侵检测作为网络安全的一个重要分支，已经受到广泛的关注。已经 产品化的入侵检测系统在商业方面的成功也说明了这一点。但是，神经网络在 入侵检测方面的应用远远没有达到商业化应用的目标。因此，将神经网络技术 和入侵检测结合无论是理论上还是实践上都具有十分重要的意义。 1 2 2 入侵检测系统分类 j p a n d e r s o n 在1 9 8 0 年为美国空军做了一份题为计算机安全威胁监控与监 视的技术报告【6 】，第一次详细阐述了入侵检测的概念。入侵，是指任何试图危 及计算机资源的完整性、机密性或可用性的行为。而入侵检测是对入侵行为的 发觉。自此以后，针对入侵检测的研究以及开发技术得到快速发展。入侵检测就 是通过对系统数据的分析，发现非授权的网络访问和攻击行为，虽然现在防火 墙等安全工具已经被普遍地应用到各种网络环境中，但网络仍然存在着许多安 全隐患。而入侵检测系统i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 是解决这些隐患的 有效手段。 通过对现有的的i d s 研究，根据目标系统的类型可以将i d s 分为基于主机 的( h o s t b a s e d ) 的i d s 、基于网络的( n e t w o r k - b a s e d ) i d s 和混合分布式( h y b r i d d i s t r i b u t e d ) i d s 三类。 1 - 2 2 1基于主机的入侵检测系统 基于主机的入侵检测出现在8 0 年代初期，那时网络还没有今天这样普遍、复 杂。在这一较为简单的环境里，检查可疑行为的检验记录是很常见的操作。由于 入侵在当时是相当少见的，在对攻击的事后分析就可以防止今后的攻击。通常， 基于主机的i d s 可监测系统、事件和w i n d o wn t 下的安全记录以及u n 环境 下的系统记录。当有文件发生变化时，i d s 将新的记录条目与攻击标记相比较， 看它们是否匹配。如果匹配，系统就会向管理员报警并向别的目标报告，以采取 措施。代理软件被安装在一台被监控的服务器上，代理软件跟踪记录这台服务 器上的非授权访问企图或其它恶意行为。基于主机的入侵检测软件可以提供比 基于网络的工具更好的应用层安全性，因为主机软件可以检测到失败的访问企 图，它可以监视用户访问文件或目录的次数。不过，将代理软件加载到众多服务 器和桌面上是一项费用高且耗时的工作。此外，一旦发现软件有新的问题，代理 6 第一章绪论 软件必须随之进行升级。尽管基于主机的入侵检查系统不如基于网络的入侵检 查系统快捷，但它确实具有基于网络的系统无法比拟的优点，包括性能价格比 高、视野集中、易于用户剪裁、较少的主机、对网络流量不敏感、适用于被加密 的以及切换的环境以及容易确定攻击是否成功等等。 1 2 2 2 基于网络的入侵检测系统 基于网络的i d s 使用原始网络包作为数据源。基于网络的i d s 通常利用一个 运行在随机模式下网络的适配器来实时监视并分析通过网络的所有通信业务。 其代理软件通常被安装在局域网网段或防火墙后来监视和分析网络传输流。基 于网络的软件在部署时相当容易。但其弱点之一是它会发出虚假的威胁警报，另 一个不足是这类软件一般没有集成到较大型的网络管理系统中，因此网络管理 员在不打开更多的监视器的情况下就不能对情况有一个全面的了解。决定采用 何种软件取决于数据的重要性以及预算。基于主机的软件价格要贵一些，因此 它的部署通常限于保存敏感信息的服务器。基于网络的i d s 有许多仅靠基于主机 的入侵检测法无法提供的功能。实际上，许多客户在最初使用i d s 时，都配置了 基于网络的入侵检测。基于网络的检测优点包括检测速度快、隐蔽性好、视野更 宽、攻击者不易转移证据、操作系统无关性以及占用资源少等等。 基于网络和基于主机的i d s 都有各自的优势，两者相互补充。这两种方式都 能发现对方无法检测到的一些入侵行为。从某个重要服务器的键盘发出的成倍 的攻击并不经过网络，因此就无法通过基于网络的i d s 检测到，只能通过使用基 于主机的i d s 来检测。基于网络的i d s 通过检查所有的数据包的包头来进行检测， 而基于主机的i d s 并不查看包首标。许多基于i p 的拒绝服务攻击和碎片攻击，只 能通过查看它们通过网络传输时的包首标才能识别。基于网络的i d s 可以研究负 载的内容，查找特定攻击中使用的命令或语法，这类攻击可以被实时检查包序 列的i d s 迅速识别。而基于主机的系统无法看到负载，因此也无法识别嵌入式的 负载攻击。 1 2 2 3 混合分布式入侵检测系统 虽然基于网络的i d s 的功能很强大，应用也很广泛。但是在适应现代千兆 比特的高速网络和交换式网络方面也有许多难以克服的困难。而且基于主机 的i d s 也有其独特功能，所以未来的i d s 要想取得成功必须将基于主机和基于网 络的两种入侵检测系统无缝的结合起来，这就是混合分布式i d s 。它兼有前两 种i d s 的优点。 7 电子科技大学博士学位论文 比如基于主机的i d s 使用系统日志作为检测依据，因此它们在确定攻击是否 已经取得成功时与基于网络的检测系统相比具有更大的准确性。在这方面，基 于主机的i d s 对基于网络的i d s 是一个很好的补充，人们完全可以使用基于网络 的i d s 提供早期报警，而使用基于主机的i d s 来验证攻击是否取得成功。混合分 布式i d s 可以从不同的主机系统、网络部件或者通过网络监听方式收集数据，这 些系统可以利用网络数据也可收集分析来自主机系统的高层事件发现可疑行为， 提供集成化的攻击签名、检测、报告和事件关联功能，而且部署和使用上也更加 灵活方便。对分布式入侵检测方法的研究也是当前网络安全分析的热点之一。 1 2 3异常检测和误用检测 对各种事件进行分析，从中发现违反安全策略的行为是i d s 的核心功能。 一般而言，入侵检测方法可以分为异常检测( a n o m a l yd e t e c t i o n ) 和误用检 测( m i s u s ed e t e c t i o n ) 两类f 7 】【8 】。 异常检测方法主要通过正常的网络数据或者用户的正常行为建立一种系统 正常模式( n o r mp r o f i l e ) ，通过衡量和正常行为模式之间的背离程度做出是否 有入侵或者异常活动的决策【9 j 。这种方法可以方便的检测系统中从未出现过的 攻击类型( n o v e la t t a c k ) ，参见图1 2 。 模式更新 新模式动态生成 图1 - 2 典型的异常检测示意图 误用检测，又称为基于特征的检测( s i g n a t u r e - b a s e dd e t e c t i o n ) 。误用检测 根据某种已知攻击或入侵的具体信息建立某种入侵或攻击的模式( i n t r u s i o n p r o f i l e p a t t e r n ) ，通过确定网络数据或用户行为与此模式是否匹配确定其是否 为此类攻击1 1 0 1 。这种方式需要维持一个入侵攻击类型特征库，对于已知攻击， 系统具备较强的检测能力；但对于未知攻击却无能为力，参见图1 3 。因此，误用 入侵检测需要不断的刷新特征库从而保持其检测能力的不断扩展。 8 第一章绪论 更新现存规则 图1 - 3 典型的误用检测示意图 从目前研究的趋势来看，两者结合的检测会达到更好的效果，也是研究的 重点。根据这两种不同入侵检测方法，在分析获得的数据时，可以分为基于行为 的检测和基于知识的检测。 1 2 4基于行为的入侵检测技术 基于行为的检测指根据使用者的行为或资源使用状况来判断是否有入侵行 为，而不依赖于具体行为是否出现来检测，所以也被称为异常检测。基于行为的 检测与系统相对无关，通用性较强。它甚至有可能检测出以前未出现过的攻击 方法，不像基于知识的检测那样受已知性的限制。但因为不可能对整个系统内 的所有用户行为进行全面的描述，况且每个用户的行为是经常改变的，所以它 的主要缺陷在于误检率很高。尤其在用户数目众多，或工作目的经常改变的环 境中。其次由于统计表要不断更新，入侵者如果知道某系统在检测器的监视之 下，他们能慢慢地训练检测系统，以至于最初认为是异常的行为，经一段时间训 练后也认为是正常的了。 1 2 4 1 统计模型方法 统计模型方法是基于行为的入侵检测中应用最早也是最多的一种方法。文 献 1 1 】较早使用这种方法进行入侵检测研究。首先，检测器根据用户对象的动作 为每个用户都建立一个用户特征表，通过比较当前特征与已存储定型的以前特 征，从而判断是否是异常行为。用户特征表需要根据审计记录情况不断地加以 9 电子科技大学博士学位论文 更新。用于描述特征的变量类型有： ( 1 ) 操作密度：度量操作执行的速率，常用于检测通过长时间平均觉察不 到的异常行为； ( 2 ) 审计记录分布：度量在最新纪录中所有操作类型的分布； ( 3 ) 范畴尺度：度量在一定动作范畴内特定操作的分布情况； ( 4 ) 数值尺度：度量那些产生数值结果的操作，如c p u 使用量，i o 使用量 等。 统计模型方法是一种异常建模的技术，常用的有基于