（计算数学专业论文）基于应用的高速网络入侵检测系统的研究与实现.pdf

基于应用的高速网络入侵检测系统的研究与实现摘要 摘要 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 是近年来网 络安全研究的热点，它是指用于对计算机和网络上的违反安全策略的行为 进行识别和响应的系统。它把原来的消极被动的安全保障变为积极主动的 监控和审计，能对黑客入侵、内部人员违规操作等行为进行实时的报警和 阻断，从而降低了计算机系统和网络遭受到的风险。 本文首先对i d s 的背景知识理论作了阐述，包括：有关入侵检测概念、 i d s 模型、i d s 的分类及发展历程和方向等。并且，重点论述了i d s 的关键 实现技术之一入侵检测分析方法。然后简要阐述了构建i d s 的理想平 台l i n u x 的内核及其系统结构。最后提出了个可面向银行业务应用的 高速网络i d s 的设计方案，并且详细描述了其实现方法。 在系统的设计与实现过程中，作者对在l i n u x 平台下的网络探头结构 进行了优化设计与实现，包括：高速网络接口驱动程序实现；利用l i b p a p 库实现了高效率且易移植的数据包捕获引擎程序，高效算法和数据结构来 进行规则匹配。同时，实现了基于网络应用数据流的重组机制，无遗漏地 还原网络应用现场；特别是，根据银行应用要求，实现了可对业务应用连 接的进行监控和审计的分析插件。通过共享内存和大容量的缓冲区使整个 系统的“串行”似的数据处理能够犹如一条高速运转的流水线，并将数据 的丢包率控制在一定范围内。 本文的研究不仅解决了网络i d s 实现的有关问题，而且将i d s 与具体 ( 银行) 领域的应用相结合，为企业的网络安全和业务审计提供了一个的 可供参考的解决方案。随着系统的不断完善，其市场前景必将更加广阔。 关键词：入侵检测，网络入侵检测系统，审计和监控，银行应用 第1 页 基于应用的高速鼹络入慢检测系统的研究与实现 a b s r r a c t a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e m ，t h a ti s 工d s ，i sak i n do fc o m p u t e r s y s t e mw h i c hi n d e n t i f i e sa n dr e s p o n d st ot h ev i o l a t i o no fp o l i c i e s o f c o i n p u t e rs e c u r i t y a n dn e t w o r k s e c u r i t y i tt u r n s p a s s i v e p r o t e c t i o ni n t oa c t i v ea u d i t i n gg i v e sr e a l t i m e w a r n i n g so rp u t su pb l o c kt oi n t r u s i o n so fh a c k e r sa n dm a l o p e r a t i o n s o fi n s i d e r s ，w h i c hb r i n g sd o w nt h er i s k so f c o m p u t e rs y s t e m sa n d n e t w o r k s t h ep a p e rb e g i n sw i t ht h ef u n d 襄襄e n t a la s p e c t so ft h e o r yo fi d s ， i n c l u d i n gt h ec o n c e p to fi d s ，m o d e l so f 工d sw h i c hh a v ec o m ei n t ob e i n g ， t h ec l a s s i f i c a t i o n so fi d s ，t h ee v o l u t i o na n dt r e n d so fs t u d yi nt h e f i e l do f 工d s ，w i t he 蕊塞h a s i sp l a c e do nt h em e t h o d so fd e t e c t i o na n d a n a 土y s i sw h i c hi so n eo fc r i t i c a lt e c h n 0 1 0 9 i e so fi m p l e m e n t i n gi d s t h e nt h ef r a m e w o r ko fo sk e r n e lo fl i n u x ，w h i c hi st h em o s ti d e a l 0 sp l a t f o r mf o ri m p l e m e n t a t i o no f i d s ， i ss t a t e db r i e f l y a t1 a s t i tb r i n g sf o r w a r do na p p l i c a b l ed e s i g no fh i g hs p e e dn e t w o r ki d su s e d i nb a n k a p p l i c a t i o na n dd e s c r i b e sl o t so ft h i n g sv a l u e b lea b o u t i m p l e m e n t i o ni nd e t a i 1 i nt h ed e s i g na n di m p l e m e n t a t i o no ft h es y s t e m ，t h ea u t h o rt r i e s t oo p t i m i z et h ed e s i g na n di p l e m e n t a t i o no fn e t w o r ks e n s o ro nl i n u x p l a t f o r m ，i n c l u d i n gi m p l e m e n t a t i o n o f h i s p e e d n e t w o r ki n t e r f a c e c a r dd r i v e r ， h i p e r f o r m a n c ea n dp o r t a b l ep r o g r 垂霎 妻t oc a p t u r ep a c k e t s w i t ht h eu s eo fl j 匆p c 。；i b p a t t e r nm a t c h i n go nt h eb a s i so fe f f i c i e n t a l g o r i t h m sa n dd a t as t r u c t u r e s 。 a n di m p l e m e n t a t i o no fd a t as t r e 锄 r e a s s e m b l i n gi nn e t w o r ka p p l i c a t i o n s i sa l s of u l f i l l e d ，w h i c hc a n p r e s e n tu sw i t ha ne x h a u s t i v ed e s c r i p t i o na b o u t s c e n eo fr u n n i n g n e t w o r ka p p l i c a t i o n s e s p e c i a l l y ，a c c o r d i n gt ot h e d e m a n di nb a n k a p p l i c a t i o n s ， a na n a l y s i sp l u g i nh a sb e e nd e v e l o p e dt o l o n i t o ra n d a u d i tt h en e t w o r kc o n n e c t i o n sb e t w e e nb a n ka p p l i c a t i o n s b yv i r t u e o fs h a r em e m o r ya n d1 a r g es i z eb u f f e r s ，t h es e r i a li z e dp r o c e s s i n g o fd a t ai nt h ew h 0 1 es y s t e mr u n sw i t hh i g hs p e e dj u s tii k eam a c r o p i p e l i n i n ga n dt h er a t eo fp a c k e t1 0 s sc a na l s ob ec o n t r 0 1 1 e dw i t h i n s o m ed e s i r a b l er a n g e r e s e a r c hd o n ei nt h ep a p e rn o to n l ys 0 1 v e dt h ep r o b l e m sr e l a t e d t o i m p l e m e n t i n gn e t w o r ki d s ， b u ta l s op r o v i d e dar e f e r a b l es c h e m e f o rn e t w o r ks e c u r i t ya n da u d i t i n go fa p p l i c a t i o ni ne n t e r p r i s e sb y 第1 页 基于应用的高速网络入侵检测系统的研究与实现a b s t r a c t t h ec o m b i n a t i o no fg e n e r i ci d sa n da p p l i c a t i o ni nas p e c i f i cf i e l d w i t hc o n t i n u o u si m p r o v e e n t ，t h es y s t e mw i l ls u r e l yh a v eav e r yg o o d p r o s p e c t k e yw o r d s ：i n t r u s i o nd 9 t e c t i o n ， n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ， a u d i t i n ga n dm o n i t o r i n g ， b a n ka p p l i c a t i o n s 第1 l 页 基于应用的高速网络入侵检测系统的研究与实现 保密性( c o n f i d e n t i a l i t y ) ：保护数据不受非授权操作的破坏； 完整性( i n t e g r i t y ) ：保证非授权操作不能修改数据； 有效性( a v a i l a b i l i t y ) ：保证非授权操作不能获取保护信息或计算 机资源。 诚然，网络安全是信息安全的重要组成部分。但计算机网络作为综合 了计算机、通信等高精尖技术的一门新技术，它已经渗透到人类信息社会 的各个领域；计算机网络已经成为现代社会信息的主要承载和传播工具， 人们越来越清楚地意识到，计算机就是网络，网络就是计算机。因此，从 一定意义上来说，网络安全就是信息安全。 1 3 传统网络安全技术 传统网络安全技术主要采用的是防火墙技术和数据加密技术。 1 3 1 防火墙技术 防火墙( f i r e w a l l ) 是网络安全的第一道屏障保障，它是两个网络之 间强制实施访问控制策略的一个系统或一组系统。c h e s w i c k 和b e l l o v i n 将 防火墙定义为：防火墙是一个或多个组件组成的集合或系统，它放在两个 网络之间，并具有以下特性： 所有的从内部到外部或从外部到内部的通信都必须经过它： 只有内部访问策略授权的通信才被允许通过； 系统本身具有高可靠性。 简而言之，防火墙是保护可信网络，防止黑客通过非可信网络入侵的 一种设备。而这两种网络最典型的例子就是企业内部网和i n t e r n e t 。 防火墙的主要功能如下： _ 过滤不安全的服务和非法用户，如f i n g e r ，n f s 等，禁止未授权 的用户访问受保护的网络。 一控制对特殊站点的访问。允许受保护网的一部分主机被外部网访 问，而另外一部分被保护起来。 _ 作为网络安全的集中监控点。防火墙可以记录所有通过它的访 问，并提供统计数据，提供一定的预警和审计功能。 自从第个最简单的包过滤路由器防火墙问世以来，已经出现了许多 采用不同技术的不同类型的防火墙。但单就其处理的对象来说，可以分为 包过滤和应用层网关两大类。其中，前者处理通过网络的数据包( 例如i p 包、i p x 包) 的信息，实现进出网络的安全控制，其处理对象是数据包；而 后者通过网络服务的代理，检查进出网络的各种服务，其处理对象是各种 不同的应用服务。 在一个网络中，防火墙可能是单个的主机系统，更多的则可能是多个 设备组成的系统，所以其体系结构可能多种多样，但就结构的本质而言， 第2 页 基于应用的高速网络入侵检测系统的研究与实现 保密性( c o n f i d e n t i a l i t y ) ：保护数据不受非授权操作的破坏； 完整性( i n t e g r i t y ) ：保证非授权操作不能修改数据； 有效性( a v a i l a b i l i t y ) ：保证非授权操作不能获取保护信息或计算 机资源。 诚然，网络安全是信息安全的重要组成部分。但计算机网络作为综合 了计算机、通信等高精尖技术的一门新技术，它已经渗透到人类信息社会 的各个领域；计算机网络已经成为现代社会信息的主要承载和传播工具， 人们越来越清楚地意识到，计算机就是网络，网络就是计算机。因此，从 一定意义上来说，网络安全就是信息安全。 1 3 传统网络安全技术 传统网络安全技术主要采用的是防火墙技术和数据加密技术。 1 3 1 防火墙技术 防火墙( f i r e w a l l ) 是网络安全的第一道屏障保障，它是两个网络之 间强制实施访问控制策略的一个系统或一组系统。c h e s w i c k 和b e l l o v i n 将 防火墙定义为：防火墙是一个或多个组件组成的集合或系统，它放在两个 网络之间，并具有以下特性： 所有的从内部到外部或从外部到内部的通信都必须经过它： 只有内部访问策略授权的通信才被允许通过； 系统本身具有高可靠性。 简而言之，防火墙是保护可信网络，防止黑客通过非可信网络入侵的 一种设备。而这两种网络最典型的例子就是企业内部网和i n t e r n e t 。 防火墙的主要功能如下： _ 过滤不安全的服务和非法用户，如f i n g e r ，n f s 等，禁止未授权 的用户访问受保护的网络。 一控制对特殊站点的访问。允许受保护网的一部分主机被外部网访 问，而另外一部分被保护起来。 _ 作为网络安全的集中监控点。防火墙可以记录所有通过它的访 问，并提供统计数据，提供一定的预警和审计功能。 自从第个最简单的包过滤路由器防火墙问世以来，已经出现了许多 采用不同技术的不同类型的防火墙。但单就其处理的对象来说，可以分为 包过滤和应用层网关两大类。其中，前者处理通过网络的数据包( 例如i p 包、i p x 包) 的信息，实现进出网络的安全控制，其处理对象是数据包；而 后者通过网络服务的代理，检查进出网络的各种服务，其处理对象是各种 不同的应用服务。 在一个网络中，防火墙可能 x 基于应用的高速网络入侵检测系统酌研究与实现 主要有双宿主机结构、主机过滤结构、子网过滤结构三种。 1 3 2 数据加密技术 数据加密技术是一门以密码学为基础的传统安全技术，它是保护数据 的最基本的方法，也是整个网络安全的基础。它能防止信息被非授权用户 非法读取和篡改。传统的数据加密模型如图卜1 所示。 明 图卜1 传统数据加密模型 我们一般把要加密的信息称为明文( p l a i n t e x t ) ，经过以密钥( k e y ) 为 参数的函数加以转换，加密过程的输出称为密文( c i p h e rt e x t ) 。例如c = e 。( p ) 表示对明文p 使用密钥k 加密，获得密文c 。类似地，p = d ，( c ) 表示 对密文c 解密重新得到明文p 。因此，容易得到：d 。( c ) = d 。( e 。( p ) ) = p 。 e 和d 是数学函数，其中标为下标的密钥k 实际上是这些函数两个参数中的 一个。 加密解密算法是加密技术的核心内容。一般按照加密密钥和解密密钥 是否相同或等价来分，可以将这些密码算法分为对称密钥算法和公开密钥 算法： 对称密钥算法这类算法中的加密密钥能够从解密密钥中推算出 来，反过来亦成立。它要求发送者和接收者在安全通信之前商定一个密钥。 由于它的算法是公开的，所以安全性依赖于密钥的安全性。比较著名的对 称密钥算法有：美国的d e s 及其各种变形，比如t r i p l e 、g d e s 、n e wd e s ， 欧洲的i d e a 以及代换密码和转轮密码为代表的古典密码等。在众多的对称 密钥算法中影响最大的是d e s 算法。 对称密钥算法的加解密可表示为： 加密： 五。( p ) = c 解密：d ，( c ) = p 对称密钥算法的优点是有很强的保密强度，且经受住时间的考验和攻 击，但其密钥必须通过安全的途径传送。因此其密钥管理成为系统安全的 重要因素。 奠 基于应用的高速网络入侵检测系统的研究与实现 公开密钥算法这类算法也叫非对称密钥算法。这类算法中用作加 密的密钥不同于用作解密的密钥，而且解密密钥在假定的合理长时间内不 能根据加密密钥推算出来，因此加密密钥可以公开，而解密密钥必须保密。 加密密钥叫做公钥( p u b l i ck e y ) ，叫做私钥( p r i v a t ek e y ) 。陌生者可以 用公钥加密信息，那么只有持有与该公钥对应的私钥的人才可以解密。非 对称密钥算法的加密和解密算法都是公开的，因此私钥绝不可外泄。比较 著名的公钥算法有：r s a 、背包算法、m c e l i e c e 、d i f f e _ h e l l m a n 等算法， 最有影响的是r s a 算法，它能抵抗到目前为止己知的所有密码攻击。 公开密钥算法的加解密可表示为： 加密： 廓。( p ) = c 解密： 口。( c ) = p 公开密钥算法的优点是可以适应网络的开放性要求，且密钥管理问题 也较为简单，尤其可方便的实现数字签名和验证。但其算法复杂，加密数 据的速率较低。尽管如此，随着现代电子技术和密码技术的发展，公钥算 法将是一种很有前途的网络安全加密体制。 1 3 3 传统网络安全技术的不足 防火墙技术、数据加密技术等传统网络安全技术都只是静态的安全技 术，是一种静态安全模型，这些技术均存在相应的缺陷，具体表现在： 每一种技术都还有不完善、不健全的地方，并不是绝对安全的。 运用的技术单一，缺乏灵活性，没有形成一种行之有效的防御体系， 以至于一旦绕过这些技术的防线，这些安全防线将毫无作用。 无法积极主动地对违反安全策略的事件进行检测并自动响应。 1 4 动态安全模型 针对静态安全模型的不足之处， 自身系统，需要用动态的安全模型、 题。 同时面对当今不断变化的信息环境和 方法、技术和解决方案来应对安全问 从二十世纪九十年代开始，随着以入侵检测和漏洞扫描为代表的动态 检测技术和产品的发展，动态安全模型也相应地得到了发展。p 2 d r 模型就 是这样的技术模型的代表。 p 2 d r 模型如图卜2 所示，包含4 个主要部分：安全策略( p o l i c y ) 、防 护( p r o t e c t i o n ) 、检测( d e t e c t i o n ) 和响应( r e s p o n s e ) 。 第4 页 基于应用的高速网络入侵检测系统的研究与实现 公开密钥算法这类算法也叫非对称密钥算法。这类算法中用作加 密的密钥不同于用作解密的密钥，而且解密密钥在假定的合理长时间内不 能根据加密密钥推算出来，因此加密密钥可以公开，而解密密钥必须保密。 加密密钥叫做公钥( p u b l i ck e y ) i 雌啪辅捞! p r i v a t ek e yl 。剖均鳇阳逊 捐嗜捧功簿非雌；瑚堑渺孵睦孵萨疆嗜拘强硬陋蟒掳l ! i f 2 聃戮黼强j 目 塄瞬溜弼骖强l ! ；) 8 力阔l 季哺溜哆韩障绩淫附值。扭址辐掳嗍叼聃汐蛐；匕 魏 臻晷埔滋拜醵强程；r s a ：得墟跨毯。m c e l i e e e 。d i f f e - h e l i m a n 掣茧薹i 嚣孚努蒜醑霞r s a 酽匿争制带甜乖藉葫青首斋藉聋鞋茸驴霉j 零牵巍静酵鞋舔丽澎糕静誊善鞲j 前最； 曼。；p ；一寻 蠹； 蔫。；c 一手 琴牵拳卦酵萎舔萨苫喾荠茼霉荸诵蓊磊擎移莓毒紊；酽毒静酵墅蔷氰 若蘸蔼瞢曼：舻岜守专誊龠蓄露赋电爱酊瓢常。霄臣童夏争蠢：箭鞭托 藩黼藻塞蠢话；嚣蓍肃妒j 祷攀抒群蔷雾融寤酊鞲茸酚转隔萨嚣i 弦鲁邕 $ 酗营禹营孛挣豁商蓠荔葶奎衙券蓥薪； 荸| ；争! 妻舀彝葡蟊摹晷藩采矧裂电 荫：) ；i 东学慕。盼甚衙蔌馨采莹融幕赢荔蓼奎苦采虹百若茧烈黼葶奎苦 采营菘氢裂事窑莨移i 寥落霞采虹琵转鑫嚣葫蓠蘑，匿客蒡掰器j 菩匿一雨融慕靠纛苦杀鲁基；衰蕾釜离菰等；器丧邑瀛薄羞窑离i 誉器荨隔鬻采堑一；葡斋彤i 影套谚等一毹 丰= 亭鼢斋葡烈函墓j 丽雾聿= 一百蠹筹藩鹾意痞舔孽矧；善鹾摹奎静掣醴氢# 巷萄； 菩斧薹 晷箬蠡瓣孑番言蓦釜荸萄泞掣配秘亭套赢嚣霉蓊黼号j 誊i 。4 羲蕊摹蔼孺馥 蒂和添羚摹奎邕钮酾蒜电罗肃； 靠善窘幕i 攀彗霸葑蒸黼摹奎彘叠， 氟。 离甬嵛荨玺琴衣断豇葫雪董梨者甜 等美。静静酊蟊鞋斧基荸孝亭套商 霄掣# 加茕# 邑舡醇鼢；薪掣丽f 亭意赢甜矗碱旨融霉雨窘酾嚣蒸 赢赢蘸纂酊# 赢黼萨掣j 藐器誊釜邕钶若时蒂群鬣新千荸jp 2 d r 匿钮丽 雕荨邕赢霞幕钲磊第窘， p 2 d r 匿镑需萄i - 2 癣驰j 鹑酆季喾! = = 蠡鞭鹎；磊强彭雕( p o l i c y ) 。蓠 则d e t e c t i o n ) 冀囊爱i r e s p o n s e i 霪4 誊 基于应用的高速网络入侵检测系统的研究与实现 公开密钥算法这类算法也叫非对称密钥算法。这类算法中用作加 密的密钥不同于用作解密的密钥，而且解密密钥在假定的合理长时间内不 能根据加密密钥推算出来，因此加密密钥可以公开，而解密密钥必须保密。 加密密钥叫做公钥( p u b l i ck e y ) ，叫做私钥( p r i v a t ek e y ) 。陌生者可以 用公钥加密信息，那么只有持有与该公钥对应的私钥的人才可以解密。非 对称密钥算法的加密和解密算法都是公开的，因此私钥绝不可外泄。比较 著名的公钥算法有：r s a 、背包算法、m c e l i e e e 、d i f f e - h e l i m a n 等算法， 最有影响的是r s a 算法，它能抵抗到目前为止己知的所有密码攻击。 公开密钥算法的加解密可表示为： 加密： 廓。( p ) = c 解密：口。( c ) = p 公开密钥算法的优点是可以适应网络的开放性要求，且密钥管理问题 也较为简单，尤其可方便的实现数字签名和验证。但其算法复杂，加密数 据的速率较低。尽管如此，随着现代电子技术和密码技术的发展，公钥算 法将是一种很有前途的网络安全加密体制。 1 3 3 传统网络安全技术的不足 防火墙技术、数据加密技术等传统网络安全技术都只是静态的安全技 术，是一种静态安全模型，这些技术均存在相应的缺陷，具体表现在： 每一种技术都还有不完善、不健全的地方，并不是绝对安全的。 运用的技术单一，缺乏灵活性，没有形成一种行之有效的防御体系， 以至于一旦绕过这些技术的防线，这些安全防线将毫无作用。 无法积极主动地对违反安全策略的事件进行检测并自动响应。 1 4 动态安全模型 针对静态安全模型的不足之处， 自身系统，需要用动态的安全模型、 题。 同时面对当今不断变化的信息环境和 方法、技术和解决方案来应对安全问 从二十世纪九十年代开始，随着以入侵检测和漏洞扫描为代表的动态 检测技术和产品的发展，动态安全模型也相应地得到了发展。p 2 d r 模型就 是这样的技术模型的代表。 p 2 d r 模型如图i - 2 所示，包含4 个主要部分：安全策略( p o l i c y ) 、防 护( p r o t e c t i o n ) 、检测( d e t e c t i o n ) 和响应( r e s p o n s e ) 。 第4 页 基于应用的高速网络入侵检测系统的研究与实现 第1 章概论 图卜2p 2 d r 模型 p 2 d r 模型是在整体的安全策略的控制和指导下，在综合运用防护工具 ( 如防火墙、加密、操作系统身份认证等手段) 进行网络信息安全保护的 同时，利用各种检测工具( 如入侵检测系统、漏洞评估系统等) 及时的了 解和评估系统的安全状态，并通过适当的响应将系统调整到新的安全的状 态。 在这个模型中，检测和响应是两个非常重要的组成部分。有了动态的 检测机制( 入侵检测、漏洞扫描) ，就可以主动及时地发现信息系统中存在 的安全问题，并且通过实时而适当的响应，来消除这些使系统处于不安全 状态或使安全风险增加的问题，因此，入侵检测是p 2 d r 十分重要的核心技 术之一，它的研究对于p 2 d r 模型的实现和应用具有十分重要的意义。 1 5 本文的研究内容和意义 互联网的飞速发展给当代人们生活带来无穷无尽的便利，但频频上演 的网络安全悲剧与灾难不仅带给我们难以估量的经济损失，也向我们敲响 了网络安全的警钟。人们越来越清楚地意识到：在当今信息化大潮中，网 络安全是关系到国计民生的一件大事。面对着病毒代码的不断“推陈出新”， 入侵手段的层出不穷，传统网络安全技术和静态安全模型显得力不从心。 作为动态安全模型的核心技术之一的入侵检测技术主要安全目的是： 识别入侵者。 识别入侵行为。 检测和监控已成功的安全突破。 为对抗措施及时提供重要信息。 由此看来，入侵检测非常必要，它从根本上弥补了传统安全保护措施 的不足。 入侵检测研究在过去二十多年里取得了较大进步，尤其是近几年更是 迅猛发展。国内外现在也已经有较成熟的入侵检测产品。然而，当今入侵 检测产品具体应用到各种各样的实际领域中，离该领域的具体需求还有很 大一段距离。 本文旨在探讨一个在现实的应用环境中( 主要是银行) 可用的高速网 第5 页 基于应用的高速网络入侵检测系统的研究与实现 络入侵检测系统的实现。它不但能够解决银行的网络安全问题，而且能够 对银行业务进行审计和监控，找到了通用入侵检测系统在具体( 银行) 应 用中的最佳切合点，构建的系统能够为化解和防范金融风险提供最强有力 的保障。 本文主要完成了以下方面的研究工作： 一论述了入侵检测系统的相关理论知识，包括：入侵检测系统的历 史、概念、模型、分类方法、产品特点、发展趋势、c i d f 标准等； 仔细研究了l i n u x 内核( 版本2 4 1 8 ) 的源代码，通过修改部分 源代码和对内核进行裁减，使之成为一个适合于i d s 运行的安全 操作系统； 对l i n u x 下网络接口设备驱动程序的编写进行了研究，实现了一 种网络接口卡在l i n u x 下的高速网络驱动； _ 认真研究了l i n u x 下1 i b p c a p 函数库和b p f 的机制与原理，实现 了l i n u x 下的可移植且高效率的网络数据包捕获引擎程序； _ 采用了便于使用高效查找算法的数据结构来组织规则，大大提高 了规则匹配的速度； 仔细研究了t c p i p 协议、网络应用协议以及银行业务应用协议， 分别实现了基于网络应用协议和基于业务应用协议的审计分析 插件。 基于应用的高速网络入侵检测系统的研究与实现第2 章入侵检测系统 第2 章入侵检测系统 早在2 0 世纪7 0 年代国际上就开始了防范计算机和网络遭受攻击的研 究。1 9 8 0 年，a n d e r s o n 首先提出了入侵检测的概念【，他将入侵尝试或威 胁定义为：潜在的、有预谋的、未经授权地访问信息和操作信息，致使系 统不可靠或无法使用的企图。他提出审计追踪可应用于监视入侵威胁。但 由于当时的所有系统的安全程序都着重于利用单一的访问控制方式来保障 系统安全，所以这一设想的重要性当时并未被理解，但他的这一份报告被 认为是入侵检测的开山之作。1 9 8 7 年，d e n n i n g 提出了入侵检测系统的抽 象模型 2 】，这是入侵检测发展史上的一个里程碑。他首次将入侵检测的概念 作为一种计算机系统安全防御问题的措施提出，与传统的加密和访问控制 手段相比，入侵检测系统是种全新的计算机安全措施。 1 9 8 8 年，m o r r i si n t e r n e t 蠕虫事件造成了巨大损失，导致许多入侵 检测系统的开发研制。1 9 8 8 年，l u n t 等人进一步改进了d e n n i n g 提出的入 侵检测模型，提出了与系统平台无关的实时检测思想，并创建了i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) ，此系统被设计用于检测针对单 一主机的入侵尝试。同年，为协助美国空军官员检测误用空军基地使用的 u n i s y s 大型机，而开发了h a y s t a c k 系统；基于同样的原因，出现了为美国 国家计算机安全中心m u l t i c s 主机开发的m i d a s ( m u l t i c si n t r u s i o n d e t e c t i o na n da 1 e r t i n gs y s t e ) 。1 9 9 0 年，h e b e r l e i n 等人提出了基于 网络的入侵检测系统n s m ( n e t w o r ks e c u r i t ym o n i t o r ) ，n s m 可以通过 在局域网上主动地监控网络信息流量来追踪可疑的行为。1 9 9 1 年，出现的 n a d 工r ( n e t w o r ka n o m a l ya n di n t r u s i o nr e p o r t e r ) 与d i d s ( d i s t r i b u t e d i n t r u s i o nd e t e c t i o ns v s t e m ) 提出了收集和合并处理来自多个主机的审 计信息从而用以检测针对一系列主机的协同攻击。1 9 9 4 年，m a r kc r o s h i e 和g e n es p a f f o r d 建议使用自治代理以便提高入侵检测系统的可伸缩性、 可维护性、容错性和效率。1 9 9 5 年以后出现了很多新型入侵检测系统，特 别是智能入侵检测系统领域，神经网络、p e t r i 网模型、遗传算法、模糊识 别、免疫系统、数据挖掘、数据融合等理论方法都得到了初步应用，但将 这些方法应用于入侵检测领域目前尚处在理论研究阶段。 2 1入侵检测系统概念 2 1 - 1 入侵和入侵检测 “入侵”( i n t r u s i o n ) 是个广义的概念，从计算机安全的目标来看， 入侵【q 的定义是：旨在破坏计算机系统所拥有资源的完整性、保密性、有效 第7 页 基于应用的高速网络入侵检测系统的研究与实现 第2 章入侵检测系统 性【3 1 的任何行为和违反系统安全策略的任何事件。入侵行为不仅包括从外部 黑客收集系统漏洞信息、非法获取系统控制权、造成计算机系统拒绝服务 ( d e n i a lo fs e r v i c e ，简称d o s ) 等有害行为，同时也包括内部用户越权 使用系统等恶意行为。 从根源上看，造成计算机系统被入侵现象的原因有许多，其中更多的 是由于系统自身的诸多缺陷。如系统的错误或不当配置、网络协议设计和 实现上的漏洞，系统软件和应用软件在设计和实现上的疏漏不足，系统安 全策略设计和实现上的纰漏和不完善等，所有这些都给入侵者提供了有利 可乘的机会。 从入侵策略角度来看，入侵可分为：企图进入或成功进入、冒充其他 用户、违反安全策略、合法用户的泄漏、独占资源和恶意使用等六大方面。 “若要人不知，除非己莫为”。虽然入侵行为多种多样，但是，从入侵 检测的数据特性来看，它们也像病毒一样，在它们惯常的手法和手段后面 都必然包含着许多有关攻击的特征信息，这些信息势必与正常的网络通信 数据存在着差异，于是我们就有可能根据这样的差异来检测出入侵行为。 国际计算机安全协会( i c s a ) 则将入侵检测( i n t r u s i o nd e t e c t i o n ) 定义为“通过从计算机网络或计算机系统中的若干关键点收集信息并对其 进行分析，从中发现网络或系统中是否有违反安全策略的行为和遭到袭击 的迹象并同时作出响应的一种安全技术” 从上述定义可以看出，入侵检测的典型过程是：信息收集、信息预处 理、数据的检测分析、根据安全策略作出响应。有的还包括检测效果的评 估。其中，信息收集是指从网络或系统的关键点得到原始数据，这些数据 包括从网络数据包、系统的审计日志、应用程序目志等原始信息。信息预 处理是指对收集到的数据进行预处理分析，将其转化为监测器所需要的格 式，包括去除冗余信息。数据的检测分析是指利用各种分析方法( 算法) 建立检测器模型，并对输入的数据进行分析以判断入侵行为是否发生。这 是入侵检测的关键环节之一。作出响应则是指产生检测和审计报告，并通 知管理员当前系统的安全状态和应采取的安全措施，当然，对入侵检测效 果的评估也是很重要的一环。一般采用把误报率( f a l s ep o s i t i v e s ) 和漏 报率( f a l s en e g a t i v e s ) 作为衡量入侵检测效果的重要的指标。同时，对于 具体的应用要求还有其他重要的具体指标，例如考虑在高速网络环境下实 现入侵检测，则单位时间内抓包速率也是十分重要的指标。 2 1 2 入侵检测系统 顾名思义，入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e 简称i d s ) 是入侵检测的具体实现，是由计算机软件和硬件组合而成的计算机安全系 统。入侵检测系统对系统进行实时监控，获取系统的网络数据包或审计数 据，然后将得到数据进行分析，并判断系统或网络是否出现异常或入侵行 基于应用的高速网络入侵检测系统的研究与实现 第2 章入侵检测系统 性【3 1 的任何行为和违反系统安全策略的任何事件。入侵行为不仅包括从外部 黑客收集系统漏洞信息、非法获取系统控制权、造成计算机系统拒绝服务 ( d e n i a lo fs e r v i c e ，简称d o s ) 等有害行为，同时也包括内部用户越权 使用系统等恶意行为。 从根源上看，造成计算机系统被入侵现象的原因有许多，其中更多的 是由于系统自身的诸多缺陷。如系统的错误或不当配置、网络协议设计和 实现上的漏洞，系统软件和应用软件在设计和实现上的疏漏不足，系统安 全策略设计和实现上的纰漏和不完善等，所有这些都给入侵者提供了有利 可乘的机会。 从入侵策略角度来看，入侵可分为：企图进入或成功进入、冒充其他 用户、违反安全策略、合法用户的泄漏、独占资源和恶意使用等六大方面。 “若要人不知，除非己莫为”。虽然入侵行为多种多样，但是，从入侵 检测的数据特性来看，它们也像病毒一样，在它们惯常的手法和手段后面 都必然包含着许多有关攻击的特征信息，这些信息势必与正常的网络通信 数据存在着差异，于是我们就有可能根据这样的差异来检测出入侵行为。 国际计算机安全协会( i c s a ) 则将入侵检测( i n t r u s i o nd e t e c t i o n ) 定义为“通过从计算机网络或计算机系统中的若干关键点收集信息并对其 进行分析，从中发现网络或系统中是否有违反安全策略的行为和遭到袭击 的迹象并同时作出响应的一种安全技术” 从上述定义可以看出，入侵检测的典型过程是：信息收集、信息预处 理、数据的检测分析、根据安全策略作出响应。有的还包括检测效果的评 估。其中，信息收集是指从网络或系统的关键点得到原始数据，这些数据 包括从网络数据包、系统的审计日志、应用程序目志等原始信息。信息预 处理是指对收集到的数据进行预处理分析，将其转化为监测器所需要的格 式，包括去除冗余信息。数据的检测分析是指利用各种分析方法( 算法) 建立检测器模型，并对输入的数据进行分析以判断入侵行为是否发生。这 是入侵检测的关键环节之一。作出响应则是指产生检测和审计报告，并通 知管理员当前系统的安全状态和应采取的安全措施，当然，对入侵检测效 果的评估也是很重要的一环。一般采用把误报率( f a l s ep o s i t i v e s ) 和漏 报率( f a l s en e g a t i v e s ) 作为衡量入侵检测效果的重要的指标。同时，对于 具体的应用要求还有其他重要的具体 x 基于应用的高速网络入侵检测系统的研究与实现 为。一旦发现异常或入侵情况，发出报警并采取相应的保护措施。 一个合格的入侵检测系统能大大的简化管理员的工作，确保网络安全 地运行，i d s 具有的功能有： 监测用户和系统的运行状况，发现用户越权操作。 检测系统配置的正确性和安全漏洞，并提示管理员修补漏洞。 对用户非正常活动的统计分析，发现行为的规律。 检查系统程序和数据的一致性及正确性。 能够实时检测到攻击行为，并进行反应。 操作系统的审计跟踪管理。 2 2 入侵检测系统模型 2 2 1 d e n n i n g 的入侵检测系统抽象模型 d o r t h ye d e n n i n g 于1 9 8 7 年提出了一个i d s 抽象模型【2 1 ，如图2 1 所 示。这是入侵检测发展历史上的一个里程碑事件，它对入侵检测的研究起 过巨大的推动作用，而且目前的大部分检测技术及其体系模型均是以此为 原型不断扩展和改进而成的。 图2 1d e n n i n g 的i d s 抽象模型 该模型主要由以下六个部分组成： 主体( s u b j e c t s ) ：启动在目标系统上的活动实体，例如用户； 对象( o b j e c t s ) ：系统资源，例如文件、设备、命令等； 审计记录( a u d i tr e c o r d s ) ：由 构成的六元组。其 中，活动( a c t i o n ) 是指主体对目标的操作，对操作系统而言，这些操作 包括读、写文件、登录和退出等；异常条件( e x c e p t i o n c d n d i t i o 五) 是指 第9 页 基于应用的高速网络入侵检测系统的研究与实现 系统对主体的活动的异常报告，例如违反系统文件的使用权限；资源使用 状况( r e s o u r c e u s a g e ) 则是指系统的资源消耗情况，例如，c p u 负载、内 存使用率等；时间戳( t i m e s t 鲫p ) 是指活动发生的时间。 行为轮廓( p r o f i l e s ) ：用以保存主体正常活动的有关信息，具体实 现依赖于检测方法，例如在统计方法中，从事件数量、频度、资源消耗等 方面度量，可以使用方差、马尔可夫模型等方法实现。 异常记录( a n o m a l yr e c o r d s ) ：由 组成，用以表示异常事件的发生情况； 活动规则( a c t i v i t yr u l e s ) ：系统判断是否入侵的准则，以及当发 现入侵行为时应采取的相应措施。 。 在当前条件下来看，d e n n i n g 的通用入侵检测模型受当时的技术条件等 的制约，具有许多的不足之处，如数据源获取方式不灵活、检测方法单一、 实时性不够好、也未回答各i d s 之间关系的问题等。随着时间的推移和技 术的突飞猛进，一种新的通用入侵检测模型呼之欲出。 2 2 2 通用入侵检测框架 随着网络规模的扩大，攻击者不断增加的知识，日趋成熟多样的自动 化攻击工具，以及越来越细腻的攻击手法等都使得入侵的活动变得越来越 复杂而又难以琢磨。某些入侵的活动靠单一i d s 已经不能检测出来( 如分 布式攻击) 。如果不同的i d s 之间没有协作，就会因缺乏判定某种入侵模式 的充足信息而导致i d s 不能发现这种新的入侵活动。网络安全策略一般也 要求i d s 能够与访问控制、入侵审计等系统交换信息，相互协作，形成一 个整体有效的立体安全保障系统。要达到这些要求，i d s 之间必须要有一个 约定，如数据交换的格式、协作方式等，特别需要一个标准来加以指导。 基于上述因素考虑，由t e r e s al u n t 等发起的开放性研究组织入 侵检测工作组( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ，简称i d w g ) 开展了 这方面的研究工作。它提出了一整套规范，称为通用入侵检测框架( c o 咖o n i n t r u s i o nd e t e c t i o nf r 锄e w o r k ，简称c i d f ) 。c i d f 主要定义了i d s 表达 检测信息的标准语言以及i d s 组件之间的通信协议，符合c i d f 规范的i d s 可以共享检测信息，相互通信，协同工作，还可以与其他系统配合实施统 一的配置响应和恢复策略。c i d f 的主要作用在于继承各种i d s 并使之协同 工作，实现各工d s 之间的组件重用，所以，c i d f 也是构建分布式i d s 的基 础。 。 c i d