（计算机软件与理论专业论文）基于模式匹配和协议分析的入侵检测系统研究.pdf

摘要 论文题目：基于模式匹配和协议分析的入侵检测系统研究 学科专业：计算机软件与理论 研究生：冉占军 指导教师：姚全珠教授 摘要 签名：盎堇狂 签名：辱陋扛 入侵检测作为一种主动的安全防护手段，为主机和网络提供了动态的安全保障。它不 仅检测来自外部的入侵行为，同时也对内部的未授权活动进行监督。利用网络协议的高度 规则性，采用协议分析的方法，结合优秀的模式匹配算法，能较好地解决当前入侵检测系 统中准确性与实时性之间的矛盾。 首先，本文在研究现有入侵检测技术国内外发展现状及发展方向的基础上，将误用检 测和异常检测两种方法相结合，提出模式匹配和协议分析技术相结合的思想，相对于传统 的模式匹配检测技术，有效的减少了匹配检测的计算量、误报率和漏报率。其次，在深入 研究入侵检测系统常用的b m 模式匹配方法的基础上，提出了改进的模式匹配算法，提 高了匹配效率。将新一代的协议分析方法应用到网络入侵检测系统( n i d s ) 中，给出了基于 模式匹配和协议分析的网络入侵检测系统模型。本系统通过w i n p c a p 实现了数据包的高 效捕获，引入预处理模块解决协议解码、数据包分片重组、数据流分段重组问题，详述了 基于s n o r t 的规则解析，对基于s n o r t 的规则划分和规则链表的生成进行了改进，在协议 分析模块详细地探讨了口、t c p 、u d p 协议的分析过程。在响应模块给出了被动响应和 断开t c p 连接、发送i c m p 报文等主动响应两种响应方式。测试结果表明了模型的可行 性和高效性。 关键词：入侵检测；模式匹配；协议分析 西安理工大学硕士学位论文 t i t l e ：s t u d yo fi n t r u s i o nd e t e c t i o ns y s t e mb a s e do n p a t t e r nm a t c h i n ga n dp r o t o c o la n a l 丫s i s m a j o r ：c o m p u t e rs o f t w a r ea n dt h e o r y n a m e ：z h a n j u nr a n s u p e r v i s o r - p r o f q u a n z h uy a o a b s t r a c t s i g n a t u r e ：坠鹜趁巧批 s i g n a t u r e ： a san e wa c t i v es e c u r i t y - d e f e n s i v em e c h a n i s mi n t r u s i o nd e t e c t i o ns y s t e mc a np r o v i d et h e h o s ta n dn e t w o r kd y n a m i cp r o t e c t i o n i tn o to n l yd e t e c t st h ei n t r u s i o nf r o mt h ee x t r a n e th a c k e r b u ta l s om o n i t o r si n t r a n e tu s e r s n o wn e x tg e n e r a t i o ni d sa r em o s t l yu s i n gas t r a t e g yo f c o m b i n i n gp r o t o c o la n a l y s i sw h i c hm a k e su s eo ft h es p e c i f i c a t i o n so fp r o t o c o la n do u t s t a n d i n g p a t t e r nm a t c h i n ga l g o r i t h m ，t os o l v et h ec o n t r a d i c t i o nb e t w e e nt h ea c c u r a c ya n dt h et i m e l i n e s s f i s t l y , b a s e do nt h er e s e a r c ho fi d sd e v e l o p i n gs t a t u sa n dd i r e c t i o na th o m ea n da b r o a d ， v i ac o m b i n i n ga n o m a l yd e t e c t i o na n dm i s u s ed e t e c t i o n ，t h ea u t h o rp u tf o r w a r dt h ei d e at h a t p a t t e r nm a t c h i n gc o m b i n e sw i t ht h et e c h n o l o g yo fp r o t o c o la n a l y s i s ，c o m p a r i n gw i t ht r a d i t i o n a l p a t t e r nm a t c h i n g ，i tc a nr e d u c et h ec o u n tw o r k l o a d 、t h ef a l s ep o s i t i v ea n df a l s en e g a t i v e e f f i c i e n c y s e c o n d l y , a f t e rd e e p l yh a v i n gas t u d yo nc o m m o nb mp a t t e r nm a t c h i n gm e t h o d so f i d s ，t h ea u t h o rb r o u g h tf o r w a r dd ni m p r o v e dp a t t e r nm a t c h i n ga l g o r i t h m ，t h i sa l g o r i t h m i m p r o v e dm a t c h i n ge f f i c i e n c y b yi n t r o d u c i n gt h em e t h o do fl a t e s tp r o t o c o la n a l y s i st ot h e n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ，t h ea u t h o rs e tf o r t ht h em o d e lo fn e t w o r ki n t r u s i o n d e t e c t i o ns y s t e mb a s e do np a t t e r nm a t c h i n ga n dp r o t o c o la n a l y s i s p a c k e tc a p t u r ew a sr e a l i z e d e f f i c i e n t l yb yu s i n gw i n p c a pi nt h es y s t e m ，t h ep r o b l e mo fp r o t o c o ld e c o d i n g ，p a c k e t r e s t r u c t u r i n ga n dr e o r g a n i z a t i o no fd a t af l o ws u b p a r a g r a p hw e r er e s o l v e dv i ap r e p r o c e s s m o d u l e ，r e g u l a ra n a l y s i sw a se x p a t i a t e db a s e do ns n o r t ，w ea l s oi m p r o v e db o t hr e g u l a rd i v i s i o n a n dt h eg e n e r a t i o no fr e g u l a rl i s t sb a s e do ns n o r t ，a tt h es a m et i m e ，t h ea n a l y s i sp r o c e s so fi p , t c pa n du d p p r o t o c o lw e r ed e e p l yp r o b e d ，i np r o t o c o la n a l y s i sm o d u l e t w os t r a t e g y e sw e r e g i v e di n c l u d e db o t ha c t i v er e s p o n s e sa n dp a s s i v er e s p o n s e si nr e s p o n s e sm o d u l e t e s tr e s u l t s s h o wt h a tt h em o d e li sf e a s i b l ea n de f f i c i e n t k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；p a t t e r nm a t c h i n g ；p r o t o c o la n a l y s i s 2 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明；本人所呈交的学位论文是我 个人在导师指导下进行的研究工作及取得的成果。尽我所知，除特别加以标注和致谢 的地方外歹论文中不包含其他人的研究成果。与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并已致谢。 率论文及其相关资料着有不实之处t 由本人承担_ 切相关贡任 论文作者签名。鱼童圣一；，一，g 年一f 厅f a 日_ ? 学位论文使用授权声明 本 肆量鋈- 在导师的指导下创作完成毕业论文o ：本人已通过论文的答辩， 并已经在西安理工大学申请博士硕士学位。本人作为学位论文著作权拥有者同意 授权西安理工大学拥有学位论文的部分使用权；，即：、，番) 已获学位的研究生按学校规定 提交印刷版和电子舨学位论文；，学校可以采用影印。缩印或其他复制手段保存研究生 上交的学位论文i 一可以将学位论文的全部或部分内容编入有关数据库进行检索i2 ) 为 教学和科研目的，。学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆。 资料室等场所或在校园网上供校内师生阅读，浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部办- 理。 7 保密的学位论文在解密后，+ 适用本授权说明) + 论文作者签名；r 毒矗鋈导师签名： 谁啐。易黾 i 6 雷 1 前言 1 前言 1 1 研究背景和意义 随着计算机网络特别是i n t e m e t 的广泛应用，人们的生活和工作都出现了前所未有的 便利。然而，并不是所有在网络上传输的信息都是有益的，也不是所有网络资源的使用者 都是善意的。网络在为合法用户提供方便快捷服务的同时，也为黑客提供了可乘之机，越 来越多的网络系统和基于网络的信息系统正在受到各种各样的入侵和攻击的威胁。2 0 0 6 年中国信息网络安全状况与计算机病毒疫情调查分析报告1 显示：2 0 0 5 年5 月至2 0 0 6 年5 月，5 4 的被调查单位发生过信息安全事件，比去年上升5 ；其中发生过3 次以上 的占2 2 比去年上升7 。其中“遭到端口扫描或网络攻击? 占3 6 。在发生的安全事 件中，攻击或传播源来自外部的占5 0 ，比去年下降7 ；内外部均有的占3 4 5 ，比去 年上升1 0 5 。发现安全事件的途径主要是网络( 系统) 管理员通过技术监测发现，占 5 4 ；其次是通过安全产品报警发现，占4 6 ；事后分析发现的占3 5 。调查显示，4 4 的被调查单位采购了信息安全服务，主要采购的服务有系统维护( 7 9 ) 、安全检测( 6 0 ) ， 其次是容灾备份与恢复( 3 9 ) 、应急响应( 3 1 ) 、信息安全咨询( 2 5 ) 。2 0 0 7 ，年的中 国信息网络安全状况调查结果眨1 显示，我国信息安全事件发生比例连续3 年呈上升趋势， 达到6 5 7 ，较2 0 0 6 年上升1 1 7 。因此， 信息安全的防御技术很有必要。 网络与信息安全问题显得越来越突出，研究 、 从系统安全的角度可以把网络安全的研究分成两大体系：攻击和防御。攻击技术主要 包括：网络监听、网络扫描、网络入侵、网络后门和网络隐身五个方面。防御技术主要包 括：操作系统的安全配置、加密技术、防火墙技术和入侵检测技术四个方面。前三项属于 被动的安全防御技术，其中防火墙技术起着至关重要的作用。然而，传统的防火墙技术具 有两个常见的缺陷：一是如果防火墙安全性配置得特别强大，就会影响网络系统的性能， 这时防火墙就成为了网络的一个瓶颈；二是如果入侵行为发生在网络内部，防火墙对此就 无能为力了。 目前，传统的加密和防火墙技术等被动防范技术已经不能完全满足现今的安全需要。 因此i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ，入侵检测系统) 3 “1 作为一种新的安全防御措施进 入了人们的视野。作为继防火墙之后又一项重要的安全技术，i d s 是一种积极主动的安全 防护技术，借助其动态和主动的工作原理，成为联动各静态防护技术的关键环节，可以在 系统入侵的全过程对系统进行实时检测与监控，在不影响网络性能的情况下对网络进行监 测，从而提供对内部攻击、外部攻击以及误操作的实时保护。 西安理工大学硕士学位论文 1 2 国内外研究现状 目前，国内外已有很多研究机构从事入侵检测系统的研究。国外的研究主要包括 s t a n f o r dr e s e a r c hi n s t i t u t e 的c o m p u t e rs c i e n c el a b o r a t o r y ( s r i c s l ) ，p u r d u eu n i v e r s i t y 的 c o a s t ( c o m p u t e ro p e r a t i o n sa u d i ta n ds e c u r i t yt e c h n o l o g y ) 研究小组，c o l u m b i au n i v e r s i t y 的w e n k el e e 研究组，u n i v e r s i t yo fn e wm e x i c o 的s t e p h a n i ef o r r e s t 研究组，c a l i f o m i a u n i v e r s i t y 的g r i d s 项目组等等巧1 。 在体系结构上，p u r d u e 大学c o a s t 小组首先将自治a g e n t 的概念用到了入侵检测中 t 6 1 。在检测方法上，除专家系统、模式匹配等传统人工智能方法的研究外，还有计算机 免疫系统的研究t 7 1 0 知识挖掘也被应用于i d s l 8 1 ，国外主要有c o l u m b i a 大学的w e n k el e e 研究小组从事这方面的研究。为了适应下一代高速网络的入侵检测，美国i o w a 州立大学 的y g u a n g 、s v e r m a 等提出通过静态和动态的监测类型相结合四1 ，建立一个准确的类型 规则，构建新的规范语言，在此基础上建立i d s 。美国c a l i f o m i a 大学的c h r i s t o p h e rk r u e g e l 、 f r e d r i kv a l e u r 等构造了一个智能分布式i d st l o i 美国加州大学圣巴巴拉分校( u cs a n t a b a r b a r a ) 提出了基于状态变迁的入侵检测1 1 1 , 1 2 1 。 ；： 在采用协议分析的i d s 研究中，也不乏一些有代表性的研究成果。比如文献【1 3 】 提出的入侵检测决策树( d e c i s i o nt r e e ) 模型；文献【1 4 1 提出的关于安全协议的动态分 析思想；文献【1 5 】提出的非法的协议域分解技术和非法的协议域编码技术；文献【1 6 1 提出了一种基于协议分析规则库的入侵异常检测方案。 国内关于入侵检测的研究相对比较晚，但也有不少大学等研究机构也进行了相应的研 究，有向智能化分布式方面发展的趋势1 1 7 - 2 2 1 。在协议分析方面也有一些有代表性的思想， 如：入侵检测协议分析状态机模型2 3 1 和协议树模型1 2 4 - 2 6 1 。 许多国外厂商也推出了一系列相关产品1 2 7 。如i n t e r n e ts e c u r i t ys y s t e m 公司的 r e a l s e c u r e ，c i s c o 公司的n e t r a n g e r ，n e t w o r ka s s o c i a t e s 公司的c y b e r c o p ，i n t r u s i o n d e t e c t i o n 公司的k a n es e c u r i t ym o n i t o rf o rn t ，a x e n tt e c h n o l o g i e s 公司的o m n i g u r a d i n t r u d e ra l e r t 等等。这些产品各有侧重，r e a l s e c u r e 以简单高效著称；n e t r a n g e r 针对企业设计，适用范围主要是广域网；c y b e r c o p 集成了n e t r a n g e r 的引擎和攻击模式 库，是n e t r a n g e r 的局域网管理员版本；k a n es e c u r i t ym o n i t o rf o rn t 则在t c p i p 检测方 面做得较好。国内也推出了一些入侵检测产品，如北京启明星辰信息技术有限公司的“天 阗入侵检测系统、上海金诺网络安全技术发展股份有限公司的k i d s1 0 0 0 系列、3 0 0 0 系列入侵检测系统等等。“天阒”入侵检测系统具有良好的管理功能，能对网络入侵检测 和主机入侵检测进行集中管理；金诺k i d s 入侵检测系统采用了协议状态分析、流量异 常检测等智能检测技术，能对一些未知的非法入侵行为进行分析、判断，为发现新型入侵 提供了帮助。 2 1 前言 1 3 入侵检测系统面临的主要问题及发展趋势 1 3 1 入侵检测系统面临的主要问题 目前，虽然入侵检测系统得到了广泛的认同，进行了大量的研究，也出现了一些典 型的产品，但是，仍然存在不少问题，有待继续完善和提高。i d s 目前面临的主要问题有 以下几个方面： ( 1 ) 高速网络环境下的检测问题。不管是防火墙还是入侵检测产品，也不管是基于软 件的还是基于硬件的，这些网络安全设备的处理速度一直是制约网络传输性能的瓶颈。如 果i d s 不能适应越来越高的百兆、千兆传输以及多m 分片攻击，在进行检测时就必然要 丢掉部分数据包，不能实现对所有数据包的截获、分析和匹配，如果这些丢弃的数据包中 刚好含有入侵信息，就会发生漏报，当然也就不能对这些入侵信息给与响应，严重情况下 甚至会造成网络的瘫痪，形成d o s 攻击。 ( 2 ) 漏报和误报问题。基于模式匹配的i d s 将所有入侵行为和手段及其变种表达为一 种模式或特征，检测主要判别网络中搜集到的数据特征是否在入侵模式库中出现，因此， 对于新形式的入侵，如果攻击特征库没有及时更新就会造成i d s 的漏报，表现出对未知 入侵的适应能力很差。大多数的i d s 是基于单包检查的，协议分析进行得不够，因此无 法识别伪装或变形的网络入侵，也造成大量漏报。而基于异常发现的i d s 通过流量统计 分析建立系统正常行为的轨迹，当系统运行时的数值超过正常阈值，则认为可能受到攻击， 该技术本身就导致了其漏报率和误报率较高。 ( 3 ) 对加密攻击和分布式攻击的处理能力较差。大多数的i d s 面对网络入侵时都需要 对数据包中的特定特征字符串进行分析匹配，才能够发现入侵活动。然而大多数的i d s 都没有考虑加密攻击问题，如果对网络上传输的数据进行了加密操作，无论是在p 层 ( p s e c ) ，还是在会话层和应用层( s s l ) ，对这些攻击i d s 根本无能为力。另外，现在 很多攻击已经发展成为大规模分布式、协作式、迂回式攻击，现在的i d s 对这类攻击的 处理还不太理想。 ( 4 ) 不同i d s 之间的互操作性差。大型网络的不同部分可能使用了不同的入侵检测系 统，由于缺乏统一的标准，因此，不同的i d s 之间不能交换信息，使得发现攻击时难以 找到攻击源头，甚至给入侵者制造了攻击的漏洞。 一 ( 5 ) 与其他网络安全产品的互操作差。一个安全的网络除了良好的管理之外，还必须综 合采用各种安全技术，如防火墙、身份认证系统等。但入侵检测系统还不能很好地和其他 安全产品相互协作。 ( 6 ) i d s 自身的安全性较差。对i d s 本身的攻击手段正逐渐出现，入侵者先使i d s 瘫 痪，然后避开i d s 的监视再实施对网络系统的入侵。目前的i d s 系统自身的安全性、健 壮性和免疫力较差，甚至很多d s 根本就没有考虑自身的安全性问题。 西安理工大学硕士学位论文 1 3 2 入侵检测系统的发展趋势和研究热点 随着入侵技术的不断发展，入侵检测技术也在不断发展，为了更好的满足网络安全 的需要，入侵检测技术有如下发展的趋势1 2 8 - 3 1 1 ( 1 ) 大规模分布式检测和通用入侵检测架构。传统的i d s 局限于单一的主机或网络架 构，对异构系统及大规模的网络检测明显不足，不同的i d s 系统之间不能协同工作。为 解决这一问题，需要发展分布式入侵检测技术与通用入侵检测架构。 ( 2 ) 适应高速网络环境。大量高速网络的不断涌现，各种宽带接入手段层出不穷，如何 实现高速网络下的实时入侵检测成为一个现实的问题。 ( 3 ) 数据融合技术的使用。目前的i d s 还存在着很多缺陷。首先，目前的技术还不能 对付训练有素的黑客的复杂攻击。其次，系统的误报率太高。最后，系统对大量的数据处 理，非但无助于解决问题，还降低了处理能力。数据融合技术是解决这一系列问题的好方 法。 ( 4 ) 更先进的检测算法。计算机免疫、神经网络和遗传算法等算法的相继出现及改进以 不断提高入侵检测的效率。 ( 5 ) 与其他安全产品联动。单一的技术很难构筑一道强有力的安全防线，这就需要和其 他安全技术共同组成更完备的安全保障系统，如结合防火墙，病毒防护以及电子商务技术， 提供完整的网络安全保障。 ( 6 ) 入侵检测系统的评测方法。面对功能越来越复杂的i d s ，用户需对众多的i d s 进行 评价，评价指标包括i d s 检测范围、系统资源占用和i d s 自身的可靠性。从而设计通用 的入侵检测测试与评估方法及平台，实现对多种i d s 的检测已成为当前i d s 应用的另一 重要研究与发展领域。 1 4 本文的工作和组织结构 1 4 1 论文的工作 本文研究根据c i d f 标准，结合模式匹配、协议分析技术建立了基于模式匹配和协议 分析的网络入侵检测模型。主要工作与创新如下： ( 1 ) 深入探讨了目前入侵检测系统所面临的主要问题及发展趋势和研究热点；并对 当前国内外的研究现状给予介绍：同时对入侵检测系统进行了全面的综述。 ( 2 ) 阐述基于模式匹配的i d s ，并详细介绍了k m p 算法和常用于i d s 模式匹配的 b m 算法的基本思想与匹配过程，提出并实现了一个基于b m 的改进算法，并对算法进行 了理论证明和实际测试，改进后的算法能明显加快匹配速度。 ( 3 ) 详细介绍了用于协议分析的t c p i p 模型，协议分析的思想及优势。基于c i d f 4 1 前言 的总体框架设计了一个改进的基于模式匹配和协议分析的i d s 模型，对各模块进行了较 为详细的设计，改进了s n o r t 中规则划分和规则链表的生成部分。 ( 4 ) 对所设计的模型进行了测试，结果表明，基于模型的i d s 可以明显提高检测效 率，降低漏报率。 1 4 2 论文的组织 本文以i d s 中的协议分析技术为主线，首先介绍了入侵检测概况，然后深入研究了 相关的模式匹配算法，接下来对协议分析技术给与详述，最后提出了一个改进的i d s 模 型并对系统进行了相关测试。文章的组织结构如下： 第一章：前言。主要阐述了入侵检测产生的背景和i d s 的国内外相关研究现状，总 结了入侵检测系统面临的主要问题、发展趋势以及研究热点。 第二章：入侵检测系统。本章详细介绍了入侵检测系统，包括入侵检测系统的基本 概念、功能构成、分类，最后介绍了c i d f 和i d w g 对i d s 所做的标准化工作。 第三章：模式匹配的研究与改进。本章首先介绍了基于模式匹配的i d s 系统的特点、 具体实现及优缺点，详述了k m p 算法和b m 算法的思想，并在此基础上给出了改进算法。 第四章：基于模式匹配和协议分析的i d s 设计。本章一开始说明了协议分析出现的 客观条件，在t c p i p 协议族层次结构的基础上，详细的介绍了几种主要协议，接下来阐 述了t c p i p 协议中数据包的封装过程和协议分析的基本思想，介绍了协议分析技术的优 势，最后给出了一个改进的基于模式匹配和协议分析的入侵检测系统模型，对各模块进行 了较为详细的设计。 。 第五章：系统测试。对所设计的模型系统主要进行了检测效率上的相关测试，测试了 规则数目与匹配时间的关系，数据包数目与匹配时间的关系，并和采用b m 算法的s n o r t 系统进行了比较，最后对实验结果进行了分析。由于检测效率的提高，在应对高速网络的 大量数据包时可以避免或减少丢包情况的发生，减少了漏报率。 西安理工大学硕士学位论文 2 入侵检测系统 2 1 入侵检测概述 2 1 1 入侵检测系统的基本概念 入侵( i n t r u s i o n ) b 2 指的就是试图破坏计算机保密性，完整性，可用性或可控性的一 系列活动。入侵活动包括非授权用户试图存取数据、处理数据，或者妨碍计算机的正常运 行。 入侵检测最早是由j a m e sa n d e r s o n 于1 9 8 0 年提出来的，其定义是1 3 2 1 ：对潜在的有 预谋的未经授权的访问信息、操作信息以及致使系统不可靠、不稳定或无法使用的企图的 检测和监视。 入侵检测系统( ( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) ) 是完成入侵检测功能的软、硬件 组合1 3 2 】。 、 入侵检测对安全保护采取的是一种积极、主动的防御策略，它对进入系统的访问者 ( 包括入侵者) 能进行实时的监视和检测，一旦发现访问者对系统进行非法的操作，就会 向系统管理员发出警报或者自动截断与入侵者的连接，大大提高了系统的安全性。 i d s 从网络系统中的若干关键点收集信息，并分析这些信息，看网络中是否有违反 安全策略的行为和遭到攻击的迹象。入侵检测被认为是防火墙之后的第二道安全闸门，在 不影响网络性能的情况下能对网络进行检测，从而提供对内部攻击、外部攻击和误操作的 实时保护。 2 1 2 入侵检测系统的构成 入侵检测系统的功能构成如图2 一l 所示1 3 2 - 3 5 1 ，至少包含事件提取、入侵分析、入侵 响应和远程管理四部分功能。 6 图2 - 1 入侵检测系统功能构成 f i g u r e2 1i d ss t r u c t u r e 2 入侵检测系统 各部分功能如下： ( 1 ) 事件提取功能负责提取与被保护系统相关的运行数据或记录，并负责对数据进 行简单的过滤。 ( 2 ) 入侵分析功能负责在提取到的运行数据中找出入侵痕迹，将授权的正常访问行 为和非授权的不正常访问行为区分开，分析出入侵行为并对入侵者进行定位。 ( 3 ) 入侵响应功能在分析出入侵行为后被触发，根据入侵行为产生被动或主动响应。 ( 4 ) 由于单个i d s 的检测能力和范围的限制，i d s 一般采用分布监视集中管理的结 构，多个检测单元运行于网络中的各个网段或系统上，通过远程管理功能在一台管理站点 上实现统一的管理和监控。 2 2 入侵检测系统的分类 2 ：2 1 主机、网络、分布式入侵检测系统 从数据来源看，入侵检测系统有三种基本结构1 3 2 , 3 6 1 ( 1 ) 基于主机的入侵检测系统( h o s ti n t r u s i o nd e t e c t i o ns y s t e m ，h i d s ) h i d s 通常是安装在被重点检测的主机之上，以系统日志、应用程序日志等作为 数据源，通过对这些日志或记录的不断监控发现攻击后的误操作。因此，它保护的一般是 所在的系统。优点是针对不同操作系统捕获应用层入侵，误报少；缺点是依赖于主机及其 审计子系统，实时性差，特别是在现在的网络环境下，单独依靠主机审计信息进行入侵检 测己难以适应网络安全的需要。图2 2 是基于主机的入侵检测系统示意图。 图2 2 基于主机的入侵检测系统 f i g u r e2 - 2h i d s 7 西安j l x _ 大学硕士学位论文 ( 2 ) 基于网络的入侵检测系统( n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) n i d s 的数据源是网络上的数据包。在这种类型的入侵检测系统中，往往将一台 机器的网卡设置于混杂模式( p r o m i s cm o d e ) ，监听所有本网段内数据包并进行判断。n i d s 担负着保护整个网段的任务，它不停地监视网段中的各种数据包，对每一个可疑的数据包 进行特征分析：如果数据包与内置的某些规则吻合，入侵检测系统就会发出警报甚至直接 切断网络连接。目前，大部分入侵检测产品是基于网络的。基于网络的i d s 易于配置和 易于作为一个独立的组件来进行管理，而且它们对受保护系统的性能也不产生影响或影响 很小。在n i d s 中，有多个久负盛名的开放源码软件，例如：s n o r t 、n f r 、s h a d o w 等。 图2 3 是基于网络的入侵检测系统示意图。 图2 - 3 基于网络的入侵检测系统 f i g u r e2 - 3n i d s ( 3 ) 分布式入侵检测系统( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，d i d s ) d i d s 可以从多个主机获取数据也可以从网络传输获取数据，克服了单一 h i d s 、n i d s 的不足，一般为分布式结构，由多个部件组成。图2 4 是分布式入侵检测系 统示意图。 8 图2 4 分布式入侵检测系统 f i g u r e2 - 4d i d s 2 入侵检测系统 2 2 2 误用检测、异常检测、完整性分析 从检测策略看，入侵检测系统有三种3 2 3 4 1 ( 1 ) 误用检测( m i s u s ed e t e c t i o n ) 误用检测3 2 1 就是将收集到的信息与已知的网络入侵和系统误用模式数据库进行比 较，从而发现违背安全策略的行为。入侵模式说明了那些导致安全突破或其他误用的事件 中的特征、条件、排列和关系。一个不完整的模式可能表明存在入侵的企图。模式构造有 多种方式。下面列出了各种各样的误用检测方法： 1 ) 基于条件概率的误用入侵检测方法 2 ) 基于状态迁移分析的误用入侵检测方法 3 ) 基于键盘监控的误用入侵检测方法 4 ) 其他 由于篇幅所限，这些误用入侵检测方法的详细内容参见文献【3 4 。 ( 2 ) 异常检测( a b n o r m a ld e t e c t i o n ) 异常检测首先给系统对象( 如用户、文件、目录和设备等) 创建一个统计描述、 统计正常使用时的一些测量属性( 如访问次数、操作失败次数和延时等) 。测量属性的平 均值将被用来与网络、系统的行为进行比较，当观察值在正常值范围之外时，就认为有入 侵发生。 异常入侵检测方法依赖于异常模型的建立，不同模型构成不同的检测方法。异常检测 是通过观测到的一组测量值的偏离度来预测用户行为的变化，然后做出决策判断的检测技 术。具体可以分为如下几种： 、 1 ) 基于特征选择异常检测方法 2 ) 基于贝叶斯推理的异常检测方法 3 ) 基于贝叶斯网络的异常检测方法 4 ) 基于模式预测的异常检测方法 5 ) 基于贝叶斯聚类的异常检测方法 6 ) 基于机器学习的异常检测方法 7 ) 基于数据挖掘的异常入侵检测方法 8 ) 其它。 由于篇幅所限，这些异常入侵检测方法的详细内容见文献 3 4 1 。 ( 3 ) 完整性分析( i n t e g r a l i t ya n a l y s i s ) 完整性分析主要关注某个文件或对象是否被更改，包括文件和目录的内容以及属 性，它在发现被更改的、被特洛伊化的应用程序方面特别有效。优点是只要成功地导致了 文件或其他对象的任何改变，它都能够发现；缺点是一般以批处理方式实现，不易于实时 响应。 9 西安理工大学硕士学位论文 ( 4 ) 三种入侵检测技术比较 误用检测方式只需要收集相关的数据集合，可显著减少系统负担，且技术已相当 成熟，它有很好定义的模式，通过对审计记录信息做模式匹配来检测。但是它的主要局限 性是仅仅可以检测己知的入侵，对检测未知的入侵可能用处不大。 异常入侵检测方式可检测到未知的入侵和更为复杂的入侵，但它有一种固有的不 确定性它可能将合法行为判定为不合法( 1 ：l - , 女n ：用户正常行为的突然改变) ，或者会 更糟：可能会将非法行为判定为正常而允许继续。因此，往往会导致i d s 误报或者漏检， 漏检对于重要的安全系统来说，是相当危险的，这样的i d s 给安全管理员造成了虚假的 系统安全。同时，误报警会增添安全管理员的负担，从而也会导致i d s 的异常检测器计 算开销增大。 2 3 入侵检测系统的标准化 为了提高i d s 产品、组件及与其它安全产品之间的互操作性，美国国防高级研究计 划署( d a r p a ) 和互联网工程任务组( i e t f ) 的入侵检测工作组i d w g ( i n t r u s i o nd e t e c t i o n w o r k i n gg r o u p ) 发展并制定了一系列建议草案。它们从不同方面强调了入侵检测系统， 并从各自的角度进行了标准化的工作1 3 4 , 3 7 1 。以下分别介绍这两个组织的标准化模型。 2 3 1c id f 的标准化 c i d f 3 4 1 是d a r p a 支持下的一个研究项目。c i d f 标准化工作的思想是：入侵行为 的广泛性和多样性，致使单个入侵检测系统不可能检测出所有的入侵行为，因此需要各个 入侵检测系统进行合作来检测跨网段或较长时间段的不同攻击。因此，他们提出了一个通 用的入侵检测框架，然后对框架中部件间的网络通信协议和a p i 进行标准化，并定义了 一种通用入侵规范语言c i s l ( c o m m o ni n t r u s i o ns p e c i f i c a t i o nl a n g u a g e ) ，以达到不同i d s 组件的通信和管理。它将一个入侵检测系统分为以下四个相对独立的功能模块： ( 1 ) 事件产生器( e v e n tg e n e r a t o r s ) ( 2 ) 事件分析器( e v e n ta n a l y z e r s ) ( 3 ) 响应单元( r e s p o n s eu n i t s ) ( 4 ) 事件数据库( e v e n td a t a b a s e s ) 图2 5 是c i d f 基本模型。 1 0 2 入侵检测系统 原始数掘源 图2 5c i d f 基本模型 f i g u r e2 - 5b a s em o d e lo f c i d f 在c i d f 模型中，事件产生器，事件分析器和响应单元通常是以应用程序的形式出现， 而事件数据库则往往采用文件或数据流的形式。c i d f 将入侵检测系统需要分析的数据统 称为事件( e v e n t ) ，它可以是基于网络的入侵检测系统中网络中的数据，也可以是从系统日 志或其它途径得到的信息。事件分析器分析得到的数据，并产生分析结果。响应单元对分 析结果做出反应，如切断网络连接、改变文件属性、简单报警等应急响应。事件数据库中 存放各种中间和最终数据，数据存放的形式既可以是复杂的数据库，也可以是简单的文本 文件。c i d f 模型具有很强的扩展性，目i j 已经得到广泛认同。 2 3 2 id w g 的标准化 i d w g 发起制定的相关标准化建议草案是从c i d f 的基础上发展起来并于2 0 0 0 年初 正式宣布的。i d w g 的最终目的是创立一种包括数据交换格式和交换协议在内的i e t f 标 准，以便不同类型的入侵检测系统或者不同的检测组件之间能够进行互相通信。 i d w g 提出的建议草案包括两大部分内容：入侵检测消息交换格式( i n t r u s i o n d e t e c t i o nm e s s a g ee x c h a n g ef o r m a t ，i d m e f ) 的定义和实现规范，以及用于i d m e f 数据 交换的入侵检测交换协议( i d x p ) 规范。i d m e f 和c i d f 相似，对组件间的通信进行了 标准化，但它只标准化了一种通信场景，即数据处理模块和警告处理模块间的警告信息的 通信。i d m e f 的目的在于定义入侵检测模块和响应模块间，以及可能需要和这两者通信 的管理模块感兴趣的信息交换的数据格式和交换过程。 ， i d m e f 对i d s 的体系结构定制：分析器检测入侵，并要通过t c p i p 网络发送警告信 息给管理者，警告的格式及通信的方法就是i d m e f 所要标准化的内容，包括两个部分： 数据格式规范( 表示交换信息的数据格式或语言) 和通信规范( 确定如何打包传输这些数 据的通信协议) 。 西安理工大学硕士学位论文 2 4 本章小结 本章首先介绍了入侵检测系统的一些基本概念、功能构成以及入侵检测系统的分类， 然后在此基础上介绍了入侵检测系统的标准化工作。 1 2 3 模式匹配 3 模式匹配算法的研究与改进 3 1 模式匹配简介 模式匹配就是将收集到的信息与已知的网络入侵和系统已有模式数据库进行比较，从 而发现违背安全策略的行为。该过程可以很简单( 如通过字符串匹配以寻找一个简单的条 目或指令) ，也可以很复杂( 如利用正规的数学表达式来表示安全状态的变化) 。一般来讲， 一种攻击模式可以用一个过程( 如执行一条指令) 或一个输出( 如获得权限) 来表示。该 方法的一大优点就是只需收集相关的数据集合，显著减少系统负担，且技术已相当成熟。 它与病毒防火墙采用的方法一样，检测准确率和效率都相当高。但是，该方法存在的弱点 是需要不断的升级以对付不断出现的黑客攻击手法，不能检测到从未出现过的黑客攻击手 段。 基于模式匹配检测方法的入侵检测系统是由k m a r 在1 9 9 5 年提出的。目前模式匹配 己经成为入侵检测领域中最广泛的入侵检测手段和机制之一，而当今最成熟、最高效的入 侵检测产品仍然是属于基于模式匹配的i d s 4 1 。 3 1 1 基于模式匹配的入侵检测的特点 把攻击信号看成一种模式进行匹配检测有以下一些特点： ( 1 ) 事件来源独立：模式的描述并不包含对事件来源的描述，模式只需要了解事件 可以提供什么数据，而不管事件如何提供这些数据。 ( 2 ) 描述和匹配相分离：描述入侵信号的模式主要是定义什么需要匹配，而不是如 何去匹配；描述什么东西需要匹配和如何匹配是相分离的。 ( 3 ) 动态的模式生成：描述攻击的模式可以在需要的时候被动态生成。 ( 4 ) 多事件流：允许多事件流同时进行模式匹配，而不需要把这些事件流先行集中 成一个事件流。 ( 5 ) 可移植性：入侵模式可以轻易地移植，而不需要进行重新生成。， 3 1 2 模式匹配系统具体实现 模式匹配在具体的应用中需要解决以下一些问题： ， ( 1 ) 模式的提取：要使提取的模式具有很高的质量，能够充分表现入侵信号的特征， 1 3 西安理工大学硕士学位论文 同时模式之间不能有冲突。 ( 2 ) 模式匹配的动态增加和删除：为了适应不断变化的攻击手段，匹配模式必须具 有动态变更的能力。 ( 3 ) 增量匹配和优先级匹配：在事件流对系统处理能力产生很大压力的时候，要 求系统采取增量匹配的方法来提高系统效率，或者可以先对高优先级的事件先行处理，暂 缓对低优先级事件的处理。 ( 4 ) 完全匹配：匹配机制必须能够提供对所有模式进行匹配的能力。 3 1 3 基于模式匹配的系统的优缺点 ( 一) 优点： 1 易实现 模式匹配思想简明清晰，经过多年许多人不断的改进己经非常成熟，在i d s 中 将数据包捕获和规则剖析分离，因此在检测引擎中实现比较容易。 2 误警率低 采用精确的模式匹配，根据具体规则库进行判断入侵，无需学习过程，相对于基 于统计方法学的异常入侵检测系统而言，误警率要低的多。 3 扩展性好 当发现新的攻击手段后，i d s 无需作大的改动，只要在规则库中添加新的规则即 可。 ( 二) 缺陷 模式匹配是第一代和第二代入侵检测系统在网络数据包里检查某个攻击特征存 在性的一种技术。它主要具有如下两个技术缺陷： 1 计算负荷大 传统的