（计算机软件与理论专业论文）入侵检测系统分析引擎的研究与实现.pdf

东南大学学位论文 蜂5 础如疗 独创性声明及使用授权说明 一、学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果n 尽我所知，除了文中特别加以标注和致谢的地方外，呛文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的刊志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 二、关于学位论文使用授权说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 签名：牡导师签名：二三阻日期： 0 们弓t l ) 摘要 随着计算机网络的广泛使用，网络之间信息的传输量不可避免的急剧增长， 针对网络进行的入侵和攻击行为也层出不穷，提高网络的安全性和可靠性成为人 们目前关心和研究的主要问题。 入侵检测作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击 和误操作的实时保护，对入侵攻击的检测与防范已经成为刻不容缓的重要课题， 入侵检测产品仍具有较大的发展空间。 分析引擎作为入侵检测系统的核心，它的实现方式在很大程度上决定了系统 运行的速度、性能和有效性。从技术途径来讲，目前已经研究和做出实现的分析 技术已经有几十种，但实际应用的产品中仍仅仅限于模式匹配和统计描述两种基 本方法。因此，除了完善常规的、传统的技术( 模式识别和完整性检测) 外，应 重点加强分析引擎的相关技术研究，在方法的选择和优化上使入侵检测系统的效 率有更大的提高。 本文从网络安全现状出发，简单介绍了各种相关的网络安全技术和国内外相 关领域的研究动态，对现有的入侵检测分析技术进行了跟踪研究和深入理解。在 此基础上，针对原有的s o i d s 原型系统中存在的问题，提出了一种改进的分析 引擎实现机制，将基于s t a t ( s t a t et r a n s i t i o na n a l y s i st e c h n o l o g y ，状态转换技 术) 的辅助模块加入其中，与原有的模式匹配模块相结合提供更好的检测效果和 灵活性。论文中对状态转换技术在理论上做了详细的论述和分析，介绍了它的基 本原理、构造及实现方法，借鉴了国外当前主要基于s t a t 的入侵检测系统的实 现机制，并给出了项目中具体的设计与实现方案，同时对未来的工作做了展望。 关键词：网络安全入侵检测误用检测状态转换分析技术( s t a t ) 变塑苎塑堕堕：! ! 鲨兰 垒壁垫型墨丝竺塑型竺塑婴塑：! 壅些 a b s t r a c t w i t ht h ee x t e n s i v eu s eo fc o m p u t e rn e t w o r k ，t h ei n f o r m a t i o nt r a n s m i s s i o n q u a n t i t y i s i n e v i t a b l yi n c r e a s i n gr a p i d l y ，a n dt h e r e a l s oc o m eo u tm o r ea n dm o r e n e t w o r k a i m e di n t r u s i o na n da t t a c ka c t i v i t i e s i m p r o v i n gt h es e c u r i t ya n dr e l i a b i l i t yo f n e t w o r kh a sb e c o m et h em a i ni s s u et h a tp e o p l ec a r ea n ds t u d y a sa na c t i v es e c u r i t yd e f e n s et e c h n o l o g y , i n t r u s i o nd e t e c t i o no f f e r st h er e a l t i m e p r o t e c t i o nf r o m i n n e r & o u t e ra t t a c k sa n dm i s u s e o p e r a t i o n t h ed e t e c t i o na n d d e f e n s e o fi n t m s i o na n da t t a c kh a v eb e c o m eav i t a lr e s e a r c hf o c u s t h ei n t r u s i o nd e t e c t i o n p r o d u c t ss t i l lh a v ew i d es p a c eo fd e v e l o p m e n t a n a l y s i se n g i n e i st h ec o r eo fi n t r u s i o nd e t e c t i o n s y s t e m ( m s ) ，a n di t s r e a l i z a t i o nm e c h a n i s m m o s t l yd e c i d e st h es p e e d ，p e r f o r m a n c ea n d e f f e c t i v e n e s so ft h e i d s s f r o mt h ep o i n to ft e c h n o l o g y , t h e r ea r et e n so fm a i na n a l y s i st e c h n i q u e sb e i n g r e s e a r c h e dc u r r e n t l y ，b u tm o s tp r a c t i c a l p r o d u c t so n l ya d o p tt h e2b a s i cm e t h o d s ： p a t t e r nm a t c ha n ds t a t i s t i c sd e s c r i p t i o n t h e r e f o r e ，b e s i d e sp e r f e c t i n gt h er o u t i n ea n d t r a d i t i o n a lt e c h n i q u e s ，s u c ha sp a t t e m r e c o g n i t i o na n d i n t e g r a l i t yc h e c k i n g ，w es h o u l d e m p h a s i z et h e c o r r e l a t e d t e c h n i q u er e s e a r c h o fa n a l y s i se n g i n e ，a n di m p r o v et h e e f f i c i e n c yo f i d s b y t h ec h o i c ea n d o p t i m i z a t i o no f m e t h o d s b e g i n n i n gw i t ht h ea c t u a ls i t u a t i o no fn e t w o r ks e c u r i t y ，t h i sp a p e rb r i e f l yi n t r o d u c e s s o r t so fr e l a t e dn e t w o r ks e c u r i t yt e c h n o l o g i e sa n dt h er e s e a r c ht r e n d so fr e l a t e df i e l d s a th o m ea n da b r o a d ；t h e ns t u d i e s d e e p l yt h e c u r r e n ti n t r u s i o nd e t e c t i o n a n a l y s i s t e c h n i q u e s b a s e do nt h e s e r e s e a r c h e sa n da i m e da tt h ep r o b l e m si nt h eo r i g i n a l s o i d s p r o t o t y p es y s t e m ，i tp u t sf o r w a r da ni m p r o v e da n a l y s i sr e a l i z a t i o nm e c h a n i s m ， w h i c ha d d sa na s s i s t a n tm o d u l eb a s e do ns t a t ( s t a t et r a n s i t i o n a n a l y s i st e c h n o l o g y ) i nt h e a n a l y s i se n g i n e t o p r o v i d e ab e t t e rd e t e c t i o ne f f e c ta n d f l e x i b i l i t yb y c o o p e r a t i n g w i t ht h eo l d p a t t e r n m a t c h i n g m o d u l e i t t h e o r e t i c a l l y d i s c u s s e sa n d a n a l y z e si nd e t a i lt h es t a t et r a n s i t i o na n a l y s i st e c h n o l o g y ，a n dp r e s e n t st h eb a s i c t h e o r y ，s t r u c t u r e a n dr e a l i z a t i o no f s t a t a l s o ，r e f e r r i n g t ot h e i m p l e m e n t i n g m e c h a n i s mo ft h ed o m i n a t i n gi d sb a s e do ns t a t , t h ep a p e rp r e s e n t st h ep r a c t i c a l i m p l e m e n t a t i o np r o j e c t a tl a s t ，i td e s c r i b e ss o m ep r o s p e c t so ff u t u r ew o r k k e yw o r d s ：n e t w o r ks e c u r i t y ，i n t r u s i o nd e t e c t i o n ，m i s u s ed e t e c t i o n ，s t a t 3 艘转测系绕骨审列【擎晌 i j 究，安瑚 1 1 研究背景 第一章引言 i n t e r n e t 是在开放、自由的基础之上应运而生的，但也正因如此，网络运营 中的安全问题相对就被忽略了，因此现有网络可以说是漏洞百出，形形色色的网 络罪犯利用可能存在的种种弊病进行攻击，如窃取机密信息，删改网络系统文件， 肆意破化数据，甚至导致系统崩溃。在美国，包括雅虎、e b a y 公司、亚马逊、 微软、e t r a d e 、z d n e t 、c n n 在内的各大顶级网站均曾接连遭到来历不名的电子 攻击，经济损失达数十亿美元【l 】。此外，大量免费下载的黑客软件在网间传递， 借助这些傻瓜式的黑客软件，几乎任何电脑爱好者都可以成为黑客，使得黑客队 伍不断壮大。网络安全已成为国家与国防安全的重要组成部分，同时也是国家网 络经济发展的关键。 在这种情况下，如何提高网络的安全性和可靠性成为人们目前关心和研究的 主要问题。对入侵攻击的检测与防范、保障计算机系统、网络系统及整个信息基 础设施的安全己经成为刻不容缓的重要课题。 网络体系结构的开放性特征和计算机软件本身固有的特性使得网络入侵仍 然非常普遍，并且在目前的条件下入侵问题很难通过提出新的安全策略来彻底解 决，因此，研究和检测网络入侵行为就变得非常重要和有意义，入侵检测已经成 为网络安全中一个重要的研究方向而越来越受到重视，它作为一种积极主动地安 全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受 到危害之前拦截和响应入侵。在国内，随着上网的关键部门、关键业务越来越多， 迫切需要具有自主版权的入侵检测产品。但现状是入侵检测仅仅停留在研究和实 验样品( 缺乏升级和服务) 阶段，或者是防火墙中集成较为初级的入侵检测模块。 可见，入侵检测产品仍具有较大的发展空间。 一般来讲，提到入侵检钡4 时，都会侧重于评估和衡量它监测和发现非法网络 行为的能力，也就是通过采用或设计一种什么样的分析引擎实现机制能够更充分 的发挥“入侵检测”这一安全保护的功能。而从技术途径来讲，要想使入侵检测 系统发挥其强大的监测与报警功能，关键是要采用一种有效的分析检测方法，因 此可以说，分析引擎的实现技术是入侵检测技术中的核心，它从根本上最终决定 了整个系统工作的能力，其模块的实现机制也在很大程度上影响了整个系统运作 的效率。而且，随着入侵攻击模式的层出不穷和变化多端，对于入侵检测分析技 术研究的要求就越来越迫切，不仅仅要求提高和完善现有技术的功能，还要不断 的探索新的检测方法，使得系统能够更高效地发挥其发现及响应入侵行为的作 6 用。因此，除了要继续完善常规的、传统的技术( 模式识别和完整性检测) 外， 应重点加强分析引擎的相关技术研究，在方法的选择和优化上使入侵检测系统的 效率和性能有更大的提高。 1 2 入侵检测分析技术研究现状及面临的主要问题 1 2 1 入侵检测分析技术研究现状 正是由于在广泛应用的国际互联网上，黑客入侵事件不断发生，不良信息大 量传播，网络安全监控管理理论和机制的研究受到重视，黑客入侵手段的研究分 析，系统脆弱性检测技术，报警技术，信息内容分级标识机制，智能化信息内容 分析等研究成果已经成为众多安全工具软件的基础。 计算机网络的安全性主要包括网络服务的可用性( a v a i l a b i l i t y ) 、网络信息 的保密性( c o n f i d e n t i a l i t y ) 和网络信息的完整性( i n t e 鲥t y ) 。网络安全中系统安 全产品使用最广泛的技术之一是防火墙，目前在全球连入i n t e r n e t 的计算机中约 有三分之一是处于防火墙保护之下。但防火墙只能阻截来自外部网络的侵扰，而 对于内部网络的安全还需要通过对内部网络的有效控制和管理来实现 2 】。 入侵检测系统是指监视( 或者在可能的情况下阻止) 入侵或者试图控制你的 系统或者网络资源等不良行为的系统，是近年出现的新型网络安全技术，其目的 是提供实时的入侵检测及采取相应的防护手段。选择入侵检测系统，应特别注意 其主要性能的情况，包括：协议分析及检测能力、解码效率( 速度) 、自身安全的 完备性、精确度及完整性防欺骗能力、模式更新速度等等，而这些性能中的绝 大部分都是与其分析引擎实现技术息息相关的。 从9 0 年代开始，开始有了一些针对具体入侵行为或具体的入侵过程进行的 入侵检测的研究和系统，9 4 年以后逐渐出现一些入侵检测的产品，根据它们所 采用的实际分析技术的特点，下面列出了三个比较有代表性的产品及其引擎实现 机制： c i s c o 公司的n e t r a n g e r ，系统结构分为两部分：监测网络包和发告警的传感 器，以及接收并分析告警和启动对策的控制器。在检测问题时不仅观察单个包的 内容，而且还看上下文，即从多个包中得到线索。这是很重要的一点，因为入侵 者可能以字符模式存取一个端口，然后在每个包中只放一个字符。如果一个监测 器只观察单个包，它就永远不会发现完整的信息。n e t r a n g e r 是目前市场上基于 网络的入侵检测软件中经受实践考验最多的产品之一。 n a i ( n e t w o r ka s s o c i a t e s ，i n c ) 公司的c y b e r c o p ，n e t w o r ka s s o c i a t e s 从c i s c o 那里取得授权，将n e t r a n g e r 的引擎和攻击模式数据库用在c y b e r c o p 中。发挥 n e t w o r kg e n e r a l 在提炼包数据上的经验，使用户易于查看和理解。像在s n i f f e r 中一样，它在帮助文档里结合了专家知识。c y b e r c o p 还能生成可以被s n i f f e r 识 别的踪迹文件。 is s ( i n t e m e t s e c u r i t ys y s t e m ，国际互联网安全系统) 公司的r e a l s e c u r e 【j 1 4 j ， 与n e t r a n g e r 和c y b e r c o p 类似，r e a l s e c u r e 在结构上也是两部分。引擎部分负 责监测信息包并生成告警，控制台接收报警并作为配置及产生数据库报告的中心 点。它是计算机网络上自动实时的入侵检测和响应系统。它无妨碍地监控网络传 输并自动检测和响应可疑的行为，在系统受到危害之前截取和响应安全漏洞和内 部误用，从而最大程度地为企业网络提供安全。 在实现分析这个入侵检测系统的核心功能方面有不同的方法，这个过程中， 涉及到隔离己知典型行为的特征模式( 误用检测) 和使用数学方法描述异常的用 户行为( 异常检测) 。这方面的研究已经使用到的技术有早期就开始采用的专家 系统、统计度量方法、有色p e t r i n e t 、神经网络，以及免疫系统、遗传算法、数 据挖掘等近年来热点较多的方法。 尽管已经探索和实现了许多新技术在误用和异常检测中的应用，但大多数比 较通用的商业产品还是仅仅限于执行模式匹配、用户及系统活动和使用模式的基 本统计描述。据公安部计算机信息系统安全产品质量监督检验中心的报告，国内 送检的入侵检测产品中9 5 是属于使用入侵模板进行模式匹配的特征检测产品， 其他5 是采用概率统计的统计检测产品与基于日志的专家知识库系产品。 v ，特征检测：特征检测对己知的攻击或入侵的方式作出确定性的描述，形成相 应的事件模式。当被审计的事件与已知的入侵事件模式相匹配时，即报警。 原理上与专家系统相仿。其检测方法上与计算机病毒的检测方式类似。目前 基于对包特征描述的模式匹配应用较为广泛。该方法预报检测的准确率较高， 但对于无经验知识的入侵与攻击行为无能为力。 统计检测：统计模型常用异常检测，在统计模型中常用的测量参数包括：审 计事件的数量、间隔时间、资源消耗情况等。常用的入侵检测5 种统计模型 为： 1 ) 操作模型：该模型假设异常可通过测量结果与一些固定指标相比较得 到，固定指标可以根据经验值或一段时间内的统计平均得到，例如， 在短时间内的多次失败的登录很有可能是口令尝试攻击： 2 ) 方差：计算参数的方差，设定其置信区间，当测量值超过置信区间的 范围时表明有可能是异常； 3 ) 多元模型：操作模型的扩展，通过同时分析多个参数实现检测； 4 ) 马尔柯夫过程模型：将每种类型的事件定义为系统状态，用状态转移 矩阵来表示状态的变化，当一个事件发生时，或状态矩阵该转移的概 率较小则可能是异常事件； 5 ) 时间序列分析，将事件计数与资源耗用根据时间排成序列，如果一个 新事件在该时问发生的概率较低，则该事件可能是入侵。 茎堡鉴塑! 篓堕兰 型壁型塑竺丛壁型丝竺翌 统计方法的最大优点是它可以“学习”用户的使用习惯，从而具有较高检出 率与可用性。但是它的学习能力也给入侵者以机会通过逐步“训练”使 入侵事件符合正常操作的统计规律，从而透过入侵检测系统。 专家系统：用专家系统对入侵进行检测，经常是针对有特征入侵行为。所谓 的规则，即是知识，不同的系统与设置具有不同的规则，且规则之间往往无 通用性。专家系统的建立依赖于知识库的完备性，知识库的完备性又取决于 审计记录的完备性与实时性。入侵的特征抽取与表达，是入侵检测专家系统 的关键。在系统实现中，将有关入侵的知识转化为i f t h e n 结构( 也可以是 复合结构) ，条件部分为入侵特征，t h e n 部分是系统防范措施。运用专家系 统防范有特征入侵行为的有效性完全取决于专家系统知识库的完备性。 如果入侵检测产品要有效的发挥其保护现实系统的功能，研究并综合应用高 级分析技术并把它们转换成商业产品就是必然的要求【7 i 。 此外，目前的入侵检测系统大部分是基于各自的需求和设计独立开发的，不 同系统之间缺乏互操作性和互用性，这对入侵检测系统的发展造成了障碍，因此 d a r p a ( t h ed e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y , 美国国防部高级研究计 划局) 在1 9 9 7 年3 月开始着手c i d f ( c o m m o n i n t r u s i o nd e t e c t i o nf r a m e w o r k ，公 共入侵检测框架) 标准的制定。现在加州大学d a v i s 分校的安全实验室已经完成 c i d f 标准p j ，i e t f ( i n t e m e te n g i n e e r i n gt a s kf o r c e ，i n t e m e t 工程任务组) 成立 了i d w g ( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ，入侵检测工作组) 负责建立i d e f t 6 】 ( i n t r u s i o nd e t e c t i o n e x c h a n g ef o r m a t ，入侵检测数据交换格式) 标准，并提供支 持该标准的工具，以更高效率地开发i d s 系统( i n t r u s i o nd e t e c t i o ns y s t e m ，入侵 检测系统) 。国内在这方面的研究刚开始起步，目前也已经开始着手入侵检测标 准i d f ( i n t r u s i o nd e t e c t i o nf r a m e w o r k ，入侵检测框架) 的研究与制定。 1 2 2 入侵检测分析技术存在的主要问题 任何分析技术都不可能检测出所有的入侵攻击行为，它们的实现原理决定了 它们只是分别从某个角度侧重于针对某一类或某些类的违法行为进行监测。根据 分析引擎在入侵监测系统中所担任的角色和实现的功能，可以看出目前分析技术 研究中需要着重解决的问题也就是它所面临的挑战： 误报： 误报是指被入侵检测系统测出并做出警报的所谓“违法”行为，实际是正常 的和合法的使用受保护网络和计算机的行为。假警报不但令人讨厌，并且降低了 入侵检测系统的有效性和工作效率。而且，攻击者还可以而且往往是利用包结构 伪造无威胁“正常”假警报，以诱使收受人把入侵检测系统关掉。没有一种入侵 检测分析技术是能够完全避免误报的，应用系统总会发生错误，原因汪汪在于： 塑苎王竺三：i _ ：坚兰 篓竺堕墨塑堕竖业墅塑生堕 ( 1 ) 缺乏共享信息的标准机制和集中协调的机制，不同的网络及主机有不同的 安全问题，不同的入侵检测分析技术也有各自的功能；( 2 ) 缺乏揣摩数据在段 时间内行为的能力；( 3 ) 缺乏有效跟踪分析等。 精巧及有组织的攻击： 攻击可以来自四方八面，可以是一群人组织策划且分布在多个节点协同攻击 的方式；或者是攻击行为被认为的分解为多个步骤，在一段相当的时期内力求不 为人知的缓慢的进行。这种情况下，分析引擎就需要注意保留前期的信息积累， 增强上下文相关分析，单单靠针对每个报文的一次性模式匹配的方法显然将无法 有效的检测到这些入侵行为。如果再加上攻击者技术高超的攻击，并且花费很长 时间准备，或发动全球性攻击，要找出这样复杂的攻击是一件难事。 另外，高速网络技术，尤其是交换技术以及加密信道技术的发展，使得通过 共享网段侦听的网络数据采集方法显得不足，而巨大的通信量对数据分析也提出 了新的要求。 1 3 研究目标及内容 本文依托于江苏省应用基础研究项目的“入侵检测理论与技术研究”( 项目 编号b j 0 0 0 0 0 2 ) ，以实验室已经成型的面向服务的入侵检测原型系统s o d s 为基 础，根据现有的各种先进检测技术和革新思想，对这个系统不完善的模块进行进 一步的缅化和功能改善，以提高其灵活性和高效性，使其具备更好的实用性，将 其改造成一个适合投入实际使用的产品化入侵检测系统。 原有的s o i d s 原型系统已经实现了基本的监测、分析、响应、管理等基本功 能，建立m o b i l ea g e n t s 的工作平台( 王巍巍同学硕士论文) ；参考了i e t f 制定 的c i d f 公共入侵检测框架标准和i d e f 入侵检测数据交换格式，初步实现了告警 信息的输出及基本响应功能( 赵铭同学硕士论文) 。我的工作就是通过研究国内 外现有的各种分析引擎机制，根据其优缺点，对现有基于行为的简单字符串匹配 的模式匹配算法进行改进和补充，使用改进的a c - 酬模式匹配算法提高字符串匹 配的效率( 王吴同学毕业论文) ；同时采用效率更高的分析引擎，将基于状态转 换分析的入侵检测分析技术引用作为辅助模块，系统通过对事件序列进行分析来 判断入侵是否发生。这种改今后的系统对于基于协议攻击的入侵手段有较强的分 析能力，而且系统软件部署相当容易，也可提供实时网络监视，并且监视粒度更 细致。 论文中对入侵检测系统的分析引擎技术进行了深入研究，并针对部分常见攻 击模式实现了基于状态转换分析技术的识别功能模块。本文共分七章，第二章对 入侵检测系统基本原理和原有的原型系统实现机制进行了概要介绍；第三章对各 种分析引擎技术进行了分析和深入研究，并针对原型系统中的分杳厅技术和在此基 础上提出的所做的工作进行了陈述；第四章具体分析了状态转换技术s t a t 的原 理、构造，给出了加入的辅助模块的设计方案；第五章介绍了系统实现的软硬件 环境，实验所需网络环境的构建，以及系统中用到的其他相关技术，并给出模块 最终的具体实现方法：在第六章中描述了分析引擎在这个入侵检测系统中的应用 和实际的应用情况，并对改进后的系统进行了总结，介绍了其实际运行的性能和 效果；最后第七章是对整个项目和论文的总结，并对未来的工作做了展望。 至：! ：! ：坐：! 里生： 兰! 望! 型垒竺竺堑盐望塑型蔓! ：! ! 旦 第二章i d s 入侵检测系统概述 2 1 入侵检测简介 入侵检测把传统的电子数据处理( e d p ，e l e c t r o n i cd a t ap r o c e s s i n g ) 、安全 审计、最优模式匹配及统计技术融合在一起，已成为现代网络安全技术的重要组 成部分。在入侵检测之前就已经出现了审计技术，它主要用于：确定和保持系统 活动中每个人的责任；重建事件；评估损失；监测系统问题区；提供有效的灾难 恢复；阻止系统的不证当使用。所有审计过程的前提是有一个支配审计过程的规 则集，规则的确切形式和内容随审计过程的具体内容而变。图2 1 描述了一个基 本的审计过程7 1 。 团圆 圃圆。 团圆。 图2 i 基本审计系统 7 0 年代，随着计算机的处理速度、使用数量的增长以及体积的减小，对计 算机安全性能的要求显著增加。1 9 8 3 年7 月到1 9 8 6 年1 1 月美国斯坦福研究院 进行了一项编号为6 1 6 9 的计划，即s t a t i s t i c a l t e c h n i q u e s d e v e l o p m e n t f o r a n a u d i t t r a i ls y s t e m ( 审计跟踪系统的统计技术发展) ，该计划表明可以通过行为特征来 区分不同用户。这些统计过程有可能将审计跟踪信息量减少1 0 0 倍，与此同时表 明检测入侵企图能达到高度的准确性。1 9 8 4 年到1 9 8 6 年，d o r o t h yd e n n i n g 和 p e t e rn e u m a n n 研究并发展了一个实时入侵检测系统模型，即i d e s ( 入侵检测专 家系统) 1 8 。其中提出的反常活动和计算机不正当使用之间的相关性成为许多8 0 年代入侵检测研究和系统原型的基础，比较典型的系统包括：为检测和阻止t r w 公司的在线信用数据库中的安全问题而设计的专家系统d i s c o v e r y ；由t r a c o r a p p l i e ds c i e n c e s 公司和h a y s t a c k 为美国空军密码支持中心开发的h a y s a t c k 系统 9 1 ；由美国国家计算机安全中一0 ( n c s c ) 为监视d o c k m a s t e r 系统而开发的m u l t i c s 入侵检测和报警系统( m i d a s ) 1 0 1 ；由l o sa l a m o s 国家实验室计算部门开发的 网络审计执行官和入侵报告者n a d i r 1 l 】；由加利福尼亚大学d a v i s 分校开发的 网络系统监视器n s m l l2 1 ；以及由l o sa l a m o s 国家实验室的防卫和安全小组以及 o a k r i d g e 国家实验室合作开发的w i s d o m a n ds e n s e 【13 1 。到了9 0 年代，分布式入 侵检测系统d i d s t ”1 的研究与开发又将集成基于主机和网络监视方法的概念引入 了入侵检测的领域，并进一步提出了移动代理等新的尝试。 十多年来，人们进行了上千种i d s 研究。在这种情况下，入侵检测技术成为 市场上新的热点。如今已经有近百种入侵检测系统问世。入侵检测是防火墙的合 理补充，帮助系统对付网络攻击，扩展了系统管理员的安全管理能力( 包括安全 审计、监视、进攻识别和响应) ，提高了信息安全基础结构的完整性。它从计算 机网络系统中的若干关键点收集信息，并分析这些信息，看看网络中是否有违反 安全策略的行为和遭到袭击的迹象。入侵检测被认为是防火墙之后的第二道安全 闸门，在不影晌网络性能的情况下能对网络进行监测，从而提供对内部攻击、外 部攻击和误操作的实时保护。 2 2 入侵检测系统概念 通俗的讲，入侵检测系统就是“计算机和网络用来防止小偷的警报系统”， 或者说，“入侵检测系统搜索闯入计算机系统的入侵者并及时报警”【7 l 。也可以 理解为，当系统处理的信息被认为是有价值时，它们自然就成了攻击的目标。而 入侵检测系统就是用来检测未经授权对计算机资源进行非法使用的行为的系统， 是检测计算机网络和系统以发现违反安全策略事件的过程。 一个成功的入侵检测系统，不仅可使系统管理员时刻了解网络系统( 包括程 序、文件和硬件设备等) 的任何变更，还能给网络安全策略的制订提供依据。它 应该管理配置简单，使非专业人员非常容易地获得网络安全。入侵检测的规模还 应根据网络规模、系统构造和安全需求的改变而改变。它可在网络系统受到危害 之前拦截并及时做出响应，包括切断网络连接、记录事件和报警等。 所谓的网络入侵是指对接入网络的计算机系统的非法进入，即有攻击者未经 合法的手段和程序而取得了使用该系统资源( 包括处理能力) 的权利。网络的入 侵表现为攻击者取得了进入系统或多次进入系统的能力；和或取得了访问系统 中资源的能力；和或取得了在系统中运行自己的程序的能力。网络入侵的目的 有很多种，或者是取得使用该系统的存储能力、处理能力以及访问其存储的内容 的权利；或者是作为进入其他系统的跳板；或者是想破坏这个系统( 使其毁坏或 丧失服务能力) 1 5 o 而入侵检测就是通过对运行系统的状态和活动的检测，分析 出非授权的网络访问和恶意的网络行为，迅速发现入侵行为和企图，并为入侵防 范提供有效的手段。因此，入侵检测基于的一个重要前提就是：入侵行为和合法 访问行为是可以区分的，也就是说可以通过提取网络行为的数字特征来分析判断 该行为的合法性。因此一个基本的入侵检测系统需要解决两个问题：一是如何充 分并可靠的提取这种包含关键行为特征的数据；二是如何高效并准确的判定该行 为的合法性。在此基础之上就可以进一步实现网络对抗、动态策略、入侵学习等 功能。 入侵检测技术是为保证计算机系统的安全而设计与配置的一种能够及时发 现并报告系统中未授权或异常现象的技术，是一种用于检测计算机网络中违反安 全策略行为的技术。违反安全策略的行为有：入侵一非法用户的违规行为；滥用 一用户的违规行为。 利用审计记录，入侵检测系统能够识别出任何不希望有的活动，从而达到限 制这些活动，以保护系统的安全。入侵检测系统的应用，能使在入侵攻击对系统 发生危害前，检测到入侵攻击，并利用报警与防护系统驱逐入侵攻击。在入侵攻 击过程中，能减少入侵攻击所造成的损失。在被入侵攻击后，收集入侵攻击的相 关信息，作为防范系统的知识，添加入知识库内，以增强系统的防范能力。 由以上分析可知，一个入侵检测系统具备的基本功能应该包括： 监视用户和系统的运行状况，查找非法用户和合法用户的越权操作； 检测系统配置的正确性和安全漏洞，并提示管理员修补漏洞； 对用户的非正常活动进行统计分析，发现入侵行为的规律； 检查系统程序和数据的一致性与正确性，如计算和比较文件系统的校验和； 能够实施对检测到的入侵行为做出反应； 操作系统的审计跟踪管理。 在功能上一个入侵检测系统至少应该包括：提供事件记录流的信息源；发现 入侵迹象的分析引擎；以及基于分析引擎的结果产生反应的响应部件。图2 2 给 出了一个基本的入侵检测系统结构，各部件的功能如下所述： 图2 2 入侵检测系统的体系结构 事件提取模块：负责提取与被保护系统相关的运行数据或记录，并负责 对数据进行简单的过滤和格式化转换，以方便分析模块的引擎进行处理； 4 入侵分析模块：在提取到的运行数据中找出入侵的痕迹，将授权的正常 访问行为和非授权的不j f 常访问行为区分开来，分析出入侵行为并通知相应模 块，此外，这个模块还应具有学习和适应新攻击模式的智能性； 入侵响应模块：在分析出入侵行为后被触发，根据入侵行为产生响应， 如切断攻击者与主机的连接、封锁用户帐户、重新配置和恢复服务、生成日志文 件等。响应代理可以与防火墙和操作系统交互，申请暂停或封锁接下来来自这 用户的所有连接。 远程管理模块：由于单个入侵检测系统的检测能力和检测范围的限制， 入侵检测系统一般采用分布式监视集中式管理的结构，多个监测单元运行于网络 中的各个网段或系统上，通过远程管理功能在一台管理站点上实现统一的管理和 监控。 2 3 入侵检测系统分类 从技术和检测范围上看，入侵检测系统基本上分为基于网络的产品和基于主 机的产品。混合的入侵检测系统可以弥补一些基于网络和基于主机的片面性缺 陷。 基于网络的入侵检测产品( n i d s ) 【1 7 ”1 放置在比较重要的网段内，不停的 监视网段中的各种数据包。对每一个数据包或可疑的数据包进行特征分析。如果 数据包与系统内置的某些规则吻合，入侵检测系统就会发出警报甚至直接切断网 络连接。目前，大部分入侵检测产品是基于网络的，比较著名的有s n o r t 、n f r 、 s h a d o w 等。 网络入侵检测系统能够检测那些来自网络的攻击，它能够检测到超过授权的 非法访问。由于它不会在业务系统的主机中安装额外的软件，从而不会影响这些 机器的c p u 、i o 与磁盘等资源的使用，不会影响业务系统的性能。但网络入侵 检测系统只检查它直接连接网段的通信，不能检测在不同网段的网络包。在使用 交换以太网的环境中就会出现监测范围的局限。而且，网络入侵检测系统为了性 能目标通常采用特征检测的方法，它可以检测出普通的一些攻击，而很难实现 些复杂的需要大量计算与分析时间的攻击检测。另外，网络入侵检测系统处理加 密的会话过程较困难，随着i p v 6 的普及，这个问题会越来越突出。 基于主机的入侵检测产品( i - u d s ) 通常是安装在被重点检测的主机之上【1 9 驯，主要是对该主机的网络实时连接以及系统审计日志进行智能分析和判断。如 果其中主体活动十分可疑( 特征行为或违反统计规律) ，入侵检测系统就会采取相 应措施。主机入侵检测系统通常情况下比网络入侵检测系统误报率要低，因为检 测在主机上运行的命令序列比检测网络流更简单，系统的复杂性也少得多，通常 能够提供更详尽的相关信息。但是，在服务器本身上安装入侵检测系统会降低应 用系统的效率，而且它依赖于服务器固有的日志与监视能力，除了监测自身的主 机以外，根本不监测网络上的情况。对入侵行为的分析的工作量将随着主机数目 增加而增力。 基于网络的入侵检测产品和基于主机的入侵检测产品都有不足之处，单纯使 用一类产品会造成主动防御体系不全面。但是，它们的缺憾是互补的。如果这两 类产品能够无缝结合起来部署在网络内，则会构架成一套完整立体的主动防御体 系，综合了基于网络和基于主机两种结构特点的入侵检测系统，既可发现网络中 的攻击信息，也可从系统日志中发现异常情况，这就是混合型入侵检测系统。 按照分析引擎的实现方法，又可将入侵检测分为基于行为的和基于知识的。 基于行为的检测是指根据使用者的正常行为规律或资源使用状况来判断是否发 生了入侵，也称为异常检测( a n o m a l yd e t e c t i o n ) ；基于知识的检测也称为误用 检测( m i s u s ed e t e c t i o n ) ，是指运用已知的攻击方法，根据已定义好的入侵模式， 通过比较实际用户行为与这些入侵模式是否匹配来检测，若匹配则视为入侵行 为。在后面的一章将会对这两类分析技术做详细的陈述。 2 4 入侵检测及分析技术发展趋势 无论从规模与方法上入侵技术近年来都发生了变化。入侵的手段与技术也有 了“进步与发展”： 入侵或攻击的综合化与复杂化。 入侵主体对象的间接化，即实施入侵与攻击的主体的隐蔽化。 入侵或攻击的规模扩大。 入侵或攻击技术的分布化。分布式攻击是近期最常用的攻击手段。 攻击对象的转移。由攻击网络改为攻击网络的防护系统，且有愈演愈烈的趋 势。现已有专门针对i d s 作攻击的报道。 相应的，今后的入侵检测及分析技术大致可朝下述三个方向发展： 分布式入侵检测：第一层含义，即针对分布式网络攻击的检测方法；第二层 含义即使用分布式的方法来检测分布式的攻击，其中的关键技术为检测信息的协 同处理与入侵攻击的全局信息的提取。 智能化入侵检测：即使用智能化的方法与手段来进行入侵检测。所谓的智能 化方法，现阶段常用的有神经网络、遗传算法、模糊技术、免疫原理等方法，这 些方法常用于入侵特征的辨识与泛化。利用专家系统的思想来构建入侵检测系统 也是常用的方法之一。特别是具有自学习能力的专家系统，实现了知识库的不断 更新与扩展，使设计的入侵检测系统的防范能力不断增强，应具有更广泛的应用 前景。应用智能体的概念来进行入侵检测的尝试也已有报道。较为一致的解决方 案应为高效常规意义下的入侵检测系统与具有智能检测功能的检测软件或模块 的结合使用。 全面的安全防御方案：即使用安全工程风险管理的思想与方法来处理网络安 全问题，将网络安全作为一个整体工程来处理。从管理、网络结构、加密通道、 防火墙、病毒防护、入侵检测多方位全面对所关注的网络作全面的评估，然后提 出可行的全面解决方案。 “多层次防护”【2 1 l 就是应用和实施一个基于多层次安全系统的全面信息安全 策略，在各个层次上部署相关的网络安全产品以增加攻击都侵入时所需花费的时 问、成本和资源，从而有效地降低被攻击的危险，达到安全防护的目标。目前， 多层次防护已经成为网络安全的主流策略。 “分层安全防护”就提出了这样一种思路：结合不同的安全保护因素，例如防 病毒软件、防火墙和安全漏洞检测工具，来创建一个比单一防护有效得多的综合 保护屏障。分层的安全防护成倍地增加了黑客攻击的成本和难度，从而大大减少 了他们的攻击频度。入侵检测系统负责进行攻击检测，防火墙和强制访问控制系 统负责攻击防范，攻击后的恢复则由自动恢复系统来解决。这三大方向体现了在 网络安全防护上的多层安全防护的思想。在使用了多层安全防护措施以后，企图 入侵信息系统的黑客要付出成数倍的代价才有可能达到入侵目的。这时，你的信 息系统的安全系数就得到了大大的提升。 可能发生的另一个趋势就是硬件版本的入侵检测系统和安全网络工具箱集 成在一起 _ ”，以使用户能够处理与持续的连接到i n t e r n e t 上相关的安全问题。集 成的安全和网络工具箱可能会包括网络接口硬件( 保护集线器和路由器) 、防火 墙、连接加密器、w e b 服务器和其它用来加强更快更安全连接的功能。 需要强调的是，网络安全是一个系统工程，不是单一的产品或技术可以完全 解决的。一个完整的安全体系应该是一个由具有分布性的多种安全技术或产品构 成的复杂系统，既有技术的因素，也包含人的因素，通过这些技术的综合使用， 才能为用户提供一个整体的、立体的、有效的安全解决方案，以有效的解决网络 所面临的安全威胁。 2 5s o i d s 原型系统简介 原有的s o i d s ( s e r v i c eo r i e n t e di n t r u s i o nd e t e c t i o ns y s t e m ) 是一种面向服 务的入侵检测系统【2 “。它将基于网络和基于主机的入侵检测系统有机的结合在 起，有效的利用两者的优势，提供集成化的检测报告和响应功能，在体系结构上 具有良