（计算机应用技术专业论文）协议分析技术在高速网络入侵检测中的应用.pdf

哈尔滨理t 大学t 学颂十学位论文 协议分析技术在高速网络入侵检测中的应用 摘要 随着人类社会生活对i n t e m e t 需求的日益增长，网络安全逐渐成为 i n t e r a c t 及各项网络服务和应用进一步发展所需解决的关键问题。入侵检测 作为一种积极主动防御的网络技术，已经成为网络防护安全体系中的重要组 成部分，但面对日益复杂的网络环境，现有的入侵检测系统却暴露出很多不 足。 本文针对现有网络入侵检测系统所存在的针对协议漏洞的复杂攻击检测 准确率低的弊端比较了相关的入侵检测技术。从理论与实践两方面分析了 基于状态的入侵检测技术对复杂多步骤攻击检测的优势。但i d s 面临的一个 重大挑战是高速网络，现在的网络传输速率已经达到了g b i t s ，入侵检测的 处理能力与速度已经成为了其发展的一个瓶颈，特别是针对那些利用协议漏 洞进行攻击的入侵，需要进行基于状态的深度检测的基础是必须获得完整的 网络数据流，保留一个攻击的所有步骤，否则无法完成芷常检测，针对这一 问题，为了在高速网络下实现基于状态的入侵检测技术，本文采用了数据分 流的方式，后端的处理系统以集群的形式来处理数据。参考了相关研究成果 构建了基于数据分流的高速网络入侵检测体系结构，结构设计采用两级分流 分层结构。同时，采用动态负载均衡策略，防止过多流量同时发往同一探测 器而造成负载不均现象，大大提高了系统的灵活性与可扩展性。本系统的构 建为在高速网络上实现基于状态检测方法提出了一种有效的解决方案，并对 关键模块和接口的实现采取了相关的技术，对系统实现进行了详细设计与分 析。 关键词入侵检测；高速网络：协议分析；数据分流 氅玺篓耋三盔兰二：要：茎竺墼兰 a p p l i c a t i o no f p r o t o c o la n a l y s i si n i d sf o rh i g h s p e e dn e t w o r k a b s t r a c t w i t ht h e i n c r e a s i n gn e e d f o ri n t e m e t ，n e t w o r k s e c u r i t y h a s g r a d u a l l y b e c o m ei m p o r t a n tf o ri n t e r n e ta n df u r t h e rd e v e l o p m e n to fn e t w o r ks e r v i c e sa n d a p p l i c a t i o n s a s a l la c t i v ed e f e n s i v en e t w o r kt e c h n i q u e ，i d sh a sb e e na l l i m p o r t a n tc o m p o n e n to fn e t w o r ks e c u r i t ys y s t e m b u tf a c i n gc o m p l e xn e t w o r k e n v i r o n m e n t ，e x i s t i n gi n t r u s i o nd e t e c t i o ns y s t e me x p o s e sm a n yd e f i c i e n c i e s a i m i n ga tl o wr a t eo fd e t e c t i n gc o m p l e xa t t r a c te x i s t i n gi nn i d s ，t h i sp a p e r p r o v e sa d v a n t a g e so fu s i n gs t a t e f u li n t r u s i o nd e t e c t i o nt e c h n i q u e st od e t e c tm u l t i - s t e p a t t r a c t s n o wi d si sf a c i n gac h a l l e n g ef r o m h i g h s p e e dn e t w o r k a s n e t w o r kb e c o m ef a s t e r , t h e r ei sa ne m e b i n gn e e df o rs e c u r i t ya n a l y s i st e c h n i q u e s t h a tc a nk e e pu pw i t ht h ei n c r e a s e dn e t w o r kt h r o u g h p u t e x i s t i n gn e t w o r k - b a s e d i n t r u s i o nd e t e c t i o ns e n s o r sc a nb a r e l yk e e pu pw i t hb a n d w i d t h so faf e wh u n d r e d m b p s e s p e c i a l l yf o rd e t e c t i n ga t t r a c t st h a ta r ea i m i n ga tp r o t o c o le x p o s u r eu s i n g s t a t e f u li n t r u s i o nd e t e c t i o nt e c h n i q u e ，i tn e e d st om a i n t a i ns t a t eb e t w e e nd i f f e r e n t s t e p so fa na t t a c k ，o t h e r w i s e i tc a l ln o td e t e c tt h ea t t a c k sa c c u r a t e l y , s ot h i s m e t h o dc a nn o tb eu s e di nh i 【g h - s p e e dn e t w o r ke n v i r o n m e n t t or e s o l v et h i s q u e s t i o n ，t h i sp a p e rp u t sf o r w a r dan e wa p p r o a c ht h a ts u p p o r t si n d e p t h ，s t a t e f u l i n t r u s i o nd e t e c t i o no nh i g h s p e e dl i n k s 1 1 1 ea p p r o a c hc e n t e r e r sa r o u n das l i c i n g m e c h a n i s mt h a td i v i d e st h eo v e r a l ln e t w o r kt r a m ci n t os u b s e t so fm a n a g e a b l e s i z e a f t e rc o n s u l t i n gr e l a t e dr e s e a r c h ，t h i sp a p e re s t a b l i s h e sa r c h i t e c t u r eo fh i g h s p e e di n t r u s i o nd e t e c t i o ns y s t e mb a s e do nd a t ad i s t r i b u t i o n a tt h es a m et i m ei t a d o p t sd y n a m i cl o a db a l a n c i n gs t r a t e g yt oa v o i d i n gt o om u c ht r a f f i cs e n tt oo n e s e n s o r , t h i sm e t h o di n c r e a s e sa g i l i t yo fn i d s t h ee s t a b l i s h m e n to ft h es y s t e mi s a ne f f e c t i v eb l u ep r i n t a tl a s tt h i sp a p e rp r e s e n th o wt h ek e ym o d u l e sa r e r e a l i z e d k e y w o r d si n t r u s i o nd e t e c t i o n ；h i g h - s p e e dn e t w o r k ；p r o t o c o la n a l y s i s ； d a t ad i s t r i b u t i o n 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文协议分析技术在高速网络入 侵检测中的应用，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间 独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他 人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均已在 文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签名： 杠雪 日期：2 0 0 6 年3 月1 5 日 哈尔滨理工大学硕士学位论文使用授权书 协议分析技术在高速网络入侵检测中的应用系本人在哈尔滨理工大学 攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈 尔滨理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了 解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部门 提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可以采 用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。 本学位论文属于 保密口，在年解密后适用授权书。 不保密酬。 ( 请在以上相应方框内打) 作者签名： 杜了 日期： 夕“年罗月膨日 导师签名：专一i 翻戈季 日期：加“年孑月，汨 1 1 研究背景 第1 章绪论 随着网络技术日新月异的发展，基于互联网的应用出现爆炸性的增长。互 联网的基础网络没施的传输和处理速度迅速提高。在这样的环境下，网络攻击 技术也呈现出多样化、复杂化和大规模高速化的特点。目前，以太网带宽已经 发展到了1 0 0 0 m b p s ，同时网络用户也急剧增长，这使得主干网或大型网络流 量急剧增高。这时如何在高速情况下进行入侵检测就是一个有待研究的问题。 随着i n t e m e t 和通信技术的发展，网络带宽飞速增长，“带宽无极限”的说法已 经不是一种遥不可及的假设。美国旧金山b a i n 公司的技术与电信业务部主管文 斯托布金说”1 ：“网络传输速率提高的进度，要比微处理器快得多。现在，微 处理器的速度己达1 0 0 0 m h z ，而4 年前其速度仅为1 0 0 m h z ，4 年内增长了l o 倍，而网络传输速率却在3 年内提高了4 0 倍。” 2 0 0 1 年1 2 月，中国互联网络信息中心所作的调查报告显示，我国大陆互联 网络的国际出口带宽目前已达到5 7 2 4 g ，九个月增长了一倍”。根据2 0 0 3 年 计算机安全机构( c s 0 和美国安全局( f b i ) 的报告显示，7 0 的受调查网络承认 和意识到在过去的1 2 个月里遭到不同程度的攻击，3 0 的还不知道是否遭到过 攻击，另外与去年同期相比拒绝服务攻击d o s 增加超过3 3 ，所有这些都是发 生在我们现实网络中。 入侵检测系统是近些年兴起的一种安全技术，可以检测和监视入侵，为对 抗入侵及时提供重要的信息，阻止事件的发生和事态的扩大，有效弥补传统安 全保护措施的不足。它作为一种积极主动地安全防护技术，提供了对内部攻 击、外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响应入 侵。入侵检测系统通常采用并连形式联在网络之中，这种系统与被保护系统处 于同一个网段中，因此它不会因为单点故障而造成系统的中断，但是其性能也 直接影响着整个网络的安全性。实验表明，在高速的网络环境下，入侵检测系 统可能因为负载太高而无法正常工作，不仅造成网速极大的降低，丢失数据包 的现象也很严重。使得探测器无法对某些蓄意的入侵进行检测。如何能实时地 获取和分析高速网络信息流，使网络入侵检测系统能适应高带宽和高负荷的网 络环境，成为当今网络安全领域急需解决的技术难题。 哈尔滨理t 大学t 学硕十学位论文 为了实时分析安全状况。i d s 的数据来源是不停产生的网络流或主机审计 数据。无论采用哪种结构，大量的数据分析都是不可避免的。当待分析数据的 产生速度超过处理能力时，必然导致数据来不及分析就丢弃了。被丢弃的数据 很可能包含具有攻击迹象的恶意数据，于是i d s 遗漏了该攻击事件，产生漏报 ( f a l s en e g a t i v e ) 由此，引出i d s 中的负载问题，它成为制约i d s 性能的瓶颈。 n s t l 的调查显示：在高负载条件下，目前没有i d s 产品能检测出全部攻击。 而且，负载性能问题常常被入侵者所利用。当入侵者进行攻击时，首先发 送大量无用的数据，使i d s 的系统资源消耗殆尽i d s 便遗漏了接下来的恶意数 据包。随着网络带宽( 例如，快速以太网和f d d i 的标准都达到1 0 0 0 m b p s ) 以 及计算机应用的增加，这个问题更加突出多数i d s 产品甚至跟不上1 0 0 m b p s 以太网的速度，而网络环境正朝着远远超出这个速度的方向发展。所以，入侵 者仅仅利用网络的高速传输就能避开i d s 。 因此，当前i d s 研究遇到的一个突出问题是数据处理速度受到极大的挑 战。著名信息安全研究和顾问机构g a r t n e r 公司提出论点，2 0 0 5 年前i d s 会逐渐 消亡”，其中l 点理由中就有目自 t i l d s 对6 0 0 m b p s 以上的传输速率无力处理，美 国能源部将高速入侵检测系统作为i d s 重点研究方向之一 1 2 国内外研究现状 入侵检测技术的研究与开发在国外开展较早。在1 9 8 0 年，j a m e sa d e r s o n 首 先提出了入侵检测的概念1 4 1 。1 9 8 7 年d o r o t h yed e n n i n g 提出入侵检测系统的抽 象模型，首次将入侵检测的概念作为一种计算机系统安全防御问题的措施提出 ”1 9 9 0 年，h c b e r l e i n 等提出了一个新的概念：基于网络的入侵检测 n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 在9 0 年代初兴起的对网络入侵和入侵检测的 研究。9 5 年以后逐渐出现了一些入侵检测产品，其中比较有代表性有i s s 公司 r e a l s e c u r e ”，n a i 公司的c y b e r c o p 和c i s c o 公司的n e t r a n g e r , s y m a n t e c 公司的 n e t p r o w l e 等。国内对入侵检测的研究与开发从9 0 年代末开始，起步较晚。但 已认识到入侵检测的重要性，呈现蓬勃发展的局面，比较成型的新产品有中科 网威的“天眼”入侵检测系统，启明星辰的“天阗”入侵检测系统等。 通过以上了解，入侵检测的产生与发展已经经历了相当长的一段时日j ，入 侵检测的研究已经取得了相当的进展。无论是在入侵检测的体系结构上还是在 检测方法上都在向多样化发展。系统结构上，从原来的单机发展为分布式系 统；在检测方法上，从最初简单的匹配到现在的多种分析方法并存。但是入侵 竺尘圣詈三銮：竺罂圭兰竺丝兰 检测技术还远不成熟，现在的商业产品还停留在初级阶段；而研究项目尽管已经 取得了一些进展，但仍处于不断的尝试之中，远没有达到转化为成熟产品的地 步。随着网络环境的复杂化、大规模化；入侵手段的分布式、隐蔽化；网络速 度的大幅提高，这些无疑给入侵检测的发展带来更大的挑战，如何构建检测准确 率高、处理性能好、检测完备性高的入侵检测系统是未来入侵检测的奋斗目 标。传统上，有2 种可能的途径来解决网络过载的问题，第1 种途径是通过用处 理能力更强的处理器替换现有的处理器，第2 种是通过增加处理器来构建处理 机群。第1 种解决方案比较昂贵，并且不具有很好的扩展性，在进行维护与升 级时需要中断服务，替换服务器的费用不仅包括新服务器的费用，而且原有的 服务器虽然处于功能完好的运行状态也不能再发挥作用产生效益了。第2 种解 决方案是一个可以接受的相对廉价的解决方案，通过增加新的处理机来提高整 个系统的处理能力，入侵检测技术发展任重道远，需要广大研究人员和工程 技术人员不断努力。 1 3 论文研究的内容及章节安排 1 3 1 论文研究问题 本论文主要研究问题包括： 1 高速网络问题随着网络技术的快速发展，网络带宽和网络流量不断增 大，出现了百兆甚至是千兆的网络，另一方面，随着网络用户的增多，网络规 模不断增大，从而使得在某个点上收集整个网段内的网络数据并进行分析是不 可行的，必然会出现丢包问题，使某些数据包漏掉检测模块的分析，导致漏报 或误报。 2 检测准确率的问题目前绝大多数网络入侵检测系统的检测机制还停留 在简单模式匹配特征技术，这种方法实现简单，但计算机量大，无法适应高速网 络，对于变种攻击、多步骤攻击、分布式协作攻击等复杂攻击不能做到有效检 测。 3 高速网络入侵检测体系结构构建一个新的网络体系，缓解或者消除 i d s 对网络流速的影响，采用多处理机的技术，提高处理能力，从而实现t i d s 的高速处理能力。 4 数据分流方式对于传统的单一检测设备而言，如果它在某段时间内收 到的数据包的速度大于其处理速度时，会造成丢包问题，进而影响检测效果。 哈尔滨理t 大学i = 学硕士学位论文 所以，我们将捕获的数据实时地转发分流到多台检测设备上以保证使每个 检测设备不超过其处理极限，使每个检测设备能够正常运行，达到对千兆网数 掘进行处理的目的。 1 3 2 论文章节安排 本文首先在第l 章和第2 章介绍了入侵检测的相关内容与发展现状，并提出 现有入侵检测存在的问题，高速网络入侵检测的发展方向。第3 章针对现有网 络入侵检测系统中采用的简单包匹配技术检测准确率低的弊端，提出了基于状 态协议分析入侵检测在网络入侵检测系统中应用的实现及有效性论证。并提出 了在高速网络下实现这种技术存在的问题，针对这一问题的解决，在第4 章中 介绍了高速网络入侵检测的检测技术，提出数据分流的方式，利用后端的处理 系统可以按集群的形式处理远远超过单结点处理机的数据，劳且可扩展性强， 有效地解决了高速数据流的检测问题。利用这种检测方法，第5 章具体介绍了 协议状态分析技术在高速网络环境下的实现细节。 鉴笙至翌：盔主：兰竺：耋竺篓兰。 第2 章入侵检测相关内容介绍 2 1 网络安全概述 简言之，网络安全就是借助于一定安全策略，使信息在网络环境中的c i a ( 保密性、完整性及可用性) 受到保护，其主要目标是确保经网络传输的信息 到达目的计算机时没有任何改变或丢失，以及只有授权者可以获取响应信息。 因此必须确保所有组网部件能根据需求提供必要的功能。 研究安全策略的路线：需要注意的是安全策略的基础是安全机制，即：数 学原理一安全机制一安全技术一安全策略，也可以说安全策略是各种安全手段 的系统集成，如：防火墙、加密等技术如何配合使用 现有网络安全机制与服务：认证( a u t h e n t i c a t i o n ) 、保密( c o n f i d e n t i a l i t y ) 、访 问控制( a c c e s sc o n t r 0 1 ) 、数据完整性( i n t e g r i t y ) 、抗抵赖( n o n r e p u d i a t i o n ) 。 一般认为，目前网络存在的威胁主要表现在： 1 非授权访问没有预先经过同意，就使用网络或计算机资源被看作非授 权访问，如有意避开系统访问控制机制，对网络设备及资源进行非正常使用， 或擅自扩大权限，越权访问信息。它主要有以下几种形式：假冒、身份攻击、 非法用户进入网络系统进行违法操作、合法用户以未授权方式进行操作等。 2 信息泄漏或丢失指敏感数据在有意或无意中被泄漏出去或丢失，它通 常包括，信息在传输中丢失或泄漏( 如”黑客”们利用电磁泄漏或搭线窃听等 方式可截获机密信息，或通过对信息流向、流量、通信频度和长度等参数的分 析，推出有用信息，如用户口令、帐号等重要信息) ，信息在存储介质中丢 失或泄漏，通过建立隐蔽隧道等窃取敏感信息等。 3 破坏数据完整性以非法手段窃得对数据的使用权，删除、修改、插入 或重发某些重要信息，以取得有益于攻击者的响应：恶意添加，修改数据，以 干扰用户的正常使用。 4 拒绝服务攻击它不断对网络服务系统进行干扰，改变其正常的作业流 程执行无关程序使系统响应减慢甚至瘫痪，影响正常用户的使用，甚至使合法 用户被排斥而不能进入计算机网络系统或不能得到相应的服务。 网络安全是一个系统的概念，有效的安全策略或方案的制定，是网络信息 安全的首要目标。网络安全技术主要有，认证授权、数据加密、访问控制、安 竺尘薹：銮：2 ：兰堡丝兰 个审计等。网络安全近几年的热点发展过程基本上按照以下顺序进行： 1 防火墙技术的研究在网络边界上保卫内部网。 2 v p n 技术的研究连接分散的内部网，完成内部网外延的扩大，与防火 墙技术结合紧密。 3 p k l 技术的研究进一步扩大内部网的外延，同时建立广义的信任关系 4 入侵检测技术的研究阻止各种攻击事件的发生。 目前市场上网络安全防护产品很多，例如防火墙、入侵检测服务器、防病 毒网关等等，但是这些产品并不能够完全满足企业的安全需求。防火墙不能有 效防范端口扫描、病毒入侵和后门攻击3 种网络攻击；当网络攻击进入到用户 的网络内部时，i d s 仅仅能发出告警，却不能阻止攻击的入侵；而防病毒网关 的网络吞吐量被限制在3 - - 1 0 m 范围内，大大制约了使用性能。 2 2 入侵检测概述 2 2 1 入侵检测定义 入侵是指任何试图危及计算机资源的完整性、机密性或可用性的行为。入 侵行为主要是指对系统资源的非授权使用，可以造成系统数据的丢失和破坏、 系统拒绝服务等危害。 对于入侵检测而占的网络攻击可以分为4 类： 1 检查单ip 包首部包括t c p , u d p ， 即可发觉的攻击，如w i n n u k e 、p i n g o f d e a t h 、l a n d c 、8 0 u r c er o u t i n g 、部分o sd e t e c t i o n 等。 2 检查单i p 包同时要检查数据段信息才能发觉的攻击，如利用c g i 漏 洞，缓存溢出攻击等。 3 通过检测发生频率发现攻击如端口扫描、$ y nf l o o d , s m u r f 攻击等。 4 利用分片进行的攻击如t e a d r o p ，n e s t e a , j o l t 等。此类攻击利用了分片 组装算法的种种漏洞。若要检查此类攻击，必须提前( 在i p 层接受或转发时， 而不是在向上层发送时) 作组装尝试。分片不仅可用来攻击，还可用来逃避未 对分片进行组装尝试的入侵检测系统的检测。 而入侵检测是对入侵行为的发觉。它通过从计算机网络或系统中的若干关 键点收集信息，并对这些信息进行分析，从而发现网络或系统中是否有违反安 全策略的行为和遭到攻击的迹象国际计算机安全协会( i c s a ) 将入侵检测定义 为“通过从计算机网络或计算机系统中的若干关键点收集信息并对其进行分 哈尔滨理工大学 - 学硕士学位论文 析，从中发现网络或系统中的是否有违反安全策略的行为和遭到袭击的迹象并 同时做出响应的一种安全技术”。进行入侵检测的软件与硬件的组合便是入侵 检测系统( 简称i d s ) 。入侵检测是防火墙的合理补充，帮助系统对付网络攻 击，它扩展了系统管理员的安全管理能力( 包括安全审计、监视、进攻识别和 响应) ，提高了信息安全基础结构的完整性。入侵检测被认为是防火墙之后的 第二道安全闸门，在不影响网络性能的情况下能对网络进行监测，从而提供对 内部攻击、外部攻击和误操作的实时保护”1 。 网络入侵检测系统( n i d s ) 是项很新的网络安全技术，目前已经受到各界 的广泛关注，它的出现是对原有系统的一个重要补充。入侵系统收集计算机系 统和网络的信息，并对这些信息加以分析，对保护的系统进行安全审计、监 控、攻击识别并做出实时的反应。 入侵检测包含下列功能： 1 用于检测内部人员威胁的事件日志分析 2 用于检测外部人员威胁的网络通信量分析 安全配置管理 文件完整性检查 2 2 2 入侵检测技术 入侵检测系统( i d s ) 提供了很多用来识别正常和异常的系统事件的检测方 法，可以将这些检测方法分为误用捡坝t j ( m i s u s ed e t e c t i o n ) 和异常检钡t j ( a n o m a l y d e t e c t i o n ) 两种9 1 。 误用入侵检测的技术基础是分析各种类型的攻击手段，并找出可能的“攻 击特征”集合。误用入侵检测利用这些特征集合或者是对应的规则集合，对当 前的数据来源进行各种处理后，再进行特征或者规则匹配工作。如果发现满足 条件的匹配，则指示发生了一次攻击行为”。在误用入侵检测系统中，研究者 们提出基于各种技术的检测器，如专家系统( e x p e r ts y s t e m ) 技术、特征分析 ( s i g n a t u r e a n a l y s i s ) 技术、基于p e t r i 网络分析、状态转移分析( s t a t e - t r a n s i t i o n a n a l y s i s ) 等等。 异常入侵检测的假设条件是对攻击行为的检测可以通过观察当前活动与系 统历史正常活动情况之间的差异来实现。异常入侵检测通常都会建立一个关于 系统正常活动的状态模型并不断进行更新，然后将用户当前的活动情况与这个 正常模型进行对比，如果发现了超过设定阈值的差异程序，则指示发现了非法 哈尔滨理t 大学t 学硕士学位论文 攻击行为。在异常入侵检测系统中，最广泛使用的较为成熟技术的是统计分 析，1 d e s 系统最早的基于主机的统计模型。另一种主要的异常检测技术是神经 网络技术。此外，还有许多其它的异常检测方法出现在各种文献中，如基于贝 叶斯网络的异常检测方法、基于模式预测的异常检测方法、基于数据挖掘的异 常检测方法以及基于计算机免疫学的检测技术等。 2 2 3 入侵检测分类 根据信息来源不同，入侵检测系统可以分为以下三类：基于主机的入侵检 测系统( h i d s ) 、基于网络的入侵检测系统( n i d s ) 和混合分布式的入侵检测系统 ( d 1 d s ) 。 1 基于主机的入侵检测基于主机的入侵检测系统历史最久。最早用于审 计用户的活动。比如用户的登陆、命令操作、应用程序使用资源情况等。此类 系统一般主要使用操作系统的审计跟踪日志作为输入，某些也会主动与主机系 统进行交互以获得不存在于系统日志中的信息。它所收集的信息集中在系统调 用和应用层审计上，试图从日志寻找滥用和入侵事件的线索。 基于主机的入侵检测依赖于特定的操作系统和审计跟踪日志获取信息，此 类系统的原始数据来源受到所依附具体操作系统平台的限制，系统的实现主要 针对某种特定的系统平台，在环境适应性、可移植性方面问题较多。所以现在 的商用入侵检测产品几乎没有一种是单纯基于主机类型的。但是在获取高层信 息以及实现一些特殊功能( 如针对系统资源情况的审计) 方面具有无法替代的作 用。 2 基于网络的入侵检测由于来自网络的攻击事件逐渐成为信息系统的最 大威胁，因而基于网络的入侵检测系统只有重要价值。基于网络的入侵检测系 统在网络中的某一点被动地监听网络上传输的原始流量，通过线路窃听的手段 对接获得网络分组进行处理，从中提取有用的信息。基于网络的入侵检测系统 通过对流量分析提取特征模式，再与己知攻击特征相匹配或与正常网络行为原 型相比较来识别攻击事件。与基于主机的入侵检测不同，基于网络的入侵检测 非常适用于检测系统应用层以下的底层攻击事件。 基于网络监听方式实现的入侵检测系统同基于主机的系统相比，在实时 性、适应性，可扩展性方面具有其独特的优势，但此类系统也存在一些固有的 弱点，比如更容易受到基于网络的拒绝服务等恶意攻击，在高层信息的获取上 更为困难，在实现技术上更为复杂等但是也只有此类系统可以检测到某些种类 晴尔滨理工大学t 学硕士学位论文 的攻击，如远程缓冲区溢出、网络碎片攻击等大量针对协议栈或特定网络服务 的攻击手段。可以这样认为，基于主机的系统一般是根据攻击对系统的影响来 判断攻击事件的，比如用户是否多次使用错误口令，文件状态是否非法改变 等，时间上滞后于攻击本身。而基于网络的系统强调通过网络行为过程进行分 析，不是依靠审计攻击事件对目标系统带来的实际影响，而通过行为特征来发 攻击事件。比如网络上一旦发生了针对w i n d o w sn t 系统的攻击行为，即使其 保护网络中没有n t 系统，基于网络的入侵检测系统一样可以检测到该攻击。此 类系统侧重于网络活动进行检测，因而得以实时地发现攻击企图，许多情况可 以做到防范于未燃。由于基于网络监听方式的入侵检测系统直接从数据链路 层获得信息，因而从理论上它可以获取所有的网络信息，原始数据来源丰富， 只要传输数据不是底层加密的，就可检测到一切通过网络发动的攻击事件，包 括一些高层应用的信息。如：目前已经可以完全通过网络监听的方式对通过网 络登陆到特定系统的用户名和口令进行审计，故也可分析其它系统相关的高层 事件。 3 混合分布式入侵检测混合分布式入侵检测可以从不同的主机系统、网 络部件和通过网络监听方式收集数据，这些系统可以利用网络数据，也可以收 集并分析来自主机系统的高层事件，发现可疑行为。虽然基于网络的入侵检测 系统实现的功可以很强大，如要适应现代千兆比特的高速网络和交换式网络方 面也有许多难以克服的困难。而且基于主机的入侵检测系统也有其独特功能， 所以未来的入侵检测系统要想获得成功必须将基于主机和基于网络的两种入侵 检测系统无缝的结合起来，这就是混合分布式入侵检测系统。在基于主机和基 于网络的两种入侵检测系统都发展到一定成熟度后，混合分布式系统也就自然 出现了，它兼有两种入侵检测系统各自的优点，但是实现复杂度要更高。 2 2 4 入侵检测体系结构 公共入侵检测框架( c i d f ) 是在i d e s 和n i d s 系统的基础上提出的一个通用 模型，将入侵检测系统分为四个基本组件：事件产生器、事件分析器、响应单 元和事件数据库。 c i d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它既可以是基于网络的 i d s 中的网络数据包，也可以是基于主机的i d s 从系统日志等其它途径得到的信 息。事件产生器是从整个计算环境中获得被监控的事件，并向系统的其它部分 提供些事件，事件分析分析得到的数据，并产生分析结果。响应单元则是对分 析结果做出反应的功能单元，它可以产生切断连接、改变文件属性等强烈反 应，也可以只是简单的报警。事件数据库是存放各种中间和最终数据的组件的 统称，它可以是复杂的数据库，也可以是简单的文本文件 c i d f 的基本模型架构如图2 一l 所示： 幽2 - - - 1c i d f 基本模型 f i g 2 一lc i d fb a s i cm o d e l c i d f 致力于确立i d s 的通用结构模型、i d s 内组件通信接口、各i d s 间互操 作等方面的标准，由于各种原因。目前的入侵检测商业产品也没有完全采用该 标准。但是，随着行业的不断规范，越来越多的厂商不断达成共识，相信终有 一天它会被投入到实际应用中去。 同时，随着网络速度的快速增长。那么集中式的解决方案也就走到了尽 头，尤其对于深度入侵检测分析。这种情况下，检测设备必须保存正在发生的 攻击的信息或对数据包的内容进行应用层的分析这些工作需要耗费大量的资 源。在单节点的配置中可能会严重干扰节点接收数据包这一基本的任务。在这 种情况下，采用分布式处理框架来实现对于千兆级网络数据流量的检测是可行 的方案。分布式的入侵检测系统框架大致分为两种： 在网络的各个节点安放数据采集和处理的代理，通过代理对其放黄网 段( 小的局域网环境) 中的数据进行检测来实现大流量数据的分布处理，如 n n i d s g 与a a f i d 就是采用这种结构的典型产品。这种分布式处理仅适用于网 络环境复杂、骨干网为高速而局域网仍为1 0 1 0 0 m b p s 的环境，而不适用于直接 面对干兆级的以太网。 我们所采用的分布式计算的结构，也可以称之为集群处理结构，即采 用统一的数据获取方式，对于获取的数据首先进行分流，再将分流后的数据传 送到多台处理机上进行入侵检测，这是因为受监控的网络链路上的数据流需要 被发往检测设备进行实时处理。对于单一的检测设备而言，如果它在某段时间 收到的数据包的速度大于其处理速度时，会造成丢包问题，进而影响检测效 果，所以将捕获的数据流实时地转发分流到多台检测设备上会保证将使每个检 罢翌固雪 测设备不超过其处理极限，使检测设备能够正常进行。 2 2 5 入侵检测发展趋势 入侵检测系统的发展趋势是逐渐从单机日志分析走向网络与分布式检测， 以适应网络规模的伸缩性。人们也不断尝试将各种技术用到入侵检测当中，如 在入侵检测系统中应用自治代理以提高入侵检测系统的可伸缩性、可维护性、 效率和容错性”“；将免疫原理应用到分布式入侵检测领域以提高入侵检测系统 的适应能力”“；将信息检索技术引入到入侵检测系统中提高数据分析能力”“。 具体来说，有以下几个重要的研究方向”； 1 分布式入侵检测技术和通用入侵检测体系结构传统的i d s ，一般局限 于单一主机或网络的结构，对于异构系统及大规模的网络监控明显不足，同 时，网络攻击手段向分布式方向发展( 如分布式d o s 攻击) ，其破坏性和隐蔽 性也越来越强，不同的i d s 系统之间不能协同工作。为解决这个问题，需要对 分粕式入侵检测技术和通用的入侵检测体系结构等进行深入的研究 2 高速网络中的入侵检测技术随着网络技术的飞快发展，网络传输速度 从最开始低速网的k b s 级、到较低速网的m b s 级、最后到高速网的g b s 级，速 度越来越快，并且还在不断提升中这些都使得基于网络的i d s 的运行开销大 大增加，以至于系统不堪重负而崩溃失效。为解决这个问题，需要研究更为高 效的数据获取方式和高效的检测方法。 3 智能入侵检测技术入侵手段层出不穷，呈现出多样化、综合化趋势， 如何“以不变应万变”，提高i d s 的自适应性和学习能力，则需要利用智能研究 理论束指导新型i d s 的研制。目前，神经网络、遗传算法、模糊识别、数据挖 掘、免疫系统等应用于i d s 尚处于理论研究阶段，解决好从理论研究到实际应 用的转化问题还有一段较长的路要走。 当然，i d s 除了呈现出分布式、高速化、智能化的发展趋势外，还有许多 其它方面的理论及其研究已经开展，包括应用层入侵检测技术、i d s 响应策略 与恢复技术、i d s 评测方法等。 哈尔滨理t 大学t 学硕七学位论文 2 3 高速大规模网络的入侵检测 2 3 1 高速网络入侵检测的含义 高速网络的入侵检测是高速网络安全监测的一种，凡是通过对高速网络进 行被动式报文采集和报文分析的方法，都可以称为监测。其中的安全相关应用 则可以被称为安全监测，在安全监测以外还可以有应用于网络管理、性能分析 等等的应用。 2 3 2 高速网络安全监测面临的问题 对大规模的网络进行安全监测中的一个困难问题就是如何尽可能地覆盖 尽量大的范围。 由于大规模网络内部组成的节点数量非常庞大，如果进行安全监测就需 要维持巨大数量的状态信息，这就对大规模网络进行安全监测所需要的处理能 力和状态维护能力提出了较高的要求。 一般的小规模网络，对安全监测可以有比较好的方向性，也就是对有的 方向可以较为重视。由于大规模网络的组成成分复杂，因此被监测的网络部分 中也会存在大量的恶意用户和恶意行为，这使得对网络中各个方向的监测都显 得很重要，这对安全监测系统的处理能力也提出了较高的要求。 2 3 3 高速网络入侵检测的研究意义 由于对高速信道进行安全监测的成本高，技术复杂，因此是否值得对高速 网络进行安全监测曾经一度在安全产品生产商之白】被激烈地讨论过。一种观点 认为，只需要对所有的末端信道都进行安全保护就可以提高系统的安全性，从 而没有必要在高速信道上对骨干网络进行大规模监测，从而增加处理负担。但 是随着安全产品生产商的技术提高，这种讨论逐渐的减少了。而且目前网络安 全变得日益相互依赖，一个网络的安全状态会影响其它网络的安全状态。小到 一个独立的局域网，大到整个国家的网络基础设施，其内部的依赖关系日益紧 密，网络的边界、拓扑和用户成分越来越复杂，因此各级i n t e m e t 自治系统安全 控制的难度日益提高。所以在很多情况下，不得不通过对骨干信道进行安全监 测束提高对网络的安全管理程度” 哈尔滨理t 大学t 学硕十学位论文 2 3 4 高速网络入侵检测监测内容 1 高速入侵检测这不同于企业网边界的入侵检侧功能，虽然高速入侵检 测可以使用企业网入侵检测的一般检测规则并达到相同的检测能力。但是高速 入侵检测要给出需保护的子网络范围以及这些子网络的安全政策。此外，这种 高速的检测能力能够提供对于网络攻击状况更加广泛的统计能力，因此，可以 具备一定的宏观预警能力。本文将主要讨论如何在高速网络环境下实现状态协 议入侵检测功能。 2 异常检测在高速网络环境下，由于用户群的增加，统计规律将提供更 加有效的检测能力，因此，对网络信息进行宏观统计在可靠性方面对比于低速 网络将更好，还可以使高速网络的安全监测具备相当的预警能力。因此，这是 所况的异常检a l 与传统入侵检测系统中的异常检测功能将有所不同。 2 4 高速网络入侵检测相关技术发展 i d s 若继续在高速网络环境中发挥作用，必须解决海量数据的高速处理问 题。对这个问题的解决，目前各个i d s 厂商分别采取不同的方法和技术， 主要有以下几种： 1 分流设备减小流量这种技术将捕获的高流量网络数据通过专用分流设 备，根据分流策略分为多个低流量的数据流，然后交由位于后端 d s 引擎去处 理。这垦的分流策略必须解决至少两个问题。一方面是必须能够很好的处理 流。因为一般来说，为了准确的分析，系统都要求同一个连接的所有数据报文必 须由同一个后端i d s ；j i 擎去处理：另一方面是必须解决好均衡的问题。即保证后 端的许多i d s 不至于超载，也不至于空闲然而同时解决这两个问题是很困难的， 因为要求保证流的完整就可能引起实际流量分配的不均衡：而单纯保证流量的 均衡又难以保证流的完整。这个矛盾是将分流设备作为高速i d s 的解决方案时， 遇到了很大的问题。 2 软件硬件化目前经常采用的方式是关键处理基于硬件电路a s i cf p g a 实现。我们一般称这种i d s 为硬件i d s 。这种技术的问题是，开发周期和成本都 比较高，并且要用这种技术实现复杂协议的协议分析比较困难。 3 专用网络处理器加速网络处理器具有极强的网络数据处理能力，能够 将网络数据快速采集到系统中并发送出去，适合作为实现高速防火墙平台。但 应用于i d s 中却存在着问题。因为网络处理器能够快速处理数据的原理是利用 内部多个微型运算部件并行处理多个报文实现的。这种并行分析多个没有关联 的报文时是可以提高速度，但如果多个报文存在着关联关系则并行无法真正实 现。 4 使用高速匹配算法目前在一些开放的软件i d s 系统中，已经同时使用一 些高速的匹配算法柬提高匹配的速度，比如蹦算法来实现字符串匹配的优化。 但由于这些软件整个体系结构的局限性，算法的使用只能提高单条规则匹配的 效率，无法提高整个规则集匹配的效率，即当规则数线性增长的时候，匹配效率 线性下降。这样的软件系统无法应用于高速的网络环境下”“。 2 5 本章小结 本章主要介绍了网络安全与入侵检测的基本概念，然后针对高速网络入侵 检测研究现状及相关内容进行了介绍。 哈尔滨理t 大学t 学硕七学位论文 第3 章数据分流模型及相关技术 3 1 数据分流 分布式的入侵检测系统框架又可以大体分为两种。一种是基于分布式网络 节点结构的网络，它将传感器分布到网络上的每台机器上，每个传感器只检查 访问本地机器的i p 分组。在网络的各个节点实现对数据采集和处理，通过这 种方式对整个网段( 小的局域网环境) 中的数据进行检测，从而来实现大流量 数掘的分布式处理。这种方式在一定程度上解决了高速网络中入侵检测所面临 的性能问题。其缺点是它在子网内的所有机器上安装探头检测网络数据，不可 避免地会影响这些机器的其它使用。另一种方案即我们所采用的基于数据分流 的结构，它是指一组相互独立的集群服务器在网络中表现为单一的系统，并以 单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务，以 现有的分布式处理技术，可将多台服务器组成为单一的入侵检测系统。通过一 定的负载均衡策略通信数据包，根据负载情况转发到后面的多台处理机，在处 理机上进行数据包的处理和入侵检测。因为对于传统的单一检测设备而占，如 果它在某段时日j 内收到的数据包的速度大于其处理速度时，会造成丢包问题， 进而影响检测效果。所以，我们将捕获的数据实时地转发分流到多台检测设备 上以保证使每个检测设备不超过其处理极限，使每个检测设备能够i f 常运行， 达到对千兆网数据进行处理的目的”1 。 在基于数据分流技术构建的i d s 中千兆数据获取机上，需要具体实现的功