（计算机应用技术专业论文）负载均衡在高速网络下的入侵检测系统中的应用.pdf

太原理工大学硕士研究生学位论文 负载均衡在高速网络下的入侵检测系统中的应用 摘要 随着计算机网络的普及和人们对其应用的日益广泛，网络安全越来越 受到重视。入侵检测技术因能同时检测来自网络外部的恶意攻击和内部的 破坏行为而得到了广泛研究。然而随着网络速度的飞快增长和网络带宽的 剧增，检测能力的不足渐渐地成为了入侵检测技术的瓶颈。 为了解决入侵检测系统在高速网络环境下能力不足的问题，通常的解 决方法是：购买昂贵的专门设备。但是，专门设备毕竟是单节点设备，进 行入侵检测时无法实现负载的均衡；同时由于硬件天生的一些局限性，如 开发成本高、更新不便等，使得这种解决方法难以满足一日千里的网络需 求。 近年来，通过并行处理的设计思想，利用现有的设备集群工作来解决 入侵检测系统能力不足的方法成为了一种热门技术。本文正是基于这种思 想，利用现有的主机构成分析器节点，运用软件设计方法动态维护一张均 衡表，通过对均衡表的访问得知所有分析器节点的负载情况，从而实现动 态负载分流，不仅降低了开发成本，而且维护简单、更新简便。本文主要 做了以下几方面的工作： 1 ) 在深入分析了入侵检测技术的发展、现状、实际应用及其分类的 基础上，将集群思想引入入侵检测系统中，即利用现有的硬件设备通过集 群达到高速网络环境下处理海量数据的要求。 2 ) 介绍了负载均衡技术的定义、分类等，就其中的动态负载均衡技 术做了剖析，在此基础上设计了一整套基于均衡表的负载均衡算法，即动 态维护一张均衡表，实时掌握每一个分析器节点的运行情况，并采取对应 的负载分配方法。 3 ) 采用源、目的p 地址和源、目的端口号这个四元组先异或后哈希 的算法保证连接的完整性，提高了检测精度。 4 ) 通过实验，验证了本文提出的基于均衡表的负载均衡算法的可行 性。 总之，本文描述了一种使用均衡表的负载均衡算法，其基本原理是通 过利用并行处理方法解决现有的入侵检测系统在高速网络环境中处理能力 太原理工大学硕士研究生学位论文 不强的弱点。实验证明，这种方法是合理的，且具有一定的应用价值。 关键词：网络安全，入侵检测，负载均衡，动态 太原理工大学硕士研究生学位论文 u s a g eo fl o a db a l a n c i n gi ni n t u r s i o nd e t e c t i o n s y s t e mo nm g hs p e e dn e t w o r k a b s t r a c t w i t h p e o p l e sd e p e n d e n c eo nc o m p u t e rn e t w o r kb e c o m i n gs t r o n g e l n e t w o r ks e c u r i t yi sg e t t i n gm o r ea n dm o r ei m p o r t a n tt o d a y t h et e c h n o l o g yo f i n t r u s i o nd e t e c t i o ni su s e dw i d e l yb e c a u s ei tc a nd e t e c tt h ev i c i o u sa t t a c k sf r o m e x t e r n a l n e ta n dt h ed e s t r u c t i v eb e h a v i o r sf r o mi n t e r n a l n e t h o w e v e lw i t h r a p i d l yi n c r e a s i n gn e t w o r ks p e e da n dl o a d ，t h ec a p a b i l i t yo fi n t r u s i o nd e t e c t i o n c a nn o tc a t c hu pw i t h t oa v o i ds u c had i s a s t e r , t h ec o m m o ns o l u t i o ni s ：u s ea ne x p e n s i v es p e c i a l h a r d w a r e b e c a u s et h es p e c i a lh a r d w a r ei s o n l yo n en o d em a c h i n e ，i tc a nn o t d i s t r i b u t et h el o a dt oo t h e rp l a c e s ，a n db e c a u s eo ft h eh a r d w a r e si n h e r e n t w e a k n e s s e s ，f o re x a m p l e ，h i g hc o s ti nd e v e l o p m e n t ，i n c o n v e n i e n ti nu p d a t e ，e t c ， t h eu s a g eo ft e c h n i c a lh a r d w a r ei nw i d es c a l ec a nn o ta p p e a r i nr e c e n t y e a r s ，t h r o u g h t h e u s a g e o fp a r a l l e l a r c h i t e c t u r e ，c l u s t e r t e c h n o l o g yo fe x i s t i n gh a r d w a r e sc a ns o l v et h ep r o b l e mt h a tt h ec a p a c i t yo f i n t r u s i o nd e t e c t i o ns y s t e mc a nn o tc a t c hu pw i t ht h ed e v e l o p m e n to fh i g hs p e e d n e t w o r k b a s e do nt h i st e c h n o l o g y , t h i sp a p e re x p l o r e st h ei m p l e m e n t a t i o no f u s i n gs o f t w a r et od i s t r i b u t ep a c k e t st os e v e r a le x i s t i n gh o s t sb ym a i n t a i n i n ga b a l a n c et a b l e ，t h ed y n a m i cl o a db a l a n c i n gp r o b l e mc a nb es o l v e db yr e a d i n gt h e i m f o r m a t i o ni nt h eb a l a n c et a b l e t h i sm e t h o dh a st w os t r o n gp o i n t s ：t h ec o s to f d e v e l o p m e n t i sl o w e rt h a nt h es p e c i a lh a r d w a r e ，t h em a i n t a i n e s sa n dt h eu p d a t e i se a s i e r t h e r ea r ef o u ra s p e c t si nm ym a i nr e s e a r c hw o r k s ： 1 ) a tf i r s t ，t h i sp a p e ri n t r o d u c e st h et e c h n i q u ep r i n c i p l e ，d e v e l o p m e n t ， a c t u a l i t y , p r a c t i c a la p p l i c a t i o na n dc l a s s e so fi n t r u s i o nd e t e c t i o n b ya d d i n g c l u s t e r t e c h n o l o g yi n t o i n t r u s i o nd e t e c t i o n s y s t e m ，t h i sm e t h o du s e s o l d i i i 太原理工大学硕士研究生学位论文 m a c h i n e sb yc l u s t e rt e c h n o l o g yt os a t i s f yt h en e e do fh i g hs p e e dn e t w o r k 2 ) s e c o n d l y , t h ep a p e rd e s c r i b e st h ed e f i n i t i o na n dc l a s s e s o f l o a d b a l a n c i n g ；e s p e c i a l l yd e l i n e a t ed y n a m i cl o a db a l a n c i n g a n dt h e n ，t h ep a p e r d e s i g n e sal o a db a l a n c i n ga r i t h m e t i cb a s e do nab a l a n c et a b l ew h i c ho n eh a s e v e r yh o s t sr u n - t i m ed e t a i l s ，t h r o u g ht h et a b l et h el o a db a l a n c e rc a nd e c i d et h e d i s t r i b u t i o no ft h ep a c k e t s 3 ) t oa s s u r et h ei n t e g r a l i 哆o fd a t af l o w , w ep r o p o s e saa r i t h m e t i cw h i c h s e r v e ss o u r c ei pa d d r e s s ，d e s t i n a t i o ni pa d d r e s s ，s o u r c ep o r ta n dd e s t i n a t i o np o r t a st h ei n p u t so fh a s hf u n c t i o n ，a n dd i v i d e si n t o128 b i ts t r i n g st oe x e c u t ex o r o p e r a t i o na n dm o d u l a ra r i t h m e t i c 4 ) f i n a l l y , t h el o a db a l a n c i n ga r i t h m e t i c w a sp r o v e df e a s i b l yb ya n e x p e r i m e n t i no n ew o r d ，t h i sr e s e a r c hd e s c r i b e sal o a db a l a n c i n ga r i t h m e t i cb a s e do na b a l a n c et a b l e t h eb a s i cp r i n c i p l ei ss o l v i n gt h ep r o b l e mt h a tl o wc a p a c i t yo f i n t r u s i o nd e t e c t i o ns y s t e mc a nn o tc a t c hu pw i t ht h eh i g hs p e e dn e t w o r kb y u s i n gp a r a l l e la r c h i t e c t u r et od i s t r i b u t ep a c k e t st os e v e r a lh o s t s e x p e r i m e n t a l r e s u l tp r o v e dt h a tt h i sm e 也o di sf e a s i b l ya n dc a nb e u s e di nr e a lw o r l d k e yw o r d s ：n e t w o r ks e c u r i t y , i n t r u s i o nd e t e c t i o n ，l o a db a l a n c i n g ，d y n a m i c i v 声明尸明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：日期： 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为：目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 。 签 名：正1习i日期： 导师签名：堇叁签塾 日期： 参钒螬3 - i 驴 太原理工大学硕士研究生学位论文 1 1研究背景 第一章绪论 i n t e r n e t 全球性信息化浪潮日益深刻，而i n t e m e t 所具有的开放性、国际性和自由 性在增加应用自由度的同时，又对安全提出了更高的要求，这主要表现在：开放性的 网络，导致网络的技术是全开放的，任何一个人、团体都可以轻松获得，因而网络所 面临的破坏和攻击可能是多方面的。例如：可能来自物理传输线路的攻击；可以对网 络通信协议实施攻击；可以是对软件实施攻击，也可以对硬件实施攻击。 国际性的网络还意味着网络的攻击不仅仅来自本地网络的用户，也可以来自 i n t e r n e t 上的任何一台主机。自由意味着网络最初对用户的使用并没有提供任何的技术 约束，用户可以自由地访问网络，自由地使用和发布各种类型的信息。用户只对自己 的行为负责，而没有任何的法律限制。 尽管开放的、自由的、国际化的i n t e r n e t 的发展给政府机构、企事业单位带来了革 命性的改革和开放，使得他们能够利用i n t e r n e t 提高办事效率和市场反应能力，以便更 具竞争力。通过i n t e m e t ，他们可以从异地取回重要数据，同时又要面对网络开放带来 的数据安全的新挑战和新危险。如何保护企业的机密信息不受黑客和工业间谍的入 侵，已成为政府机构、企事业单位信息化健康发展所要考虑的重要事情之一。 近年来，网络带宽的飞速增加己是不争的事实。1 9 9 9 年世界电信论坛会议副主席 约翰罗斯( j o h nr o t h ) 提出了一个新的摩尔定律( m o r el a w ) ：网络带宽每9 个月将增加 一倍，这比原摩尔定律揭示的芯片容量每1 8 个月翻一倍的速度还要快。传统1 0 m 共 享的局域网络己经被1 0 0 m ，1 0 0 0 m 交换网络所取代，当前新设计的局域网络普遍采用 了“1 0 0 0 m 做主干，l o o m 交换到桌面 的方案。 传统的计算机网络安全技术属于静态的系统安全模型，可以作为保护计算机安全 的第一道屏障。然而，这些技术存在着一些无法克服的缺陷，表现为： 1 ) 无法实时报警，也没有自动响应功能； 2 ) 功能单一，没有形成一个信息共享的完整的安全体系结构； 3 ) 某些传统的计算机网络安全技术，其自身功能也是不完善的。例如，防火墙系 统就不能发现来自企业内部的攻击，只能对外部攻击进行防范，更无法识别隐藏在正 常数据包中的恶意代码。由于这些安全技术本身的局限性加上系统漏洞不断地被发现 和黑客攻击技术的不断发展，仅仅通过利用上述安全技术是远远不够地，所以人们提 1 太原理工大学硕士研究生学位论文 出了保护计算机系统的第二道防线入侵检i 贝l j ( i n t r u s i o nd e t e c t i o n , i d ) 技术。入侵检 测是保障计算机及网络安全的措施之一。近几年，对于入侵检测技术的研究发展很 快，出现了很多入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m , i n s ) 。 早期的i d s 都是集中式i d s ，但是随着网络结构的复杂性增加，网络资源一般都 是分布的，而入侵活动也逐渐呈现出具有相互协作性。因此，集中式的i d s 也就逐渐 暴露出其局限性，这就给入侵检测领域的研究带来了新的研究课题。早期的集中式入 侵检测系统己经不能有效地防止这一类分布式的入侵。目前对i d s 的研究趋向于设计 和建立分布式的i d s ，将网络数据按某种规则进行分配，交由多个检测实体进行分析 检测并最终将检测结果进行融合，共同完成检测任务。因此，研究高速网络的分布式 入侵检测系统是十分必要的，而且具有十分重要的理论意义与实际应用价值，并己成 为国际上亟待解决的重大课题。 1 2 领域研究现状 随着计算机网络新技术的不断出现而产生出越来越多的新问题，信息安全研究的 领域将会越来越广泛；安全技术将越来越可靠；服务功能将趋向全面、周到、便捷； 安全设施日趋综合化、集成化和智能化；服务对象个性化，易于维护和使用将是未来 信息安全领域发展的趋势。 1 2 1 安全产品集成化 实践证明，单一功能的产品已不能满足客户的需求，安全产品的融合、协同、集 中管理是网络安全重要的发展方向。信息安全产品的发展趋势是不断地走向融合，走 向集中管理。对于客户来说，使用单一的安全产品，采购和维护代价都要远远小于联 合使用多个产品甚至是来自不同厂商的多个产品。 1 2 2 动态安全技术 以漏洞评估和入侵检测为代表的动态安全技术，已经和传统的防火墙技术、防病 毒技术结合起来，再加上安全操作系统的使用，形成了全新的完整的安全防护技术体 系。 1 2 3 安全技术的自动化 安全技术的自动化代表了i n t e m e t 软件的一种发展趋势。因为面对的大部分用户属 于对网络安全技术知之甚少的网络服务使用者，只有简单易用的软硬件和服务才有可 能真正地提高i n t e m e t 的整体安全水平。 2 太原理工大学硕士研究生学位论文 1 3 本文的主要工作 首先分析了并行网络入侵检测平台的必要性，其次描述了并行n i d s 平台的体系结 构。这个平台由负载均衡器和现有的分析器节点组成。负载均衡器使用哈希函数并混 合使用从分析器节点返回的负载信息将网络流量分配到每个分析器节点上而又不使其 过载。本系统的设计目的是处理1 g b i t s s 及以上速度的网络环境，并且有极低的丢包 率。与以前的基于连接的方法不同，基于哈希函数的负载均衡器并不依靠并发连接数 或是分析器的数量来突破扩展性的局限。同时，为了将引入负载分流而产生的对分析 器分析精确性的影响最小化，本系统会尽可能地将同一连接的数据包分配到同一个分 析器节点上。 1 4 论文安排 第二章介绍了常见的网络攻击和高速网络环境下的入侵检测系统的研究概况，对 领域中相关模型和关键技术进行了全面的介绍和分析； 第三章介绍了负载均衡的概念、分类以及负载均衡调度策略和负载均衡方案的选 择和评估等基础知识； 第四章是本论文的重点，在对现有的负载均衡算法深入研究的基础上，提出了均 衡表负载均衡算法，通过对均衡表的动态维护实现了对数据包的动态负载均衡； 第五章实验结论部分，对实验的结果进行了分析及对所使用的软件进行的简单描 述； 第六章结论部分，对所做工作进行了总结，并对今后的研究进行了按初步设想。 主要两点，一是采用更有效的数据采集技术，二是采用软硬件融合技术。 3 太原理工大学硕士研究生学位论文 2 1网络攻击 第二章入侵检测系统综述 2 1 1基本定义 所谓网络攻击可以定义为：对网络结构、计算机系统或用户账号的威胁、入侵、 拒绝服务( d e n i a lo fs e r v i c e ，d o s ) 或其他攻击。通过计算机网络，黑客不需要在物理上 接近被攻击目标，就可以远程发动对目标系统直接或间接地攻击，并采取多种措施隐 藏自己的真实身份。各种攻击知识和攻击工具地广泛传播，使得许多人不需要具备很 高深的专业知识，就可以随意发动攻击。图2 1 就是国家计算机网络应急技术处理协 调中心( c nc o m p u t e re m e r g e n c yr e s p o n s et e a m c o o r d i n a t i o nc e n t e r , c n c e r t c c ) 公布 的c e r t 近年来网络攻击事件统计【l 】。 图2 - 1 网络攻击事件统计 f i g u r e2 - it r e n do fn e t w o r ka t t a c ki n c i d e n t s 2 1 - 2 网络攻击分类 网络攻击有许多分类方法【2 1 ，如：基于经验术语、基于单一属性、基于多属性、 基于应用等。 为了便于描述，现采用美国国家安全局2 0 0 0 年发布的信息保障技术框架 ( i n f o r m a t i o na s s u r a n c et e c h n i c a lf r a m e w o r k ，i a t f ) ) ) ，将攻击分为六种类型：被动攻 击、主动攻击、物理临近攻击、内部人员攻击、分发攻击和其它攻击。 分别描述如下： 1 ) 被动攻击 就是通过被动地监听网络数据，不对数据作任何修改，如通过监听网络数据包获 得认证信息、操作系统信息等，进行流量分析等，其防范措施包括加密保护、伪装网 5 太原理工大学硕士研究生学位论文 络数据等。 2 ) 主动攻击 是指避开或打破安全防护、引入恶意代码、置换网络数据和破坏系统完整性等行 为。攻击方法包括拒绝服务、假冒、篡改消息、重放、缓冲区溢出等。这类攻击会占 网络攻击的绝大部分，防止主动攻击是十分困难的。因此，其主要防范途径是检测、 及时地响应和恢复，措施包括审计、入侵检测、灾难恢复等。 3 ) 物理临近攻击 通过物理上接近网络或系统设备，非法修改或获取信息。 钔内部人员攻击 分为两部分：恶意和非恶意攻击。美国联邦调查局的评估显示，8 0 的攻击来自 于组织内部，而这类攻击是最难检测和防范的。 5 ) 分发攻击 指在软件和硬件开发出来之后，恶意修改软硬件。这类攻击包括预置后门或漏洞 等。 6 ) 其它攻击 如协同化攻击，一些未知的攻击等。 2 1 3 常见的网络攻击方法 1 ) 按照攻击原理来分： ( 1 ) 利用系统实现漏洞：此类攻击利用了操作系统、应用软件、甚至是网络 设备和网络体系的实现缺陷，最常见的是一些缓冲区溢出攻击。例如： s s h n u k e ，t e a r d r o p 等。 ( 2 )利用网络设计缺陷：此类攻击利用网络协议设计的缺陷来进行攻击，有 些攻击使软件协议栈崩溃，有些则提供虚假信息，达到欺骗用户的目的。由 于i n t e m e t 是一个开放的系统，从根本修改协议阻力很大，因此此类攻击一般 很难完全阻挡，一些解决方案都是在保持和现有协议兼容的基础上，对原有 协议进行一定程度修补，很多情况下无法完全避免。例如：s y n f l o o d 嗅探 器，d n s 欺骗。 ( 3 ) 利用大量正常请求。此类攻击也被称作“暴力型”攻击，思路是通过发 送大量的正常请求，导致对方服务器或者网络不可用，或者猜测对方网络密 码，一般情况下此种攻击属于拒绝服务攻击( d o s ) 或者分布式拒绝服务攻击 ( d i s t r i b u t e dd e n i a lo fs e r v i c e ，d d o s ) 攻击。 6 太原理工大学硕士研究生学位论文 2 ) 按攻击目的分类 ( 1 ) 获得系统控制权：此类攻击的目的是获得被攻击系统的控制权，或者由 低特权级别提升到高特权级别，攻击既可能来自网络，也可能来自本地系统 用户。例如：n a c h i 蠕虫。 ( 2 )拒绝服务攻击：此类攻击通常利用网络协议设计的缺陷或者网络软件的 实现漏洞来进行攻击，目的在使对方系统不能提供服务。例如：s m b d i e ， s y n f l o o d 等。 ( 3 )收集信息：此类攻击通常为被动攻击，攻击者的目的是收集网络、软件 配置等信息，供进一步入侵使用。例子：s n i f f e r ，n m a p 扫描器。 2 1 4 当前网络攻击特征和趋势 1 ) 网络攻击的范围越来越大，造成的危害也越来越大。 1 9 8 8 年1 1 月，r o b e r tm o r r i s 编写了基于u n i x 的“i n t e m e tw o r m ，是第一个 蠕虫病毒，该病毒感染了网络上6 0 0 0 台i n t e m e t 服务器系统，占当时网络服 务器系统的5 1 0 。2 0 0 3 年8 月的冲击波蠕虫( m s b l a s t e rw o r m ) 8 天之内就 使全球百万台主机受害，损失至少2 0 亿美元。据c n c e r t c c 抽样检测， 2 0 0 4 年我国有1 3 8 万个l p 地址的主机感染了利用微软视窗系统l s a s s 漏洞 传播的“震荡波系列蠕虫( s a s s e rw o r m ) p 】。 2 ) 入侵工具的功能越来越丰富，越来越智能，更易于使用。 计算机的攻击方式多种多样，从耗费系统和网络资源( 如拒绝服务攻击) ，到篡 改数据( 如修改网页) 及盗取机密信息( 如银行帐号) 等。攻击的每个阶段也都有 新的变化，如：扫描的工具利用隐蔽扫描等新的扫描技术，扫描速度更快， 更难以发现；利用多个攻击节点及多种攻击手段来达到某一攻击目的；攻击 工具攻击成功后也能发起新的攻击。 攻击工具不断复杂化表现为：攻击工具通过网络协议漏洞等方法，隐藏攻击 以逃避检测，利用攻击技术渗透防火墙，采用蠕虫攻击、病毒扩散、分布式 攻击及混合攻击等复杂攻击技术的事件越来越多；攻击工具自身技术的不断 提高使得其更难以被检测和清除，如蠕虫、b o t 、a d w a r e 等利用r o o t k i t 技术 隐藏自身，提高生存能力，即使是计算机专业人员，也难以发现和清除这类 恶意代码【3 】；攻击工具的动态化，能够按照不同的方法更改它们的特征；通过 模块化设计，可以通过更改部分模块更新攻击工具，并在不同的平台上运 行。 7 太原理工大学硕士研究生学位论文 3 )黑客攻击从展现技巧和娱乐为目的到以获得经济利益为目的 早期黑客以验证自己的能力，满足自己的成就感为目的，现在则以获取经济 利益为目的。如黑客团体加入b u gs a v e 运动，他们认为漏洞是一种资源，公 布漏洞是一种资源流失，只有在利益的交换下才可以公布。 2 2 入侵检测概述 2 2 1基本概念 入侵检钡t j ( i n t r u s i o nd e t e c t i o ns y s t e m , i d s ) 是对入侵行为的发觉，它通过从计算机网 络或计算机系统的关键点收集信息并进行分析，从中发现网络或系统中是否有违反安 全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统 ( i d s ) 【4 】。 2 2 2 入侵检测的发展过程 “入侵检测”这一概念的最早论述出现于1 9 8 0 年4 月j a m e sp a n d e r s o n 为美国空军 做的题为 c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ) ( 计算机安全威胁监 控与监视) 的技术报告中【5 】，这篇文章提出了必须改变现有的系统审计机制，以便为专 职系统安全人员提供安全信息，同时还提出了一个很有用的概念审计跟踪，跟踪 包含了一些关键信息，这些信息对跟踪误用行为和理解用户行为很有帮助。这篇文章 的发表使得误用检测和特定用户事件的概念得到融合，为以后入侵检测的设计和发展 奠定了基础。可以说，他的工作基本上勾画出了i d s 的轮廓，也开了基于主机的入侵检 测的先河。但是，审计跟踪并不能发现“伪装者 ，即一旦用户口令被盗用，就毫无 办法。因此a n d e r s o n 提出可以根据用户行为的一些统计分析来判定系统的不正常使用 模式，从而发现“伪装者”。这个朦胧的想法在下一个里程碑式的项目入侵检测专家 系统( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ,i d e s ) e e 实现了。 1 9 8 3 年，s r l l n e t n a t i o n a l 和d o r o t h yd e n n i n g 博士开始给政府作一个工程项目，这 个项目致力于入侵检测的研究。他们的目标是分析从政府主机采集来的审计数据并且 针对用户的行为建立用户轮廓文件。她首先提出了一个实时入侵检测系统模型，它独 立于特定的系统平台、应用环境、系统弱点以及入侵类型，为构建入侵检测系统提供 了个通用的框架。它的划时代意义在于提出了反常活动和计算机不正当使用之间的 相关性。按照这个思路，利用审计记录建立用户或者用户组活动的特性，通过与当前 会话的审计数据进行比较，从而发现异常。例如，特征可以是特定资源被使用的数量 和相关事件之间的时间长度等。该方法的优点是：无需了解入侵者所使用的特定机 8 太原理工大学硕士研究生学位论文 制，就可以检测入侵。但存在的问题包括：特征的不确定性难以准确判断异常；有耐 心的攻击者可以逐渐更改行为特征导致检测失败等等。针对这个情况，当时提出了第 二种工作原理：利用专家系统和既定规则，查找活动中的己知攻击，这个方法可以准 确地描述异常行为，进行匹配，从而发现入侵行为。前一种方法后来被称作异常检测 ( a n o m a l yd e t e c t i o n ) ，后神方法则称作误用检钡q ( m i s u s ed e t e c t i o n ) 。 一年之后，d e n n i n g 博士提出的模型在入侵检测专家系统i d e s ( i n l r u s i o n d e t e c t i o ne x p e r ts y s t e m ) 原型中实现了，该系统由s r ii n t e r n a t i o n a l 公司开发。 d e n n i n g 结合她的研究工作，在19 8 7 年发表了一篇关键的文章a ni n t r u s i o nd e t e c t i o n m o d e l t 6 1 ，这篇文章被认为是入侵检测的另一篇开山之作。文章里的观点和假设成为8 0 年代入侵检测研究和系统原型设计的基础。 直到1 9 9 0 年以前，入侵检测系统大都是基于主机的，他们对于活动性的检查局限 于操作系统审计跟踪数据以及其它以主机为中心的信息源。但此时由于i n t e m e t 的发展 以及通信和带宽的增加，系统的互联性已经有了明显地提高。特别是1 9 8 8 年i n t c m e t 蠕虫事件之后，网络安全引起了军方、学术界和企业界的高度重视。 1 9 9 0 年，u cd a v i s 的t 0 d dh e b e r l e i n 开发了第一个网络入侵检测系统n s m 【7 】，首 次引入了网络入侵检测的概念。这是i d s 第一次监视网络数据流并把它作为主要分析 数据来源，并试图将入侵检测系统扩展到异种网络环境中。这新的认识激发了人们 对网络入侵检测的兴趣，并促使商业和学术界研究开发资助的显著提高。h e b e r l e i n 的 贡献还在于提出了分布式入侵检测系统( d i s t r i b u t ei n t r u s i o nd e t e c t i o ns y s t e m ，d i d s ) ， 他结合h a y s t a c k 的研究成果，首次引入了混合入侵检测的概念。d i d s 是一个大规模 的合作开发，它第一次尝试将主机入侵检测和网络入侵检测的能力集成，以便于一个 集中式的安全管理小组能够跟踪安全侵犯和网络间的入侵。在大型网络互联环境下跟 踪网络用户和文件一直是一个棘手的问题，因为入侵者通常会利用计算机系统的互联 来隐藏自己真实的身份和地址，一次分布式攻击往往是每个阶段从不同系统发起攻击 的组合结果，d i d s 是第一个具有此类攻击识别能力的入侵检测系统。 以后的研究工作【s 】：1 9 9 1 年，n a d i r ( n e t w o r ka n o m a l yd e t e c t i o na n di n t l u s i o n r e p o r t ) 与d i d s 提出了收集和合并处理来自多个主机的审计信息来检测针对一系列主 机的协同攻击；1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o d 建议在i d s 中使用自治代理 ( a u t o n o m o u sa g e n t s ) 来提高i d s 的可伸缩性、可维护性、效率和容错性；1 9 9 5 年， i d e s 的完善版本n i d e s ( n e x t - g e n e r a t i o ns y s t e m ) 实现了可以检测多个主机上的入侵； 1 9 9 6 年，g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和实现使得对大规模自 9 太原理工大学硕士研究生学位论文 动协同攻击的检测更为便利；同年f o r r e s t 将免疫原理运用到分布式入侵检测领域。此 后，在i d s 中还出现了遗传算法、遗传编程地运用；1 9 9 8 年，r o s sa n d e r s o n 和a b i d a k h a t t a k 将信息检索技术引进到了入侵检测领域；同年，w l e e 提出和实现了在通用入 侵检测枢架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k , c i d f ) 上实现多级i d s 并运用数据 挖掘技术对审计数据进行处理。 。 最近，c h e u n g ，s t e v e n 等人又提出了入侵容忍( i n t r u s i o nt o l e r a n c e ) 的概念，在i d s 中引入了容错技术。这种系统可以在存在入侵攻击的情况下，继续正常工作并能及时 地提供预期的用户服务( 但系统性能和其它功能可能会受到影响) 。这种系统可以检测到 那些突破了外层防御措施的攻击，并采取必要的响应行动，这些响应措施可以从限制 可疑代码或数据的使用到重新配置软硬件资源。 2 0 0 3 年著名信息安全研究和顾问机构g a r m e r 公司在一份研究报告中称入侵检测 系统已经“死 了，2 0 0 5 年前i d s 会逐渐消亡，其中4 点理由中有一点为目前i d s 对 6 0 0 m b p s 以上的传输速率无力处理。g a r t n e r 认为i d s 不能给网络带来附加的安全，反 而会增加管理员的困扰，建议用户使用入侵防御系统i p s ( i n t r u s i o np r e v e n t i o n s y s t e m ) 来代替i d s 9 。g a r m e r 公司认为只有在线的或基于主机的攻击阻止( 实时拦 截) 才是最有效的入侵防御系统。 2 2 3 入侵检测原理 入侵检测系统的基本原理如图2 2 所示。 图2 - 2 入侵检测原理图 f i g u r e2 - 2s c h e m a t i c so fi d s 1 0 太原理工大学硕士研究生学位论文 入侵检测系统应包含3 个必要功能的组件：信息来源、分析引擎和响应组件。 根据入侵检测系统的信息来源，主要分为基于主机的入侵检测系统和基于网络的 入侵检测系统。 入侵检测的核心技术是入侵分析技术，利用入侵分析引擎，才能够通过分析网络 数据包或主机的日志而判断是否有入侵行为发生。首要条件是：入侵行为和合法行为 是可区分的，即可以通过提取行为的模式特征来判断该行为的性质。 2 2 4 入侵检测分类 1 ) 入侵检测分析技术传统上主要分为两大类：异常检钡l j ( a n o m a l yd e t e c t i o n ) ，误 用检钡q ( m i s u s ed e t e c t i o n ) 。 ( 1 ) 异常检测 首先，异常检测【10 1 ，也称基于行为的检澳i ( b e h a v i o r - b a s e dd e t e c t i o n ) ，是根 据用户行为或资源使用状况的正常程度来判断是否入侵，而不依赖于具体 行为是否出现来检测。它是基于以下假设：入侵的行为能够由于其偏离正 常或期望的系统和用户的活动规律而被检测出来，如图2 3 所示。 对于异常入侵检测，存在多个分类标准，e s t e v 6 z - t a p i a d o r 等提出了异常检 测的三个分类标准【l l 】：网络特征、行为模型、分析规模等。 a ) 对于网络特征异常检测，包括各个协议层网络特征的异常，即应用 层、传输层、网络层等异常检测。 图2 - 3 异常检测模型 f i g u r e2 - 3m o d e lo f a n o m a l yd e t e c t i o n ”基于行为模型的异常研究，利用现有的数学模型或推理技术应用于异 常入侵检测。 c ) 基于规模的异常检测则可以以下方面来度量：( 1 ) 时间上：度量单位包 太原理工大学硕士研究生学位论文 括：秒、分、时、天、年等；( 2 ) 功能上：包括服务数量、主机个数、网 络个数等。 再次，异常检测的关键问题：a ) 特征量的选择，异常检测需要建立系统或 用户的“正常行为特征轮廓，要求在建立正常模型时，选取的特征量既 要能准确地体现系统或用户的行为特征，又能使模型最优化，即以最少的 特征量就能涵盖系统或用户的行为特征：b ) 参考阈值的选定，参考阈值是 异常检测关键的因素，阈值定的过大，漏警率可能会升高，阈值定的过 小，则误警率就会提高，因此，合适的参考阈值选定是影响异常检测准确 率的至关重要的因素。 最后，异常检测的优点是：可以检测出未知的和复杂的入侵行为，且检测 速度比较快。其缺点是：存在较高的误警率，尤其采用的训练数据包含入 侵行为时，可能得到错误的训练模型或阈值；它一般不能解释异常事件， 从而无法采取正确的响应措施；入侵行为和异常行为往往不是一对一的等 价关系，可能会出现如下情况：某一行为是异常行为，而它并不是入侵行 为；同样存在某一行为是入侵行为，而它却并不是异常行为的情况。 ( 2 ) 误用检测 假定所有入侵行为和手段( 及其变种) 都能够表达为一种模式或特征，系统 的目标就是检测主体活动是否符合这些模式。其关键就是如何表达入侵的 模式，把真正的入侵行为与正常行为区分开来，因此入侵模式表达式的好 坏直接影响入侵检测的能力，如图2 _ 4 所示。 图2 4 误用检测模型 f i g u r e2 - 4m o d e lo fm i s u s e d e t e c t i o n 其优点是误报少：缺点是只能发现攻击库中已知的攻击，且其复杂性 将随着攻击数量的增加而增加。误用入侵检测的主要假设是有能够被精确 1 2 太原理工大学硕士研究生学位论文 地按照某种方式编码的入侵模式，因为很大一部分入侵是利用了系统和应 用软件的缺陷及系统配置错误，通过分析入侵过程的特征、排列以及事件 间的相互关系能具体描述入侵模式。误用入侵检测比异常检测准确率高。 各种误用检测方法如下： a ) 基于条件概率的误用入侵检测方法。将入侵模式影射为事件序列， 通过观测事件来判断入侵是否发生，即通过计算条件概率p ( i e s ) 来判断入 侵是否发生，其中i 假设入侵发生，e s 表示事件序列。 b ) 基于组成专家系统的误用入侵检测方法。专家系统是误用检测中 应用的最多的一种方法，它的特点是将入侵的知识编码为i f - t h e n 形式的规 则，i f - t h e n 结构构成了描述具体攻击的规则库，规则的i f 部分编码为某一 入侵发生的条件，将入侵发生后采取的相应措施转化为t h e n 部分。 c ) 基于模型推理的误用入侵检测方法。模型推理是指结合攻击脚本判 断误用入侵是否发生。 d ) 基于状态转换分析的误用入侵检测方法。它最早由k k e m m e r e r 等提出，即将状态转换图应用到入侵检测分析中。 2 ) 根据系统所检测的对象可分为基于主机的i d s 、基于网络的i d s 和基于路由 器的d s 。 ( 1 ) 基于主机的i d s ( h i d s ) t 切：通过监视和分析主机的审计记录检测入侵。 优点是可精确判断入侵事件，并及时进行反应，缺点是会占用宝贵的主机资 源。另外，未及时采集到审计也是这种系统的弱点之一，因为入侵者会将主机 审计子系统作为攻击目标以避开i d s 。 ( 2 ) 基于网络的i d s ( n t d s ) u3 1 ：通过在共享网段上对通信数据进行侦听，分 析可疑现象。这类系统不需要主机通过严格的审计，主机资源消耗少，可提供 对网络通用的保护而无需顾及异构主机的不同架构。但