（计算机应用技术专业论文）模糊理论在分布式入侵检测系统中的应用.pdf

华中科技大学硕士学位论文 摘要 随着网络的普及和黑客们的增多，网络安全问题变得日益重要。作为防火墙的 重要补充，入侵检测技术成为当前网络安全研究领域的热点。 传统的基于异常的或基于误用的入侵检测总是在正常和非正常间作出一个绝对 的选择，这种结果丢弃了大量有价值的信息，导致检测效果的不理想，尤其是在复 杂的分布式网络环境中更加如此。为了降低入侵检测系统的误报率、漏报率，以模 糊理论为基础，结合通用入侵检测框架的思想，设计了一个分布式入侵检测系统中 的事件分析器。该事件分析器的核心是一个称之为模糊决策引擎( f d e ) 的部件，它是 分布式入侵检测系统中检测代理的一部分，能够在判定入侵行为时，基于模糊理论 综合的考虑来自于检测代理的各类信息。带有f d e 的分布式入侵检测系统的综合评 佶过程是一个层次结构，低层次的f d e 对它负责的网络状况作出评估，并将评估结 构报告给高层次的f d e ，由高层次的f d e 作出进步的评估。这样的入侵检测系统 拥有高精确的入侵检测，高效的决策过程，以及系统资源消耗低的优点。 最后，在模糊决策引擎的设计理论的基础上，利用s n o r t 的数据采集功能，给出 了该事件分析器的实现，并且利用改进的b m 匹配算法实现了网络数据信息的分类。 为实现s n o r t 和事件分析器间的通讯机制，建立了统一的数据通讯接口。 关键词：网络安全，入侵检测，模糊理论，事件分析器 华中科技大学硕士学位论文 2 = = = = = = = = = = = = = = = 2 ；= 自= = = = = = = = = = = = = = = ；= 一= a b s t r a c t w i t ht h ep o p u l a r i z a t i o no f t h en e t w o r ka n dt h ei n c r e a s i n go f t h e h a c k e r s ，t h en e t w o r k s e c u r i t yp r o b l e mi n c r e a s i n g l yb e c o m e sm o r ei m p o r t a n t a st h ec r u c i a ls u p p l e m e n to ft h e f i r e w a l l ，t h ei n t r u s i o nd e t e c t i o nt e c h n i q u eb e c o m e st h ef o c u so f p r e s e n tn e t w o r ks e c u r i t y f i e l d t h ea d d i t i o n a la n o m a l y - b a s e do rm i s u s e d b a s e di n t r u s i o nd e t e c t i o nu s u a l l ym a k e sa c r i s pc h o i c eb e t w e e nn o r m a l i t ya n da n o m a l y i tl o s e sm u c hv a l u a b l ei n f o r m a t i o n ，w h i c h r e s u l t si ni t s p o o rd e t e c t i o ne f f i c i e n c y , e s p e c i a l l y i nt h ec o m p l e xd i s t r i b u t e dn e t w o r k e n v i r o n m e n t i no r d e rt or e d u c et h er a t eo ff a l s ep o s i t i v ea n dr a t eo f m i s s - r e p o r to ft h e i n t r u s i o nd e t e c t i o ns y s t e m ，b a s e do nf u z z yt h e o r y , a b s o r b i n gt h et h o u g h to fc o m m o n i n t r u s i o nd e t e c t i o nf r a m e ，d e s i g na l le v e n ta n a l y s i so fad i s t r i b u t e di n t r u s i o nd e t e c t i o n s y s t e m t h ek e r n e lu n i to f t h ee v e n ta n a l y z e ri sau n i tw h i c hi sc a l l e df u z z yd e c i s i o n e n g i n e i ti sac o m p o n e n t o f t h ed e t e c t i o na g e n ti nad i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ， c a r lc o n s i d e rv a r i o u sf a c t o r sb a s e do n f u z z yt h e o r yw h e n a 1 1i n t r u s i o nb e h a v i o ri sj u d g e d , - t h ef u z z yc o m p r e h e n s i v ee v a l u a t i o nb a s e dd i s t r i b u t e di d sw i t hf d ei sah i e r a r c h i c a l s t r u c t u r e ，w h i c hh a st h ea b i l i t yt oa n a l y z em a n yt y p e so fi n f o r m a t i o nf r o mt h ed e t e c t i o n a g e n t s ，a n dr e p o r tt h er e s u l tt ot h eh i g h l e v e lf d ef o rf i a r t h e re v a l u a t i o n s u c ha ni d sh a s a d v a n t a g e s o ft h e h i g ha c c u r a c yo fd e t e c t i o ni n t r u s i o n ，a ne f f i c i e n td e c i s i o n - m a k i n g p r o c e s s ，n e v e r t h e l e s s ，l o wc o n s u m p t i o n o f s y s t e mr e s o u r c e f i n a l l y , u p o nt h ed e s i g n i n gt h e o r yo ft h ef u z z yd e c i s i o ne n g i n e 谢t l lt h e d a t a c o l l e c t i n gf u n c t i o no f “s n o r t ”，p r o v i d e t h e i m p l e m e n t a t i o no ft h i s e v e n ta n a l y z e r , a n d u t i l i z ei m p r o v e db m p a t t e r n - m a t c ha l g o r i t h mt oc l a s s i f yt h en e t w o r ki n f o r m a t i o n i no r d e r t oi m p l e m e n tt h ec o m m u n i c a t i o nm e c h a n i s ma m o n g s n o r t a n dt h ee v e n ta n a l y z e r , c r e a t e t h eu n i f i e dd a t ac o m m u n i c a t i o i li n t e r f a c e k e y w o r d s ：n e t w o r ks e c u r i t y , i n t r u s i o nd e t e c t i o n ，f u z z yt h e o r y , e v e n ta n a l y z e r i i 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：物铭 日期：2o - o 争年j 月0 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密匹 ( 请在以上方框内打“4 ”) 学位论文作者签名：物躺 日期：2 州争年5 月f 0 日 指导教师签名 日期：沙钟年厂月f 。日 华中科技大学硕士学位论文 1 1 课题背景 1 绪论 以i n t e m e t 为代表的全球信息化发展迅速，信息技术的应用正日益普及和广泛。 应用层次也不断深入，应用领域从传统的、小型业务系统逐渐向大型、关键业务系 统扩展，典型的如党政部门信息系统、金融业务系统、企业商务系统等。伴随着i n t e m e t 的普及，安全问题日益成为影响网络效能的重要问题。而i n t e r n e t 本身所具有的开放 性以及基础协议t c p i p 的设计缺陷对安全也提出了更高的要求。i n t e m e t 的基础协议 t c p i p 协议有很多可能引起安全问题的设计缺点，比如i p 哄骗( i p 协议本身非常信 任：黑客可以自由的伪造和更改p 数据) 和s y n f l o o d s 【l j ( 当前最流行的d o s ( d e n y o fs e r v i c e ) 与d d o s ( d i s t r i b u t e dd e n y o fs e r v i c e ) 的方式之一，是一种利用t c p 协议缺陷，发送大量伪造的t c p 连接请求，从而使得被攻击方资源耗尽的攻击方式) 等。另一方面，i n t e m e t 网络可能面对的破坏和攻击是多方面的，除了利用网络通信 协议的攻击外，还可能是对物理传输线路的攻击，利用操作系统、客户程序等各个 系统漏洞实施攻击f 2 】。攻击的来源既可能是本地或者i n t e r n e t 上的任何一个机器，也 可能是来源于网络上数千台机器进行的分布式攻击。攻击者们一般以企业为目标， 通过网络侵入企业的主机，窃取重要的资料，或进行破坏，使其陷入瘫痪，给企业 造成巨大的损失p j 。 防范网络攻击最常用的方法是使用防火墙【4 】。防火墙属于最底层的网络安全技 术，它也是防止黑客攻入企业内部网最重要的安全技术之一，其主要功能是控制对 受保护网络的非法访问，它通过监视、限制、更改通过网络的数据流，一方面尽可 能屏蔽内部网的拓扑结构，另一方面则对内屏蔽外部危险站点，用以防范外对内非 法访问、内对外的非法传输。而且随着网络安全技术的发展，现在的防火墙已经发 展成为种更为先进和复杂的基于应用层的网关。然而，仅仅使用防火墙保障网络 安全是远远不够的，这主要体现在以下几个方面p j ： 1 防火墙防外不防内。防火墙的安全控制只能作用于外对内或内对外，即：对 华中科技大学硕士学位论文 外可屏蔽内部网的拓扑结构，封锁外部网上的用户连接内部网上的重要站点或某些 端口，对内可屏蔽外部危险站点。但是，防火墙不能防止由内部用户的蓄意破坏或 误操作而造成的威胁，即防外不防内。而据权威部门统计结果表明，网络上的安全 攻击事件有7 0 以上来自内部攻击。 2 防火墙难于管理和配置，易造成安全漏洞。防火墙的管理及配置相当复杂， 要想成功地维护防火墙，要求防火墙管理员对网络安全攻击的手段及其与系统配置 的关系有相当深刻的了解。一般来说，由多个系统( 路由器、过滤器、代理服务器、 网关、堡垒主机等) 组成的防火墙，管理上有所疏漏是在所难免的。根据美国财经杂 志统计资料表明，3 0 的入侵发生在有防火墙的情况下。 3 防火墙的安全控制主要是基于i p 地址的，只实现了粗粒度的访问控制，难 于为用户在防火墙内外提供一致的安全策略。许多防火墙对用户的安全控制主要是 基于用户所用机器的i p 地址而不是用户身份，这样就很难为同一用户在防火墙内外 提供一致的安全控制策略，限制了企业网的物理范围。 4 由于性能的限制，防火墙通常不能提供实时的入侵检测能力。防火墙只是网 络间的过滤器，无分析综合能力，可能成为潜在的信息处理瓶颈。另外，防火墙对 于病毒也是束手无策的。 当然，解决网络安全的技术手段还有加解密技术【6 】，安全路由器等等。它们在防 范网络入侵中也有一定的作用。但是，网络安全是一个综合的、立体的工程，单纯 依靠些防御工具不可能满足全部的安全要求。入侵检测系统便应运而生，它是一 种新型的网络安全技术，可以弥补防火墙和其他手段的不足，为网络安全提供实时 的入侵检测及采取相应的防护手段，如记录证据用于跟踪和恢复、断开网络连接等。 入侵检测系统不但可以帮助系统对付网络攻击，而且扩展了系统管理员的安全管理 能力( 包括安全审计、监视、进攻识别和响应) ，提高了信息安全基础结构的完整性f ”。 它从计算机网络系统中的若干关键点收集信息，并分析这些信息，看看网络中是否 有违反安全策略的行为和遭到袭击的迹象。入侵检测被认为是防火墙之后的第二道 安全闸门，它在不影响网络性能的情况下能对网络进行监测，它以探测与控制为技 术本质，起着主动防御的作用，是网络安全中极其重要的部分。 华中科技大学硕士学位论文 网络攻击的复杂性导致检测网络入侵也变得相当的复杂，因此开展对网络入侵 检测系统的研究是非常必要的。另外，每个网络入侵检测系统都有它不能检测到的 攻击，如何更好的利用多种入侵检测系统的优点，更好的检测网络入侵，对大家来 说是最关心的问题。 1 2 国内外概况 1 2 1 入侵检测发展简史 入侵检测的概念最早是由a n d e r s o n 于1 9 8 0 年提出的【8 】，他将入侵行为划分为外 部闯入、内部授权用户的越权使用和滥用等三种类型，并提出用审计跟踪监视入侵 威胁，但此后并没有任何实质性的进展。直到1 9 8 7 年，d e n n i n g 公开发表了一个入 侵检测系统的模型 9 】，首次将入侵检测作为一种计算机系统安全的防御措施提出。 1 9 8 8 年，t e r e s al u n t 等人进一步改进了d e n n i n g 提出的入侵检测模型，并创建了i d e s ( i n t r u s i o n d e t e c t i o n e x p e r t s y s t e m ) ，该系统用于检测对单一主机的入侵尝试，提出了 与系统平台无关的实时检测思想。此后，d a v i d b a u e r 加】、s e b r i n gm i c h a e l 1 “、s m a h a s t e p h e n l l 2 1 又相继提出了三个原型系统，入侵检测系统的发展日趋成熟。 1 9 9 5 年开发了i d e s 完善后的版本n i d e s ( n e x t - g e n e r a t i o ni n t r u s i o nd e t e c t i o n s y s t e m ) ，可以检测多个主机上的入侵。1 9 9 4 年，m a r kc r o s b i e 和c e n es p a f f o r d 建 议使用自治代理( a u t o n o m o u sa g e n t s ) 以便提高i d s 的可伸缩性、可维护性、效率和 容错性。值得提的是，其间，1 9 9 0 年，h e b e r e i 等提出了一个新的概念：基于网 络的入侵检测_ n s m 0 妊t 、v o r ks e c u r i t ym o n i t o r ) ，n s m 与此前的i d s 系统最大的 不同在于它并不检查主机系统的审计记录，它可以通过在局域网上主动地监视网络 信息流量来跟踪可疑的行为。从此以后入侵检测系统就被分为两个基本类型：基于 主机的和基于网络的。 1 9 9 6 年提出的g r i d s ( g r a p h - b a s e di n t r u s i o nd e t e c t i o ns y s t c m ) 的设计和实现解 决了入侵检测系统伸缩性不足的问题，该系统使得对大规模自动或协同攻击的检测 华中科技大学硕士学位论文 更为便利，这些攻击有时甚至可能跨过多个管理领域。f o r r e s t 等将免疫原理运用到 分布式入侵检测领域。近年来还有人把遗传算法 1 3 】、遗传编程运用到入侵检测中- ”。 1 2 。2 入侵检测系统分类 根据检测的数据来源，入侵检测系统一般分为两种：基于网络的入侵检测系统 ( n e t w o r k b a s e di d s ，简称n n g s ) 和基于主机的入侵检测系统( h o s t b a s e di d s ，简称 h i d s ) 。早期的工具大多是基于主机的入侵检测工具，但随着网络的迅猛发展，基于 网络的入侵检测系统己成为研究与开发的主流。目前的大多商用产品主要是侧重于 基于网络的入侵检测系统。 1 基于网络的入侵检测系统 基于网络的入侵检测系统从网络上提取数据进行检测，寻找可能的针对网络或 针对某个主机的入侵行为。通常使用一台专用的系统作为检测器，它的目的就是监 视网络流量。通过将网络适配器设置成混杂模式( p r o m i s c u o u sm o d e ) 就可以获得该子 网的所有数据包，并传给分析器进行检测分析来判断是否有入侵发生，这也是整个 n i d s 系统的核心功能，分析器的实时性与准确性直接决定着整个系统的性能，因此 分析器所采用的算法与技术也是整个系统的关键。它的攻击识别模块通常使用四种 常用技术来识别攻击标志5 j ： ( 1 ) 模式、表达式或字节匹配 ( 2 ) 频率或穿越阀值 ( 3 ) 次要事件的相关性 “) 统计学意义上的非常规现象检测 基于网络的入侵检测系统通常担负着保护整个网段的任务。一旦检测到了攻击 行为，i d s 的响应模块就提供多种选项以通知、报警并对攻击采取相应的反应。反应 因产品而异，但通常都包括通知管理员、中断连接和为证据收集而做的会话记录。 基于网络的入侵检测系统可以对一个子网进行检测，甚至可以多个子网协同检 测，可获得信息量较多。实际上，许多客户在最初使用i d s 时，都配置了基于网络 华中科技大学硕士学位论文 的入侵检测。基于网络的i d s 的主要优点有f 】6 ： ( 1 ) 成本低、部署容易。由于使用一个监测器就可以保护一个共享的网段，所以 不需要很多的监测器。相反地，如果基于主机，则在每个主机上都需要一个代理， 这样的话，花费昂贵，而且难于管理。但是，如果在一个交换环境下，就需要特殊 的配置。 ( 2 ) 占用资源少。通常采用专用的计算机，不会占用本网段内受保护的主机的任 何资源；而基于主机的i d s 则会增加系统负荷。每个受保护的主机都不得不以牺牲 性能为代价。 ( 3 ) 实时检测和应答。根据网络数据包中的信息进行检测，一旦发生恶意访 问或攻击，通常能在微秒或秒级发现它们，因此能够更快地做出响应；而大多数基 于主机的产品则要依靠对最近几分钟内审计记录的分析。 f 4 ) 操作系统无关性。基于网络的i d s 并不依赖主机的操作系统作为检测资 源：而基于主机的i d s 需要特定的操作系统才能发挥作用，因此需要为不同的平台 开发不同的程序。 ( 5 ) 攻击者不易转移证据。基于网络的i d s 使用正在发生的网络通讯进行实时攻 击的检测。所以攻击者无法转移证据。被捕获的数据不仅包括攻击的方法，而且还 包括可识别黑客身份和对其进行起诉的信息；而基于主机的i d 所需要的审计记录为 许多黑客所熟知，他们知道如何操纵这些文件掩盖他们的作案痕迹。 ( 6 ) 隐蔽性好。一个网络上的监测器不像一个主机那样显眼和易被存取，因而也 不那么容易遭受攻击。基于网络的监视器不运行其他的应用程序，不提供网络服务， 可以不响应其他计算机，因此可以做得比较安全。 ( 7 ) 视野更宽。基于网络的入侵检测甚至可以在网络的边缘上，即攻击者还没能 接入网络时就被发现并制止。 2 基于主机的入侵检测系统 基于主机的i d s 以本地主机系统的信息作为数据源，如审计记录、系统日志、 文件系统、用户行为、c p u 和内存的使用情况等，由此提出可能的本地入侵行为。 基于主机的入侵检测系统保护的一般是所在的系统，这种技术容易实现，虽然可获 华中科技大学硕士学位论文 得的信息量较少，但获取的是面向操作系统和应用的信息，所以可读性较好，分析 效率较高，能够结合操作系统行为和用户行为来进行判定，准确性高。不过基于主 机的入侵检测系统由于通常要在被保护的站点上安置检测程序，需要占用部分的主 机资源和网络带宽，对系统的稳定性和可靠性可能造成一定的影响。随着入侵行为 越来越向网络入侵发展，而基于本地主机的入侵检测无法检测针对网络的入侵行为 【1 7 】。 通常，基于主机的i d s 可监测系统事件和w i n d o wn t 下的安全记录以及u n i x 环境下的系统记录。当有文件发生变化时，i d s 将新的记录条目与攻击标记相比较， 看它们是否匹配。如果匹配，系统就会向管理员报警并向别的目标报告，以采取措 施。 基于主机的i d s 在发展过程中融入了其它技术。对关键系统文件和可执行文件 的入侵检测的一个常用方法，是通过定期检查校验和来进行的，以便发现意外的变 化。反应的快慢与轮询间隔的频率有直接的关系。许多h i d s 产品都是监听端口的活 动，并在特定端口被访问时向管理员报警。这类检测方法将基于网络的入侵检测的 基本方法融入到基于主机的检测环境中。 尽管基于主机的入侵检查系统不如基于网络的入侵检查系统实时快捷，但它也 具有基于网络的系统所没有的优点。这些优点包括： ( 1 ) 性能价格比高。在主机数量较少的情况下，这种方法的性能价格比可能更高。 尽管基于网络的入侵检测系统能很容易地提供广泛覆盖，但其价格通常是昂贵的。 配置一个网络入侵监测系统的费用通常是基于主机的入侵检测系统的数十倍，并且 如果配置基于主机的i d s ，客户只需很少的费用用于最初的安装。 ( 2 ) 更加细腻。这种方法可以很容易地监测一些活动，如对敏感文件、目录、程 序或端口的存取，而这些活动很难在基于网络的系统中被发现。基于主机的i d s 监 视用户和文件访问活动，包括文件访问、改变文件权限、试图建立新的可执行文件 或者试图访问特许服务。例如，基于主机的i d s 可以监督所有用户登录及退出登录 的情况，以及每位用户在连接到网络以后的行为。基于网络的系统要做到这个程度 是非常困难的。基于主机的技术还可监视通常只有管理员才能实施的非正常行为。 华中科技大学硕士学位论文 操作系统记录了任何有关用户帐号的添加、删除、更改的情况。一旦发生了更改， 基于主机的i d s 就能检测到这种不适当的更改。基于主机的i d s 还可审计能影响系 统记录的校验措施的改变。最后，基于主机的系统可以监视关键系统文件和可执行 文件的更改。系统能够检测到那些欲重写关键系统文件或者安装特洛伊木马或后门 的尝试并将它们中断。而基于网络的系统有时会检测不到这些行为。 f 3 1 内在结构没有束缚，不需额外硬件设备。基于主机的系统有时不需要增加专 门的硬件平台。基于主机的入侵检测系统存在于现有的网络结构之中，包括文件服 务器、w e b 服务器及其它共享资源，这些使得基于主机的系统效率很高，因为它们 不需要在网络上另外安装登记、维护及管理的硬件设备。 ( 4 ) 对网络流量不敏感。用代理的方式一般不会因为网络流量的增加而丢掉对网 络行为的监视，因而适合高速网络。而基于网络的入侵检测系统检查每个包的内容 判断它是否匹配任何已知的特征和规则，需要花费时间和消耗资源。在一个1 0 0 m b p s 的以太网中每秒钟大约传输5 0 0 0 0 个网络包，基于网络的i d s 无法跟上这个速度， 因而造成大量的包丢失。随着网络速度愈来愈快，这个差距还将越拉越大。 ( 5 1 适用于交换网络。由于基于主机的系统安装在遍布企业的各种主机上，它们 比基于网络的入侵检测系统更加适于交换的网络环境。交换设备可将大型网络分成 许多的小型网络段加以管理。所以从覆盖足够大的网络范围的角度出发，很难确定 配置基于网络的入侵检测系统的最佳位置。业务镜像和交换机上的管理端口对此有 帮助，但这些技术有时并不适用。基于主机的入侵检测系统可安装在所需的重要主 机上，在交换的环境中具有更高的能见度。 ( 6 ) 适合加密环境。某些加密方式也向基于网络的i d s 发出了挑战。根据加密方 式在协议栈中的位置的不同，基于网络的系统可能对某些攻击没有反应。基于主机 的i d s 没有这方面的限制。当操作系统及基于主机的系统发现即将到来的业务时， 数据流己经被解密了。 ( 7 1 确定攻击是否成功。由于基于主机的i d s 使用含有已发生事件信息，它们可 以比基于网络的i d s 更加准确地判断攻击是否成功。在这方面，基于主机的i d s 是 基于网络的i d s 的完美补充，网络部分可以尽早提供警告，主机部分可以确定攻击 华中科技大学硕士学位论文 成功与否。 基于网络和基于主机的入侵检测系统都有各自的优势，两者相互补充。这两种 方式都能发现对方无法检测到的一些入侵行为。例如，从某个重要服务器的键盘发 出的攻击并不经过网络，因此就无法通过基于网络的入侵检测系统检测到，只能通 过使用基于主机的入侵检测系统来检测。基于网络的入侵检测系统通过检查所有的 数据包的包头来进行检测，而基于主机的入侵检测系统并不查看包首标志。许多拒 绝服务攻击和碎片攻击，只能通过查看它们通过网络传输时的包头标记才能识别。 基于网络的入侵检测系统可以研究负载的内容，查找特定攻击中使用的命令或语法， 这类攻击可以被实时检查包序列的入侵检测系统迅速识别。而基于主机的系统无法 看到负载，因此也无法识别嵌入式的负载攻击。 联合使用基于主机和基于网络这两种方式能够达到更好的检测效果。比如基于 主机的入侵检测系统使用系统日志作为检测依据，因此它们在确定攻击是否已经取 得成功时与基于网络的检测系统相比具有更大的准确性。在这方面，基于主机的入 侵检测系统对于基于网络的入侵检测系统是一个很好的补充，人们完全可以使用基 于网络的入侵检测系统来提供早期报警，而使用基于主机的入侵检测系统来验证攻 击是否取得成功。一个完备的入侵检测系统一定是基于主机和基于网络两种方式兼 备的分布式系统【1 8 】。 1 2 3目前主要产品介绍 自从1 9 8 7 年提出入侵检测模型以来国外很多学者在这个领域作了大量的研究 工作，出现了大量入侵检测的研究系统与商业产品，其中以基于网络的入侵检测系 统为主，这些系统在保障信息网络安全方面发挥着重要的作用。与国外入侵检测产 品市场的蓬勃发展相比较，国内入侵检测技术的研究发展较晚，不过近几年发展很 快，一些安全软件公司都开发出了自己的入侵检测系统，例如瑞星公司的r i d s - 1 0 0 入侵检测系统、启明技术有限公司的天阗入侵检测系统【”】等。 下面介绍几种有代表性的入侵检测系统【2 0 】： 华中科技大学硕士学位论文 1 ，i s s 公司的r e a l s e c u r e 。r e a l s e c u r e 是应用最广的商用入侵检测系统，它将基 于网络的和基于主机的入侵检测技术结合起来。是集成化i d s 的典范，并具有友好 的用户管理接口。目前r e a l s e c u r e 准备结合基于主机的检测能力，并有分析和关联 数据库来加强检测能力的趋势。 2 n f r 公司的n e t w o r k f l i g h tr e c o r d e r 。n f r 拥有一种强大的过滤器编程语言， 称为n c o d e ，被设计用作数据包的分析。过滤器用这种语言编写，并被编译成字节 码，由执行引擎来解释。通过使用n c o d e 语言，用户可以把误报率降低到一个可接 收的程度，这是其他许多系统无法做到的。 3 c i s c o 公司的n e t r a n g e r 。n e t r a n g e r 最大的特点是它将入侵检测技术集成到 c i s c o 路由器或交换机中，赢得了实时处理速度，而且它的检测器的能力非常强大， 它是当前性能最好的i d s 之一。缺点是依赖o p e n v i e w 平台，这在一定程度上影响 了它的灵活性，且价格昂贵。 4 a x e n t 公司的n e t p r o w l e r 。n e t p r o w l e r 是一种动态的网络入侵检测解决方案， 对网络上的信息包进行线速的检测，并据此来确定、记录和终止未经认证的入侵信 息包。n e t p r o w l e r 采用先进的“状态化的动态特征检测”专利技术检测网络交通状态， 确定潜在的破坏行为。 除了以上优秀的商用入侵检测系统外，还有很多以科学研究为目的的非商用入 侵检测系统。它们不仅和商用系统同样优秀，而且大多数可以免费获得，不需要花 费大量金钱，并且可以免费得到源代码，其中的代表作品有s n o r t ( 1 。本文的演示系 统即在s n o r t 的基础上实现的。 1 3 课题主要研究工作 在复杂的网络环境中，入侵检测是个相当复杂的决策过程，设计到大量的关于 被监视计算机系统或子网段的信息。在判定一个网络行为是否为一个攻击时，典型 的基于异常的或基于误用的入侵检测总是在正常和非正常间作出一个绝对的选择， 这种结果丢弃了大量有价值的信息。无法处理大规模的信息量正是典型的基于异常 华中科技大学硕士学位论文 或者基于误用的入侵检测系统的另一个局限。这些信息要么是子网状态的评估，要 么是系统的属性。大量的有用信息被抛弃导致检测效果的不理想，在复杂的网络环 境中更加如此。 本文针对此不足，按照c i d f 框架理论，设计和实现了基于模糊理论的分布式入 侵检测系统事件分析器，它是分布式入侵检测系统的一部分，能够在判定入侵行为 时，基于模糊理论综合的考虑各种因素。基于模糊理论的分布式入侵检测系统事件 分析器的核心部件是模糊决策引擎( f u z z y d e c i s i o ne n g i n e ，f d e ) ，带有f d e 的分布 式入侵检测系统的综合评估过程是一个层次结构，拥有分析来自于检测代理的各类 信息的能力。这样的入侵检测系统拥有高精确的入侵检测，高效的决策过程，以及 系统资源消耗低的优点。 华中科技大学硕士学位论文 2 入侵检测技术研究与分析 自d e n n i n g1 9 8 7 年提出第一个入侵检测模型以来，入侵检测技术得到了极大的 发展。从最初的基于主机的入侵检测系统h i d s ，到现在的分布式入侵检测系统，入 侵检测系统的规模和检测范围得到极大的改善，入侵检测技术也变的多种多样，包 括神经网络模型，p e t r i - n e t 模型、遗传算法等等，入侵检测技术的研究和分析已经 是安全领域中的一个重要课题。 2 1 入侵检测技术 入侵检测是一项既维持现有网络开放模式，同时又为网络提供安全的全新技术。 入侵检测的目标是识别系统内部人员和外部入侵者的非法使用、滥用计算机系统的 行为。因为不断增加的计算机系统服务为外部使用者提供了更多的访问计算机系统 的机会，同时也为内部人员逃避系统识别提供了便利手段，所以入侵检测已经变成 了一项极具挑战性的任务。入侵检测系统是基于下面的原理设计的：入侵者的行为 与合法用户的行为具有明显的差别，同时多数非法的访问行为是可以探测的。入侵 检测的第一步是信息收集，内容包括系统、网络数据及用户活动的状态和行为等信 息，然后对这些信息采用一定的方法进行分析。典型的入侵检测系统使用基于统计 的异常检测( s t a t i s t i c a la n o m a l y ) 和基于规则的误用检钡l l ( r u l e - b a s e dm i s u s e ) 两种模型 2 2 1 。 2 1 1 异常检测 异常检测是指根据使用者的行为和使用计算机资源状况来判断是否入侵，而不 依赖于具体行为是否出现来检测。它试图用定量方式描述可接受的行为特征，以区 分非正常的、潜在的入侵性行为。j a m e s a n d e r s o n 对如何通过识别“异常”行为来检 测入侵做了早期工作。他提出了一个威胁模型，将威胁分为外部闯入( 未经授权计算 华中科技大学硕士学位论文 机系统用户的入侵) 、内部渗透( 己授权的计算机系统用户访问未经授权的数据) 和不 当行为( 用户虽经授权，但对授权数据和资源的使用不合法或滥用授权) 3 种类型，并 使用这种分类方法开发了一个安全监视系统，检测用户的异常行为。 异常检测首先给系统对象( 如用户、文什、目录和设备等) 创建一个统计描述 ( p r o f i l e ) ，统计正常使用时的一些测量属性( 如访问次数、操作失败次数和延时时间) 。 测量属性的平均值将被用来与网络、系统的行为进行比较，任何观察值在正常值范 围之外时，就认为有入侵发生。例如，发现一个在晚八点至早六点不登录的帐户却 在凌晨两点试图登录，异常检测系统可能将其标识为一个不正常行为。 异常检测的主要前提条件是将入侵活动作为异常活动的子集。在理想情况下， 异常活动集与入侵活动集是一致的，也就是说，如果能检测所有的异常活动，则可 以检测到所有的入侵活动。事实上，入侵活动集并不总与异常活动集相符合。这里 有两种可能性：入侵而不显异常( 漏报) ，异常而非入侵( 误报) 。两种情况发生的概率 都不为零。 异常检测的优点是与系统无关，通用性较强。它甚至可能检测出以前未出现过 的攻击方法。它的缺点是误报、漏报率高，而且不能适应用户正常行为的突然改变。 这主要是因为它不可能为整个系统内的所有用户行为建立全面的描述，况且每个用 户的行为是经常改变的，尤其在用户数量大，或工作目的经常改变的环境中，设置 的闽值偏高或偏低都会带来负面影响；其次，由于统计简表需要常常维护和更新， 造成计算开销大。 异常入侵要解决的问题就是如何构造异常活动集，并从中发现入侵活动子集。 异常入侵检测方法依赖于异常模型的建立，不同模型构成不同的检测方法。异常检 测主要有以下两种方法。 1 概率统计方法 概率统计方法田1 是异常检测中应用最早、也是应用最多的一种方法。首先，检 测器根据用户对象的动作为每个用户建立一个用户特征表，通过比较当前特征与己 存储类型的以前特征，从而判断是否是异常行为。用户特征表需要根据审计记录情 况不断地加以更新。 华中科技大学硕士学位论文 用于描述特征的变量类型有： ( 1 ) 操作密度：度量操作执行的速率，常用于检测长时间觉察不到的异常行为； ( 2 ) 审计记录分布：度量在最新记录中所有操作类型的分布； ( 3 ) 范畴尺度：度量在一定动作范围内，特定操作的类型的分布情况； ( 4 ) 数值度量：度量那些产生数值结果的操作。这些变量所记录的具体操作包括： c p u 的使用，i o 的使用，使用地点及时间，邮件使用，编辑器、编译器使用，创建、 删除、访问或改变的目录及文件，网络上的活动等。 这种方法的优越性在于能应用成熟的概率统计理论。但是，其不足之处也是明 显的：首先，大部分都是对审计记录进行批处理，不能执行自动实时响应：其次， 它没有考虑事件间顺序关系。在大多数系统中，事件发生的确切顺序没有以一个属 性形式提供，也就是说，完全依靠统计理论可能漏检那些利用彼此关联事们的入侵 行为；最后，选择合适的阈值也比较困难的，阈值太低则漏报率提高。阈值太高则 误报率提高。 2 神经网络方法 神经网络2 甜采用可适应学习技术来描述异常行为。这种分析技术主要是基于历 史训练数据集。我们通常假定历史训练数据集是不包含任何指示入侵或其他不希望 的用户行为。 神经网络由许多简单处理单元组成，这些单元通过使用加权的连接相互作用。 一个神经网络知识根据单元和它们权值间的连接编码构成网络结构。实际学习过程 就是通过改变权值和加入或移去连接进行的。 利用神经网络检测入侵的基本思想是用一系列信息单元( 命令) 训练神经元，这样 在给定一组输入后，就可能预测输出。与统计理论相比，神经网络能更好的表述变 量间的非线性关系，而且能够自动学习并更新。实验表明u n i x 系统管理员的行为 几乎全是可以预测的。对于一般用户，不可预测的行为也只占了很少的一部分。 用神经网络进行入侵检测的过程大致如下：当前命令和刚过去的w 个命令作为 网络输入，其中w 是神经网络预测下个命令时所包含的过去命令集的大小。根据 用户的代表性命令序列训练网络后，该网络就形成了相应用户的特征表。于是网络 华中科技大学硕士学位论文 对下一事件的预测错误率在一定程度上反映了用户行为的异常程度。基于神经网络 的检测思想可用图2 - l 表示。图中输入层的w 个箭头表示了用户最近的w 个命令， 输出层预测用户将要发生的下一个动作。 c h m o d p w d 输 图2 一l 入侵检测的神经网络示意图 神经网络方法的优点：由于它不使用固定的特性集来定义用户行为，能更好的 处理原始数据的随机特性，即不需要对这些数据作任何统计假设，并且有较好的抗 干扰能力；它可用于解决传统统计分析技术面l 临的许多问题，如难于建立确切的统 计分布，难于实现方法的普适性，算法实现比较昂贵，系统臃肿且难于剪裁等等； 它能对实时检测时产生的信息迸行有效处理，并判断出攻击的可能性。 它的缺点在于很难确定网络拓扑结构以及各元素的权值，命令窗口w 的大小也 难以选取，窗口大小则网络输出不好，窗口太大，则网络会因为大量无关数据而降 低效率；另外，神经网络不能为它们找到的任何异常提供任何解释，它妨碍了用户 获得说明性资料或寻求入侵安全问题根源的能力，不能满足安全管理需要。尽管一 些研究者己提出一些方法来解决这些问题，但发布的数据仍然没有说明神经网络方 法的可行性。 目前，虽然神经网络技术的攻击检测相对于统计技术有所改进，但尚不十分成 熟，所以传统的概率统计方法仍将继续发挥重要作用，并为发现用户的异常行为提 供相当有参考价值的信息。 华中科技大学硕士学位论文 2 1 2 误用检测 误用检测是通过预先定义好的入侵模式以及观察到用户行为和资源使用情况进 行检测的。例如，i n t e r n e t 蠕虫攻击利用了p i n g e t d 和s e n d m a i l 错误，都属于误用入 侵。我们通过分析入侵过程的特征、条件、序列和事件间的关系，总结出入侵模式 ( s i g n a t u r e ) ，描述入侵行为的迹象。一个不完整的模式表明可能存在的入侵企图。 误用检测是根据具体特征库进行判断的，所以检测准确度很高；另外，由于检 测结果有明确的参考，也为系统管理员采取相应措施提供了方便。 误用检测的主要假设是具有能够被精确的按某种方式编码的攻击，因此，在实 践中，这种方法的主要局限性在于仅仅可以检测己知的入侵，对未知的可能入侵行 为无能为力；另外，它与具体系统依赖性太强，不但造成系统的移植性不好，维护 工作量大，而且为具体入侵手段抽象成知识带来很大困难。 下面介绍几种误用检测方法。 1 专家系统 专家系统1 2 6 , 2 7 是误用检测中运用最多的一种方法。在诸如m i d a s ，i d e s ， n i d e s ，d i d s 和c m d s 中都使用了这种方法。它将有关入侵的知识转化成i f - t h e n 结构的规则，即将构成入侵所要求的条件转化为i f 部分，将发现入侵后采取的相应 措施转化成t h e n 部分。当其中某个或某部分条件满足时，系统就判断为入侵行为发 生。其中i f - t h e n 结构构成了描述具体攻击的规则库，状态行为及其语义环境可根据 审计事件得到，推理机根据规则和行为完成判断工作。 使用专家系统的好处在于它把系统的控制推理从问题解决的描述中分离出去， 不需要用户理解专家系统本身的内部功能。 在具体实现中，专家系统主要面临： ( i ) 全面性问题，即难以科学地从各种入侵手段中抽象出全面的规则化知识； ( 2 ) 效率问题，即所需处理的数据量过大，而且在大型系统上，如何获得连续有 序的审计数据也存在问题。 正因为这些缺陷，专家系统一般不用于商业产品中，运用较多的是特征分析。 华中科技大学硕士学位论文 像专家系统样，特征分析也需要知道攻击行为的具体知识。但是，攻击方法的语 义描述不是被转化为检测规则，而是在审计记录中能直接找到的信息形式。这样就 不像专家系统一样需要处理大量数据，从而大大提高了检测效率。这种方法的缺陷 也和所有误用检测方法一样，需要经常为新发现的系统漏洞更新知识库。另外，由 于不同操作系统的具体攻击方法可能不同，不同平台的审计方式可能不同，所以构 造和维护特征分析检测系统的工作量都比较大。 2 模型推理 攻击者攻击系统时往往采用一定的行为程序，如猜测口令程序。这种行为程序 构成了某种具有一定行为特征的模型。根据这种模型所代表的攻击意图的行为特征， 可以实时的检测出恶意的攻击企图。 采用模型推理的方法就是根据某些入侵行为建立特定的模型，结合攻击脚本