（计算机应用技术专业论文）网络ids虚警处理技术研究.pdf

网络i d s 虚警处理技术研究 随着网络入侵行为变得越来越普遍和复杂，入侵检测系统在网络安全中的 作用也越来越重要，然而现有的入侵检测系统都没有能很好的解决其虚警率过 高的弊端，因而出现了入侵检测系统存在信任危机的尴尬的局面。 针对当前形势，本文首先介绍了常用的安全手段和技术，在此基础上分析 了当前入侵检测系统产生虚警的原因，并给出入侵检测系统可信度的数学定义， 另外，指出了必须从系统的整体架构，检测算法及策略方面入手才能解决虚警 和可信性的问题。 本文在设计系统时采用在s n o r t 的基础上增加警报分析器，从而可以对报警 数据进行二次分析过滤，另外根据网络数据流之间可能存在的内在联系，提出 了三个关联性的定义。在整个系统设计中，增加了关联性分析模块，在警报分 析器中，使用了属性分析，概率分析和聚类分析这三种处理手段来对警报数据 进行过滤。最后给出了警报分析器对采集的警报数据的仿真和数据分析结果， 通过实验证明此系统是可以有效地降低虚警。 关键词：入侵检测；s n o r t ：网络安全；虚警 r e s e a r c ho f n i d sf a l a l a r mt e c h n o l o g y n e t w o r k - b a s e da t t a c k sh a v eb e c o m ec o m m o na n ds o p h i s t i c a t e d i n t r u s i o n d e t e c t i o ns y s t e mb e c o m e sm o r ei m p o r t a n t h o w e v e r , e x i s t i n gi n t r u s i o nd e t e c t i o n s y s t e mc a n ts o l v et h ed e f e c tt h a tt h er a t eo ff a l s ea l a r mi st o oh i g h 。s oi tc t m l l eo u t t h ee m b a r r a s s e ds c e n et h a tt h ei n t r u s i o nd e t e c t i o ns y s t e mw a sn o tr e l i a b l e u n d e rt h i ss i t u a t i o n ，f i r s t l y , s o m em e a n sa n dt e c h n i q u ef o rs e c u r i t ya r e i n t r o d u c e dw h i c ha r ei nc o m m o nu s e a f t e rt h i s ，t h er e a s o n so ff a l s ea l a r mo f e x i s t i n gi n t r u s i o ns y s t e ma r ea n a l y z e da n dm a t h e m a t i c a ld e f i n i t i o no ft h ed e g r e eo f c r e d i b i l i t yi sg i v e n f u r t h e r m o r e ，t h i sp a p e rp o i n t so u tt h a ts o l v i n gt h ep r o b l e mo f f a l s ea l a r ma n dc r e d i b i l i t ym u s tp r o c e e dw i t ht h es y s t e ma r c h i t e c t u r e ，d e t e c t i o n a l g o r i t h ma n dp o l i c y t h i sp a p e ru s e sap o l i c yo fa d d i n ga l a r ma n a l y s i ss y s t e mt os n o r tw h i l e d e s i g n i n gt h i ss y s t e m c o n s e q u e n t l y , t h ea l a r md a t ac a nb ea n a l y z e da n df i l t r a t e d a g a i n ，i na d d i t i o n ，t h r e ed e f i n i t i o n so fi n t e r r e l a t i o n a r cg i v e na c c o r d i n gt os o m e i n t e r r e l a t i o n sa m o n gt h en e t w o r kd a t as t r e a m d u r i n gt h ed e s i g n i n go fw h o l es y s t e m ， a ni n t e r r e l a t i o na n a l y s i sm o d u l ei sa d d e d ，a n di nt h ea l a r ma n a l y s i ss y s t e m ，t h i s p a p e ru s e sa t t r i b u t ea n a l y s i s ，p r o b a b i l i t ya n a l y s i sa n dc l u s t e r i n ga n a l y s i st of i l t r a t e t h ea l a r md a t a f i n a l l y , t h ee x p e r i m e n t a lr e s u l ti sg i v e nt h a tt h ea l a r md a t ai s s i m u l a t e da n da n a l y z e db yt h ea l a r ma n a l y s i ss y s t e m ，a n dt h e nt h i ss y s t e mi sp r o v e d t h a tc o u l dd e p r e s sf a l s ea l a r me f f e c t i v e l y k e y w o r d s ：i n t r u s i o nd e t e c t i o n ；s n o r t ；n e t w o r ks e c u r i t y ；f a l s ea l a r m 合肥工业大学 本论文经答辩委员会全体委员审查，确认符合合肥工业大学硕士 学位论文质量要求。 答辩委员会签名：( 工作单位、职称) 揣丝z 厉恻忪前矮 委员： 骺熊 竹缀履 固籀投 愈瞧。 插图清单 图1 1 年度漏洞数量统计报告3 图1 2p 2 d r 2 模型4 图2 1o s i 与t c p i p 对应图1 4 图2 2 t c p 报文格式1 5 图2 3 网络适配器工作流程1 7 图2 4 网络数据包截获过程1 8 图3 1 函数调用的栈分布2 5 图3 - 2s n o r t 二维规则链表2 9 图3 - 3s n o r t 规则树3 l 图4 1 警报处理机制3 5 图4 2 表示不同检测系统性能的r o c 曲线3 9 图5 - 1i a s n o r t 功能模块整体4 3 图5 2s n i f f v r 的模块4 4 图5 3s i n f f e r 的运行界面4 6 图5 - 4s n o r t 的原始报警数据4 9 图5 5 警报分析器流程4 9 图5 - 6 警报分析器运行图5 0 图6 1 报警数据5 5 图6 - 2 属性分析5 7 图6 3 概率统计结果5 8 图6 4 聚类分析结果5 8 致谢 随着这篇论文的完成，在合肥工业大学的学习生活即将结束，我也将奔赴 工作岗位。在合肥工业大学求学的这三年里，生活和学习中的点点滴滴，都终 将变成一个美好的回忆深埋于我的心中，在这段珍贵的岁月里，许许多多的老 师和同学都给了我莫大的关怀和帮助，他们给了我知识，教会我思考，使我拥 有了独立学习和工作的能力，这些都将使我终身受益，我衷心地感谢他们，感 谢我的母校一合肥工业大学。 首先，我要感谢我的导师陆阳教授。多年来，陆老师以严谨踏实、一丝不 苟的态度对待研究和工作，给我树立了一个很好的榜样，并影响了我对待工作 与学习的态度；同时，他对我严格要求和耐心指导，使我的专业技能和学习能 力都有了很大的提高。陆老师的谆谆教诲我将始终铭记在心。 感谢实验室的高鑫、温丹吴、李光先等同学对我的帮助，从他们身上我学 到了很多东西。感谢陪我渡过三年美好时光的所有的老师和同学。 最后我要感谢我的家人，是他们给了我最大的支持，使我顺利完成了三年 的研究生的学习。 再次谢谢你们，谢谢所有关心和帮助过我的人，谢谢计算机学院的所有领 导和老师! 谢谢我的母校一一合肥工业大学! 作者：郑孝遥 2 0 0 5 年5 月 序言 随着网络技术和网络规模的飞速发展，针对网络和计算机系统的攻击事件 日益增多，攻击手法也越来越复杂。这些攻击有的是针对计算机操作系统和应 用软件的漏洞，有的是针对网络系统本身的安全缺陷。而这些攻击都给计算机 系统和网络系统造成破坏，甚至是灾难性的，因而网络安全引起了人们的高度 重视。 目前网络安全系统主要采用的是单一的防火墙系统，而防火墙采用的是一 种被动的防御机制，它很难解决网络内部的安全问题。因而单一的防火墙系统 很难满足现代信息社会网络安全的发展需要。针对当前网络环境下的安全问题 和已有技术的不足，入侵检测技术的诞生可以有效地缓解当前网络安全的压力。 入侵检测系统是众多安全策略和防护手段中非常重要的一环。传统的安全 系统只能在遭到攻击后被动的采取措旌j 从而丧失了将入侵行为消灭在起始阶 段的可能性，也导致一旦计算机系统和网络系统被攻击后，系统资源的机密性、 完整性与可用性被破坏，然而入侵检测系统可以主动发现入侵者的某些攻击行 为，然后通知系统管理员采取相应的措施，将入侵行为杜绝在萌芽状态，可将 入侵损失降低到尽可能小。入侵检测系统在网络安全中有着重要的作用，但是 入侵检测系统的高虚警率和可信性问题一直没有很好解决，成为困扰入侵检测 技术发展的一个主要因素，如何有效的降低虚警率，提高检测率成为入侵检测 技术研究的难点和重点。 当前的网络入侵检测系统从本质上讲还是基于单包的模式匹配，不能 够从整体上认识入侵者的攻击过程，因而造成了警报数过多，虚警率居高 不下的局面。本文的主要目的就是为了提高网络入侵检测系统的检测率， 设计一个低虚警率的网络入侵检测系统，以此提高网络入侵检测系统的可 信度。 本文的主要内容安排如下： 第一章：网络安全理论及入侵检测技术。本章主要对当前的一些网络安全 理论进行了简单的介绍，分析了防火墙技术在当前网络环境下的一些弊端，接 着对当前入侵检测系统概念及其发展状况进行了阐述，最后简单介绍了c i d f ( 通 用入侵检测框架) 标准。 第二章：网络封包截获技术。本章首先介绍了一下t c p i p 协议，然 后叙述了网络数据采集的实现原理，最后给出了本系统在w i n d o w s 操作系 统下数据包截获程序的具体实现函数。 第三章：入侵行为的特征分析及s n o r t 基本原理。本章首先阐述了入侵 行为及其类型，然后分析了攻击行为的一些共性的规律。另外也对网络入侵检 测系统s n o r t 进行了阐述，介绍了其中的检测原理，报警规则等。 第四章：入侵检测系统的虚警分析。本章首先对入侵检测系统产生虚警 的原因进行了研究，然后提出了可信度的数学定义，从而给出了对入侵检测系 统性能进行量化的标准；其次，分析了可信度和虚警率、漏警率及检测率之间 的关系，从而为如何提高入侵检测系统的性能提供了理论依据；然后，介绍了 r o c 曲线并阐述了单一机制的入侵检测系统的弊端，在此基础上指出只有从入 侵检测系统架构、算法及策略等多方面入手，才能在技术上有效地解决入侵检 测的虚警和可信性的问题。 第五章：系统的整体设计及实现。本章主要对i a s n o r t 的各个模块进行 了介绍，重点介绍了警报分析器的设计，这也是本论文研究和设计的核心。 第六章：系统实验与评估。本章首先介绍了系统的实验环境，然后给 出了s n i f f e r ( 数据包截获程序) 和警报分析器的仿真实验结果并对其性能 进行了分析。 第七章：总结与展望。本章主要总结了在入侵检测领域所做的一些工 作，并对下一步的工作作了一些简单的介绍，最后介绍了入侵检测系统的 发展趋势。 第一章网络安全和入侵检测的基本理论 随着对计算机安全及网络安全研究的不断深入，新的理论和技术不断的涌 现，同时，已有的理论和技术也在不断的发展和完善。本章对一些重要的网络 安全理论及技术进行简单的介绍，在适当的时候会给出一些比较和分析。 i i 网络安全现状 我们的网络世界安全吗? 让我们先来看一看最著名的计算机网络安全机构 c e r t c c 于2 0 0 5 年1 月2 1 日更新的年度漏洞数量统计报告的数字。 1 9 9 5 2 0 0 4 年网络安全漏洞发现情况统计( c e r t c c ) 嘲sj 1 9 9 6 | 1 9 9 7 卜s 卜9 9 | 2 0 0 0 0 阿1 z o o z | _ i 琢瓣 1 7 1 3 4 53 1 i2 6 24 1 7t1 0 9 0 + 12 4 3 74 1 2 93 7 8 42 6 8 3 图卜1 年度漏洞数量统计报告 由此可以看到，网络安全问题正以前所未有的速度向我们袭来。谁能保证 在过去的一年中，自己没有碰到病毒、木马、拒绝服务攻击等各式各样的网络 安全问题呢? 近年来，信息技术，特别是计算机和网络技术的高速发展和广泛应 用使得信息已经成为社会生产和生活的重要组成部分。而同传统的方式相比， 基于信息技术平台的社会活动方式己经发生了根本性的变化，人们对于这一强 大平台的依赖性已经大大增加。但是，随着互联网络的迅速普及和应用，信息 和网络安全问题也目益突出，我们赖以生存的信息平台正变得越来越脆弱。网 络信息安全技术随即进入了高速发展的时期。各种不同的网络信息安全手段， 如加密和认证技术、访问控制、防火墙、入侵检测系统、蜜罐系统等等也如雨 后春笋般不断涌现。同时，网络信息安全的概念也不断丰富和深入。安全的概 o 蛎 跖 嚣 坫 副 念早己不再限于对信息的保护，而是建立在商效利用信息基础上的完整的，以 防护、检测、反应和恢复为主要内容的安全体系结构 。 1 2 网络安全理论概述 i 2 。lp 2 d r 2 模型簿分 随着i n t e r n e t 的发展，网络安全问题日益突出，为了解决这些问题，p 2 d r 2 模型应运而生，它是一种“可适应网络安全模型”和“动态安全模型”，包含5 个 主要部分；p o l i c y ( 安全策略) ，p r o t e c t i o n ( 保护) ，d e t e c t i o n ( 检测) tr e s p o n s e ( 响应) ，r e c o v e r y ( 恢复) 。 图卜2p 2 d r 2 模型 如图1 一l 所示，p 2 d r 2 模型是在整体的网络系统安全策略的控制和指导下， 综合运用诸如安全操作系统、防火墙、身份认证、访问控制、加密等安全防护 措施和手段保证网络系统具有一定的安全基础。同时，为保证安全防护措施和 手段正确地按照安全策略的要求工作，利用入侵监控系统适对她监控网络事件， 确保网络安全，采用弱点漏洞分析和评估工具定期对网络的安全状况进行评估 和分析，以期网络始终保持相对的安全状态。对网络入侵行为、动态的网络弱 点漏洞、不正确的系统配置和使用进行响应。同时定期对系统重要资源进行备 份，最大限度地减少网络安全事件带来的风险和损失。防护、检测和响应组成 了一个完整的、动态的安全循环。 1 2 2 网络安全目标 i s o 建议将网络安全定义为：计算机系统有保护，计算机系统的硬件、软件、 数据不被偶然或故意的泄漏、更改、破坏【2 1 。 可用性( a v a i l a b i l i t y ) 网络服务必须可以允许授权的用户或实体使用； 保密性( c o n f i d e n t i a l ) ：防止敏感信息泄漏，确保只有授权用户才能获取服 务信息； 完整性( i n t e g r i t y ) ：确保信息内容不能被非授权修改，完整性是对信息的准 确性和可靠性的评价指标； 可靠性( r e l i a b i l i t y ) ：系统在规定条件下和规定时间内，完成规定功能的概 率； 不可抵赖性( n o n r e p u d i a t i o n ) ：在通信过程中，双方都不可否认或者不可 抵赖曾发生通信的内容和通信的来源地。 可控性( c o n t r o l l a b i l i t y ) ：网络管理的可控性，包括网络运行的物理的可控 性和逻辑或配置的可控性等，能够有效地控制网络用户的行为及信息的传播范 围。 1 3 防火墙简介 防火墙是建立在两个网络边界上的实现安全策略和网络通信监控的系统或 系统集，它强制执行对内部网络( 如校园网) 和外部网络( 如i n t e r n e t ) 的访问控制。 通过建立一整套规则和策略来监测、限制、转换跨越防火墙的数据流，从而达 到保护内部网络的目的。防火墙的功能主要有访问控制、授权认证、地址转换、 均衡负载等。它已经成为目前内部网最重要的安全技术之一。 1 3 1 防火墙的分类 防火墙有很多种分类方法：依据采用的技术的不同，防火墙产品可分为软件 防火墙、硬件防火墙和软硬一体化防火墙i 按照应用对象的不同，防火墙产品 可分为企业级防火墙与个人防火墙；根据防御方式的不同，防火墙产品又可分 为包过滤型( p a c k e tf i l t e r i n g ) 防火墙和代理服务型f p r o x ys e r v i c e ) 防火墙等【3 】。 包过滤型防火墙是防火墙的初级产品，其技术依据是网络中的分包传输技 术。网络上的数据都是以”包”为单位进行传输的，数据被分割成为一定大小的数 据包。每一个数据包中都会包含一些特定信息，如数据的源地址、目标地址、 t c p u d p 源端口和目标端口等。防火墙通过读取数据包中的地址信息来判断这 些”包”是否来自可信任的安全站点，一旦发现来自危险站点的数据包，防火墙便 会将这些数据拒之门外。系统管理员也可以根据实际情况灵活制订判断规则。 包过滤技术的优点是效率比较高，简单实用，实现成本较低，在应用环境比较 简单的情况下，能够以较小的代价在一定程度上保证系统的安全。但包过滤技 术的缺陷也是明显的。包过滤技术是一种完全基于网络层的安全技术，只能根 据数据包的来源、目标和端口等网络信息进行判断，无法识别基于应用层的恶 意侵入，如恶意的j a v a 小程序以及电子邮件中附带的病毒。有经验的黑客很容 易伪造i p 地址，骗过包过滤型防火墙。 代理型防火墙也可以被称为代理服务器。它的安全性要高于包过滤型产品， 并已经开始向应用层发展。代理服务器位于客户机与服务器之间，完全阻挡了 二者问的数据交流。从客户机来看，代理服务器相当于台真正的服务器；而 从服务器来看，代理服务器又是一台真正的客户机。当客户机需要使用服务器 上的数据时，首先将数据请求发给代理服务器，代理服务器再根据这一请求向 服务器索取数据，然后再由代理服务器将数据传输给客户机。由于外部系统与 内部服务器之间没有直接的数据通道，外部的恶意侵害也就很难伤害到企业内 部网络系统。代理型防火墙的优点是安全性较高，可以针对应用层进行侦测和 扫描，对付基于应用层的侵入和病毒都十分有效。其缺点是对系统的整体性能 有较大的影响，而且代理服务器必须针对客户机可能产生的所有应用类型逐一 进行设置，大大增加了系统管理的复杂性。 监测型防火墙是新一代的产品，这一技术实际已经超越了最初的防火墙定 义。监测型防火墙能够对各层的数据进行主动的、实时的监测，在对这些数据 加以分析的基础上，监测型防火墙能够有效地判断出各层中的非法侵入。同时， 这种检测型防火墙产品一般还带有分布式探测器，这些探测器安置在各种应用 服务器和其他网络的节点之中，不仅能够检测来自网络外部的攻击，同时对来 自内部的恶意破坏也有极强的防范作用。因此监测型防火墙不仅超越了传统防 火墙的定义，而且在安全性上也超越了前几代产品，但其使用起来也更加复杂， 对系统性能的要求也更高。 1 3 2 防火墙的缺陷和不足 随着防火墙的发展，其功能不断完善，但也有存在一些局限性，诸如：防火 墙难于防内。防火墙的安全控制只能作用于外对内或内对外，即：对外可屏蔽 内部网的拓扑结构，封锁外部网上的用户连接内部网上的重要站点或某些端口， 对内可屏蔽外部危险站点，但它很难解决内部网控制内部人员的安全问题。即 防外不防内。而据权威部门统计结果表明，网络上的安全攻击事件有7 0 以上 来自内部攻击。 防火墙难于管理和配置，易造成安全漏洞。防火墙的管理及配置相当复杂， 要想成功的维护防火墙，要求防火墙管理员对网络安全攻击的手段及其与系统 配置的关系有相当深刻的了解。防火墙的安全策略无法进行集中管理。一般来 说，由多个系统( 路由器、过滤器、代理服务器、网关、堡垒主机) 组成的防 火墙，管理上有所疏忽是在所难免的。根据美国财经杂志统计资料表明，3 0 的 入侵发生在有防火墙的情况下。 防火墙的安全控制主要是基于i p 地址的，难于为用户在防火墙内外提供一 致的安全策略。许多防火墙对用户的安全控制主要是基于用户所用机器的i p 地 6 址而不是用户身份，这样就很难为同一用户在防火墙内外提供一致的安全控制 策略，限制了企业网的物理范围。 防火墙只实现了粗粒度的访问控制，且不能与企业内部使用的其它安全机制 ( 如访问控制) 集成使用，这样，企业就必须为内部的身份验证和访问控制管 理维护单独的数据库。 1 4 入侵检测技术及其发展趋势 1 4 1 入侵检测的定义及其必要性 入侵检测系统( i d s ：i n t r u s i o nd e t e c t i o ns y s t e m ) ，顾名思义，是用来对各种 入侵行为进行检测的系统，它通过对( 网络) 系统的运行状态进行监视，以发 现各种攻击企图、攻击行为或者攻击结果，然后及时的发出报警或作出相应的 响应，以保证系统资源的机密性、完整性与可用性。 对网络安全问题的一种实用解决方法是：对已经建设的信息系统，按照一定 的安全策略建立相应的安全辅助系统。现在安全软件的开发方式基本上就是按 照这个思路进行的。入侵检测系统就是这样一种系统，此外i d s 就是p 2 d r 2 模 型的重要组成部分。就目前的系统安全状况而言，系统存在被攻击的可能性， 如果系统遭到攻击。只要尽可能地检测到，甚至是实时地检测到，从而就可以 为对抗入侵提供信息。i d s 一般不采取防御措施以防止入侵事件的发生，入侵检 测作为安全技术其作用在于 4 1 ：( i ) 识别入侵者；( 2 ) 识别入侵行为：( 3 ) 检测 和监视已成功的安全突破；( 4 ) 及时提供入侵信息来阻止入侵的发生和事态的 扩大。 1 4 2 入侵检测系统的分类 目前国内外主要将入侵检测系统按获得原始数据的方法、使用的技术和使 用的分析方法等不同进行分类。 入侵检测系统根据获取数据源的不同可分为基于主机的入侵检测系统 ( h o s t b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，简称h i d s ) 和基于网络的入侵检测 系统( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，简称n i d s ) 。 基于主机的入侵检测系统在被监测的主机上运行，它的检查内容可以包括： 对用户登陆的审计、对用户行为的审计、对用户运行程序的跟踪和审计、对超 级用户的特殊监控、对系统调用的特殊监控、对主机上的对外流量的监控、对 文件系统的完整性的监控等等。优点是可精确判断入侵事件，并及时进行反应 缺点是会占用宝贵的主机资源。另外，能否及时采集到审计数据也是这种系统 的弱点之一，因为入侵者会将主机审计子系统作为攻击目标以避开i d s 典型的 系统主要有：c o m p u t e rw a r t c h ，d i s c o v e r y ，h a y s t a c k ，i d e s ，i s o a ，m i d a s 以 及l o s a l a m o s 国家实验室开发的异常检测系统w & s 。 基于网络的i d s ( n i d s ) ：通过在共享网段上对通信数据进行侦听，分析可疑 现象这类系统不需要网段上的主机都是统一的架构但它只能监视经过本网段 的活动，且精确度较差，在交换网络环境下难于配置，防欺骗能力也较差。典 型的系统有s n o r t 、n a d i r 、n s m 和d i d s 。s n o r t 系统是一个开放源代码形式发 行的网络入侵检测系统，并由全世界各地的众多程序员共同维护和升级；n a d i r 是一个自动专家系统，专为l o s a l a m o s 国家实验室的集成计算机网络设计的网 络异常检测和入侵检测报告系统；加利福尼亚大学的n s m 系统( 它通过广播l a n 上的信息流量来检测入侵行为) ：还有分布式入侵检测系统d i d s 等。 入侵检测系统按照其使用技术的不同可分为基于异常检测( a n o m a l y d e t e c t i o n ) 的入侵检测系统和基于特征检测( m i s u s ed e t e c t i o n 又称误用入侵检测) 的入侵检测系统。基于异常的检测方法主要是先建立网络和主机系统的一些正 常运行的描述模式，如网络数据报的流量、c p u 使用率、内存使用率等，然后 将系统当前的描述模式与设立的正常描述模式进行比较，对超出设定“阀值” ( 1 i m i t ) 的情况做出响应。异常检测方法主要的优点有：可以对整个网络和主机系统 中各种类型的异常活动进行检测；对攻击的检测不依赖其是否出现过，甚至能 发现未知的攻击；已有大量成熟方法，如概率统计、神经网络等，可根据需要 选择合适的方法构造正常行为运行描述模式。而异常检测方法的主要问题就是 计算复杂，存在漏报和误报。基于特征检测方法主要是提取已知的计算机系统 的弱点和攻击方法的特征，建立匹配模式库，当系统检测到与模式库相同的系 统特征时，做出响应。基于特征检测方法的优点是：随着对计算机系统弱点和 入侵方法的搜集，检测的范围也逐渐变广；其检测方法简单，效率高，可减少 计算机系统的负担；另外由于建立了己知入侵行为的模式库，检测准确率高， 一般不会出现误报情况，并能有效地判断出其入侵种类，采取相应的措施。但 也有不能检测未知入侵行为的缺点，由于入侵种类繁多和入侵方法的复杂性， 也很难进行系统化的管理。 按照所使用的分析方法，可以分为基于审计的入侵检测系统、基于神经网 络的入侵检测系统、基于专家系统的入侵检测系统和基于模型推理的入侵检测 系统等。 1 、基于审计的入侵检测系统 基于审计信息的入侵检测工具以及自动分析工具可以向系统安全管理员报 告计算机系统活动的评估报告，通常是脱机的、滞后的。对入侵的实时检测系 统的工作原理是基于对用户历史行为的建模，以及在早期的证据或模型的基础 之上。审计系统实时地检测用户对系统的使用情况，根据系统内部保持的用户 行为的概率统计模型进行监测，当发现有可疑的用户行为发生时，保持跟踪并 监测该用户的行为。系统应具备处理自适应的用户参数的能力。能够判断使用 行为的合法或可疑。系统应当能够避免“肃反扩大缩小化”的问题。这种办法同 样适用于检测程序的行为以及对数据资源( 如文件或数据库) 的存取行为。 2 、基于神经网络的入侵检测系统 如上所述，基于审计的入侵检测系统，具有一些天生的弱点，因为用户的 行为可以是非常复杂的，所以想要准确匹配一个用户的历史行为和当前的行为 是相当困难的。错发的警报往往来自于对审计数据的统计算法所基于的不准确 或不贴切的假设。s r i 的研究小组利用和发展神经网络技术来进行攻击检测。神 经网络可能用于解决传统的统计分析技术所面临的以下几个问题： ( 1 ) 难于建立确切的统计分布 ( 2 ) 难于实现方法的普适性 ( 3 ) 算法实现比较昂贵 ( 4 ) 系统臃肿难于剪裁 目前，神经网络技术提出了对基于传统统计技术的攻击检测方法的改进方 向，但尚不十分成熟，所以传统的统计方法仍将继续发挥作用，也仍然能为发 现用户的异常行为提供相当有参考价值的信息。 3 、基于专家系统的入侵检测系统 进行安全检测工作自动化的另外一个值得重视的研究方向就是基于专家系 统的入侵检测技术，即根据安全专家对可疑行为的分析经验来形成一套推理规 则，然后再在此基础之上构成相应的专家系统。由此专家系统自动进行对所涉 及的攻击操作的分析工作。 所谓专家系统是基于一套由专家经验事先定义的规则的推理系统。例如， 在数分钟之内某个用户连续进行登录，且失败超过三次就可以被认为是一种攻 击行为。类似的规则在统计系统似乎也有，同时应当说明的是基于规则的专家 系统或推理系统也有其局限性，因为作为这类系统的基础的推理规则一般都是 根据已知的安全漏洞进行安排和策划的，而对系统的最危险的威胁则主要是来 自未知的安全漏洞。实现一个基于规则的专家系统是一个知识工程问题，而且 其功能应当能够随着经验的积累而利用其自学习能力进行规则的扩充和修正。 4 、基于模型推理的入侵检测系统 攻击者在入侵一个系统时往往采用一定的行为程序，如猜测口令的程序， 这种行为程序构成了某种具有一定行为特征的模型，根据这种模型所代表的攻 击意图的行为特征，可以实时地检测出恶意的攻击企图，尽管攻击者并不一定 都是恶意的。用基于模型的推理方法人们能够为某些行为建立特定的模型，从 而能够监视具有特定行为特征的某些活动。根据假设的攻击脚本，这种系统就 能检测出非法的用户行为。一般为了准确判断，要为不同的入侵者和不同的系 统建立特定的攻击脚本。当有证据表明某种特定的攻击模型发生时，系统应当 收集其它证据来证实或者否定攻击的真实，以尽可能的避免错报。 9 另外最近国内外将贝叶斯网络，遗传算法【”1 ，模糊数学，数据挖掘，生物 免疫学等多项技术与理论应用于入侵检测，给入侵检测技术的发展注入了新的 活力，但都没有有效解决原有入侵检测虚警率、漏报率居高不下的问题。 1 4 3 入侵检测的发展趋势 基于网络和基于主机的入侵检测系统都有各自的优势，这两种方式都能发 现对方无法检测到的一些入侵行为。从某个重要服务器的键盘发出的本地攻击 并不经过网络，因此就无法通过基于网络的入侵检测系统检测到，只能通过使 用基于主机的入侵检测系统来检测。基于网络的入侵检测系统通过检查所有的 数据包的包头( h e a d e r ) 来进行检测，而基于主机的入侵检测系统并不查看数据 包的包头。许多基于i p 的拒绝服务攻击和碎片攻击，只能通过查看它们通过网 络传输时的数据包的包头才能识别。基于网络的入侵检测系统可以研究负载的 内容，查找特定攻击中使用的命令或语法，这类攻击可以被实时检查包序列的 入侵检测系统迅速识别。而基于主机的系统无法看到负载，因此也无法识别嵌 入式的负载攻击。联合使用基于主机和基于网络这两种方式能够达到更好的检 测效果。比如基于主机的入侵检测系统使用系统日志作为检测依据，因此它们 在确定攻击是否已经取得成功时与基于网络的入侵检测系统相比具有更大的准 确性。在这方面，基于主机的入侵检测系统对基于网络的入侵检测系统是一个 很好的补充，人们完全可以使用基于网络的入侵检测系统提供早期报警，而使 用基于主机的入侵检测系统来判断攻击是否取得成功。 误用入侵检测技术和异常入侵检测技术，所得出的结论有非常大的差异。 误用入侵检测技术的核心是维护一个入侵模式库。对于已知的攻击，它可以详 细、准确的报告出攻击类型，但是对未知攻击却效果有限，而且入侵模式库必 须不断更新。异常入侵检测技术则无法准确判别出攻击的手法，但它可以( 至 少在理论上可以) 发现更广泛的、甚至未知的攻击方法。 目前的入侵检测系统大部分是基于网络的误用入侵检测系统。因此在下一 代的入侵检测系统中，将把现在的基于网络和基于主机这两种检测技术很好地 集成起来，提供集成化的攻击签名、检测、报告和事件关联功能。公共入侵检 测框架就是在这种背景下诞生的。 这几年，入侵检测系统的市场发展很快，但是由于缺乏相应的通用标准， 不同系统之间缺乏互操作性和互用性，大大阻碍了入侵检测系统的发展为了解 决不同i d s 之间的互操作和共存问题，1 9 9 7 年3 月，美国国防部高级研究计划 局( d a r p a ) 开始着手c i d f ( t h ec o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，通用入 侵检测框架) 标准的制定，试图提供一个允许入侵检测、分析和响应系统和部件 共享分布式协作攻击信息的基础结构【5 l 。加洲大学d a v i s 分校的安全实验室完成 了c i d f 标准，i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ，i n t e r n e t 工程任务组) 成立 l o 了i d w g ( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ，入侵检测任务组) 负责建立 i d e f ( i n t r u s i o nd e t e c t i o ns y s t e me x c h a n g ef o r m a t ，入侵检测数据交换格式) 标准， 并提供支持该标准的工具，以便更高效率地开发i d s 系统。由于i d e f 还未正式 形成标准，相对i d e f 来说c i d f 更成熟，更容易被安全软件厂商所接受。所以 本系统的设计也采用c i d f 标准。 通用入侵检测框架( t h ec o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，以下简称 为c i d f ) 早期由美国国防部高级研究计划局赞助研究，现在由c i d f 工作组负 责，这是一个开放组织，实际上c i d f 已经成为一个开放的共享的资源。 c i d f 是一套规范，它定义了i d s 表达检测信息的标准语言以及i d s 组件之 间的通信协议。符合c i d f 规范的i d s 可以共享检测信息，相互通信，协同工作， 还可以与其它系统配合实施统一的配置响应和恢复策略。c i d f 的主要作用在于 集成各种i d s 使之协同工作，实现各i d s 之间的组件重用，所以c i d f 也是构 建分布式i d s 的基础。c i d f 的规格文档由四部分组成，分别为： l 、体系结构( t h ec o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r ka r c h i t e c t u r e ) 2 、规范语言( ac o m m o ni n t r u s i o ns p e c i f i c a t i o nl a n g u a g e ) 3 、内部通讯( c o m m u n i c a t i o ni nt h ec o m m o ni n t r u s i o nd e r e c t i o nf r a m e w o r k ) 4 、程序接口( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r ka p i s ) 其中体系结构阐述了一个标准的i d s 的通用模型；规范语言定义了一个用 来描述各种检测信息的标准语言：内部通讯定义了i d s 组件之间进行通信的标 准协议；程序接口提供了一整套标准的应用程序接口( a p i 函数) 。c i d f 阐述了 一个入侵检测系统( i d s ) 的通用模型，它将一个入侵检测系统分为以下组件： 1 、事件产生器( e v e n tg e n e r a t o r s ) 2 、事件分析器( e v e n ta n a l y z e r s 3 、响应单元( r e s p o n s eu n i t s ) 4 、事件数据库( e v e n td a t a b a s e s ) c i d f 将入侵检测系统需要分析的数据统称为事件( e v e n t ) ，它可以是基于 网络的入侵检测系统中在网络中传输的数据包，也可以是基于主机的入侵检测 系统从系统日志等其它途径得到的信息。它也对于各组件之间的信息传递格式、 通信方法和标准a p i 进行了标准化。 事件产生器的目的是从整个计算环境中获得事件，并向系统的其它部分提 供此事件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分 析结果作出反应的功能单元，它可以作出切断连接、改变文件属性等强烈反应， 甚至发动对攻击者的反击，也可以只是简单的报警。事件数据库是存放各种中 间和最终数据的地方的统称，它可以是复杂的数据库，也可以是简单的文本文 件。 在现有的入侵检测系统中，经常用数据采集部分、分析部分和响应部分来 分别代替事件产生器、事件分析器和响应单元这些术语。用日志来简单的指代 事件数据库。 目前c i d f 还没有成为正式的标准，也没有一个商业i d s 产品完全遵循该规 范，但各种i d s 的结构模型具有很大的相似性，各厂商都在按照c i d f 进行信息 交换的标准化工作，有些产品已经可以部分地支持c i d f 。可以预测，随着分布 式i d s 的发展，各种i d s 互操作和协同工作的迫切需要，各种i d s 必须遵循统 一的框架结构，c i d f 将成为事实上的i d s 的工业标准。相信未来的集成化的入 侵检测产品不仅功能更加强大，而且部署和使用上也更加灵活方便。 1 5 小结 本章对当前的一些网络安全理论进行了简单的介绍，分析了防火墙技术在 当前网络环境下的一些弊端，接着对当前入侵检测系统概念及其发展状况进行 了详细的阐述，最后介绍了c i d f 标准。 1 2 众所周知，网l 络入侵检测系统的数据源来自网络，因而如何方便高效地从 网络中获取所需要的数据也成为构建网络入侵检测系统的前提与基础。本章将 阐述一下网络协议和数据包截获原理。 2 1 网络协议 2 1 1o s i 参考模型 o s i 是一个开放性的通行系统互连参考模型，它是一个定义得非常好的协议 规范。o s i 模型有7 层结构，每层都可以有几个子层。下面简单地介绍一下这7 层及其功能。 o s i 的7 层从上到下分别是：应用层、表示层、会话层、传输层、网络层、 数据链路层、物理层。其中高层，即7 、6 、5 、4 层定义了应用程序的功能，下 面3 层，即3 、2 、l 层主要面向通过网络的端到端的数据流。下面给大家介绍 一下这7 层的功能： ( 1 ) 应用层：与其他计算机进行通讯的一个应用，它是对应应用程序的通 信服务的。例如，一个没有通信功能的字处理程序就不能执行通信的代码，从 事字处理工作的程序员也不关心o s i 的第7 层。但是，如果添加了一个传输文 件的选项，那么字处理器的程序员就需要实现o s i 的第7 层。示例：t e l n e t 。 h t t p ，f t p ，w w w ，n f s ，s m t p 等。 ( 2 ) 表示层：这一层的主要功能是定义数据格式及加密。例如，f t p 允许 你选择以二进制或a s c i i 格式传输。如果选择二进制，那么发送方和接收方不 改变文件的内容。如果选择a s c i i 格式，发送方将把文本从发送方的字符集转 换成标准的a s c i i 后发送数据。在接收方将标准的a s c i i 转换成接收方计算机 的字符集。示例：加密，a s c i i 等。 ( 3 ) 会话层：它定义了如何开始、控制和结束一个会话，包括对多个双向 回话的控制和管理，以便在只完成连续消息的一部分时可以通知应用，从而使 表示层看到的数据是连续的，在某些情况下，如果表示层收到了所有的数据， 则用数据代表表示层。示例：r p c ，s q l 等。 ( 4 ) 传输层：这层的功能包括是否选择差错恢复协议还是无差错恢复协议， 及在同一主机上对不同应用的数据流的输入进行复用，还包括对收到的顺序不 对的数据包的重新排序功能。示例：t c p ，u d p ，s p x 。 ( 5 ) 网络层：这一层对端到端的包传输进行定义，它定义了能够标识所有 结点的逻辑地址，还定义了路由实现的方式和学习的方式。为了适应最大传输 单元长度小于包长度的传输介质，网络层还定义了如何将一个包分解成更小的 包的分段方法。示例：i