（计算机应用技术专业论文）一种分布式入侵监测系统的研究.pdf

y 6 6 9 2 2 6 昆明理工大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下进行 研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做 出重要贡献的个人和集体，均已在论文中作了明确的说明并表示了谢 意。本声明的法律结果由本人承担。 学位论文作者签名：蔼每毙 日 期：2 。牛年7 月7 日 关于论文使用授权的说明 本人完全了解昆明理工大学有关保留、使用学位论文的规定，即： 学校有权保留、送交论文的复印件，允许论文被查阅，学校可以公布 论文的全部或部分内容，可以采用影印或其他复制手段保存论文。 锄鼢，登兰至论文作者张 专髭 日 期：兰! !生1月皇 旦 一种分布式入侵检测系统的研究 摘要 随着计算机网络技术的迅猛发展和广泛应用，特别是i n t e r n e t 的快速普 及，促进了计算机与互联网科技的不断创新与升级。网络设施和资源对于国家、 企业和个人的重要性日益增强，在不断改变人们传统的生活、工作与学习方式的 同时也带来了新的问题和挑战。人类社会信息化程度日益增加，对网络依赖性日 益增强如何能够保证信息化社会的正常、安全、平稳地运转，其中计算机网络的 安全性是最重要的环节之一，必须不断地得以充实、强化和提高。目前，网络互 联领域的广度和深度不断扩展，开放特性不断深化，造成越来越多的网络系统面 临攻击和入侵的威胁。 论文在研究和分析相关背景知识以及入侵检测技术相关协议框架的基础上 主要了完成了以下几个方面的工作： 1 ) 提出一种前端分流和后端i d s 阵列分析的体系结构，解决了在此结 构下前端分流模块和后端i d s 阵列如何集成，它们之间的连接方式 、及响应报警模块的集中输出等问题。 2 ) 提出了一种负载均衡分流算法并加已实现。 3 ) 针对当前入侵检测系统不适应高速网络环境的现状，改进设计了数 据包截获引擎以提高该模块的性能。 关键词：入侵检测系统，分布式 一种分布式入侵检测系统的研究 a b s tt a c t w i t hg r e a td e v e l o p m e n t sa n de x t e n s i v ea p p l ! c a t i o n so f t e c h n o l o g yo fc o m p u t e r n e t w o r k s ，e s p e c i a l l yf o rw o r l d w i d es p r e a do fi n t e r n e t ，s c i e n c ea n dt e c h n o l o g yo f c o m p u t e ra n di n t e r n e t a r ec o n t i n u o u s l yi n n o v a t e da n du p g r a d e di n f r a s t r u c t u r ea n d r e s o u r c eo fc o m p u t e rn e t w o r k sh a v eb e c o m ei n c r e a s i n g l y i m p o r t a n t t o n a t i o n s ， e n t e r p r i s e sa n di n d i v i d u a l s ，c e a s e l e s s l yc h a n g et r a d i t i o n a lw a y i nw h i c hp e o p l el i v e ， w o r ka n ds t u d y , a n db r i n ga b o u tn e w p r o b l e m sa n dc h a l l e n g e sa tt h es a m et i m e w i t h t h ei n c r e a s eo fi n f o r m a t i z a t i o nl e v e la n de n h a n c e m e n to fd 印e m e n c eo nc o m p u t e r n e t w o r k sf o rh u m a n s o c i e t y , h o w t o k e e p i n f o ! i - m a t i z a t i o ns o c i e t yr u n n i n g n o r m a l l y , s a f e l ya n ds t e a d i l yi st h em o s ti m p o r t a n ti s s u eo f w h i c hc o m p u t e rn e t w o r k s a f e t yi s o n et ob ea l w a y ss t r e n g t h e n e da n di m p r o v e d a tp r e s e n t ，a p p l i c a t i o no f i n t e r c o n n e c t e dn e t w o r ki s e x t e n s i v e l y e x t e n d e da n di t s o p e n c h a r a c t e r i s t i c i s e x t e n s i v e l ys t r e n g t h e n e d ，w h i c hc a u s e sm o r ea n dm o r en e t w o r ks y s t e m se x p o s e dt o t h r e a to f a t t a c k sa n di n t r u s i o n s a f t e ri n t r o d u c i n gt h ec o r r e s p o n d i n gb a c k g r o u n dk n o w l e d g ea n da n a l y z i n gt h e p r o t o c o lf r a m er e l e a t e dt oi d s ，t h i sp a p e r f o c u s e so nt h e s ef o l l o w i n gp a r t s ： 1 o f f e r e das y s t e ma d o p t i n gf i r s t l yd i s t r i b u t a r ya n dl a t e ra n a l y s e db yi d s a r r a y , r e s o l v es o m ep r o b l e m ss u c h a sh o wt oi n t e g r a t ea n dt h ed i s t r i b u t a r y m o d u l ea n dt h ei d sa r r a y , h o wt oc o n v e r g e o u t p u t s c t c 2 o f f e r e da n dr e a l i z eaa l g o r i t h mo f d i s t r i b u t a r yb a s e do i ll o a db a l a n c i n g 3 t o g u a r a n t e eal o wp a c k e tl o s sa n dt oi n c r e a s et h ed e t e c t i o na b i l i t yo f l d s i nh i g hs p e e dn e t w o r k , a ni m p r o v e dd a t ac o l l e c t i o ne n g i n ei sd e s i g n e d k e y w o r d ：i d s ，d i s t r i b u t e d 第一章入侵检测系统综述 第一章入侵检测系统综述 1 1 入侵检测系统定义 计算机安全技术主要包含以下四个方面的含义：保密性、完整性、可用性、 可控性。保密性指信息不泄露给非授权用户、实体、过程，或不供其利用的特性。 完整性指数据未经授权不可进行改变的特性。可用性指可被授权实体访问仅提供 按需求使用的特性。可控性指对信息的传播及内容具有控制能力。在这个意义上， 入侵指的就是试图破坏计算机保密性，完整性，可用性或可控性的一系列活动。 入侵检$ 1 j ( i n t r u s i o nd e t e c t i o n ) , 顾名思义，便是对入侵行为的发觉。它通过 对计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现 网络或系统中是否有违反安全策略的行为和被攻击的迹象。进行入侵检测的软件 、 与硬件的组合便是入侵检测系统o h t r u s i o n d e t e c t i o ns y s t e m ，简称第1 d s ) 。与其 他安全产品不同的是，入侵检测系统需要更多的智能，它必须可以将得到的数据 进行分析，并得出有用的结果。一个合格的入侵检测系统能大大的简化管理员的 工作，保证网络安全的运行。 传统上，一般采用防火墙作为安全的第一道屏障。但是随着攻击技术的日趋 成熟，攻击手法的日趋多样，单纯的防火墙已经不能很好地单独完成安全防护工 作。在这种情况下，需要有入侵检测系统与其能够协同工作，构建更完善的安全 解决方案。 具体说来，入侵检测系统的主要功能有： a 监测并分析用户和系统的活动： b ，核查系统配置和漏洞： c 评估系统关键资源和数据文件的完整性； d 识别已知的攻击行为； e 统计分析异常行为； 操作系统日志管理，并识别违反安全荒略的用户活动。 一个成功的入侵检测系统，不仅可使系统管理员时刻了解网络系统，还能给 第章入侵检测系统综述 网络安全策略的制订提供依据。它应该管理配置简单，使非专业人员非常容易地 获得网络安全。入侵检测的规模还应根据网络规模、系统构造和安全需求的改变 而改变。入侵检测系统在发现入侵后，会及时作出响应，包括记录事件、发送报 警邮件和切断网络连接等。 1 2 入侵检测技术的历史及发展 入侵检测技术虽然是近年来在时络安全领域比较热门的一颈技术，但是很早 以前就己经有在实验室内对其进行研究的了。从实验室原型研究到推出商业化产 品、走向市场并获得认同，入侵检测系统o d s ) 已经经过了二十多年的发展历程。 1 9 8 0 年4 月，j a m e spa n d e r s o n 为美国空军做了份题为c o m p u t e r s e c u r i t y t h r e a t m o n i t o r i n ga n ds u r v e i l l a n c e ) ) ( 计算机安全威胁监控与监视) 的技术报告，第 一次详细阐述了入侵检钡j 的概念。他那时提出了一种对计算机系统风险和威胁的 分类方法，并将威胁分为外部渗透、内部渗透和不法行为三种，还提出了利用审 计跟踪数据监视入侵活动的思想。这份报告被认为是入侵检测的开山之作。 从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s r i c s l ( s p a 公司 计算机科学实验室) 的p e t e * n e u m a n n 研究出了个实时入侵检测系统模型，取名 为i d e s 入侵检测专家系统) 。该模型由六个部分组成：主体、对象、审计记录、 轮廓特征、异常记录、活动规则。它独立于特定的系统平台、应用环境、系统弱 点以及入侵类型，为构建入侵检测系统提供了一个通用的框架。 1 9 8 8 年，s r u c s l 的t e r e s al u n t 等人改进了d e n n i n g 的入侵检测模型，并 开发出了一个i d e s 。该系统包括个异常检钡9 器和个专家系统，分别用于统 计异常模型的建立和基于规则的特征分析检测，完成了一个基本的入侵检测模 型。i d e s 入侵检测结构模型如图1 1 所示： 图11i d e s 入侵结构模型图 第一章入侵检测系统综述 1 9 9 0 年是入侵检测系统发展史上的一个分水岭。这一年，加州大学戴维斯 分校的lth e b e r l e i n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。该系统第 一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一格式 的情况下监控异种主机。从此之后，入侵检测系统发展史翻开了新的一页，两大 阵营正式形成：基于网络的i d s 和基于主机的i d s 。 1 9 8 8 年的莫里斯蠕虫事件发生之后，网络安全才真正引起了军方、学术界 和企业的高度重视。美国空军、国家安全局和能源部共同资助空军密码支持中心、 劳伦斯利弗摩尔国家实验室、加州大学戴维斯分校、h a y s t a c k 实验室开展对分布 式入侵检测系统( d i s t r i b u t e dm s ) 的研究，将基于主机和基于网络的检测方法集 成到一起。 从2 0 世纪9 0 年代至现在，入侵检测系统的研发呈现出百家争鸣的繁荣局面， 并在智能化和分布式两个方向取得了长足的进展。目前，s r i i c s l 、普渡大学、 加州大学戴维斯分校、洛斯阿拉莫斯国家实验室、哥伦比亚大学、新墨西哥大学 等机构在这些方面的研究代表了当前i d s 研究的最高水平。 1 。3 入侵检测系统的一般工作流程 1信息收集 入侵检测的第一步是信息收集。内容包括系统、网络、数据及用户活动的状 态和行为，而且需要在计算机网络系统中的若干不同关键点( 不同网段和不同主 机) 收集信息。这除了尽可能扩大检测范围的因素外，还有一个重要的原因就是 从一个源来的信息有可能看不出疑点，但从几个源来的信息的不一致性却是可疑 行为或入侵的最好标识。 2 信息分析 对收集到的有关系统、网络、数据及用户活动的状态和行为等信息，一般通 过三种技术手段进行分析：模式匹配、统计分析和完整性分析。其中前两种方法 用于实时的入侵检测，而完整性分析则多用于事后分析。 1 )模式匹配 模式匹配就是将收集到的信息与已知的网络入侵和系统误用特定的模板进 行比较，从而发现违背安全策略的行为。一般来讲，一种进攻模式可以用一个过 程( 如执行一条指令) 或一个输出( 如获得权限) 来表示。该方法的一大优点是 只需收集相关的数据集合，显著减少系统负担。它与病毒防火墙采用的方法一样， 第一章入侵检测系统综述 检测准确率和效率都比较高。但是，该方法存在的弱点是需要不断的升级以对付 不断出现的入侵手法，不能识别未知入侵手段。 2 1 统计分析 统计分析方法首先给系统对象( 如用户、文件、目录和设备等) 创建一个统 计描述，统计正常使用时的一些澳9 量属性( 如访问次数、操作失败次数和时延等) 。 涌量属性的平均值将被用来与网络、系统的行为进行比较，任何观察值在正常值 范围之外时，就认为有入侵发生。其优点是可检测到未知的入侵和更为复杂的入 侵。缺点是误报、漏报率高，且不适应用户正常行为的突然改变。 入侵检测中常用的五种统计模型为： 1 操作模型，该模型假设异常可通过测量结果与一些固定指标相比较得 到，固定指标可以根据经验值或一段时间内的统计平均得到。举例来说，在短时 间内的多次失败的登录很有可能是口令尝试攻击。 2 方差，计算参数的方差，设定其置信区间，当测量值超过置信区间的 范围时表明有可能是入侵。 3 多元模型，操作模型的扩展，通过同时分析多个参数实现检测。 4 马尔柯夫过程模型，将每种类型的事件定义为系统状态，用状态转移 矩阵来表示状态的变化，当一个事件发生时，或状态矩阵该转移的概率较小则可 能是异常事件。 5 。 时间序列分析，将事件计数与资源耗用根据时间排成序列，如果一个 新事件在该时间发生的概率较低，则该事件可能是入侵。统计方法的最大优点是 它可以“学习”用户的使用习惯，从而具有较高检出率与可用性。 但是它的“学习”能力也给入侵者以机会通过逐步“训练”使入侵事件符合 正常操作的统计规律，从而穿透入侵检测系统。 3 ) 完整性分析 完整性分析主要关注于某个文件或对象是否被更改，通常包括文件和目录的 内容及属性，它在发现被更改的，被特洛伊化的应用程序方面特别有效。完整性 分析利用强有力的加密机制消息摘要函数( 例如m d 5 ) ，能够识别文件的 变化，其优点是不管模式匹配方法和统计分析方法能否发现入侵，只要是成功的 攻击导致了文件或其它对象的任何改变，它都能够发现。缺点是它一般以批处理 方式实现，不适用于实时响应。尽管如此，完整性检测方法还是网络安全产品的 必要手段之一。 3 信息存储 第一章入侵检测系统综述 为了便于系统管理员对攻击信息进行查看和分析，需要将入侵检测系统收集 到的信息进行保存。存储的信息同时也为攻击保留了数字证据。 4 攻击响应 在对攻击信息进行分析并确定攻击的类型后，我们要对攻击进行相应的处 理：如利用发出警报、给系统管理员发出邮件等手动干预的方式来对付攻击；或 是利用自动装置直接处理：如切断连接，过滤攻击者的碑地址等。 1 4 入侵检测系统的分类 入侵检测系统按其输入数据的来源来看，一般可分为两类。基于网络的入侵 检测系统( ( n e t w o r k - b a s e di d s ，简称n i d s ) 和基于主机的入侵检测系统 ( h o s t - b a s e di d s ，简称 玎d s ) 。两类入侵检测系统各有所长。 1 ) 基于网络的入侵检测系统 基于网络的入侵检测系统使用原始的网络数据包作为其进行检测的数据来 源，对数据包的包头和负载进行检测分析，来发现攻击行为。n i d s 的运行方式 有两种，_ 种是在一台单独的专用于检测的机器上运行以监测罔段内所有的网络 流量，此种方式目前被大多数n i d s 所采用，另一种是在目标主机上运行以监测 其本身的通讯信息。 n i d s 主要用于实时监控网络关键路径的信息。它可利用工作在混合模式下 的网卡实时采集和分析所有通过共享网络的数据包。n i d s 一般被放置在比较重 要的网段内，部分也可以利用交换式网络中的端口映射功能监视特定端口的网络 入侵行为。一旦攻击被检测到，响应模块将按照配置好的响应行为对攻击做出反 应，通常这些反应包括发送电子邮件、寻呼、记录日志、切断网络连接等。 n i d s 目前被多数入侵检测厂商所青睐，越来越多的入侵检测产品倾向于采 用n i d s 。n i d s 提供了很多仅使用h i d s 所无法完成的功能。n i d s 具有如下优 点： 成本较低、容易部署。仅用一台装有n i d s 的检测主机就可以保护一个 网段，无需在被保护的主机上安装软件，将安全策略配置在几个关键访 问点上就可以保护大量主机服务器。 不增加网络中主机的负载。由于n 1 d s 通常采用一台专用的主机进行检 测，因此它不占用所保护的共享网段内的其他主机的系统资源。 可检测到h i d s 漏掉的攻击。通过检查分组的头部和数据内容，可以识 第一章入侵检测系统综述 别h i d s 所不能检测到的来自网络层的攻击。 便于取证。n i d s 利用正在发生的网络通信对攻击进行实时检测，使攻击 者无法转移证据。被捕获的数据不仅包括的攻击的方法，而且还包括可 识别黑客身份和对其进行起诉的信息。 实时检测和响应。对数据包进行检测分析，通常能够很快发现恶意攻击， 并及时做出响应，甚至可以检测未成功的攻击和企图。 v ，操作系统无关性。基于网络的入侵检测系统以数据包为检测来源，其不 依赖于主机所采用的操作系统。 隐蔽性好。n i d s 的主机在网络上不易被发觉，由于将其网卡设置为混杂 模式，使得其可以采集所有流经共享网段的数据包进行检测，而其自身 可以不设置m 地址，因此就可以极大的减少受到黑客的直接攻击的机 会。 n i d s 虽然存在着诸多优点，但是由于其自身检测条件的限制，也存在着一 些缺点： 受限于高速网络。在检查每个包的内容时需判断它是否匹配任何已知的 特征和规则，需要花费时间和消耗资源。在一个1 0 0 m b p s 的以太网中每 秒钟大约传输5 0 0 0 0 个网络包，普通的基于网络的i d s 无法跟上这个速 度，因而造成大量的包丢失，极大影响了检测能力。 v ，不适合交换网络。在n i d s 中，设置为混杂模式的网卡仅能采集其所连 接的共享网段的数据包，因此只能检查它直接连接网段的通信，不能检 测在不同网段的网络包。在使用交换以太网的环境中就会出现监测范围 的局限。 v ，不适合加密环境。许多站点依靠加密来保护网络传输中的机密信息。但 基于网络的i d s 无法看到数据包的明文，也就无法匹配攻击特征，因此 对于加密问题束手无策。 误报率较高。基于网络的i d s 仅对通过共享网段的数据包进行检测，而 其本身不能确切地知道在目标节点上发生的所有活动，缺乏足够的目标 主机的信息，因此容易产生较高的误报率。 2 ) 基于主机的入侵检测系统 基于主机的i d s 以本地主机系统的信息作为数据源，如系统日志文件系统、 用户行为、c p u 和内存的使用情况等。基于主机的入侵检测系统保护的一般是 所在的系统。 第一章入侵检测系统综述 基于主机的入侵检钡0 出现在8 0 年代初期，那时网络还没有今天这样普遍、 复杂，且网络之间也没有完全连通。在这一较为简单的环境里，检查可疑行为的 检验记录是很常见的操作。由于入侵在当时是相当少见的，在对攻击的事后分析 就可以防止今后的攻击。 基于主机的i d s 通常在被重点检测的主机上运行一个代理程序。该代理程序 扮演着检测引擎的角色，它根据主机行为特征库对受检测主机上的可疑行为进行 采集、分析和判断，并把警报信息发送给控制端程序，由管理员集中管理。此外， 代理程序需要定期给控制端发出信号，以使管理员能确信代理程序工作正常。如 果是个人主机入侵检测，代理程序和控制端管理程序可以合并在一起，管理程序 也简单得多。 主机入侵检测系统主要依靠主机行为特征进行检测。检测系统可通过监测系 统目志和s n m p 陷阱来寻找某些模式，这些模式可能意味着一些安全上很重要 的事件。检测系统的特征库包括很多类操作系统上的事件。这些事件检查可疑的 文件传输，非法的登录企图，物理信息( 如一块以太网卡被设为混杂模式) ，以及 系统重启。特征库也可包括来自许多应用程序和服务的安全讯息，如s e c u r es h e l l ， s e n d m a i l b i n d 和a p a c h ew e b 服务器等。 、 在现实的网络世界里，利用操作系统的漏洞或应用软件的缺陷进行网络攻击 的事件几乎每天都在发生，甚至己经成为一些技术并不高明但又喜欢恶作剧的上 网用户的娱乐节目。人们也很容易从专门的黑客网站上获得关于w i n d o w s 、l i n u x 等各种网络操作系统的漏洞报告，或是收集到各类d n s 、e m a i l 、w e b 服务等 应用软件的各种缺陷，并且很快搜集到响应的黑客软件进行“实践”。基于主机 的入侵检测系统己经在此方面起到了越来越重要的防范效果。相对于网络入侵检 测，基于主机的i d s 主要有以下优点： 更加细致。基于主机的i d s 可以很容易地监测一些活动，如对敏感 文件、目录、程序或端口的存取，而这些活动很难在基于协议的线 索中被发现。基于主机技术还可监视通常只有管理员才能实施的非 正常行为。操作系统记录了任何有关用户帐号的添加、删除、更改 的情况。一旦发生了更改，基于主机的i d s 就能检测到这种不适当 的更改。基于主机的系统可以监视关键系统文件和可执行文件的更 改。系统能够检测到那些欲重写关键系统文件或者安装特洛伊木马 或后门的尝试并将它们中断。同时能够提供包括二进制完整性检查、 系统日志分析和非法进程关闭等功能，这些都是基于网络的i d s 才 第一章入侵检测系统综述 良难检测到的行为。 易于用户定制。基于主机的i d s 能够根据受保护站点的实际情况进 行针对性的定制，使其工作非常有效果，误报率较低。典型的如w e b 服务器入侵检测系统，它相当于一套复杂的过滤设备，使用一个攻 击字符串列表对w e b 服务器( 单个或多个) 进行监视，可队发现对w e b 服务器的己知的各种可能的攻击。 不需要额外的硬件资源。基于主机的入侵检测系统存在于网络中的 各目标主机或服务器，不需要像n i d s 那样通过增加专门的硬件平台 来安装检测系统。 不受网络带宽的限制。由于h i d s 使用主机的系统信息作为检测的数 据源，密切监视系统的行为特征，而不是对网络数据包作检测，因 此一般不会因为网络流量的增加而丢失对网络行为的监视，比较适 用于高速的网络中。 适合加密环境。某些加密方式也向基于网络的入侵检测发出了挑战。 根据加密方式在协议堆栈中的位置的不同，基于网络的系统可能对 某些攻击没有反应。而基于主机的1 d s 没有这方面的限制。、 误报率低。基于主机的i d s 通常情况下比基于网络的i d s 误报率要 低，因为检测在主机上运行的命令序列比检测网络流更简单，系统 的复杂胜也少得多。 视野集中。一旦入侵者得到了一个主机的用户名和口令，基于主机 的代理是最有可能区分正常的活动和非法活动的。 基于主机的i d s 同基于网络的i d s 一样，在也存在着一些缺点，具体表现如 下所述： 成本高。由于以每个基于主机的i d s 仅能保护其所在的主机，因为 许多公司没有足够的资金使用基于主机的i d s 来保护整个网络的所 有主机，而只能选择几个较为重要的服务器来保护，这就给攻击者 留下了很大的空间。 增加系统负荷。由于基于主机的i d s 需要频繁的对其所保护的主机 进行检测。这样就耗费了大量的系统资源，增加了系统负荷，降低 了主机正常的运行性能。因此采用基于主机的i d s 就不得不以牺牲 每个受保护主机的性能为代价。 依赖操作系统。基于主机的i d s 与操作系统和应用层软件结合过于 第一章入侵检测系统综述 紧密，其通用性可能会较差，需要为不同的平台开发不同的程序。 综上所述，基于网络和基于主机的i d s 都有各自的优势，两者是相互补充的。 这两种方式都能发现对方无法检测到的一些入侵行为。例如，从某个重要服务器 的键盘发起的攻击并不经过网络，因此无法通过基于网络的i d s 检测到，只能通 过使用基于主机的m s 来检测；许多基于p 的拒绝服务攻击和碎片攻击，只能 通过查看它们通过网络传输时的包头部信息才能识别，而基于主机的i d s 并不查 看包头部，因此无法识别此类攻击。只有联合使用基于主机和基于网络这两种方 式才能够达到更好的检测效果。比如人们完全可以使用基于网络的i d s 提供早期 报警，而使用基于主机的i d s 来验证攻击是否取得成功。一个完备的入侵检测系 统应该是基于主机和基于网络两种方式兼备的分布式系统。 1 5 入侵检测系统的技术分类 入侵检测技术是入侵检测系统的核心，其功能就是对各种事件进行分析，从 中发现违反安全策略的行为。入侵检测技术近年来得到了很大的发展。入侵检测 技术就其检测方法主要分为两类：滥用检测( m i s u s ed e t e c t i o n ) 和异常捡测 ( a n o m a l yd e t e c t i o n ) 1 5 1 滥用检测技术 滥用检测有时也被称为基于特征检测( s i g n a t u r e b a s e dd e t e c t i o n ) ，这种检测方 法主要是假设入侵者活动可以用一种模式来表示，系统的目标就是检测主体活动 是否符合这些模式。 滥用检测与杀毒软件的方法有些相似，它基于已知的系统缺陷和攻击模式预 先把攻击方法以某种模式或特征表示出来，检测时将收集到的信息与己知的攻击 模式或特征进行匹配，从而可以判断是否存在入侵行为。用来检测攻击特征的是 过滤器，它把攻击特征的描述转换成机器可读的代码或查询表。 滥用检测的关键在于是否能够准确的描述攻击模式。滥用检测需要构造完备 的知识特征库，通过依据具体的特征库进行判断，一般检测准确度都很高。并且 因为检测结果有明确的参照，也为系统管理员做出相应措施提供了方便。同时相 对于异常检测，其开发难度较小。 但是滥用检测的难点在于如何将具体入侵手段准确的抽象成知识特征，同时 又不会将正常的活动彳亍为包含进来，如果抽象出的特征不够准确，则检测时就会 产生大量的误报。由于滥用检测其自身检测条件的限制，当出现新的攻击并且该 第一章入侵检测系统综述 攻击模式还未被加入到知识特征库中时，滥用检测则对此类攻击无能为力。 滥用检测方法大致有以下三种； 1 1 特征分析 该方法是最为简单同时也是被较多采用的检测方式。通过将事件和特征库中 的规则进行一一匹配，来发现入侵行为。此方法的优点是较容易实现，开发成本 较低，但是对特征库的依赖型太强。由于其对匹配特征规则要求十分严格，对于 攻击的微小变异，如果与特征规则不完全一致，则无法识别攻击。如在对w e b 服务器进行c g i 攻击时，对于w e b 服务器g e t ，c g i b i n p h f , g e t c g i - b i n p h f 和 g e t 0 0 c g i b i n p h f 都是合法的字符串，因而如果在特征库中没有完全对应的规 则时，就可能对c g i 攻击的微小变异产生漏报。同样，为了减少漏报率和误报 率，则需要非常庞大而繁琐的特征库。 2 1 专家系统 根据安全专家对可疑行为的分析经验来形成套推理规则，然后再在此基础 上构建相应的专家系统。将有关入侵的知识转化成i f - t h e n 结构的规则，即将构 成入侵所要求的条件转化为i f 部分，将发现入侵后采取的相应措施转化成t h e n 部分。当其中某个或某部分条件满足时，系统就判断为入侵行为发生。其中的、 i b t h e n 结构构成了描述具体攻击的规则库，状态行为及其语义环境可根据审计事 件得到，推理机根据规则和行为完成判断工作。 专家系统主要面临的一个问题是难以科学地从各种入侵手段中抽象出全面 的规则化知识；另外，由于其所需处理的数据量过大，检测效率也是一定的问题。 3 1 模型推理 模型推理是指结合攻击脚本推理出入侵行为是否出现。其中有关攻击者行为 的特征被描述为：攻击者目的、攻击者达到此目的的可能行为步骤、以及对系统 的特殊使用等。根据这些行为特征建立攻击脚本库，每一脚本都由一系列攻击行 为组成。检测时先将这些攻击脚本的子集看作系统正面临的攻击。然后通过一个 称为预测器的程序模块根据当前行为模式，产生下一个需要验证的攻击脚本子 集，并将它传给决策器。决策嚣收到信息后，根据这些假设的攻击行为在审计记 录中的可能出现方式，将它们翻译成与特定系统匹配的审计记录格式。然后在审 计记录中寻找相应信息来确认或否认这些攻击。 一般为了准确判断，要为不同的入侵者和不同的系统建立特定的攻击脚本。 初始攻击脚本子集的假设应满足：易于在审计记录中识别，并且出现频率很高。 随着一些脚本被确认的次数增多，另一些脚本被确认的次数减少，攻击脚本不断 第一章入侵检测系统综述 地得到更新。 1 5 2 异常检测技术 异常检狈l j ( a n o m a l yd e t e c t i o n ) 的假设是入侵者活动异常于正常主体的活动。根 据这一理念事先建立对系统正常活动行为的描述，通过分析各种收集到的信息， 标识出那些与系统正常行为偏离很大的行为并被视为可能的入侵企图。正常行为 的描述包括c p u 利用率、内存利用率、文件校验和用户行为等。对正常行为的 描述过程可以人为定义，也可以利用程序来收集、处理系统行为的特征，并用统 计的方法自动获得。这种检测方法的难题在于如何定义所谓的“正常行为”以及 如何设计统计算法，从而不把正常的操作作为“入侵”或忽略真正的“入侵”行 为。 异常检测与系统相对无关，通用性较强。它甚至有可以检测出以前未出现过 的攻击方法，不像滥用检测那样受己知脆弱性的限制。但因为很难对系统内的所 有用户行为进行全面的准确的描述，况且每个用户的行为是经常改变的，所以它 的主要缺陷在于误报率很高。 异常检测大致有以下两种： 1 1 基于审计的统计方法 对攻击的实时检测系统的工作原理是基于对用户历史行为的建模，以及在早 期的证据或模型的基础之上。检测器根据用户刘象的动作为每个用户都建立一个 用户特征表，审计系统实时地检测用户对系统的使用情况，通过比较当前特征与 已存储定型的以前特征，根据系统内部保持的用户行为的概率统计模型进行监 测，当发现有可疑的用户行为发生时，保持跟踪并监测该用户的行为。系统应具 备处理自适应的用户参数的能力。能够判断使用行为的合法或可疑。用户特征表 需要根据审计记录情况不断地加以更新。 这种方法的优越性在于能应用成熟的概率统计理论。但也有一些不足之处， 如：统计检测对事件发生的次序不敏感，完全依靠统计理论可能漏检那些利用彼 此关联事件的入侵行为。其次，定义是否入侵的判断阀值也比较困难。阀值太低 则漏检率提高，阀值太高则误检率提高。 2 ) 神经元网络方法 利用神经网络检测入侵的基本思想是用一系列信息单元训练神经单元，这样 在给定一组输入后，就可能预测出输出。与统计理论相比，神经网络更好地表达 了变量间的非线性关系，并且能自动学习并更新。 神经网络方法的优点在于能更好地处理原始数据的随机特性，即不需要对这 第一章入侵检测系统综述 些数据作任何统计假设，并且有较好的抗干扰能力。缺点在于网络拓扑结构以及 各元素的权重很难确定，命令窗口的大小也难以选取。 目前，神经网络技术提出了对基于传统统计技术的攻击检测方法的改进方 向，但技术尚不十分成熟，且实现难度较大，但基于神经元网络的检测技术确实 是入侵检测技术今后发展的一个主要方向。 滥用检测和异常检测所得出的结论有非常大的差异。滥用检测的核心是维护 一个描述入侵特征的知识库，对于已知的攻击，它可以详细、准确的识别出攻击 类型，但是对于未知的复杂的攻击却效果有限，因此知识库需要不断的更新i 另 外，知识库的建立过程往往采用手工的方式，费时费力，而且依赖于安全专家的 安全知识，具有一定的局限性，很难建立一个完备的入侵知识库。异常检测无法 准确的判断出攻击类型，但却可以( 至少在理论上可以) 实现对未知的复杂的攻击 方式的检测。对于滥用检测是个很好的补充方式。所以，滥用检测和异常检测都 不是完整的解决方法，一个完善的网络入侵检测系统需综合利用两种检测方式。 目前，国际顶尖的入侵检测系统主要以滥用检测技术为主，并结合异常检测技术。 1 6 入侵检测系统的发展趋势、 高速网络环境下的入侵检测。截获网络的每一个数据包，并分析、匹配其中 是否具有某种攻击的特征需要花费时闻和系统资源。当前的网络入侵检测系统太 多能在i o m 的网络环境下正常运行，在1 0 0 m 的环境下己经是不堪重负了。然 而网络带宽还在不断地增大，1 0 0 0 m 以太网、光纤技术的大量应用使得网络入 侵检测系统就更加难以承受了。 因此，在高速网络环境中进行入侵检测是当前迫切需要解决的问题。 智能化入侵检测。入侵检测系统的核心问题是系统的分析能力。应该使入侵 检测系统的分析更智能化。未来的入侵检测系统应该能够进行基于事件语义而不 是基于事件语法的检测。这种方法弥补了当前在安全政策和检测政策之间的差 距。例如，给定一个语义检测引擎，你将告诉入侵检测系统去“检测所有的违反 访问控制的访问”，那么入侵检测系统就会去做而不管被检测的系统使用的是什 么平台、什么协议或什么数据类型。这种类型的操作将是对当前的检测状态的一 个极大的改进，在当前的检测中，检测目标需要复杂的、特定的与操作系统相关 的检测特征。 分布式入侵检测。随着网络攻击手段向分布式方向发展( 如目前出现的分布 第一章入侵检测系统综述 式拒绝服务攻击d d 0 s ) ，且采用了各种数据处理技术，其破坏性和隐蔽性也越 来越强。相应地，入侵检测系统也在向分布式结构发展，采用分布收集信息、分 布处理、多方协作的方式，将基于主机的i d s 和基于网络的i d s 结合使用，构 筑面向大型网络的i d s 协作式入侵检测。分布式入侵检测中的一个关键技术是协作式入侵检测技 术。协作包括：同一系统中不同入侵检测部件之间的协作，尤其是主机型和网络 型入侵检测部件之间的协作，以及异构平台部件的协作；不同安全工具之间的协 作；不同厂家的安全产品之间的协作；不同组织之间预警能力和信息的协作。 嵌入式入侵检测。可能发生的另一个趋势就是硬件版本的入侵检测系统和安 全网络工具箱集成在一起。这种设备将定位于家庭市场和小企业市场，以使客户 能够处理与持续地连接到i n t e m e t 上相关的问题。集成的安全和网络工具箱可能 包括网络接口硬件( 保护集线器和路由) 、防火墙、连接加密器、w e b 服务器和其 它用来加强更快更安全连接的功能。 入侵检测的信息源更普遍。随着当前网络带宽和节点的激烈增长，入侵检测 系统必须监控的原始资料也不断增长。原始资料可能超出了最经常使用的主机信 息和网络信息的范围。例如，信息可以从硬件设备、瘦客户端、通信连接以及安 全体系结构中的其它部分中获得。 第二章分布式入侵检测系统 第二章分布式入侵检测系统 2 1 现有入侵检测系统的不足 入侵检测系统不能很好的检测所有的数据包：基于网络的入侵检测系统难以 跟上网络速度的发展。获取网络的每一个数据包，并分析、匹配其中是否具有某 种攻击的特征需要花费时间和系统资源。现有的入侵检测系统在i o m 网上检查 所有数据包中的几十种攻击特征时可以很好地工作。现在很多网络都是1 0 0 m 甚 至千兆网络，网络速度的发展远远超过了数据包模式分析技术发展的速度。 攻击特征库的更新不及时：绝大多数的入侵检测系统都是适用模式匹配 的分析方法，这要求攻击特征库的特征值应该是最新的。但现在很多入 侵检测系统没有提供了某种如“推技术”的方法来时刻更新攻击特征。 在如今每天都有新漏洞发布、每天都有新的攻击方法产生的情况下显然 不能满足安全需求。 检测分析方法单一：攻击方法的越来越复杂，单一的基于模式匹配或统 计的分析方法已经难以发现某一些攻击。另外，基于模式匹配和基于统 计的分析方法各有所长，入侵检测系统的发展趋势是在同一个系统中同 时使用不同的分析方法。现在几乎所有的入侵检测系统都使用了单一的 分析方法。 不同的入侵检测系统之间不能互操作：在大型网络中，网络不同的部分 可能使用了不同的入侵检测系统，但现在的入侵检测系统之间不能能够 交换信息，使得发现了攻击时难以找到攻击的源头，甚至给入侵者制造 了攻击的漏洞。 不能和其他网络安全产品互操作：入侵检测不是安全的终极武器，一个 安全的网络中应该根据安全政策使用多种安全产品。但入侵检测系统不 能很好的和其他安全产品协作。比如，个网络中每两个小时自动运行 一次漏洞扫描程序，如果他们不能够互操作，入侵检测系统将每两个小 时产生一次警报。 第二章分布式入侵检测系统 结构存在问题：现在的很多入侵检测系统是从原来的基于网络或基于主 机的入侵检测系统不断改进而得来的，在体系结构等方面不能满足分布、 开放等要求。 2 2 主要功能要求 一个成功的入侵检测系统至少要满足以下五个主要功能要求： 1 、实时性要求：如果攻击或者攻击的企图能够尽快的被发现，这就使得有 可能查找出攻击者的位置，阻止进一：步的攻击活动，有可能把破坏控制在最小限 度，并能够记录下攻击者攻击过程的全部网络活动，并可作为证据回放。实时入 侵检测可以避免常规情况下，管理员通过的对系统日志进行审计以查找入侵者或 入侵行为线索时的种种不便与技术上的限制。 2 、可扩展性要求：因为存在成千上万种不同的己知和未知的攻击手段，它 们的攻击行为特征也各不相同。所以必须建立一种机制，把入侵检测系统的体系 结构与使用策路区分开。一个已经建立的入侵检测系统必须能够保证在新的攻击 类型出现时，可以通过某种机制在无需对入侵检测系统本身进行改动的情况下， 使系统能够检测到新的攻击行为。并且在入侵检测系统的整体功能设计上，也必 须建立一种可以扩展的结构，以便系统结构本身能够适应未来可能出现的扩展要 求。 3 、适应性要求：入侵检测系统必须能够适用于多种不同的环境，比如高速 大容量计算机网络环境，并且在系统环境发生改变，比如增加环境中的计算机系 统数量，改变计算机系统类型时，入侵检测系统应当依然能够不作改变正常工作。 适应性也包括入侵检测系统本身对其宿主平台的适应性，即：跨平台工作的能力， 适应其宿主平台软、硬件配置的各种不同情况。 4 、安全性与可用性要求：入侵检测系统必须尽可能的完善与健壮，不能向 其宿主计算机系统以及其所属的计算机环境中引入新的安全问题及安全隐患。并 且入侵检测系统应该在设计和实现中，因该能够有针对性的考虑几种可以预见 的，对应于该入侵检测系统的类型与工作原理的攻击威胁，及其相应的抵御方法。 确保该入侵检测系统的安全性与可用性。 5 、有效性要求：能够证明根据某一设计所建立的入侵检测系统是切实有效 的。即：对于攻击事件的错报与漏报能够控制在一定范围内。 第= 章分布式入侵检测系统 2 3 分布式入侵检测系统的典型结构 各类i d s 在单独使用时都存在这样或那样的问题，为了至少能够解决其中的 某些问题，各类i d s 需要协同工作，这样能够结合各类i d s 的优点而把它们的问 题降低到最小。然而现时大部分的i d s 都是专用的、封闭式系统，不能够很好的 协作。 在目前入侵检测技术的研究中，一方面在检测技术上，针对越来越复杂的攻 击方法，如何提高检测能力。另一方面，利用a g e n t 技术在检测系统结构设计上， 实现对大型网络，高速千兆网，分布异构平台环境的适应。此外，利用多传感器 信息融合技术在分布式入侵检测系统中，实现多层次、多方面的信息处理，以达 到对网络安全状况的监控和评估，这方面的研究相对较少。以下通过对分布式 i d s 体系结构进行的研究和分析，建立i d s 部署模型。 1 ) 集中分布式 采用分布集中处理，即将各个i d s 的检测报告都送至中央控制机进行融合 处理，如图所示。 一 一 集中式结构的最大优点是：可以充分利用各个代理i d s 提供的详细数据和大 量信息，经融合以后，提供可靠的执行信息指令。集中式结构