（计算机系统结构专业论文）基于模式匹配和协议分析的入侵检测系统设计.pdf

摘要 随着网络技术的口益发展，尤其是i m e r n e t 的日益普及，嘲络安全问题受到 越来越多的人关注。i d s ( x 侵检测系统) 是继防火墙、数据加密等传统安全保护措 施后新，代的安全保障技术，得到了越来越多的应用。由于俐络规模的不断扩犬 和入侵手段的不断涌现，传统的基于模式匹配的入侵检测技术已经不能适应入侵 检测需要。而协议分析是基于网络协议的高度规则性，它是继模式匹配之后的第 三代入侵检测技术，能适应新的入侵检测的需要。 本文首先分析当前网络安全问题的现状，指出了研究和发展入侵榆测系统具 有非常重要的意义：接着介绍了入侵检测的概念、技术、分类以及标准化等；并重 点研究了模式匹配和协议分析，改进了模式匹配的经典算 i - - b m 算法；最后咀 c 1 d f ( 通用入侵检测系统) 框架模型为基础，提出了基于模式匹配和协议分析的入 侵检测系统，该系统具有高效性、准确性高、低资源消耗等的优点。 关键字：入侵检测模式匹配协议分析 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e ra n dn e t w o r k ，w h e nm o r ea n dm o r e c o m p a n i e sa n d u s e r ss u r fi n t e r n e t ，m o r ea n dm o r ep e o p l eh a v ef o c u s e dn e t w o r k s e c u r i t yi d s s ( i n t r u s i o nd e t e c t i o ns y s t e m ) a r ea n e wt y p eo fs a f e t y p r o t e c t i o n t e c h n o l o g ya f t e rt r a d i t i o n a ls e c u r i t yp r o t e c t i o nr a e t h o ds u c ha sf i r e w a l i ，d a t ac r y p t ，e t c a n da r e w i d e l ye m p l o y e d b e c a u s eo fc o n s t a n te x p a n s i o no fn e t w o r ks c a l ea n d c o n s t a n t e m e r g e n c e o fn e wi n t r u s i o nm e t h o d s ，t r a d i t i o n a li n t r u s i o nd e t e c t i o n t e c l m o l o g yb a s e do np a t t e r nm a t c h i n g h a sn o t a d a p t e dt od e m a n d o fi n t r u s i o nd e t e c t i o n ， b u tp r o t o c o la n a l y s i sb a s e do na l t i t u d i n a lr e g u l a r i t yo fn e t w o r kp r o t o c o li st h et h i r d g e n e r a t i o ni n t r u s i o nd e t e c t i o nt e c h n o l o g ya f t e rp a t t e r nm a t c h i n ga n d c a na d a p tt on e w d e m a n do fi n t r u s i o nd e t e c t i o n f i r s t l y ，t h i s d i s s e r t a t i o n a n a l y z e s t h e p r e s e n t s i t u a t i o no fn e t w o r k s e c u r i t y p r o b l e m s ，p o i n t i n g o u tt h a tt h er e s e a r c ha n d d e v e l o p m e n t o fi n t r u s i o nd e t e c t i o ns y s t e m h a v ev e r yi m p o r t a n tm e a n i n g s t h e nt h ed i s s e r t a t i o np r e s e n t st h ec o n c e p t ，t e c h n o l o g y ， c l a s s i f i c a t i o n ，a n ds t a n d a r d i z a t i o no fi n t r u s i o nd e t e c t i o n ，e t c ，a n di n t e n s i v e l ys t u d i e s p a t t e r nm a t c h i n ga n dp r o t o c o la n a l y s i sa n di m p r o v e st h ep a c t e mm a t c h i n gc l a s s i c a l a l g o r i t h m ，t h ea l g o r i t h mo fb m f i n a l l y ，a c c o r d i n gt o c o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ，t h ed i s s e r t a t i o np r o p o s e st h ea r c h i t e c t u r eo fi n t r u s i o nd e t e c t i o ns y s t e m b a s e do np a t t e r nm a t c h i n ga n dp r o t o c o la n a l y s i s ，a n dt h es y s t e mh a sm a n ya d v a n t a g e s s u c ha sh i g he f f i c i e n c y , h i g ha c c u r a c y ，l o wc o n s u m p t i o no f r e s o u r c e s ，e t c k e y w o r d ：i n t r u s i o nd e t e c t i o n p a t t e r nm a t c h i n gp r o t o c o la n a l y s i s 独创性( 或创新性) 声明 弋g 9 5 5 2 3 本人声明所呈交的论文是我个人在导师指导r 进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标滓和致谢中所罗列的内容以外，论文巾不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电予科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名 j 爹始 r 期 h 、。j | ) 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学a 学 校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名 导师签名 叠送些日期墨竺竺：f f i i 期垄竺型：； ! f 第一章绪沦 第一章绪论 1 1 网络安全现状及主要安全技术 随着信息化进程的深入和互联网的迅速发展，人们的工作、学习和生活方式 正在发生巨大变化，效率大为提高，信息资源得到最大程度的共享。但必须看到， 紧随信息化发展而来的网络安全问题日渐凸出，如果不很好地解决这个问题，必 将阻碍信息化发展的进程。 在各领域的计算机犯罪和网络侵权方面，无论是数量、手段，还是性质、蚬 模，已经到了令人咋舌的地步。据有关方面统计，目前美国每年由于网络安全问 题而遭受的经济损失超过1 7 0 亿美元，德国、英国也均在数十亿美元以上，法国 为1 0 0 亿法郎，f i 本、新加坡问题也很严重。在国际刑法界列举的现代社会新型 犯罪排行榜上，计算机犯罪已名列榜首。2 0 0 3 年，c s i f b i 调查所接触的5 2 4 个 组织中，有5 6 遇到电脑安全事件，其中3 8 遇到卜一5 起、1 6 以上遇到l l 起 以上。因与互联网连接而成为频繁攻击点的组织连续3 年不断增加；遭受拒绝服 务攻击( d o s ) 贝j j 从2 0 0 0 年的2 7 上升到2 0 0 3 年的4 2 。调查显示，5 2 1 个接受调 查的组织中9 6 有网站，其中3 0 提供电子商务服务，这些网站在2 0 0 3 年1 年 中有2 0 发现未经许可入侵或误用网站现象。更令人不安的是，有3 3 的组织浣 他们不知道自己的网站是否受到损害。据统计，全球平均每2 0 s 就发生1 次网上 入侵事件，黑客一旦找到系统的薄弱环节，所有用户均会遭殃。 网络安全问题已经成为影响世界各国经济和社会发展的问题之一，我国当然 也不能独善其身。目前，我国网络安全问题日益突出的主要标志是： 1 ) t i 一算机系统遭受病毒感染和破坏的情况相当严重。据国家计算机病毒应急 处理中心副主任张健介绍，从国家计算机病毒应急处理中心同常监测结果看来， 计算机病毒呈现出异常活跃的态势。据2 0 0 1 年调查，我国约7 3 的计算机用，o 曾感染病毒，2 0 0 3 年上半年升至8 3 。其中，感染3 次以上的用户高达5 9 ，而 且病毒的破坏性较大，被病毒破坏全部数据的占1 4 ，破坏部分数据的占5 7 。 2 ) 电脑黑客活动已形成重要威胁。网络信息系统具有致命的脆弱性、易受攻 击性和开放性，从国内情况来看，目前我国9 5 与互联网相联的网络管理中心都 遭受过境内外黑客的攻击或侵入，其中银行、金融和证券机构是黑客攻击的重点。 3 1 信息基础设施面临网络安全的挑战。面对信息安全的严峻形势，我国的网 络安全系统在预测、反应、防范和恢复能力方面存在许多薄弱环节。据英国简 氏战略报告和其它网络组织对各国信息防护能力的评估，我国被列入防护能力 基于模式匹配和协议分析的入侵检测系统醚i 最低的国家之一，不仅大大低于美国、俄罗斯和以色列等信息安全强国，而且排 在印度、韩国之后。近年来，国内与网络有关的各类违法行为以每年3 0 的速度 递增。据某市信息安全管理部门统计，2 0 0 3 年第1 季度内，浚市共遭受近3 7 万 次黑客攻击、2 1 万次以上病毒入侵和5 7 次信息系统瘫痪。该市某公司的镜像网 站在1 0 月份1 个月内，就遭到从外部l o o 多个i p 地址发起的恶意攻击。 1 2 网络安全技术 由于网络安全问题的存在和日益突出，世界各国都在加强网络安全建设。目 前，主要的网络安全技术有身份识别与认证、访问控制、加密、防火墙、虚拟专 用网和入侵检测系统等”1 。下面简要介绍其中的防火墙、虚拟专用网和入侵检测 系统。 r 1 i 防火墙1 防火墙是指设置在不同网络( 如可信任的企业内部网和不可信的公共网) 或 网络安全域之间的一系列部件的组合。它是不同网络或网络安全域之间信息的唯 出入口，能根据企业的安全政策控制( 允许、拒绝、监测) 出入网络的信息流， 且本身具有较强的抗攻击能力。它是提供信息安全服务，实现网络和信息安全的 基础设施。在逻辑上，防火墙是一个分离器 效地监控了内部网和i n t e m e t 之间的任何活动 2 v p n ( 虚拟专用网) 3 一个限制器，也是一个分析器，有 保证了内部网络的安全。 v p n 是通过私有的隧道技术在公共数据网络上仿真一条点到点的专线技术。 所谓虚拟，是指用户不再需要拥有实际的长途数据线路，而是使用i n t e r n e t 公共 数据网络的长途数据线路。所谓专用网络，是指用户为自己定制一个最符合自己 要求的网络。 虚拟专用嘲是企业网在因特网等公共网络上的延伸。虚拟专用网通过安全的 私有的数据通道将远程用，“、公司分支机构内部网、公司业务伙伴的企业网连接 起来，构成一个扩展的企业网。在该网中的主机将不会觉察到公共网络的存在， 仿佛所有的主机都处于一个独立的网络之中。 3 i d s ( 入侵检测系统) ”1 入侵检测系统是近十多年发展起来的新一代安全防范技术，它通过对计算机 网络或系统中的若干关键点收集信息并对其进行分析，从中发现是否有违反安全 策略的行为和被攻击的迹象。这是一种集检测、记录、报警、响应的动态安全技 术，不仅能检测来自外部的入侵行为，同时也监督内部用户的未授权活动。 第一章绪呛 1 3 论文提出背景和意义 1 3 1 论文提出背景 入侵检测系统的研究仍是当前网络安全研究的一个比较新的领域，入侵检测 系统作为主动防护系统是构成网络安全测防体系的主要方面之一。国外在i d s 方 面的研究较早，而我国在这方面的研究相对较晚，虽然在近几年取得了迅速的发 展，但与国外还存在很大的差距。 入侵检测过程是一个检测系统与入侵攻击者之问对抗的决策分析过程，其技 术基础是基于知识和冗余推理方法的信息融合技术，而大部分工作是通过模式匹 配、数据挖掘、特征选取以及机器学习等方法对数据进行分类处理。 随着网络规模和复杂度的不断提高，以及网络入侵技术的不断发展。基于模 式匹配的简单入侵检测方法已经越来越不能适应高速网络和大规模网络发展，成 为入侵检测系统瓶颈。在这种背景下，基于协议分析的入侵检测方法得到了发展。 相比基于模式匹配的检测方法，即使在负载很重的高速网络上，大量的包也可以 被及时地分析，遗漏少，降低漏报率。 1 3 2 论文的意义 目前，在我国的安全产品市场中防火墙和加密技术的产品占据了很大的份额。 但网络入侵检测技术在近几年得到了较快发展，已经成为人们关注和研究的热点。 入侵检测系统被认为是防火墙之后的第二道安全闸门，它在不影响网络性能的情 况下对网络进行监测，从而提供对内部攻击、外部攻击以及误操作的实时保护。 本文研究了模式匹配和协议分析，并分析了模式匹配中的b m 算法，对其进行 了一种改进和优化这样可以大大提高系统检测速度。针对目前现有基于模式匹配 的入侵检测系统的不足，将模式匹配和协议分析有机的结合起来，提出了一个基 于模式匹配和协议分析入侵检测系统的模型，该模型提高了检测速率和准确性，= 1 = 且具有抗i d s 躲避、低资源消耗的优点。 1 4 论文的主要内容 从二十世纪九卜年代初期开始，入侵检测技术已经在全球范围内1 。泛用来保 护公司、组织的信息网络。但直到今天，绝大多数i d s 系统的核心基础技术并没 有获得明显进展，还停留在靠基本的数据包捕获加以非智能模式匹配和特征搜索 基于模式匹配和协议分析的入侵检洲系统殴计 技术米探删攻击。 办议分析是新一代i d s 系统探测攻击手法的主要技术，它利用 网络协议的高度规则性快速探测攻击的存在。本文主要刘入侵榆测的两种技术模 式匹配和协议分析进行了深入的研究，并对模式匹配的经典算法b m 算法提出了 改进，最后将其结合起来运用在实际的入侵检测系统中，给出了一个基于协议分析 和模式匹配的检测引擎的入侵检测系统的设计。 本论文主要包括下列主要内容： 第一章，绪论。本章主要介绍了当前国内和国外的网络安全现状，接着介绍了 几种常用的安全防范措施。最后，介绍了论文的研究内容以及当前该领域的进展情 况。 第二章，入侵检测系统。本章详细介绍了入侵检测系统，包括入侵检测系统的 内容、分类、入侵检测技术入侵检测系统的目前存在的问题和外来发展趋势。接 着，介绍了p 2 d r 模型和入侵检测的关系。最后，介绍了c i d f ( 公共入侵检测框 架) 和i d w g ( 入侵检测工作组) 对入侵检测系统所做的标准化。 第三章，模式匹配。本章介绍了模式匹配的原理、特点以及实现。接着，详细 介绍了b m 算法，分析了其特点和缺陷。最后，介绍了模式匹配检测引擎的优点和 缺陷。 第四章，协议分析。本章开始说明了协议分析出现的客观条件，接着介绍了 t c p i p 协议族中的几种主要协议，然后介绍了协议分析技术的原理，最后介绍了协 议分析技术的优势。 第五章，基于模式匹配和协议分析的入侵检测系统的设计。本章首先给出r 入侵检测系统的总体设计目标和模型，接着详细介绍了其中的数据采集模块和检 测引擎模块的设计，重点提出了种改进的b m 算法，并应用在检测引擎中。 第六章、结束语。本章对论文所傲的工作进行了总结。 第二章入侵检测系统 第二章入侵检测系统 2 1 入侵检测概述 入侵检测是指通过从计算机网络或计算机系统中的若干关键点收集信息并对 其进行分析，从中发现网络或系统中是否有违反安全策略的行为和遭到攻击的迹 象，同时做出响应。 1 9 8 7 年d o r o t h y d e n n i n g 发表了入侵检测领域内的经典论文“入侵检测模型” ( a n i n t r u s i o n d e t e c t i o n m o d e l ) 1 ，文中对入侵检测问题进行了深入的讨论，建 立了入侵检测的基本模型，并提出了几种可能的检测方法。该篇文献f 式启动了 入侵检测领域内的研究工作，被认为是入侵检测领域内的开山之作。 d e n n i n g 提出的统计分析模型在早期研发的i d e s ( 入侵检测专家系统i n t r u s i o n d e t e c t i o ne x p e r ts y s t e m ) 1 中得到较好的实现。i d e s 系统中的统计分析组件，采 取了一组特征度量值( 例如文件访问、c p u 使用等等) 来建立系统活动的正常行 为模式，之后计算出当前用户行为与先前正常活动模式的偏离程度，并根据偏离 程度的大小来判断是否发生了入侵活动。可以看出，i d e s 系统主要采纳了 a n d e r s o n 在其技术报告中所给出的检测建议。 d e n n i n g 对入侵检测的基本模型给出了建议，如图2 1 所示。 图21 通用入侵检测模型 在图2 】所示的通用入侵检测模型中，事件生成器从给定的数据来源中( 包插 基于模式匹配和协议分析的入侵检测系统设计 卜机审计数据、网络数据包和应用程序的日志信息等) 生成入侵检测事件，并分 别送入到活动档案计算模块和规则库检测模块中。活动档案模块根据新爿i 成的事 件，自动更新系统行为的活动档案；规则库根据当前系统活动档案和当前事件的 情况，发现异常活动情况，并可以按照一定的时间规则自动地删减规则库中的规 则集合。 d e n n i n g 所提出的入侵检测基本模型，其意义在于一般化的模型定义，并不强 调具体的实现技术。基本模型中的各个部件都可根据实际系统的设计要求，加以 具体实现，同时可以加以细化和进一步的扩展。 入侵检测技术简单的说是指一种能够及时发现并报告系统中未授权或异常 现象的技术。入侵检测的作用主要有如下几个方面：( 1 ) 若能迅速检测到入侵，则 有可能在造成系统损坏或数据丢失之前识别并驱除入侵者。f 2 ) 若能迅速检测到入 侵，可以减少损失，使系统迅速恢复正常工作，对入侵者造成威胁，阻止其进一 步的行动。( 3 ) 通过入侵检测可以收集关于入侵的技术资料，可用于改进和增强系统 抵抗入侵的能力。 入侵检测的第一步是信息收集，内容包括系统、网络、数据及用户活动的状 态和行为。入侵检测为了取得好的效果，一般应采用分布式结构，在计算机刚络 系统中的若干不同关键点( 不同网段和不同主机) 收集信息，这除了尽可能扩大检 测范围的因素外，还有一个重要的因素就是从一个采集点来的信息有可能看不出 疑点，但从几个采集点来的信息的不一致性却是可疑行为或入侵的最好标识。入 侵检测利用的信息一般来自以下几个方面：截取网络数据包、监视系统调用、系 统和网络日志文件、目录和文件中的不期望的改变、程序执行中的不期望行为、 物理形式的入侵信息等。 入侵检测的第二步是根据收集到的信息进行分析，常用的分析方法有模式匹 配、统计分析、完整性分析。模式匹配就是将收集到的信息与已知的网络入侵和 系统误用模式数据库进行比较，从而发现违背安全策略的行为；统计分析方法首 先给系统对象( o h 用户、文件、目录和设备等) 创建一个统计描述，统计正常使用 时的一些测量属性。测量属性的平均值将被用来与网络、系统的行为进行比较， 任何观察值在j f 常值范围之外时，有可能发生入侵行为，该方法的难点是闽值的 选择，矧值太小可能产生错误的入侵报告，闽值太人可能漏报。些入侵事件；完 整性分析主要关注某个文什或列象是否被更改，包括文件和目录的内容及属性， 它对付特洛伊木马攻击比较有效。1 第二章入侵检测系统 2 1 1 入侵检测系统的分类 入侵检测系统( i d s ：i n t r u s i o nd e t e c t i o ns y s t e m ) 1 是实现入侵检测功能的 系列的软件、硬件的组合。作为一种安全管理工具，它从不同的系统资源收集信息、 分析反映误用或异常行为模式的信息，对检测的行为做出自动的反应，并报告检测 过程的结果。入侵检测系统就其最基本的形式来讲，可以说是一个分类器，它是根据 系统的安全策略来对收集到的事件、状态信息进行分类处理，从而判断出入侵和非 入侵行为。入侵检测系统的主要功能有：用户和系统行为的监测与分析、系统配 置和漏洞的审计检查、重要系统和数据文件的完整性评估、已知的攻击行为模式 的识别、异常行为模式的统计分析、操作系统的审计跟踪管理及违反安全策略的 用户行为的识别。 一一般来说，入侵检测系统还应对入侵行为做出紧急响应。入侵检测被认为是 防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对网络进行监测， 从而提供对内部攻击、外部攻击和误操作的实时保护。入侵检测和漏洞扫描技术 结合起来是预防黑客攻击的主要手段。 根据不同的标准，可以分成不同类型的入侵检测系统。如根据检测数据源 的不同可以把入侵检测系统分为基于主 j l ( h o s t b a s e d ) 、基于网络型( n e t w o r k b a s e d ) 并n 基于代理型( a g e n tb a s e d ) 3 十；根据检测方法可以分为摹于知识 ( k n o w l e d g eb a s e d ) 干t l 基于行为( b e h a v i o rb a s e d ) 两类；根据响应方式可以分为主动 ( a c t i v e ) , f 1 被动( p a s s i v e ) 两类。下面我们简要介绍按检测数据源的不同进行分类的 入侵检测系统。 1 基于主机的入侵检测系统通常以系统日志、应用程序日志等审计记录文件 作为数据源。它是通过比较这些审计记录文件的记录与攻击特征( a t t a c k s i g n a t u r e ，指用一种特定的方式来表示已知的攻击模式) 以发现它们是否匹配。如 果匹配，检测系统就向各系统管理员发出入侵报警并采取相应的行动。基于主机 的i d s 可以精确地判断入侵事件，并可对入侵事件做出立即反应。它还可针对不 同操作系统的特点判断应用层的入侵事件。 基于主机的i d s 有着明显的优点：( 1 ) 非常适合于加密和交换环境；( 2 ) 近实时 的检测和响应；( 3 ) 不需要额外的硬件。同时也存在着一些不足：会占用主机的系 统资源，增加系统负荷，而且针对不同的操作平台必须开发出不同的程序，另外 所需配置的数量众多。但是对系统内在的结构却没有任何约束，同时u j 以利用操 作系统本身提供的功能，并结合异常检测分析，更能准确的报告攻击行为。 2 基于网络的入侵检测系统把原始的网络数据包作为数据源。它是利用网络 适配器来实时地监视并分析通过网络进行传输的所有通信业务。它的攻击识别模 基于模式匹配和协议分析的入侵检洲系统醴计 块进行攻击特征识别的方法有：模式、表达式或字节码匹配：频率或闽值比较； 次要事件的相关性处理：统计异常检测。一旦检测到攻击，i d s 的响应模块通过通 知、报警以及中断连接等方式来对攻击行为做出反应。然而它只能监视通过本网 段的活动，并且精确度较差，在交换网络环境中难于配筲，防欺骗的能力也比较差。 但它也有着定的优势：( 1 ) 成本低；( 2 ) 攻击者转移证据困难：( 3 ) 实时的检测 和响应；( 4 ) 能够检测到未成功的攻击企图：( 5 ) 与操作系统无关，即基于网络的1 d s 并不依赖主机的操作系统作为检测资源。 3 基于代理的入侵检测系统用于监视大型网络系统。随着网络系统的复杂化 和大型化，系统弱点趋于分布式，而且攻击行为也表现为相互仂作式特点，所以 不同的i d s 之间需要共享信息，协同检测。整个系统可以由一个中央监视器和多 个代理组成。中央监视器负责对整个监视系统的管理，它应该处于一个相对安全 的地方。代理则被安放在被监视的主机上f 如服务器、交换机、路由器等) 。代理 负责对某一主机的活动进行监视，如收集主机运行时的审计数据和操作系统的数 据信息，然后将这些数据传送到中央监视器。代理也可以接受中央监控器的指令。 这种系统的优点是可以对大型分布式网络进行检测。 2 i 2 入侵检测技术 根据采用的检测方法，可将入侵检测技术分为异常入侵检测技术( a n o m a l y r l n l d e t e c t i o n ) 和误用入侵检测技术( m i s u s ed e t e c t i o n ) ”。 1 ) 异常检测：也被称为基于行为的检测。其基本前提是：假定所有的入侵行为 都是异常的。原理：首先建立系统或用户的“正常”行为特征轮廓，通过比较当 前的系统或用户的行为是否偏离正常的行为特征轮廓来判断是否发生了入侵。而 不是依赖于具体行为是否出现来进行检测的，从这个意义七来讲，异常检测是一 种间接的方法。 常用的具体方法有：统计异常检测方法、基于特征选择异常检测方法、基于 贝叶斯推理异常检测方法、基于模式预测异常检测方法、基于神经网络异常榆测 方法、基于机器学习异常检测方法、基于数据采掘异常检测方法等。 异常检测的关键问题：特征量的选择。异常检测首先是要建立系统或用 户的“难常”行为特征轮廓，这就要求在建立j e 常模型时，选取的特征量既要能 准确地体现系统或用户的行为特征，又能使模型最优化，即以最少的特征量就能 涵盖系统或用户的行为特征。参考闽值的选定。因为在实际的网络环境下入 侵行为和异常行为往往不是一对一的等价关系，这样的情况是经常会有的：某一 行为是异常行为，而它并不是入侵行为；同样存在某一行为是入侵行为，而它却 第二章入侵检测系统 并不是异常行为的情况。这样就会导致检测结果的误报( f a l s ep o s i t i v e s l 和漏报 ( f a l s en e g a t i v e s ) 的产生。由于异常检测是先建立正常的特征轮廓作为比较的参考 基准，这个参考基准即参考闽值的选定是非常关键的，阈值定的过大那漏报率会很 高；闽值定的过小，则误报率就会提高。合适的参考阀值的选定是影响这检测方 法准确率的至关重要的因素。 从异常检测的原理我们可以看出，该方法的技术难点在于：“正常”行为特征 轮廓的确定；特征量的选取；特征轮廓的更新。由于这几个因素的制约，异常检 测的误报率很高，但对于未知的入侵行为的检测非常有效。此外，由于需要实时 地建立和更新系统或用户的特征轮廓，这样所需的计算量很大，对系统的处理性 能要求会很高。 2 1 误用检测：也被称为基于知识的检测。其基本前提是：假定所有可能的入侵 行为都能被识，3 t l + n 表示。原理：首先对已知的攻击方法进行攻击特征( 攻击特征是 指用一种特定的方式来表示已知的攻击模式) 表示，然后根据已经定义好的攻击特 征，通过判断这些攻击特征是否出现来判断入侵行为的发生与否。这种方法是直 接判断攻击特征的出现与否来判断入侵的，从这一点来看，它是羊十直接的方法。 常用的具体方法有：基于条件概率误用入侵检测方法、基于专家系统误用入 侵检测方法、基于状态迁移分析误用入侵检测方法、基于键盘监控误用入侵检测 方法、基于模型误用入侵检测方法。 误用检测的关键问题：攻击特征的正确表示。误用检测是根据攻击特征来判 断入侵的，那如何有效地根据对已知的攻击方法的了解用特定的模式语言来表示 这种攻击，即攻击特征的表示将是该方法的关键所在，尤其攻击特征必须能够准 确地表示入侵行为及其所有可能的变种，同时又不会把非入侵行为包含进来。由 于很大一部分的入侵行为是利用系统的漏洞和应用程序的缺陷，那么通过分析攻 击过程的特征、条件、排列以及事件间的关系，就可具体描述入侵行为的迹象。 这些迹象不仅对分析已经发生的入侵行为有帮助，而且对即将发生的入侵也有预 警作用，因为只要部分满足这些入侵迹象就意味着可能入侵行为的发生。 误用检测是通过将收集到的信息与已知的攻击特征模式库进行比较，从而发 现违背安全策略的行为的。那么它就只需收集相关的数据，这样系统的负担明显 减少。该方法类似于病毒检测系统，其检测的准确率和效率都比较高。而且这种 技术比较成熟，国际上一些顶尖的入侵检测系统都采用的该方法，但是它也存在 一些缺点：f 1 1 不能检测未知的入侵行为。由于其检测机理是剥已知的入侵方法进行 模式提取，对于未知的入侵方法由于缺乏知识就不能进行有效的检测。也就是既 漏报率比较高。( 2 ) 与系统的相关性很强。对于不同的操作系统由于其实现机制不 同，刘其攻击的方法也不尽相同，很难定义出统一的模式库。另外由丁已知知以 基于模式匹配和协议分析的入侵检测系统设计 的局限，难以检测出内部人员的入侵行为，如合法用户的泄漏。 2 ，1 3 入侵检测系统目前存在的问题和发展趋势 1 入侵检测系统目前存在的问题： 入侵检测系统有如此重大的作用，但在国内的应用还不是很广泛，一方面是 由于用户的认知程度较底，另一方面是由于入侵检测是一门比较新的技术，还存 在一些技术上的困难，不是所有厂商都有研发入侵检测产品的实力。目前的入侵 检测系统大多存在这样一些问题： 1 ) 误报和漏报的矛盾 入侵检测系统对网络上所有的数据进行分析，如果攻击者对系统进行攻击尝 试，而系统相应服务开放，只是漏洞已经修补，那么这一次攻击是否需要报警， 这就是一个需要管理员判断的问题。因为这也代表了一种攻击的企图。但大量的 报警事件会分散管理员的精力，反而无法对真正的攻击做出反应。和误报相对应 的是漏报，随着攻击的方法不断更新，入侵检测系统是否能报出网络中所有的攻 击也是一个问题。 2 ) 隐私和安全的矛盾 入侵检测系统可以收到网路的所有数据，同时可以对其进行分析和记录，这 对网络安全极其重要，但难免对用户的隐私构成一定风险，这就要看具体的入侵 检测产品是否能提供相应功能以供管理员进行取舍。 3 ) 被动分析与主动发现的矛盾 入侵检测系统是采取被动监听的方式发现网络问题，无法主动发现网络中的 安全隐患和故障。如何解决这个问题也是入侵检测产品面临的问题。 4 ) 海量信息与分析代价的矛盾 随着网路数据流量的不断增长，入侵检测产品能否高效处理网路中的数据也 是衡量入侵检测产品的重要依据。 5 ) 功能性和可管理性的矛盾 随着入侵检测产品功能的增加，可否在功能增加的同时，不增大管理的难度。 例如，入侵检测系统的所有信息都储存在数据库中，此数据库能否自动维护和备 份而不需管理员的干颈。另外，入侵检测系统自身安全性如何，是否易于部署，采用 何种报警方式地都是需要考虑的因素。 6 ) 单一的产品与复杂的网络应用的矛盾 入侵检测产品最初的目的是为了检测网络的攻击，但仅仅检测网络中的攻击 远远无法满足目前复杂的网络应用需求。通常，管理员难以分清网络问题足l b j = 第二章入侵榆测系统 攻击引起的还是网络自身的故障。入侵检测检测出的攻击事件又如何处理，可否 和目前网络中的其他安全产品进行配合。 2 入侵检测技术的发展趋势”一： 1 ) 分析技术的改进 入侵检测误报和漏报的解决最终依靠分析技术的改进。目前入侵榆测分析方 法主要有：统计分析、模式匹配、数据重组、m 议分析、行为分析等。 统计分析是统计网络中相关事件发生的次数，达到判别攻击的目的。模式匹 配利用对攻击的特征字符进行匹配完成对攻击的检测。数据重组是对网络连接的 数据流进行重组再加以分析，而不仅仅分析单个数据包。协议分析技术是在对网 络数据流进行重组的基础上，理解应用协议，再利用模式匹配和统计分析的技术 来判明攻击。例如：某个基于h t t p ( 超文本传输协议) 协议的攻击含有a b c 特 征，如果此数据分散在若干个数据包中，如：一个数据包含a ，另外一个包含b ， 另外一个包含c ，则单纯的模式匹配就无法检测，只有基于数据流重组才能完整 检测。而利用协议分析，则只在符合的协议( h t t p ) 检测到此事件才会报警。假设 此特征出现在m a i l 里，因为不符合协议，就不会报警。利用此技术，有效的降低 了误报和漏报。行为分析技术不仅简单分析单次攻击事件，还根据前后发生的事 件确认是否确有攻击发生，攻击行为是否生效，是入侵检测分析技术的最高境界。 但目前由于算法处理和规则制定的难度很大，目前还不是非常成熟，但却足入侵 检测技术发展的趋势。目前最好综合使用多种检测技术，而不只是依靠传统的统 计分析和模式匹配技术。另外，规则库是否及时更新也和检测的准确程度相关。 2 ) 内容恢复和网络审计功能的引入 前面已经提到，入侵检测的最高境界是行为分析。但行为分析目前还不是很 成熟，因此，个别优秀的入侵检测产品引入了内容恢复和网络审计功能。 内容恢复即在协议分析的基础上，对网络中发生的行为加以完整的重组和记 录，网络中发生的任何行为都逃不过它的监视。网络审计即对网络中所有的连接 事件进行记录。入侵检测的接入方式决定入侵检测系统中的网络审计不仅类似防 火墙可以记录网络进出的信息，还可以记录网络内部的连接状况，此功能对内容 恢复无法恢复的加密连接尤其有用。 内容恢复和网络审计让管理员看到网络的真正运行状况，其实就是调动管理 员参与行为分析过程。此功能不仅能使管理员看到孤立的攻击事件的报警，还。j 以看到整个攻击过程，了解攻击确实发生与否，查看攻击者的操作过程，了解攻 击造成的危害。不但发现己知攻击，同时发现未知攻击。不但发现外部攻击者的 攻击，也发现内部用户的恶意行为。毕竟管理员是最了解其网络的，管理员通过 此功能的使用，很好的达成了行为分析的目的。但使用此功e f l , 3 同时需注意对用 基于模式匹配和协议分析的入侵检测系统设计 户隐私的保护。 3 ) 网络分析和管理功能 入侵检测不但列网络攻击是一个检测。同时，入侵检测可以收到网络中的所 有数据，对网络的故障分析和健康管理也可起到重大作用。当管理员发现某台主 机有问题时，也希望能马上对其进行管理。入侵检测也不应只采用被动分析方法， 最好能和主动分析结合。所以，入侵检、钡0 产品集成网管功能，扫描器( s c a n n e l ) ， 嗅探器( s n i f f e r ) 等功能是以后发展的方向。 4 ) 安全性和易用性的提高 入侵检测是个安全产品，自身安全极为重要。因此，目前的入侵检测产品大 多采用硬件结构，免除自身安全问题。同时，对易用性的要求也日益增强，例如： 全中文的图形界面，自动的数据库维护，多样的报表输出。这些都是优秀入侵产 品的特性和以后继续发展细化的趋势。 5 ) 改进对大数据量网络的处理方法 随着对大数据量处理的要求，入侵检测的性能要求电逐步提高，出现了千兆 入侵检测等产品。但如果入侵检测检测产品不仅具备攻击分析，同时具备内容恢 复和网络审计功能，则其存储系统也很难完全工作在千兆环境下。这种情况l _ _ j ， 网络数据分流也是一个很好的解决方案，性价比也较好。这也是国际上较通用的 一种作法。 6 ) 防火墙联动功能 入侵检测发现攻击，自动发送给防火墙，防火墙加载动态规则拦截入侵，称 为防火墙联动功能。目前此功能还没有到完全实用的阶段，主要是一种概念。随 便使用会导致很多问题。目前主要的应用对象是自动传播的攻击，如n i m d a 等， 联动只在这种场合有定的作用。无限制的使用联动，如未经充分测试，列防火 墙的稳定性和网络应用会造成负面影响。但随着入侵检测产品检测准确度的提高， 联动功能日益趋向实用化。 总之，入侵检测技术作为当前网络安全研究的热点，它的快速发展和极具潜 力的应用前景需要更多的研究人员参与。i d s 只有在基础理论研究和工程项目7 1 发多个层面上同时发展，才能全面提高整体检测效率。 2 2 入侵检测与p 2 d r 模型 p 2 d r 模型【1 3 】是个动态的计算机系统安全理论模型，如图2 2 。它的指导 思想比传统静态安全方案有突破性提高。p 2 d r 是p o l i c y ( 策略) 、p r o t e c t i o n ( 防 护) 、d e t e c t i o n ( 检测) 和r e s p o n s e ( l a j 应) 的缩写，特点是动态性和基于时洲的 第二章入侵检测系统 特性。 图2 2p 2 d r 安全模型 具体而言，p 2 d r 模型的内容包括如下： ( 1 ) 策略：p 2 d r 模型的核心内容。具体实施过程中，策略规定了系统所要 达到的安全目标和为达到目标所采取的各种具体安全措施及其实施强度等。安全 措施的实施必然会影响到系统运行的性能，以及牺牲用户操作的舒适度，因此安 全策略必须按需定制。 ( 2 ) 防护：具体包括制定安全管理规则、进行系统安全配置工作以及安装各 种安全防护设备，例如防火墙、v p n 设备等。 ( 3 ) 检测：在采取各种安全措簏后，根据系统运行情况的变化，对系统安全 状态进行实时的动态监控。 ( 4 ) 响应：当发现了入侵活动或入侵结果后，需要系统做出及时的反应并采 取措施，其中包括：记录入侵行为、通知管理员、阻断进一步的入侵活动以及恢 复系统正常运行等。 p 2 d r 模型阐述了这样一个结论：安全的目标实际上就是尽i j 能地增大保护h 寸 间，爆量减少检测时间和响应时间。入侵检测技术( i n t r u s i o nd e t e c t i o n ) 就是实 现p 2 d r 模型中“d e t e c t i o n ”部分的主要技术手段。在p 2 d r 模型中，安全策略处 于中心地位，但是从另一个角度来看，安全策略也是制订入侵检测中检测策略的 一个重要信息来源，入侵检测系统需要根据现有已知的安全策略信息，来更好地 配置系统模块参数信息。当发现入侵行为后，入侵检测系统会通过响应模块改变 系统的防护措施，改善系统的防护能力，从而实现动态的系统安仝模型。因此， 从技术手段上分析，入侵检测可以看作是实现p 2 d r 模型的承前启后的关键环节。 基于模式匹配和协议分析的入侵检测系统设计 2 3 入侵检测系统的标准化 解决入侵检测系统之间的互操作性，国际上的一些研究组织丌展，标准化： 作，目前对i d s 进行标准化工作的有两个组织： c o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ( c i d f ) 和i e f f ( 互联网工程任务组) 的i n t r u s i o nd e t e c t i o nw o r k i n g g r o u p ( i d w g ) 。 r l 1 d a r p a ( 美国国防高级研究计划署) 提出的建议是公共入侵检测框架”， 最早由加州大学戴维斯分校安全实验室主持起草工作的。1 9 9 9 年6 月，i d w g 就 入侵检测也出台了一系列草案。但是，这两个组织提出的草案或建议目前还正处 于逐步完善之中，尚未被采纳为广泛接受的国际标准。不过，它们仍是入侵检测 领域最有影响力的建议，成为标准只是时间问题。 为了提高i d s 产品、组件及与其他安全产品之间的互操作性，d a r p a 和i e t f 的入侵检测工作组叫发起制订了一系列建议草案，从体系结构、a p i 、通信机 制、语言格式等方面规范1 d s 的标准。 2 3 1c i d f 的标准化 c i d f 所做的工作主要包括四部分：i d s 的体系结构、通信机制、描述语言和 应用编程接口a p i 。 1 c l d f 的体系结构 c i d f 在i d e s 和n i d e s ( 网络入侵检测专家系统) l l u j 的基础上提出了一个 通用模型，将入侵检测系统分为四个基本组件：事件产生器、事件分析器、响应 单元和事件数据库。结构如图23 所示。 在这个模型中，事件产生器、事件分析器和响应单元通常以应用程序的形式 出现，而事件数据库则往往是文件或数据流的形式，很多i d s 厂商都以数据收集 部分、数据分析部分和控制台部分三个术语来分别代替事件产生器、事件分析器 和响应单元。 c i d f 将i d s 需要分析的数据统称为事件，它可以是网络中的数据包，也可 以是从系统日志或其他途径得到的信息。 以卜四个组件只是逻辑实体，一个组件可能是某台计算机上的一个进程甚至 线程，电可能是多个计算机上的多个进程，它们以g i d o ( 统一入侵检测对象) 格式进行数据交换。g i d o 是对事件进行编码的标准通用格式，c i d f 描述语寿 c i s l ( 公共入侵规范语言) 定义，它可以是发生在系统中的审计事件，也可以是对 审计事件的分析结果。 山于c i d f 有一个标准格式g i d o ，所以这些组件也适用于其他上不境，必需 第二章入侵检测系统 要将典型的环境特征转换成g i d o 格式，