（计算机应用技术专业论文）基于协议分析的入侵检测系统研究与设计.pdf

摘要 传统入侵检测系统在检测速率以及准确度方面已经不能满足现 在网络安全的需要，入侵检测技术中的协议分析方法成为研究的重点 之一。针对当前协议分析技术所存在的技术单一、无法检测正常数据 包等缺陷问题，结合我校校园网安全管理平台的特点，提出设计基于 协议分析的入侵检测系统研究课题。 本文对入侵检测关键技术中的协议分析技术、协议规则特征的匹 配等做了研究，把网络异常检测中的协议分析技术与传统的模式匹配 技术相结合，通过高度规则的网络协议优势来减少系统的工作复杂 度，利用模式匹配方式来确保检测的准确性和降低漏报率。在系统的 总体设计中，主要包括数据预处理模块、基于协议分析的匹配检测模 块、规则解析模块、存储模块等。系统对数据包进行分析，提取有效 数据，通过对特定攻击的规则匹配，找出符合特征的攻击信息，然后 提供报警或者其他响应。 在本文提出的基于协议分析的入侵检测系统的具体实现中，系统 利用协议分析的优势，检测出数据包中的攻击特征，同时按照协议类 别来处理数据，使得模式匹配的范围缩小，因此检测更加有针对性， 提高了检测的速率；利用模式匹配，结合数据的统计分析，系统对常 见d o s 攻击等有较为良好的检测效果，在漏报率方面有所改善，可 以根据协议的规则性快速准确对入侵事件进行判定和响应。 关键词：网络安全，网络异常，协议分析，模式匹配，入侵检测系统 a b s t r a c t t h et r a d i t i o n a li n t r u s i o nd e t e c t i o ns y s t e mc a nn ol o n g e rm e e tt h e n e e d so fn e t w o r ks e c u r i t yi nd e t e c t i o nr a t ea n da c c u r a c y , i n t r u s i o n d e t e c t i o nt e c h n o l o g yi nt h ep r o t o c o la n a l y s i sm e t h o dh a sb e c o m eo n e f o c u so ft h es t u d y t h ec u r r e n tp r o t o c o la n a l y s i sh a sm a n yd e f e c t s ，f o r e x a m p l e ，t h et e c h n i c a li ss i n g l e ，n o r m a ld a t ap a c k e t sc a n tb ed e t e c t e d c o m b i n i n g0 1 1 1 c o l l e g e sc a m p u sn e t w o r ks e c u r i t ym a n a g e m e n tp l a t f o r m ， t h i st h e s i sp r o p o s e si n t r u s i o nd e t e c t i o ns y s t e mb a s e do np r o t o c o la n a l y s i s t h i st h e s i ss t u d i e st e c h n o l o g i e so fi n t r u s i o nd e t e c t i o ns y s t e m ， i n c l u d i n gp r o t o c o la n a l y s i s ，p r o t o c o lr u l em a t c h i n ge t c ，p o i n t so u tt h e a d v a n t a g e s a n dd i s a d v a n t a g e s a c c o r d i n gt ot h ec h a r a c t e r i s t i c so f p r o t o c o la n a l y s i s ，t h es y s t e mc o m b i n e sp r o t o c o la n a l y s i s d e t e c t i o n t e c h n o l o g y o fn e t w o r k a n o m a l y d e t e c t i o nw i t ht h et r a d i t i o n a l p a t t e r n - m a t c h i n gt e c h n o l o g y t h r o u g ht h ea d v a n t a g eo fh i g h l yr e g u l a r n e t w o r kp r o t o c o l ，t h es y s t e mr e d u c e st h ec o m p l e x i t ya n de n s u r e st h e a c c u r a c yo fd e t e c t i o na n dp r e v e n t i o no f o m i s s i o nw i t hp a u e m m a t c h i n g m e t h o d s t h eo v e r a l ld e s i g no ft h es y s t e mi n c l u d e sd a t ap r e - p r o c e s s i n g m o d u l e ，t h em a t c h i n gd e t e c t i o nm o d u l eb a s e do np r o t o c o la n a l y s i s ，t h e r u l e so f a n a l y s i sm o d u l e ，a n dm e m o r ym o d u l ee t c t h es y s t e md e a l sw i t h p a c k e t sb yp r o t o c o la n a l y s i s ，a n de x t r a c t st h ed a t a ，t h e nf i n d si n f o r m a t i o n i nl i n ew i t ht h ec h a r a c t e r i s t i c so ft h ea t t a c ke f f e c t i v e l y b yas p e c i f i c a t t a c ko nt h er u l em a t c h i n g ，a f t e r w a r d sr e p o r tt ot h es y s t e mo ro t h e r r e s p o n s e i nt h er e a l i z a t i o no ft h ei n t r u s i o nd e t e c t i o ns y s t e mb a s e do np r o t o c o l a n a l y s i s ，t h es y s t e mu s e st h ea d v a n t a g e so fp r o t o c o la n a l y s i st od e t e c tt h e a t t a c kp a c k e tf e a t u r e s ，a tt h es a m et i m ea c c o r d i n gt ot h ep r o t o c o lt y p et o d e a lw i t hd a t a t h es y s t e me f f e c t i v e l yr e d u c e st h er a n g eo fp a a e m m a t c h i n g ，s ot h ed e t e c t i o ni sm o r et a r g e t e da n dt h er a t ei sh i g h e r w i t h t h et e c h n o l o g i e so f p a a e r nm a t c h i n ga n d d a t aa n a l y s i s ，t h es y s t e mo b t a i n s g o o dr e s u l t si nc o m m o nd o sa t t a c kd e t e c t i o n t h es y s t e mc a nm a k e j u d g m e n t sa n dr e s p o n d t oi n v a s i o nq u i c k l ya n da c c u r a t e l y k e yw o r d s ：n e t w o r ks e c u r i t y , n e t w o r ka n o m a l y , p r o t o c o la n a l y s i s ， p a t t e r nm a t c h i n g ，i n t r u s i o nd e t e c t i o ns y s t e m 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 二 = 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均己在在论文中作了明确的说 明。 作者签名日期 关于学位论文使用授权说明 年皇月堡日 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名 师签名! 滥曰霸k 竺兰互年尘月芝日 硕士学位论文 第章绪论 1 1 网络安全问题 第一章绪论 信息技术尤其是网络技术的飞速发展，给人们的社会生活带来很大便利， i n t e r a c t 早已融入到社会生活的各个方面。随着信息技术的不断深入，计算机网 络的安全问题也随之增多，每年因为计算机网络的安全系统被破坏所造成的经济 损失达数千亿美元以上。 网络环境的复杂性、多变性以及信息系统的脆弱性、开放性和易受攻击性， 决定了网络安全威胁的客观存在n 儿钉。人们在享受到各种生活便利和沟通便捷的 同时，网络安全问题也日渐突出、形势日益严峻。网络攻击、病毒传播、垃圾邮 件等迅速增长，利用网络进行盗窃、诈骗、敲诈勒索、窃密等案件逐年上升，严 重影响了网络的正常秩序，损害了网民的利益；网上色情、暴力等不良和有害信 息的传播，严重危害了青少年的身心健康。网络系统的安全性和可靠性正在成为 世界各国共同关注的焦点。 网络安全问题已成为信息时代人类共同面临的挑战，国内的网络安全问题也 日益突出。网络安全已经成为当前信息安全领域中的研究热点。如今网络中的安 全威胁具体表现为： ( 1 ) 身份窃取，指用户身份在通信时被非法截取； ( 2 ) 假冒，指非法用户假冒合法用户身份获取敏感信息的行为； ( 3 ) 数据窃取，指非法用户截获通信网络的数据； ( 4 ) 否认，指通信方事后否认曾经参与某次活动的行为； ( 5 ) 非授权访问； ( 6 ) 拒绝服务，指合法用户的正当申请被拒绝、延迟、更改； ( 7 ) 错误路由。 对于目前的网络环境来讲，我们常见的是拒绝服务等威胁，这些常见行为在 日常的网络攻击中，占到了很大的比例，也是我们首要解决的入侵问题之一。 当前，在全球范围内，随着互联网的迅猛发展，对计算机及其网络安全基础 设施的入侵已经成为一个越来越严重的问题嘲。对于网络入侵的检测和防护已经 日益成为迫切的要求。网络入侵相对于传统入侵来说，具有以下的特征： ( 1 ) 没有地域和时间的限制； ( 2 ) 网络攻击往往混杂在大量的网络活动当中，隐蔽性较强； ( 3 ) 入侵手段和方法更加复杂、多变； 硕士学位论文 第一章绪论 ( 4 ) 入侵行为的技术含量越来越高，造成的后果和危害也随之越来越严 重： ( 5 ) 入侵工具日益完善，攻击者不需要有非常专业的计算机知识，就能够 完成相对复杂的攻击过程。 网络安全的发展趋势，越来越从单一安全防范转向集成化、多功能化h 】，安 全技术也出现了融合的趋势。对网络防御而言，它对付的攻击难以预测，而攻击 者仅仅需要一个成功的攻击，而防御者需要对所有攻击加以防护。网络安全技术 已从单纯的监测网络攻击和防御入侵，转变为防御、检测、响应与恢复等多种技 术的融合嘲。 随着全球信息化的迅猛发展，国家信息安全和信息主权己成为越来越突出、 关系到国家稳定和发展的重大战略问题。早在互联网刚出现的时候，美国就己经 有人提出信息战、网络空间战的概念，描述了利用互联网开战的可能性。随着我 国信息技术的不断发展，信息安全也逐步受到各部门的重视，对于信息安全的防 护也在不断增加投入。此外，网络不良信息散播、跨国间的网上攻击、军事信息 的窃取等等，也同样威胁到国家安全。目前，我国对计算机网络保密技术的研究 和技术防范手段还比较滞后，安全漏洞和泄密隐患非常突出，己对国家机密和信 息安全构成了严重的威胁，加强信息网络的安全研究刻不容缓嘲。 互联网内在的脆弱性，严重影响了现在社会的网络化发展，特别是使电子商 务交易的安全性大打折扣口1 。入侵者在缺乏安全保护的网络环境中，可以很容易 的窃取用户隐私、破坏用户数据、远程操纵他人电脑，从而给网站和用户造成巨 大的经济损失。根据2 0 0 6 年出版的最新( 2 0 0 5f b ic o m p u t e rc r i m es u r v e y ) ) ( 美 国最大范围的计算机犯罪调查) 调查显示：在对全美约2 0 0 0 家组织和机构的计算 机与网络安全的调查中，2 0 0 5 年由安全问题带来的全部损失约为3 2 亿美元；来 自企业网内部的攻击和来自外部的攻击同样多，约占4 4 。网络安全作为一个无 法回避的问题呈现在人们面前。伴随而来的网络攻击行为也愈来愈严重哺1 ，各国 都在加大对信息网络安全核心技术和产品的研发投入口1 。计算机病毒和拒绝服务 也给网络带来了很大的危害，严重影响了网络和系统的正常运行n 们。 导致网络安全难以保障的原因有很多。首先，从网络通信协议来讲，t c p i p 协议本身设计并不是非常的完善，在设计时没有对网络的安全性作过多的考虑， 导致网络协议在安全方面不能很好的起到对用户的保护作用。其次，如今的网络 结构越来越复杂，如果要进行全面的监控和管理，需要付出较大的精力和代价， 而在技术上也并不能完全胜任，导致网络协议的攻击者利用网络可以对任何地区 发起攻击。再次，各种系统软件和应用软件变得越来越丰富，规模远远超过以前。 无论是v r m d o w s 还是l i n u x 操作系统，都存在系统安全漏洞。最后，众多的黑 2 硕士学位论文 第一章绪论 客网站不但提供了大量的系统缺陷信息及相应的攻击方法，而且还提供了大量系 统漏洞扫描工具和攻击工具，攻击者可以使用多种工具或技术来对网络进行破 坏，严重威胁到网络的安全状况。 1 2 研究现状 对于入侵检测技术的研究可以追溯到2 0 世纪8 0 年代。当时j a m e s a n d e r s o n 首先提出了入侵检测的概念，随后在9 0 年代开始有了一些针对具体入侵的技术 研究和系统应用。 如今的入侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 研究已经有了很大 的发展： 从采用检测技术的不同策略上来讲，比较成熟的技术有基于误用的入侵检 测、基于异常的入侵检测和混合检测技术n 。误用检测主要是针对已知的攻击， 通过建立检测模型，对网络用户行为进行匹配，如果能够成功匹配，那么就把该 行为视为网络攻击行为。采用误用检测技术可以有效地检测到已知攻击n 嬲，误报 率低，但是对未知的攻击行为很难识别，系统不可能对所有潜在攻击都能做到了 解，因此它的漏报率相对来讲是最大的。基于异常的入侵检测技术，使用用户行 为与正常行为之间的偏离来确定入侵的发生，能够检测一些未知入侵。混合检测 方法则是结合了误用检测和异常检测的各自优势，在做出决策之前，同时分析待 检测系统的正常模型和异常模型n 司，因此判断更为准确和全面。从策略上来讲， 混合式的检测技术是比较合理的，但在两种技术的融合上，还需要进一步研究。 从系统开发设计结构来讲，入侵检测系统先后出现d e n n i n g 的通用入侵检 测、层次化入侵检测和智能化的入侵检测等n 钔。他们都是用一些基于统计的、神 经网络和数据挖掘等分析技术来完成各自的系统实现。一般来讲，层次化的入侵 检测系统是比较成熟的技术，与其他两种设计结构相比，它的优势在于首先可以 合理的对不同攻击进行分别处理，而不是单一的局限于主机或者网络数据，另外， 层次化模型对攻击特征库和安全策略库进行了较合理的设计，使得检测效率提 高。 网络入侵检测防御的基础是i d s ，只有检测到攻击并确定攻击的种类和方 法时，才能确定有效的防御手段n 司。目前国内外对i d s 的研究比较多。i d s 经历 了基于统计的i d s 、基于主机的i d s 、基于网络的i d s 和分布式的i d s 等。但由 于各种技术的限制，i d s 目前误警率和重复报警率较高，著名的评估机构g a r t n e r 认为，i d s 是不成熟的产品。虽然目前的入侵检测的关键技术都有各自的优势， 特别是异常检测技术，已经成为入侵检测技术的主流技术，但其单一的发展，却 硕士学位论文 第一章绪论 使得检测的准确性有待提高。随着技术的不断研究，基于协议分析的入侵检测技 术也逐渐成为研究的主要技术之一。 目前对入侵检测技术的研究已经有了一些相对成熟方法，其中主要的技术类 别可以简要的归纳如下： ( 1 ) 较为标准化的入侵检测系统s n o r t n 帕，它对网络协议的数据包进行了规 则化的处理，将数据包进行简单的协议解析，然后对解析后的数据进行特征匹配， 这种方式虽然对于协议的字段特征有了统一的标准化处理，但是这样往往会造成 检测效率低下。 ( 2 ) 传统的模式匹配技术和特征搜索技术在对网络入侵的检测中，存在检 测慢、准确率低、占用系统资源过大等缺点。网络技术的快速发展以及网络流量 的不断加大，出现的攻击技术越来越复杂，传统的入侵检测方法已经越来越不能 适应网络安全的新要求。 ( 3 ) 流量分析统计的入侵监测技术虽然可以及时的发现网络入侵事件的发 生，但它的优势在于应用于网络监测中，而对于防护性的入侵检测系统，则需要 消耗大量的资源和管理人员精力来进行实时监控。 ( 4 ) 协议分析技术作为一种较为先进的入侵检测技术，其基础是来源于对 异常协议的分析，而国内外对协议异常的研究，也有一定的基础，总的来说，现 有的协议异常的分析检测技术主要有通过对网络状态的监控，对网络协议的分 析，把网络通信数据进行检测以便发现入侵行为。 无论使用哪一种协议异常检测技术，最终的处理都归结为对协议的分析n 刀， 协议分析技术的优势在于对特征攻击的准确定位，它可以弥补异常检测中无法准 确判定的缺陷；模式匹配技术在不考虑匹配计算量的前提下，是一种比较合理的 检测技术，因此，我们可以结合协议分析技术，有针对性地对攻击特征进行匹配。 而目前使用协议分析技术来实现入侵检测系统，并不能够完成对所有攻击类型的 检测，其中所存在的问题有： ( 1 ) 协议规则的多样化，不同的协议具有不同的格式，因此需要分别对待。 在面对协议异常情况时，对于非正常格式的协议字段，协议分析难以正常处理， 往往会出现不能解释的一些协议，给入侵检测系统带来问题。 ( 2 ) 单一的协议分析技术，仅仅对协议本身进行解析，当面对“正常 协 议时，即协议本身不存在问题，但从流量统计、数据发送者等角度考虑，则会是 明显的攻击行为，比如a r p 欺骗攻击和其他一些d o s 攻击等。 ( 3 ) 协议分析技术只能按照固有的协议格式来对数据进行解析，虽然与传 统的模式匹配方式比，它更有针对性，但同时也缺乏更好的适应性，而传统模式 匹配虽然在匹配速率上没有优势，但是它可以对许多具有特征性的攻击行为进行 4 硕士学位论文第一章绪论 匹配，而不局限于协议字段本身的固定格式。 另外，在我校网络中心在网络安全事件管理的技术研究中，已经取得了一些 研究成果，特别是其中甘妙金关于网络安全事件集中管理体统的设计和实现的研 究n 射，该研究中对网络安全事件报警、网络攻击的数据收集等研究工作，对本文 的“基于协议分析的入侵检测系统研究鱼设计”提供了技术参考，并为入侵检测 系统的数据获取提供了帮助。 1 3 本文的主要研究内容和文章结构 本文重点对基于协议分析的入侵检测技术做了研究，提出了，对规则库运用 合理的架构以及主次划分。本系统主要是通过协议的分析与匹配来判断攻击特 征，并通过其匹配程度来定位该攻击信息，因此设置多个记录值来基于协议分析 的入侵检测系统的检测方法，主要的研究内容如下： ( 1 ) 网络协议分析技术在入侵检测系统中的具体应用。 比较详细的介绍了协议解析的原理、方法及对数据包解析的过程。完成了对 p 协议、t c p 协议以及a r p 协议的解析工作。 ( 2 ) 特征提取以及网络协议攻击特征的匹配方法。 主要对网络数据包的中关键字段进行特征定位，分析常见攻击在特定数据字 段中的标识性特征，并将该特征按照协议类型分类，使用模式匹配的方式，对入 侵行为进行检测分析。 ( 3 ) 协议数据特征规则建立以及特征记录的存储。 对需要匹配的特征规则，利用较为合理的字段特征，记录各类攻击行为的最 有标志性的特征状态。构造专用的存储结构，从而提高系统的反应速度进行数据 过滤。数据记录按照不同类型，进行合理的组织存储。 论文的主要章节及其简介如下： 第一章介绍了网络安全所存在的问题、研究背景、研究现状，以及本文的 主要研究工作。 第二章主要介绍了入侵检测系统的基本概念，对基于协议分析的入侵监测 技术中，重点介绍了协议异常的概念、协议分析的原理、协议分析的基本流程以 及协议分析的优缺点。 第三章设计基于协议分析的入侵检测系统总体结构并介绍主要功能。 第四章系统关键模块的具体实现、系统测试及其结果分析。 第五章全文的结束部分，对整个系统的设计进行相关的总结，并指出了进 一步研究的重点。 硕士学位论文 第二章入侵检测与协议分析技术 2 1 入侵检测 第二章入侵检测与协议分析技术 2 1 1 入侵检测基本概念 入侵检测是指通过监视用户行为、安全日志、审计资料或者网络原始数据流， 在特定的网络环境中发现和识别未经授权的或者恶意的攻击和入侵，并对此做出 反应的过程。入侵检测可以积极主动的对内部攻击、外部攻击和误操作提供实时 保护n 明，当网络受到入侵时，能够及时发现，在网络系统受到危害之前拦截和响 应入侵。如今，信息系统不断的复杂化，入侵行为的频繁发生，使我们更加认识 到安全模型理论自身的局限性以及实现中存在的漏洞。增强系统安全的一种行之 有效的方法是采用一个比较容易实现的安全技术，同时使用辅助的安全系统，对 可能存在的安全漏洞进行检查，入侵检测就是这样的技术。所谓入侵，是指任何 试图危及计算机资源的完整性、机密性或可用性的行为嘲。而入侵检测，便是通 过运用各种检测技术对入侵行为进行分析，从而确定攻击行为的存在并及时报 警。入侵检测一般是通过从计算机网络或众多主机中的若干关键点收集数据信 息，并对这些信息进行过滤和分析处理，从而发现网络或系统中是否有违反安全 策略的行为和遭到袭击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测 系统口订噙1 。入侵检测是防火墙的合理补充，帮助系统对付网络攻击，扩展了系统 管理员的安全管理能力( 包括安全审计、监视、进攻识别和响应) ，提高了信息安 全基础结构的完整性。入侵检测被认为是防火墙之后的另一个防护手段，它主要 区别于放火墙的特点在于，入侵检测能够在不影响网络性能的情况下能对网络进 行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。 简单来说，入侵检测系统主要包括3 个部分： ( 1 ) 获取事件信息源，即对信息的收集和预处理； ( 2 ) 入侵分析引擎； ( 3 ) 对分析结果的响应部件。 信息源是入侵检测的首要素，它可以看作是一个事件产生器。事件来源于审 计纪录、网络数据包、应用程序数据或者防火墙、认证服务器等应用子系统。 i d s 可以有多种不同类型的引擎，用于判断信息源，检察数据有没有被攻击， 有没有违反安全策略嘲。 当引擎产生一个可以反映的结果时，响应部件就做出反应，包括将分析结果 记录到日至文件，对入侵者采取行动。根据入侵的严重程度，反映行动可以有多 6 硕士学位论文 第二章入侵检测与协议分析技术 种级别。对于低级别的入侵，可以只对用户发出提醒；而对于级别较高的，可以 给管理员发送警报，并主动采取一些防范措施。 入侵检测的一般过程是： 信息收集，包括通信记录、网络流量记录等； 一信息数据的预处理，对信息进行合理的过滤、分析和存档； 数据的监测分析，通过系统的分析技术来判断入侵事件的发生与否： 一根据安全策略做出响应 图2 - 1 入侵检测的一般过程 一般来说，入侵检测系统能够完成下列活动： 监控、分析用户和系统的活动； 发现入侵企图或者异常现象； 审计系统的配置和弱点； 评估关键系统和数据文件的完整性； 一对异常活动的统计分析； 识别攻击的活动模式； 实时报警和主动响应。 入侵检测系统相对于传统的安全技术来说，提供了一种主动的防护，而控制 访问、认证和防火墙等只是被动的防护，因此入侵检测系统经常被称为安全的最 后一道防线。 2 1 2 入侵检测常用模型及其发展 入侵检测系统作为网络入侵防御的基础，是信息安全系统中的重要防护措 施，i d s 的建立与拓展都需要有入侵检测模型作为支撑。作为一个有效的入侵检 测系统，它的核心就在于应用何种模式来对所收集到的信息进行分析处理，这直 接关系到系统的准确率和执行速率。因此，一个合理的入侵检测模型的研究与建 立，将对整个系统起到关键的作用。 1 入侵检测模型的发展 首个入侵检测模型是1 9 8 7 年，由d o r o t h ye d e n n i n g 提出的，在以后的发 7 硕士学位论文第二章入侵检测与协议分析技术 展中，i d s 研究者在设计检测模型时，常引用d e n n i n g 模型，它是基于主机的主 体p r o f i l e 、系统对象、审计日志、异常记录和活动规则。一般的入侵检测结构是 指基于规则的模式匹配系统，涉及跟踪应对于主体p r o f i l e 以检测基于登录、程 序执行和文件存取的计算机误用行为。 以往常用的许多基于主机的i d s 通常采用的是主体异常模型，例如入侵检 测专家系统( i d e s ) 、下一代网络入侵检测专家系统( n i d e s ) 、w i s d o m & s e n s e ( w & s ) 、h a y s t a c k 以及网络异常检测和入侵报告( n a d i r ) 等。另外随着其他 技术的引入，出现了基于数据挖掘模型的i d s ，以及基于神经网络模型的i d s 。 在这些系统中，使用的基本检测算法包括：使用带有权重的函数来检测背离正常 模式的差异；基于对正常使用状况的剖面分析的协方差矩阵；基于规则的专家系 统检测安全事件等等。 i d s 模型发展至今，又出现了基于分布式的检测模型胁1 ，然后再拓展为带有 网络安全监视( n e t w o r ks e c u r i t ym o n i t o r ) 框架的基于以太网的流量分析。这又 被进一步发展为结合了基于主机的i d s 和网络流量监视的分布式入侵检测系统 ( d i d s ) 。当今的商用i d s ，如r e a ls e c u r e 和计算机误用检测系统( c m d s ) ， 都具有分布式的结构，使用的是基于规则的检测或者统计异常的检测，或兼而有 之。s r i 公司设计的e m e r a l d 发展了入侵检测的分布式结构，在主机上配置 服务监视部件。我国中科院所提出的基于a g e n t 的分布式入侵检测系统模型采取 无控制中心的多a g e n t 结构。清华大学网络中心的d i d a p p e r 使用流量标本和 i p 陷阱的方法来检测大规模的网络行为，并使用具有自学能力的b p 网络应用于 流量分析。虽然有众多的模型出现，但目前为止，入侵检测系统还缺乏相应的标 准，各种入侵检测的框架都没有一种统一的衡量标准。 为了提高i d s 产品、组件及与其他安全产品之间的互操作性，美国国防高 级研究计划署( d a r p a ) 和互联网工程任务组( m t f ) 的入侵检测工作组( d w g ) 发起制定了一系列的标准草案。 这些标准制定所依据的原则，也就是入侵检测系统设计所要求的一些基本原 则，分别是： ( 1 ) 精确性：主要是降低误报率和重复报警率，过高的误报率和重复报警 率会引起太多资源浪费，使网络防御代价过高。 ( 2 ) 可扩展性：能够在高速网络中用多探测器分布式检测。分布式检测已 经成为入侵检测模型首要考虑的问题。 ( 3 ) 智能性：能够分析未知漏洞、内部缓慢攻击，并具有自动保护功能。 ( 4 ) 融合性：安全技术综合集成其他网络技术，能够与其他技术综合利用， 能够阻止、诱骗和对抗攻击。 3 硕士学位论文第二章入侵检测与协议分析技术 2 入侵检测常用模型 入侵检测从策略上来讲主要分为异常检测和误用检测，从分析方法上来讲， 又可以分为基于统计的、神经网络和数据挖掘三类技术。我们从i d s 的整体框 架来对入侵检测模型进行划分，则主要是三种：通用模型、层次化模型和智能化 模型。 ( 1 ) 通用入侵检测模型 通用入侵检测模型的雏形是由d o r o t h ye d e n n i n g 所提出的( 见图2 2 ) ，该 模型后来又经过许多研究者的改进和拓展，逐步加入了异常检测器以及专家系统 等，其中异常检测器用于统计异常模型的建立，专家系统用来实现基于规则的检 测。模型的3 个主要部分是事件发生器( e v e n tg e n e r a t o r ) 、活动记录器( a c t i v i t y p r o f i l e ) 和规则集( r u l es e t ) 。其中事件发生器提供网络活动信息；活动记录器 保存监视中的系统和网络状态；规则集用于事件或状态的核查以及判断，主要通 过模型、规则、模式和统计数据来对入侵行为进行判定。 则 则 图2 - 2d o n n i n g 通用入侵检测模型 ( 2 ) 层次化入侵检测模型 层次化模型是如今最常见的，也是最为成熟的一种，其思想来源于入侵检测 的两种常用技术，即误用检测和异常检测。这两种技术分别有利于已知和未知的 两种入侵行为判定，而其差异性就带来的检测的层次性。一般来说，误用检测比 较简单，效率也较高，误报率较低；而异常检测主要针对一些疑难的、未知的情 况。两者所用于比较的信息分别是非安全行为与安全行为，而一些介于两种行为 之间情况，则需要两者结合，既可以通过攻击行为的分析检测出已知入侵，又确 保可以通过对安全策略库和疑似入侵的行为进行模式匹配来检测出未知入侵种 类，这就是层次化入侵检测模型的基本思想。另外从入侵检测的数据来源上看， 9 硕士学位论文 第二章入侵检测与协议分析技术 同样也分为网络数据源和主机数据源两种层次。 在层次化的模型中，把误用检测做作最基本的环节，在此基础上又结合异常 检测，对入侵行为进行逐步分析处理，可以将大部分的攻击行为检测出来，此外 再加上管理员的人工参与，就可以较好的实现对入侵的有效防御。在实际设计实 现时，两种检测手段并不是简单的合并在一起，而是紧密联系，融合在整个网络 安全体系结构当中。整个入侵检测系统分为两大部分，即攻击检测部分( 入侵行 为检测) 和入侵检测部分( 入侵结果检测) ，整个过程主要分成两个大的步骤： 入侵特征提取和入侵行为分析。如图2 3 所示，整个体系结构中，攻击特征的提 取和行为分析都结合在其中，两种方法分别代表了基于知识的入侵检测思想和基 于行为的检测思想；两种检测也各自用于检测未知入侵和监控已知的入侵。 图2 - 3 层次化入侵检测体系结构 层次化模型较之通用的d e n n i n g 模型有如下优势： 从数据源角度来讲，层次化模型针对不同数据源，采用不同的特征提取方 法。d e n n i n g 模型利用一个事件发生器来处理所有的审计数据和网络数据包，但 事实上两种数据有很大差异。层次化模型将数据源分成两个层次，采用不同的特 征提取和行为分析方式处理，提高了检测效率与准确度。 用攻击特征库和安全策略库代替了活动记录。d e n n i n g 模型中把所有信息 存放于活动记录当中，这样导致检测效率偏低，而层次化模型中，把已知的攻击 行为存贮在攻击特征库，处理未知入侵行为的正常行为模式和安全策略则存放在 安全策略库中，两个库各有所长，拥有不同的存储格式，解决不同的网络行为问 题。 但是层次化模型是的网络数据与主机数据分离，通常情况下两种数据关联性 比较大，因此单纯的层次化模型过于机械化，反而对入侵行为的判断过于片面， 不能综合化的利用有效数据。 1 0 硕士学位论文第二章入侵检测与协议分析技术 ( 3 ) 智能入侵检测模型 入侵检测中，对于已知行为，通常采用误用检测的方法，一般来说，误用 检测对智能性的要求较低；异常检测主要针对未知入侵，因此通常需要很高的智 能特性。目前大多数的入侵检测系统是基于主机的，主要是通过单个主机收集数 据信息，或者通过分布在网络各个主机的监视模块来收集数据信息，并统一提交 给一个中心处理器来完成检测功能。这种入侵检测的模型不能很好的满足大规模 分布式的网络环境，特别是在中心处理器出现故障、数据海量、网络结构扩展等 情况发生时，其局限性更加明显。 随着智能a g e n t 技术的不断发展，其分布式、自治和协同工作能力给入侵检 测技术带来新的生机。目前的人工智能工程已经转向以智能a g e n t 技术为基础组 织结构，a g e n t 作为执行安全监视和入侵检测功能的软件代理，它可以在有或者 没有其他代理的条件下工作，可接受更高层其他实体的控制命令。a g e n t 既可以 执行简单特定的功能，也可以执行复杂的行为。作为入侵检测智能模型的核心， a g e n t 的效率与性能决定了整个i d s 的价值嘶捌。基于a g e n t 的入侵检测模型主 要包括主机检测a g e n t 、网络检测a g e n t 、通信a g e n t 、响应a g e n t 以及一个控制 台。不同种类的a g e n t 具有不同的特征和处理功能，可以对其自由配置，独立进 行操作。同种a g e n t 以及不同a g e n t 之间都可以通过a g e n t 通信语言( a g e n t c o m m u n i c a t i o nl a n g u a g e ，a c l ) 来进行信息交互，从而进行协同工作。 智能化的入侵检测模型在理论上可以很好的完成我们所预期的工作，但在面 临复杂的网络环境时，大规模的智能化模型反而使系统开销过大，出现分析结果 难以控制的情况。 通过上述三种模型的介绍，我们可以看出，入侵检测的发展趋势越来越向 着分布式和智能化发展啪1 ，但从中我们也可以发现，诸如大规模分布式嘲1 、高智 能化的a g e n t 、神经网络等等一些比较先进的技术，往往局限于理论之上，各种 自治化、协同化的技术目前并不能在实际中达到其理论上所预期的效果，特别 是面对复杂的网络环境和多变的网络攻击，往往出现大量的误报、漏报等问题， 增加了系统资源的开销，同时也加重了管理人员的工作量，而这与其智能化、自 治化的初衷是矛盾的。同时我们在市场上所见的各类产品，也很难看到关于“智 能化、“专家系统等技术词汇。“ 目前大多数的入侵检测系统是基于主机的，这种入侵检测的模型不能很好的 满足大规模分布式的网络环境，特别是在中心处理器出现故障、数据海量、网络 结构扩展等情况发生时，其局限性更加明显嘲口。而先进的前沿技术在实际的应 用中，又存在一个逐步融合的过程，许多原本为了减少人工操作的系统设计技术， 往往只局限于理论上的可行性，在实践中反而增加了各种限制与条件。因此如何 硕士学位论文 第二章入侵检测与协议分析技术 合理的利用现有成熟技术来解决当前存在的实际问题，也是本文研究的出发点之 一。通过各种模型以及各种技术的分析，本文主要研究的是层次化的入侵检测系 统，通过使用协议分析技术来对攻击数据包进行分析，并通过攻击特征库和安全 策略库来达到合理的检测与攻击特征模式匹配。 因此，合理的选择入侵检测模型，也是我们设计实现入侵检测系统地必要工 作，对于相对较成熟的层次化模型，我们可以考虑在此基础上，在各自独立的模 块上利用智能化的处理，由此不但可以完成预期的检测效果，同时也可以应对未 知的各种入侵行为。层次化入侵检测模型可以方便的应用到分布式的入侵检测环 境中，我们利用智能化的特征提取和行为分析模块可以由各个代理来实现，并通 过代理的交互与协作，处理大规模的分布式入侵行为。 2 2 网络协议异常的检测 2 2 1 网络异常的行为表现 网络异常是网络用户发生入侵和滥用行为时，表现出不同于一般的正常用户 或者系统的行为。入侵检测中的异常检测技术，主要是先在用户、系统或者网络 正常操作的基础上收集时间和行为的信息，再根据这些信息建立正常或者有效行 为的模式，对于网络异常来讲，其正常模式即网络正常状态下的数据协议、网络 流量等信息。在异常检测的时候，通过某种度量，计算时间的行为偏离正常行为 的程度。把当前行为和正常模式比较，如果偏离程度超过一定的范围，则报警异 常。异常检测的本质在于对非正常行为的分析与度量。换句话说，所有不符合正 常模式的行为都被认为是入侵。“模式 通常是使用一组系统的度量来定义，所 谓“度量，则是系统或者用户行为在特定方面的衡量标注。每个度量都对应于 一个门限值或者相关的变动范围哺刁。 通常网络异常情况下，总有某个特定的对象表现异常，这个对象可以是网络 的流量、网络协议或者设备信息等嘲。通过监视对象的行为，学习这个对象的行 为特征，一般把握该对象的正常模式。对于通网络协议来讲，则直接体现为协议 格式的规范性与固定化，由于协议的定义有严格的规范m 1 ，因此特定的攻击必然 出现在数据包的特定位置上恻。 在对网络设备的检测中，由于很多的网络攻击行为必然导致对于网络设备的 异常，而对于校园网中，最明显的影响表现在c p u 的利用率上，根据实际的经 验，在网络受到攻击时，通常不会仅仅存在少量的数据包，而是在短时间内数据 包的数量剧增，特别是a r p 攻击和其他不符合标准口格式的数据包，会直接使 c p u 的利用率在几秒钟内由平时的1 0 左右上升至3 5 以上。由此，我们通过 1 2 硕士学位论文第二章入侵检测与协议分析技术 实时的检测，分别获取每5 秒、1 分钟、1 0 分钟内，c p u 利用率情况，如果发 现异常，则根据级别发出不同警报，同时抓取该时段的数据包，为协议分析提供 数据源。 由于网络异常行为离不开所使用的通信协议，因此大部分的网络异常行为， 都可以表现为协议的异常，无论从协议内容或者协议数据包的流量上，我们可以 通过其分析来判定异常行为的根源。所以对协议异常检测的研究，是我们及时掌 握网络异常状况所需要的关键技术。 2 2 2 协议异常检测的概念 传统的异常检测方法是构造正常行为主体的模型，当网络活动中出现异常于 正常主体的活动时则视为异常，一般采用统计学或行为动作的异常检测技术，即 选择网络通信量的关键统计量作为训练模型特征，以识别异常活动。但是，现实 中的网络数据是多变的，这使得这种方法建造的模型缺乏准确性，被分类为异常 的事件不一定是恶意的攻击。 异常检测方法是对网络的正常行为进行建模，而协议异常检测根据r f c 草 案中的规定采用t c p i p 规范来创建t c p i p 协议的模型啪1 ，由于r f c 草案对通 信协议的使用和信息的格式化处理是非常标准的，因此根据草案建立的模型准确 度高，协议模型可以非常规则化的描述协议的正常行为特征，与传统的异常检测 模型相比，它更利于建立和使用。所有面向连接的协议都具备状态，特定的事件 必须在特定的时间发生，因此，许多协议异常检都是对协议通信状态的特定描述， 将其特征进行提取并用以对异常协议进行判定，例如一个服务器正在等待一个客 户的响应等。而状态间的转移描述了状态间合法的和预期的变化，例如从“服务 器等待状态开始的合法转移是“客户发送数据状态，或者足“客户切断链接一 状态，或者是“服务器超时 状态。由于协议异常检测模型可以体现出攻击行为 具体违反了协议的哪一部分，可以帮助管理人员和报警分析人员很好的理解新的 未知的攻击，从而进一步的防御该种攻击。 协议异常检测方法是根据具体协议来建立规则的，因此，它在协议发展缓慢 的现状下，一般不需要做频繁的特征更新，因此其具有很好的易用性。当开发出 新的协议或者有新的协议扩展时，需要更新i d s 或在i d s 中添加新的协议状态 机。尽管如此，与当前的攻击特征更新频率相比，这种更新频率要少的多。协议 异常检测的另一个优点是提高了检测效率，特征检测方法要使用大量的规则来描 述大量的恶意攻击行为，与此相比，设计完好的协议异常检测器则只需要较少的 规则去描述可接受的行为姗，正是因为使用了较少的规则检查各个事件，从而增 加了i d s 的带宽，提高了检测速度和效率。 1 3 硕士学位论文第二章入侵检测与协议分析技术 2 3 协议分析概念及原理 2 3 1 协议分析的概念 所谓“协议分析 技术嘲，是用来检测攻击特征存在的技术，其特点是充 分利用网络协议的高度规则性，对协议进行分析，寻找违反协议定义的数据包。 协议分析技术充分利用不同协议的规则来快速检测某个攻击特征的存在，从而大 大降低特征搜索所需的计算量。与原始的“模式匹配检测技术比较，协议分析 具备高速、精确和高效的特点。协议分析是系统探测攻击手法的有效技术，它是 一种基于