（计算机系统结构专业论文）基于网络情境的ids设计与实现.pdf

华中科技大学硕士学位论文 摘要 i d s 在网络安全体系中占据着重要的位置。然而当前的i d s 技术都有自己的缺陷： 异常检测误报率太高，目前还难以在市场得到应用；误用检测的攻击特征不能实时更 新，容易导致漏报，同时，随着特征规则的增多，检铡效率下降。针对误用检测应用 中出现的问题，网络情境入侵检测系统( n c i d s ，n e t w o r k c o n t e x tb a s e di n t r u s i o n d e t e c t i o ns y s t e m ) 给出了一个新的解决方案。 n c i d s 根据i d s 监听报文的特点，利用用户层报文映射技术，从网卡上直接过 滤报文，并拷贝到应用层可以访问的区域，从而再进行报文截获时跳过操作系统的协 议栈，避免了操作系统核心频繁的检测和拷贝。 通过对网络环境的分析、连接状态的监视，并且拓展了事件描述语言，由原先的 l 层表示法拓展为2 层表示法，n c i d s 给出了基于网络情境的检测方法。根据网络情 境，n c i d s 模拟目标主机上的协议解析过程，将报文还原，然后再进行特征匹配，从 而使许多绕过i d s 的入侵方法在n c i d s 面前不再有效。 n c i d s 将规则按照协议的方式组织成不同的小集合，每次匹配时根据解析的结果 只需要对集合内的规则进行匹配，大幅度减少了对报文内容的匹配次数，同时采用当 前已经证明比较高效的匹配算法：b o y e r - m o o r e 、a h o c o m s i c k 、w u - m a n b e r 等，并可 以根据需要进行选用。 最后，n c i d s 将数据挖掘算法应用于入侵检测领域，对审计记录进行各种模式的 分析，使自身具备了规则自动发现的功能。 关键词：入侵检测系统；网络情境：数据挖掘 华中科技大学硕士学位论文 a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) p l a y sav e r yi m p o r t a n tr o l ei nt h ea r c h i t e c t u r eo f t o d a y si n t e r a c ts e c u r i t y b u tt h et e c t m o l o g i e so f i d s p r o d u c ta r ed e f e c t i v e l y f o re x a m p l e ， m i s u s ed e t e c t i o nt e c h n o l o g yh a sh i 【g hf a l s en e g a t i v e s ，a n da n o m a l yd e t e c t i o nt e c h n o l o g y h a sh i g hf a l s ep o s i t i v e s t h e s ef l a w sr e s t r i c tt h ed e v e l o p m e n to fi d s n e t w o r kc o n t e x t b a s e di d s ，n c i d sf o r s h o r t ，e m p l o y san e wd e t e c t i o nt e c h n o l o g yw h i c hi s b a s e do n n e t w o r kc o n t e x tt of e t c hu pt h e s ef l a w s m a n y n e t w o r ki d s ( n i d s ) u s et h el i b p c a pl i b r a r yt oc a p t u r ep a c k e t sf r o mn e t w o r k ， s ot h ep a c k e t sh a v eb e e nc o p i e dm a n yt i m e sb e f o r en i d sc a i lr e a c hi t t h i si si n e f f i c i e n t n c i d sm a p si t su s e rs p a c em e m o r yi n t ok e r n e ls p a c e ，a n ds oi te a r lh a n d l et h ep a c k e t s d i r e c t l y w i t h o u tc o p y i n gi tf r o mk e r n e ls p a c et ou s e rs p a c ea n da v o i d st h e o p e r a t i o n s y s t e m sc h e c k - u p ，w h i c h i sn e e d l e s si ni d s b yd e t e c t i n gt h en e t w o r kt o p o l o g ya n dr e c o r d i n gt h e c o n n e c t i o n ss t a t e ，n c i d s e m u l a t e st h ep a r s i n gp r o c e d u r ei nt h ed e s t i n a t i o nh o s to ft h ep a c k e t a n da f t e rt h i s ，n c i d s u s e si t s c o r r e s p o n d i n gc o n t e x t u a ls i g n a t u r e st o m a t c ht h ed a t ao ft h ep a r s e dp a c k e t b y d o i n gs o ，n c i d sg r e a t l ye d h a n c e s t h ea b i l i t yt or e d u c ef a l s ep o s i t i v e s a l m o s ta l ls i g n a t u r e m a t c h i n gb a s e di d sh a v en oi d e aa b o u th o wt oa d dn e wr u l et o i t sr u l ed a t a b a s eb yt h ei d si t s e l f s ot h e s ei d sc a n td e t e c tn o v e li n t r u s i o n n c i d ss o l v e s t h ep r o b l e m b yu s i n gd a t am i n i n gt e c h n o l o g y t oi n i n er u l ef r o mi t sr e c o r dd a t a b a s e n c i d s h s e sa s s o c i a t i o nr u l e sa l g o f i t h r nt od e t e r m i n et h er e l a t i o n s h i p sb e t w e e nf i e l d si nt h ea u d i t r e c o r d s ，a n dt h ef r e q u e n te p i s o d e st om o d e lt h es e q u e n t i a lp a t t e m s a f t e rt h i s ，n c i d sc a n f m dn e wa t t a c ks i g n a t u r ea n da d di tt ot h er u l ed a t a b a s ei ft h ea d m i n i s t r a t o ra g r e e s o n c i d sc a nk e e di t s e l fs e n s i t i v et on o v e la t t a c k k e y w o r d s ：i n t r u s i o nd e t e c t i o ns y s t e m ；n e t w o r kc o n t e x t ；d a t a m i n i n g i i 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 南易。5 ， 日期：勿口牛年牛月刀日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于， 不保密i d o ( 请在以上方框内打“4 ”) 学位论文作者签名：- 移易蓐 日期：肼年年月加日 艚教师签名豸诒 。 、7 日期：砷年垆月坪曰 华中科技大学硕士学位论文 1 1 研究背景 1 绪论 1 1 1 安全体系结构 当前网络安全市场最理想的安全方案是通过联合部署防火墙、v p n ( v i r t u a lp f i v a t e n e t w o r k ) 和i d s ( i n t r u s i o n d e t e c t i o n s y a e m 入侵检测系统) ：防火墙用于防御，保护内 网；i d s 用于检测突破防火墙的入侵和监视内网的活动；而v p n 用于进行报文的加 解密，保护通讯的安全性。 经过应用证明，这一安全体系是有效的。 1 1 2 防火墙的缺陷 i d s 的广泛应用就是基于这样一个前提：防火墙存在缺陷。防火墙的缺陷主要 在于： ( 1 ) 设计目标有缺陷 在互联网的早期，网络攻击的数量很少，而且攻击所带来的影响也小。i 习此市场 对防火墙的要求十分简单：阻塞少量有问题的网络通讯。随着互联网的迅速发展，上 述的需求变得十分不合适。 ( 2 ) 系统平台依赖性 防火墙运行于特定的操作系统，并需要操作系统的支持。如果操作系统本身就有 缺陷，那么防火墙也就是不安全的。 ( 3 ) 软件设计错误 原因可能是没有完全遵守软件工程的规范进行软件开发；或者设计、开发人员的 能力不足。 1 1 3 当前i d s 面临的主要问曩 从入侵检测的概念被提出以来，入侵检测技术得到的长足的发展。从在工业上广 泛应用的模式匹配技术t 2 至t j 各种各样的i d s 检测技术。作为保护计算机系统及网络中 的重要技术，入侵检测技术是通过合理部署和配置，可以及时发现并报告系统中未授 权或异常现象的技术，是一种用于检测计算机网络中违反安全策略行为的技术。入侵 华中科技大学硕士学位论文 检测系统能够识别出任何不希望有的活动，这种活动可能来自于网络外部和内部。通 常入侵检测引擎要包括数据包捕获、协议分析【3 1 、规则匹配检测、响应处理至管理中 心来实现，随着对高速环境下的安全要求，传统i d s 技术面临一些挑战，主要表现在： ( 1 ) 基于特征匹配的检测方式随着规则增多性能下降【4 ，5 j 目前实际应用的入侵检测系统通常是基于特征逐条进行模式匹配的检测方式，即 通过已知攻击方式预先设定入侵规则，已构建规则特征库。基本流程是捕获数据包， 数据包解析，入侵特征匹配，然而随着数据流量的增大，攻击方式的复杂多样化，不 得不增多入侵规则条目而使系统的处理负荷线性增加，结果是对些攻击行为不能及 时识别做出响应，漏报问题显著。 ( 2 ) 系统软硬件平台的本身处理能力构成瓶颈 国内入侵检测系统大都基于p c 架构，u n i x 平台，从c p u 频率、系统处理能力 都存在瓶颈。而对于入侵检测常常要对相互关联多个报文进行按序处理，无法像防火 墙一样采用并行处理的方式，即需串行处理报文，导致n p 技术应用存在一定困难。 同时i d s 规则库升级、配置变动比较频繁，采用固化到硬件电路a s i c 等方式的硬件 i d s 不够灵活，成本高。 ( 3 ) 传统获取数据包方式耗费资源影响性能 大多数n i d s 是使用通用的包获取库来获取网络上的报文，例如s n o r t 6 1 利用 l i b p c a p 库。l i b p c a p 库几乎是包截获的一个标准了，它从网络上截获数据包，并且已 被广泛地应用于各种与协议解码相关的程序。l i b p c a p 库对于大部分应用来说是很好 的，但是它对于应用到n i d s 这样要求高速地数据获取，它的效率并不能满足需要。 同时传统网卡工作方式依靠从网络上抓包，再从网卡拷贝到上层系统，拷贝过程也要 大量占用c p u 资源，造成了整体性能下降。 1 2 国内外概况 1 2 1 国内概况 国内市场上i d s 厂商已经发展到多家，除了国际著名的i s s 、c i s c o 、s y m a n t e c 在中国牢牢地扎下根基外，国内著名的安全企业也将巨额资金投资用于i d s 产业化研 究上，安氏中国、启明星辰、金诺网安、绿盟科技、冠群金辰等一批国内i d s 厂商的 崛起，将i d s 的应用和服务拉升到一个新的水平。下面对主要厂商的产品作简单介绍。 启明星辰公司的天阗入侵检测系统，分主机版和网络版。主机版天阗是基于主机 2 华中科技大学硕士学位论文 的入侵检测系统，它监视系统的运行状况，监视系统上用户的操作，对用户的活动进 行审计和分析，对系统程序和数据的一致性和正确性进行检查；网络版天阒是基于网 络的入侵检测系统，监视网络的运行状况，分析网络上的可疑行为，对正常及非正常 的活动进行审计和分析，向网络控制台实时报警，并且能根据预先配置的策略自动对 攻击作出反应。 i s s 公司的实时入侵监控( r e a l s e c u r e ) 采用协议分析技术，对三十几种协议进行 了解析。i s s 的可适应性网络安全软件制定了一套安全控制系统，使用户企业可以得 到相关部门对它们网络安全状况的重要反馈。 绿盟科技的抗拒绝服务攻击产品“黑洞”( c o l l a p s e ) 采用高效防护算法和嵌入式 体系结构，能给用户提供一体化的抗拒绝服务攻击解决方案【”。黑洞使用自主研发的 抗拒绝服务攻击算法( “反向探测”和“指纹识别”算法) ，在d o s ( d e n i a lo f s e r v i c e 拒 绝服务) 攻击下，连接维持率和新发起连接可用率可以达到9 0 ，比传统的s y nc o o k i e s 和r a n d o m d r o p 算法效率要高。作为专用的抗d o s 产品，黑洞采用了多重体系结构： 在技术架构中设计了4 个专用引擎，增加了防止连接耗尽( 用正常流量堵塞带宽) ， 以增强对典型“以小吃大”的资源比拚型攻击( 包括大规模的多线程下载) 的防护能力。 1 2 2 国外概况 这几年，入侵检测的产品发展很快，国外比较流行的入侵检测系统( i d s ) 也比较 多。下面对各个技术流派的i d s 代表产品进行介绍。 基于专家系统的i d s 的代表是s r i 公司的i d e s 驯( i n t r u s i o nd e t e c t i o ne x p e r t s y s t e m ) ，该系统包括一个异常检测器和一个专家系统，分别用于异常模型的建立和 基于规则的特征分析检测。i d e s 认为入侵行为明显的区别于正常的活动，入侵者使 用系统的模式不同于正常用户的使用模式，通过监控系统的跟踪记录，可以识别入侵 者异常使用系统的模式，从而检测出入侵者违反系统安全性的情况。i d e s 的进一步 发展导致了n i d e s 即( n e x tg e n e r a t i o ni d e s ) 的产生，n i d e s 系统继承了i d e s 的系统 设计的基础思路，采用了改进的统计分析技术，从而其性能也得到了一定提高。 基于特征分析的i d s 从语义上把入侵特征转化未可以从系统的审计中直接得到 的信息，例如攻击产生额审计日志等。基于特征分析的i d s 的代表是c i s c o 的产品 n e t r a n g e r ，n e t r a n g e r c i s e o 侵入检测系统i d s 包括两个组成部分：n e t r a n g e rs e n s o r ( 传 感器) 与n e t r a n g e rd i r e c t o r ( 控制器) 。n e t r a n g e rs e n s o r 不影响网络性能，它分析各个 数据包的内容和上下文，决定流量是否未经授权。如果一个网络的数据流遇到未经授 华中科技大学硕士学位论文 权的活动，例如s a t a n 攻击、p i n g 攻击或秘密的研究项目代码字，n e t r a n g e r s e n s o r 可以实时检测政策违规，给n e t r a n g e rd i r e c t o r 管理控制台转发告警，并从网络删除 入侵者。 基于状态转换 1 0 - 1 3 1 的i d s 通过将攻击者的入侵行为描述未一系列的特征操作及 其引起的一系列状态转换过程，从而使得目标系统从初始状态转换未攻击者说期望的 危害状态。基于状态转换的i d s 首先是p o r r a s 在1 9 9 2 年提出并实现的s t a t h l 。s t a t 采用“状态转移图”( s t a t e t r a n s i t i o nd i a g r a m ) 来表示一个具体的入侵攻击过程。s t a t 系统在状态转移图和目标系统审计记录的基础上，不断跟踪攻击者在完成整个攻击过 程中所必须完成的每个关键步骤。 近年很多研究机构又将数据挖掘技术用于i d s ，通过对网络或主机的数据进行分 析统计，得出正常行为或异常行为的特征。 将数据挖掘技术用于误用检测的有哥伦比亚大学的j a m ” ( j a v aa g e n tf o r m e t a l e a m i n g ) ，j a m 使用数据挖掘技术去发觉入侵的模式，然后用分类器去学习攻击 的特征。在j a m 中用到几种数据挖掘技术：关联算法用于发现审计数据的属性问的 关系；频繁度算法用于发现审计数据序列模式；经过上述步骤，从审计数据中发现了 攻击的特点和模式；然后使用分类算法从上述数据中发现攻击的特征。 将数据挖掘技术用于异常检测的有g e o r g em a s o n 大学信息安全中心a d a m ( a u d i td a t aa n a l y s i sa n dm i n i n g ) ，a d a m 坻17 】系统也使用了关联技术和分类技术，但 是和j a m 系统不同的是a d a m 从系统没有入侵时的数据中挖掘出正常行为库，这样 a d a m 在比较时，过滤掉正常的行为，对不是正常行为的数据，使用训练过的分类器 进行分类，以确认是一个攻击或者仅仅是误报。 1 3 主要研究内容 本文将对入侵检测系统进行深入的研究。针对当前n i d s 的主要问题，提出一种 基于上下文情境特征的入侵检测模型，设计并实现基于网络连接情境的入侵检测系统 ( n c i d s ) 的原型，最后对系统原型进行性能分析。具体地说，本课题主要进行以下几 个方面的工作： ( 1 ) 分析目前的入侵检测技术及其缺陷。提出一种新的基于情境匹配入侵检测 模型。 ( 2 ) 分析数据挖掘算法在i d s 领域的应用，并由此设计了i d s 的规则自发现模块。 4 华中科技大学硕士学位论文 ( 3 ) 详细设计n c i d s 的各模块的内部结构以及工作流程，并在l i n u x 2 4 系统上 对n c i d s 进行实现。 ( 4 ) 对n c i d s 原型进行性能测试，与目前已有的n i d s 商业产品的性能进行比 较，并对测试数据进行分析和评价。 ( 5 ) 结合防火墙、v p n 进行分析，给出实际应用中n c i d s 对网络安全的加强点。 华中科技大学硕士学位论文 2 入侵检测技术 入侵的检测实际上是一种信息识别与检测技术。因此，传统的信息识别技术也可 以用到入侵检测中来。不过，和通常的信息识别和检测相比，入侵检测有其独特之处。 在入侵检测中，不但信息的先后次序十分重要，信息产生的时间也要作为一个重要的 变量输入到识别系统之中，如d o s 攻击，完全是依靠短时间内大量网络活动来耗尽系 统资源的。此外，入侵检测比一般的信息识别有更强的上下文和环境相关性，不同环 境下，有完全不同的结果。这两点是实现网络入侵检测所必需的。 入侵分析是入侵检测的核心，入侵检测技术主要研究的就是对入侵行为分析和判 定，即入侵分析技术。 2 1 异常检测技术 异常入侵检测模型的基本思想是以数据为中心将入侵检测视作数据分析的过程， 即从审计数据中寻找异常数据。异常入侵检测系统是建立在如下假设的基础上的，即 任何一种入侵行为都能由于其偏离正常或者所期望的系统和用户的活动规律而被检 测出来。描述正常或者合法活动的模型是从对过去通过各种渠道收集到的大量历史活 动资料的分析中得出来的。入侵检测系统将它与当前的活动情况进行对比，任何不符 合以往活动规律的行为都被视为入侵行为。 异常检测技术的优点在于它能够发现任何企图发掘、试探系统最新的未知漏洞的 行为，同时在某种程度上，异常检测技术较少依赖于特定的操作系统环境。另外，对 于合法用户超越其权限的违法行为的检测能力大大加强。 异常入侵检测采用诸如概率统计、神经网络、机器学习【1 8 l 、数据挖掘1 9 1 等技术建 立正常数据的模式。 2 1 1 基于统计分析的检测技术 基于统计方法的入侵检测技术，就是入侵分析采用基于统计的检测规则的方法的 一种检测技术。它基于对用户历史行为的建模，以及先验的证据或模型的基础，实时 地检测用户对系统的使用情况，根据系统内部保存的用户行为的概率统计模型进行检 测，实时检测系统是否有异常的用户行为，依此来判断系统是否遭到入侵。 基于统计的异常检测方法在检测盗用者和外部入侵者时都有非常好的效果，但是 6 华中科技大学硕士学位论文 也存在以下一些缺点1 2 u j ： ( 1 ) 未考虑事件的发生顺序，因此对利用事件顺序关系的攻击难以检测； ( 2 ) 当攻击者意识到被监控后，可能会利用统计轮廓的动态自适应性，通过缓 慢改变其行为，来训练正常特征轮廓，最终使检测系统将其异常活动判为正常； ( 3 ) 难以确定评判正常和异常的闽值，闽值太低或太高易出现误报或漏报。 2 1 2 基于神经网络的检测技术 由于用户行为的复杂性，要想准确地把当前的用户行为和用户行为概率统计模型 进行匹配是相当困难的。错发的警报往往来自于对统计数据的统计算法所基于的不准 确的假设。因此人们利用和发展神经网络技术来进行入侵检测。神经网络较好地解决 了传统的基于统计的分析方法所面临的以下几个难题。人工神经网络具有自学习自适 应能力，用代表正常用户行为的样本点来训练神经网络，通过反复多次学习，神经网 络能从数据中提取正常的用户或系统活动的模式，并编码到网络结构中，检测时，将 审计数据通过学习好的神经网络，即可判定用户的行为是否正常【2 ”。 1 9 9 2 年，d e b a r 等使用再生的神经网络来学习审计数据中的时间序列1 2 “。再生神 经网络部分输出被反馈作为下一部分的输入，这在神经网络内部产生了对过去的记 忆。自从基于系统调用的入侵检测方法提出后，g h o s h 【2 3 】等人利用神经网络来学习程 序运行轨迹中的局部模式，这种方法比以前的方法更精确，更简洁。为了提高神经网 络的灵活性、准确性和协同检测的能力，李之棠，李家春将模糊技术与神经网络结合， 提出了一种新的入侵检测模型：神经模糊入侵检测系统( t 旺r o s ) 2 4 o 2 1 3 基于模型推理的入侵检测技术 入侵者在入侵一个系统时往往具用一定的行为程序，如猜测口令的程序，这种行 为程序构成了某种具有一定行为特征的入侵行为模型。根据这种模型所代表的入侵意 图的行为特征，可以实时地检测出恶意的入侵企图( 尽管入侵并不定都是恶意的) 。 用基于模型推理的方法人们能够为某些行为建立特定的模型，从而能够检测具有特定 行为的某些入侵活动。根据假设的入侵脚本，这种系统就能检测出非法的用户行为。 一般为了准确判断，要为不同的入侵者和不同的系统建立特定的入侵脚本。 上述的几种方法都有各自的优缺点，并不能彻底地解决入侵检测问题，所以最好 是综合地利用各种方法强化网络系统的安全程度以增加入侵成功的难度，同时根据系 统本身特点辅助以较适合的入侵检测技术。 华中科技大学硕士学位论文 2 2 滥用检测技术 滥用入侵检测的关键【”j 就是如何表示各种针对具体系统缺陷的入侵的模式，并对 实际用户或系统进行模式匹配，以检测是否是入侵。在滥用检测技术中，主要采用专 家系统、签名分析、状态转移分析、着色p e t r i 网匹配和语言描述及模式匹配等方法 表示和检测入侵。文献1 2 6 提出通过判别某特权进程是否与对特权进程的正常系统调用 过程的精确定义相符合的方法检测入侵。 2 2 1 专家系统技术 基于专家系统的入侵检测技术，就是根据网络安全专家对可疑行为的分析经验而 形成一套推理规则，然后在此基础之上构建入侵检测专家系统，由此专家系统自动进 行对所涉及的入侵行为进行分析工作。 专家系统对历史数据的依赖性总的来说比基于统计的检测系统较少，因此系统的 适应性比较强，可以较灵活地适应不同的安全策略和检测需求。采用这一方法的i d s 有s r i 的n i d e s 2 8 】。 基于专家系统的方法有下列局限性： ( 1 ) 很难提取攻击的知识，用审计作为输入时更难将规则翻译成产生式规则。 有时需要的信息不能从审计中得到，而且同一个漏洞可以有多种不同的攻击方法，这 导致需要许多规则； ( 2 ) 处理速度较慢，因为专家系统是通用的系统，很难做到实时检测。 2 2 2 签名分析技术 入侵的语义描述转换为直接能在审计文件中找得到的信息【2 9 ”，即签名。例如， 入侵可转换为入侵产生的审计事件序列，或能在系统生成的审计中找到数据的模式。 这种方法降低了入侵描述的语义层次。 采用这种技术实现的系统效率很高，在许多商业系统中得到了应用。其主要的缺 点是需要不断更新签名以跟上不断出现的新攻击。为了表示入侵的各种可能的变种， 这将导致大量的签名。 2 2 3 协议分析技术 从二十世纪九十年代初期开始，入侵检测技术已经在全球范围内广泛应用。但直 到今天，绝大多数i d s 产品的核心技术并没有获得明显进展，还停留在基本的数据包 捕获加非智能模式匹配和特征搜索技术来探测攻击。 8 华中科技大学硕士学位论文 2 2 3 1 模式匹配技术特点 从网络中读取一个数据包后，模式匹配技术大致按照下面方式进行攻击检测。首 先，从数据包的第一个字节开始提取与特征库中第一个攻击特征串等长的一组字节与 第一个攻击特征串比对，如果两组字节相同，则视为检测到一次攻击；如果两组字节 不同，则从数据包的第二个字节开始提取与攻击特征串等长的一组字节与攻击特征串 比对。接着，比对过程重复进行，每次后移一个字节直到数据包的每个字节都比对完 毕。最后，将数据包与特征库中下一个攻击特征串进行匹配。 特征模式匹配技术有两个最根本的缺陷【2 7 j ： ( 1 ) 计算量大 持续该运算法则所需的计算量极其巨大，对于满负载的1 0 0 m b 以太网，需要的 计算量将是：攻击特征字节数数据包字节数每秒的数据包数数据库的攻击特征 数。当运算能力不能满足时，i d s 系统就会忽略一些数据包。这就解释了在全负载的 百兆网络环境中，传统的i d s 即使运行在高性能的服务器上也会漏掉2 0 6 0 的数 据包的原因。 ( 2 ) 探测准确性低 模式匹配特征搜索技术使用固定的特征模式来探测攻击，只能探测出明确的、唯 一的攻击特征。即便是基于最轻微变换的攻击串都会被忽略。 2 2 3 2 协议分析技术特点 协议分析是新一代i d s 探测攻击的主要技术，它利用网络协议的高度规则性快速 探测攻击的存在，具有检测速度快、准确、资源消耗少等特点。协议分析技术的优势 在于：降低误报率；高性能；基于状态的分析；反规避能力大大增强；系统资源开 销小。 协议分析的高效性降低了系统资源在网络和主机探测中的资源开销，而模式匹配 技术却会大量地消耗系统资源。 2 2 4 状态转移技术 状态转移是使用状态转移表表示和检测入侵的滥用检测方法，入侵是从初始状态 转移到系统受入侵状态的活动序列，每次转移都是由一个断言确定的状态，经过某个 事件触发，转移到下个状态。这种表示方法类似于有限状态机，因此它具有形象的优 点。它选取了一个合适的抽象层来描述入侵，既高于系统调用和用户命令，又低于白 9 华中科技大学硕士学位论文 然语言描述。用户命令和系统调用序列并不代表入侵成功的关键序列，也不代表入侵 成功的最低要求。自然语言描述则过于模糊不清。 2 3 本章小结 本章对目前可见的各种入侵检渊技术进行了全面的调查分析，对各种滥用检测技 术以及异常检测技术进行了深入的分析，给出了各种技术的优缺点。 通过对各种滥用检测技术以及异常检测技术的分析，可以得出以下结论，目前并 没有一种理想的检测技术。在深入研究各种检测技术的基础上，我们提出了一种基于 网络情境的入侵检测模型，该模型可以提高系统效率，降低i d s 地漏报率。 1 0 华中科技大学硕士学位论文 3 n c i d s 原型设计 在对当前的入侵检测技术和产品进行了深入的调查研究之后，结合当前安全市场 上的实际需求，针对目前i d s 产品的设计和性能的不足之处，我们设计了一个基于网 络的n i d s 原型。 3 1 设计目标 通过对当前的市场需求的深入调研，我们认为一个n i d s 产品应该有如下特性： ( 1 ) 独立的硬件产品。 ( 2 ) 处理速度快，可以适应高速网络。 当今网络技术日新月异，从百兆网到千兆网，速度不断攀升，一个现代的i d s 必 须能够提升自身性能，适应新的需求。 ( 3 ) 智能化。 当今情况下，各种系统弱点被不断的发现，黑客攻击手法不断更新，一个好的i d s 系统必须能够发现各种新的异常之处，进行自我学习，并做出相应的判断。 ( 4 ) 完善的日志及报警系统。 必须能够对各种攻击和各种网络事件进行详细的记录，同时提供良好的易于 阅读的输出。入侵检测系统的输出结果系统的必要特征是实时性和多样性，前者 指能够在检测到入侵行为的同时及时记录和报警，后者是指能够根据需求选择多 种方式进行记录和报警。一个好的n i d s ，更应该提供友好的输出界面或发声报警 等等。 ( 5 ) 能够检测并防御常见的且危害性强的所有攻击。 例如：各种d o s d d o s 攻击及其变种，例如t c p u d p f i c m pf l o o d ；各种扫描； 各种非法入侵，例如p i n go f d e a t h 、l a n d 和t e a r d r o p 。 ( 6 ) 良好的扩展性 应该很容易进行规则库的扩展并保持规则匹配的高效性能。 ( 7 ) 强大的规则设置语言 对于一个基于规则和策略的i d s 来说，能否以一种完善而又功能强大的规则语言 来对攻击进行描述，将会是成败的关键。 华中科技大学硕士学位论文 3 2 结构设计 根据n c i d s 的设计目标，以及对当前i d s 市场的调查研究，我们设计了n c i d s 的总体结构。n c i d s 由中央控制器和探测器两部分构成。其中中央控制器可以对各个 探测器进行控制，并负责进行完整可靠的规则挖掘工作；而探测器负责具体的网络监 听、入侵检测、拓扑探测工作，也可以进行简单的规则挖掘。 n c i d s 的中央控制器的结构如图3 1 所示： 图3 1n c i d s 中央控制器结构 n c i d s 探测器的系统结构，如图3 2 所示。 圈3 2n c i d s 探测器结构 1 2 华中科技大学硕士学位论文 n c i d s 探测器主要由报文截获模块、检测引擎模块、网络情境探测模块、用户策 略模块、规则挖掘模块这六个模块组成，各模块间通过网络情境数据库、入侵与日志 数据库、用户策略库、规则知识库来进行信息交流和协同工作。 3 3n c i d s 中央控制器模块设计 控制系统模块的主要工作是进行各探测器的控制、数据收集、规则挖掘等工作。 3 3 1 7 管理通讯模块 管理通讯模块负责与各探测器之间的通讯工作，其各个子模块之间关系如图3 3 所示： 图3 3 管理通讯模块结构 身份人证模块用于在探测器和控制系统之间进行身份认证，并进行校验密钥的协 商；数据校验模块负责对通讯的数据进行校验，以保证交流数据的完整性；数据解释 负责对经过验证的数据进行解释，如对命令数据和统计数据将进行不同的处理。 3 3 2 用户界面控制模块 用户界面模块主要是给用户提供一个人机交互的图形界面。主要功能是提供用户 配置接口、提供统计数据的图形化显示、对规则的显示、对功能系统的控制。 3 3 3 规则挖掘模块 在n c d s 中央控制器处的规则挖掘模块和探测器处的规则挖掘模块有一些不同， 探测器处的规则挖掘模块只对本机的数据进行分析，采用的算法也比较单一，而中央 控制器处的规则挖掘模块要对从很多个探测器处收集来的数据进行分析，并且，采用 的算法也有一种变为多种，对采集来的数据进行反复的分析，以尽可能的发信异常之 华中科技大学硕士学位论文 处，进而发现攻击。 图3 4 控制器规则挖掘模块结构 由图3 4 ，可见在中央控制器处规则挖掘模块首先对收集的数据进行分析综合， 然后分别使用聚类分析、关联分析、序列分析、分类分析等挖掘方法对数据进行分析 处理，然后再进行规则产生工作。 3 4 n c i d s 探测器模块设计 3 4 1 报文截获模块 报文截获模块是n c i d s 对数据报文进行处理的第一个模块。当前相当多的i d s 使用了u n i x 环境下报文截获库l i b p e a p ，通过对l i b p e a p 的深入分析及测试，我们认 为l i b p e a p 无法满足高速网络环境下n i d s 的要求。 根据i d s 的特点对网络完全透明，因此，在网络的协议栈中进行各种检查、 路由、拷贝等操作完全是没有必要的，会耗费大量的c p u 时间，导致整个系统的效 率下降。在对l i n u x 网络协议栈及网卡驱动程序进行深入研究的基础上，我们设计了 用户级的报文传输接口t p c a p l i b 。 t p e a p l i b 把报文从链路层直接写到用户层，避免了操作系统的协议栈操作，在用 户层负责对报文进行分析、过滤等操作。用户仍然可以设置动态规则库对报文进行过 滤，对匹配的报文按照动态规则定义的处理方式进行处理。n c i d s 只对网络入侵进行 检测，在发现入侵后进行报警，并不进行防御，报文截获模块只进行完全被动的报文 截获工作，而不进行连接截断等动作。 报文截获模块的整体架构如图3 5 所示： 1 4 华中科技大学硕士学位论文 图3 5 t r l c a p l i b 结构 图3 4 中t p c a p l i b 提供了一个类似与l i b p e a p 的应用层接口，功i d s 进行报文截 获的设置；内核管理模块负责用户空间的虚拟地址到物理地址的转换和缓冲池管理； 改进的网卡驱动主要是负责通过d m a 进行异步通讯的工作。 3 4 2 网络情境探测模块 在入侵检测中引入协议分析后，极大的提高的检测的效率，为了更迸一步的减少 误报，提高n i d s 的准确率，我们需要准确的模拟报文在目标主机上的解析过程，这 涉及到目标主机的信息收集问题。目前的大多数基于协议分析的n i d s 并没有考虑到 网络情境的问题，因而还是很容易被绕过或者形成误报。 网络情境探测模块的设计目标： ( 1 ) 良好的性能。使用情境探测一方面不能降低n c i d s 的性能，另一方面不能 过多的增加n c i d s 的内存消耗。 ( 2 ) 应该是轻量级的探测。探测既不能影响正常的网络也不应该影响探测主机 的工作。探测应该在一定的时间内完成。 ( 3 ) 避免影响探测的主机。不能因为发送探测报文影响被探测的主机的工作， 更不能由于探测报文引发被探测主机的漏洞。 ( 4 ) 可以选择是否进行探测。也就是说，在没有探测模块的情况下，n c i d s 仍 然能够根据规则里的知识进行检测。 网络情境应该包含以下几个方面的主机内容：i p 地址，跳数，操作系统，系统版 本，打开的服务端口。在网络中接入n c i d s 后，根据用户配置，n c i d s 将决定如何、 何时向网络中发送报文对网络情境进行探测。缺省情况下，n c i d s 将会通过系统的a r p 表进行学习，然后根据记录的p 进行情境信息探测，从而得出本局域网的基本信息。 华中科技大学硕士学位论文 在有d h c p 的情况下，由于我们是根据m a c 地址进行映射，所以使用d h c p 对 我们的系统并没有多大的影响。如果能够对d h c p 服务器进行设置，让d h c p 服务器 通知n c i d s 也可以解决这个问题。 如果在n c i d s 和检测网络间存在有n a t ，因为n c i d s 无法到达被探测的子网， 将会使我们的探测变得非常困难，我们只能根据经过n a t 后的一些报文里的数据特 征进行猜测。另一方面，这种情况下，外部网络无法透过n a t 访问内网，对内网进 行攻击的可能性非常小。 情境探测模块的结构如图3 6 所示： 图3 6 情境探测模块结构 3 4 3 检测引擎模块 3 4 3 1 报文预处理子模块 报文预处理模块主要是进行截获报文的一些预处理的操作，以便于后续模块的进 一步分析处理。在n c i d s 中，预处理模块的主要功能是i p 碎片检测、数据包分片重 组、数据流重组以及协议解码工作。 对于u d p 而言，攻击者可以通过将攻击特征分散到各个分片中，以降低被检测 系统检测到的概率，同时，一些经过精心构造的分片报文会导致某些系统的崩溃。另 外，对于t c p 而言，也会出现攻击者利用数据流分段进行逃避检测的技术操作。所以， 检测系统必须能够对分片报文进行重组，以发现分散的攻击信息，同时这样也可以提 供更完整的会话状态信息。 由于在我们的结构图中，下一个模块是协议分析模块，所以报文预处理模块还要 对协议进行解码工作，以找出协议分析模块中相映得处理函数，并调用其进行协议的 分析工作。 1 6 裂 豳 翻 一|ji；1j瓮r_0 一 一文一 一文一 一 一 丽一 一报一 一r 举 华中科技大学硕士学位论文 3 4 3 2 协议分析子模块 协议分析技术不再是简单针对每个报文进行规则遍历匹配，这在基于规则匹配的 1 d s 上是一个飞跃。然而，它同时也对i d s 产品本身提出了更高的要求，即要求产品 能够模拟数据报文在目标主机上的解析过程。 协议分析模块是n c i d s 的检测引擎的核心模块。n c l d s 中的协议分析是建立在 对网络情境信息进行分析的基础之上的。图3 7 是对n c i d s 协议分析模块的具体框架 描述： 图3 7 协议分析模块结构 报文在经过n c i d s 的预处理模块处理之后，进入协议分析模块，协议分析模块 根据预处理模块产生的数据，调用相应的处理函数进行协议分析，并结合规则库进行 特征匹配，如果匹配到特征库中的攻击，就产生相应的事件并将此事件送入用户策略 模块进行处理。 协议分析模块的划分是根据网络分层的体系结构来进行的，如网络体系的网络 层、传输层、应用层，分析模块与之相对应的分别为i p 层处理模块、t c p 处理模块、 u d p 处理模块、i c m p 处理模块、应用层处理模块( 包含h t l p 、i k e 、f t p 、t e l n e t 等协议) 。各个模块先进行相应协议的报文的校验，然后调用规则匹配函数进行攻击 检测。 3 4 3 3 规则匹配子模块 一个高效的规则匹配方式首先应该保证规则的查找的高效性，而规则查找的高效 1 7 华中科技大学硕士学位论文 性在于规则的组织方式。针对入侵检测的规则，一种最简单的组织方式是对所有的规 则按照源地址和目的地址来把所有的规则串成一个链表。然而在实践中证明这种组织 方式是十分低效的，在高速网络中的应用会引起大量的丢包，从而导致漏检。 在引入了协议分析方法后，对数据报文的内容有了进一步的分析，在此基础上， 我们可以对规则库进行分类，通过对规则库的优化，可以将规则库分为很多个规则集， 每次只对符合要求的规则集进行规则匹配，这样，可以大幅度降低规则匹配的次数， 提高效率。同时，通过引入高效的并行匹配算法，同时对多个规则进行匹配，将会使 i d s 的匹配效率上一个台阶。 当n c i d s 运行时，规则匹配模块为每个数据包选择一个规则集。规则集的选择 依赖于收到的数据包的一些参数和规则集中参数的匹配结果。这样，规则匹配模块只 选择那些能匹配该数据包的规则并且只过滤多模式匹配算法需要处理的规则。此后多 模式匹配算法可以进一步通过基于规则集的检测方法检测内容。对于一些异常数据 包，有可能会选择两个规则集，这种情况称为“独立冲突”。对于冲突的数据报文将 会对所匹配到的所有规则集进行报文内容匹配。 在规则匹配中，查找规则集仅仅需要进行相应属性的数字比较，很显然，最耗时 的是特征内容的匹配。所以，字符特征匹配算法的选择将会直接影响到n c i d s 的执 行效率。 经过对各种匹配算法的研究，在n c i