（计算机软件与理论专业论文）基于时间序列的入侵检测模型研究.pdf

引n j 北人。= 坝”宄生学f 立l 企文鹱时间h 州的入侵抢测憾型f f ，f _ 究 摘硬 入疆捡测鼓末蘸避捡测叠嘲蘸秘、计算辊爱潍缒完整性、保密 莹羲 喜效 熏的技术。入侵捡 测技术已经有2 0 多年的发展历史，在d o r o t h yd e n n i n g 提出的通用模型的基础上，人们已 经：辫诸如自治代理、数据挖捻、专家系统和模型罐理等知t 冀应镉到a 侵捡溯领域，使得入侵 检测的技术得到了迅速的发展，但是现存的入侵检测模型存在诸多缺陷。 本文在分析比较现有入侵检测技术，如基予统计方法学，数据挖掘，自治代理的舜常检 测技术，基于专家系统鞫模型撵理的误嬲检测技术等的基础上，针对这些技术都没有对不同 攻击事件之闻的联系进行分析等问题，本文提出一种新的基于时间序列的入侵检测模型，该 模囊麸攻击谨熬攻圭廖翘对被攻击系绞辑透或懿澎响为羲鞭点，缛如被攻击轰统辑熟状态包 含难常状态、危险状态、入侵发生状态、和更新建立模型状态，此模型可以很好地解决攻 击痔鳓中不黼的攻击零件之阕的联系没有进行分耩，以及先前的模登不其备鞭溅将来状态， 不能预防等问题。 本文对此时间序捌模型用p e t r in e t 进行建横，对所建模型进行可达懂、复杂魔等性质 的定性定量的分析，菇旦使用c + + b u j i d e r 6 。o 对模型的可达性性质进行了编码实现和性能分 析。随后利用随机p e t r in e t 和连续时问的马尔可夫链同构的性质，应用所获得的同构马尔 可夫涟对隶爨稳定数悫概率豁子系统匏平均延黠对阕帮蠢继状态转移橇率迭行了详缨的计 算。从而为入侵捡测疆统的设计提供理论根据。 最后，希l 蘑受费公开源霞鹚s n o r t 静援弱静罐耱窥保持不变寒对嚣建模翟勰洼裁进行评 估，并且得出以下结论：当系统达到危险状态时，发生入侵的可能性很大，这时必须使用非 常严格的入馁检 耍 繁晦。 关键词：入侵检测，时问序删，随杌p e t r i 网，马尔可夫链 鞋于h f 序列的入埕岭删模型州宄 h b s t r a c t i n t r u s i o nd e t e c t i o nt e c h n o l e g yi sak i n do ft e c h n o o g yw h i c hd e t e c t st h ea t t e m p t t od e s t r o yt h ec o m p u t e rr e s o u r c e s i n t e g r i t y ，s e c r e c ya n da v a i l a b i l i t y i n t r u s i o n d e t e c t i o nt e c h n o l o g y ，b a s e do nt h eg e n e r a li n t r u s i o nd e t e c t i o nm o d e lp r e s e n t e db y d o r o t h yd e n n i n g ，h a sb e e nal o n gd e v e l o p m e n th i s t o r yf o rt w e n t yy e a r s p e o p l eh a s a p p il e da u t o n o m o u sa g e n t s ，d a t am i n e ，e x p e r ts y s t e ma n dm o d e lr e a s o n i n gt ot h e i n t r u s i o nd e t e c t i o nf i e l d ，a n dt h en e wk n o w l e d g em a k e st h ei n t r u s i o nd e t e c t i o n t e c h n o l o g yd e v e l o pa tar a p i dr a t e b u tt h ec u r r e n ti n t r u s i o nd e t e c t i o nm o d e l sh a v e l o t so fd i s a d v a n t a g e s i nt h i st h e s i s ，w e ，b a s e do na n a l y z i n ga n dc o m p a r i n gt h ec u r r e n ti n t r u s i o n d e t e c t i o nt e c h n o l o g y ，s u c ha sa n o m a l yd e t e c t i o nt e c h n o l o g yb a s e do as t a t i s t i c s m e t h o d o l o g y ，d a t am i n eo ra u t o n o m o u sa g e n t s ，m i s u s ed e t e c t i o nt e c h n o l o g yb a s e do n e x p e r ts y s t e m o rm o d e lr e a s o n i n g ，i n d i c a t et h a tt h er e l a t i o na m o n gt h ea t t a c ke v e n t s d o n tb e e nr e s o l v e di nt h e s em o d e l s w ep r e s e n tan e wi n t r u s i o nd e t e c t i o nm o d e lb a s e d o nt i m e ds e q u e n c e t h e r ea r en o r m a ls t a t e ，d a n g e rs t a t e ，a t t a c k i n gs t a t ea n d u p d a t e c r e a tm o d e ls t a t ei nt h ea t t a c k e ds y s t e m ，w i t hav i e wt ot h ei n f l u e n c eo f a t t a c k e r sa t t a c k i n gs e q u e n c eo nt h ea t t a c k e ds y s t e m t h en e wm o d e lc a nr e s o l v et h e u n r e s o v e dp r o b l e ms u c ha st h er e l a t i o na m o n gt h ea t t a c ke v e n t s ，t h em o d e l f o r e c a s t i n ga n dt h em o d e ip r e v e n t i n g ， w eu s ep e t r in e tt om o d e lt h en e wi n t r u s i o nd e t e c t i o nm o d e l ，a n dw em a k et h e q u a l i t a t i v ea n dq u a n t i t a t i v ea n a l y s i so fr e a c h a b i l i t ya n dc o m p l i c a t i o nd e g r e e ， a n dt h e nw eu s ec + + b u i i d e r6 0t of u l f i l lt h em o d e l sr e a c h a b i l i t yp r o p e r t ya n d p e r f o r m a n c ea n a l y s i s ，s u b s e q u e n t l yw em a k eu s eo ft h ei s o m o r p h i s mp r o p e r t yb e t w e e n t h eb e h a v i o ro fp e t r in e t sw i t he x p o n e n t i a l l yd is t r i b u t e dt r a n s i t i o nr a t e sa n d i a r k o v p r o c e s st oa c q u i r em a r k o vc h a i n ，a n dc o m p u t e t h es u b s y s t e m sx i e a nt i m et o d e a ya n dt r a n s f e rp r o b a b i l i t yo fs u b s e q u e n c i a ls t a t e w h i c hp r e s e n tt h et h e o r e c ic a l e v i d e n t ef o rin t r u s i o nd e t e c t i o ns y s ：e m sd e s i g n f in a l l y w eu t i l i z ea d d i n ga n dk e e p i n gs n o r t s ( ak i n do ff r e ea n d ( ) p e ns o u n d i i 海9 巾越人学坝【宄生学位论文 硅于时间序州的八埕愉测模型川宄 c o d e ) h 】1 e st oe v a l u a t et h ei n t r u s i o nd e t e c t i o nm o d e l sp e r f o r m a n c e ，a n dw er e a c h ac o n e l u s i o n ：w h e nt h es y s t e m ss t a t eisd a n g e rs t a t e ，t h e r ei sag r e a tp r o b a b i l i t y o fa t t a c k i n ga n dt h e nw em u s a d o p tt h es t r i c ti n t r a s i o nd e t e c t i o ns t r a t e g y k e y w o r d s ：i n t r u s i o nd e t e c t i o n ，t i m e ds e q u e n c e ，s t o c h a s t i cp e t r in e t ，n a r k e vc h a i n i i i 垠十时间序列的入侵检测模型研究 第一章绪论 1 1 论文研究的背景 随着信息网络化的发展，信息安全的概念和实践不断深化、延拓。从二战后军方、政府 专享的通信保密，发展到2 0 世纪7 0 年代的数据保护、9 0 年代的信息安全直至当今信息保 障，安全的概念已经不局限于信息的保护，人们需要的是对整个信息系统保护和防御，包括 对信息的保护、监测、反应和恢复能力等。当前流行的安全产品很多，如防火墙、虚拟专 用网、扫描器等。其中大家最为熟悉的是防火墙，但是防火墙具有缺点：( 1 ) 不能防范内部 攻击，配置复杂。( 2 ) 安全控制主要基于i p 地址，不能对内容进行过滤。 因此引出了入侵检测这一技术，入侵检测系统就是检测企图破坏计算机资源的完整性、 真实性和可用性的软件。现在的入侵检测系统，如基于统计方法学、数据挖掘、自治代理的 异常检测技术和基于专家系统、模型推理的误用检测技术等，优点一般集中在研究检测的正 确性、可扩展性、效率等方面，但是它们只能孤立的检测出其中每一个攻击事件，对于攻击 序列中不同的攻击事件之间的联系没有进行分析，考虑到网络入侵是由和时间相关的一系列 动作组成的( 如：端口扫描、收集开放服务信息、判定操作系统类型、获得一般用户权限、 升级为超级用户等) ，因此本文提出一种基于时间序列的入侵检测系统模型。 1 2 入侵检测模型研究的意义 入侵检测从最初实验室里的研究课题到目前的商业产品，已经具有2 0 多年的发展历史， 最早的入侵检测模型由d o r o t h yd e n n i n g 于1 9 8 6 年提出，在这个模型的基础上，现在人们 已经研究出很多新的入侵检测的模型，而且将诸如自治代理、数据挖掘技术”1 、基于专家系 统和模型推理等知识应用到入侵检测领域，使得入侵检测的技术得到了长足的发展，但是现 存的入侵检测模型只能孤立地进行检测，存在以下缺陷： ( 1 ) 只能孤立的检测出其中每一个攻击事件。 ( 2 ) 对于攻击序列中不同的攻击事件之间的联系没有进行分析。 ( 3 ) 对网络入侵只能检测，不能预防，而且也只能在事后才能进行分析，不能提前预警， 电不能根据当前的状态预测：海来的状态，从而采取一定的防范措施，做到防患于未然。 因此针对上述的问题，本文在上述分析比较现有入侵检测技术的基础上提出一种新的 基丁日_ j 间序列的入侵检测模型此模刊可以很好的解决攻击序列中不同的攻击事件之间的联 系没有进行分忻，以及先前的模，p 不具备预测将来状态，不能预防的问题，而且本文对此模 基十时间序列的入侵榆测模型叭允 ，社进行数学证明从而为入侵榆测系统的设汁提供理论根据。 1 3 论文工作 论文的t 作主要有以下四个部分，具体如下： 1 、对入侵检测的通用模型、基于异常的入侵检测模型和基于误用的入侵检测模型进行 分析比较其模型特点、定义以及优缺点。 2 、将时间序列的概念应用的入侵检测中，解决攻击序列中不同的攻击事件之间的联系 没有进行分析，以及先前的模型不具备预测将来状态，不能预防的问题。 3 、进行编码工作。对经p e t r in e t 建模的系统，利用马尔可夫的特性进行性质分析， 给出建模的理论依据。在这其中，对经p e t r in e t 建模的系统的可达性进行编码实现。 4 、测试与评价。对p e t r in e t 建模的系统用免费公开源代码程序s n o r t 进行添加规则 前后的性能分析，并给出比较结果。 论文的安排大致与上面的工作情况一致，分为五章，各章节安排如下： 第一章绪论。介绍了入侵检测的研究背景和意义以及本论文的结构安排等。 第二章入侵检测的基本概念。介绍了入侵、入侵检测的概念，分类及通用模型，并且 对基于异常和基于误用的入侵检测模型进行了分析比较。 第三章基于时间序列的入侵检测系统模型。本章对p e t r in e t 、马尔可夫的概念和性 质进行了阐述随后在给出系统的一个s p n 模型之后，对模型的相关性质进行了证明，并且 构造了与该s p n 同构的马尔可夫链。 第四章实验结果与评价。对给出的系统模型进行增加规则前后的入侵检测效果的实验 对比，并给出分析图表。 第五章总结和展望。对本文的主要工作进行了总结，并且对入侵检测技术的未来进行 了展望。 海帅范人学删l ：t o f j t f l t 学位论殳 j i i i ；r 时间序列的入侵伶删模型究 第二章入侵检测的基本概念 本章对入侵检测的定义和分类进行了说明，并且对通用入侵检测模型、基于异常入侵检 测模型和基于误用的入侵检测模型进行了分析比较。 2 1 入侵的基本概念 入侵，一般指入侵行为。入侵者分外部入侵者和内部入侵者。外部入侵者指系统中的非 法用户。内部入侵者指越权使用系统资源的合法用户。入侵者攻击系统的行为称为入侵行为， 主要是指系统资源的非授权使用。 2 2 入侵检测的基本概念 2 2 1 入侵检测的定义 入侵检测技术是对计算机网络或计算机系统中若干关键点的信息进行收集和分析，从中 检测到网络或系统中可能存在的各种非法攻击、恶意破坏、错误操作等违反安全策略的行为 或迹象，并对此做出有效的防范和防卫行为。 2 2 2 入侵检测的分类 根据着眼点的不同，对入侵检测技术的分类方法很多，下面主要针对按照数据来源和检 测方法的不同来进行介绍。 2 2 2 1 数据来源 按照数据来源的不同，可以将入侵检测系统分为两类： 1 基于主机：其输入数据来源于系统的审计日志，一般只能检测该主机上发生的入侵，它 们根据目标系统的审计记录工作。“。能否及时采集到审计是这些系统关键之一，从而使有 的入侵者会将主机审计子系统作为攻击目标以避开入侵检测系统。系统获取数据的依据是系 统运行所在的主机，保护的目标也是系统运行所在的主机。 这种检测方法首先要求系统根据配置信息中设定的需要审计事件，这些事件一旦发生， 系统就将具体参数记录在日志文件中。检测系统则根据一定的算法对日志文件中的审计数据 进行分析，最后得出结果报告。 缺点是依赖于主机及其审计子系统，实时性较差。 2 基于网络：其输入数据来源于网络上传输的数据包，保护的目标是网络的运行，它能够 检测该网段上发生的网络入侵“。一般基于网络的入侵检测系统通过：睁网卡设置为混杂模式 3 来捕获司一子网上二的数据包”。与主机系统相比较而言，这类系统对入侵者是透明的，入侵 者本身4 ：知道有入侵检测系统存在。 通常，将基于网络的入侵监测系统放置在防火墙或网关后，就像网络窥探器一样捕获所 有内传或外传的数据包。但它并不延误数据包的传送，因为它对数据包来说仅仅是进行监视。 通过在共享网段上侦听采集通信数据分析可疑现象，它对主机资源消耗少并且由于网络协 议是标准的，可以对网络提供通用的保护而无需顾及异构主机的不同架构。 2 2 3 2 检测方法 根据检测方法的不同，可以将入侵检测系统分为如下两类： 1 异常检测：也称为基于行为的检测。基于异常的入侵检测方法的思想是：任何人的正常 行为都是有一定的规律的，并且可以通过分析这些行为产生的日志信息( 假定日志信息足够 完全) 总结出这些规律，而入侵和滥用行为则通常和正常的行为存在严重的差异，通过检查 出这些差异就可以检测出入侵。这样，我们就能够检测出非法的入侵行为甚至是通过未知攻 击方法进行的入侵行为，此外不属于入侵的异常用户行为( 滥用自己的权限) 也能被检测到。 也就是说这种模型是首先总结正常操作应该具有的特征，在得出正确操作的模型之后，对后 续的操作进行监视，一旦发现偏离正常统计学意义上的操作模式，即进行报警。 基于异常的入侵检测方法有以下优点： ( 1 ) 基于异常的入侵检测与系统相对无关，通用性较强，它甚至有可能检测出以前未出现 过的攻击方法。 ( 2 ) 基于异常的入侵检测不需要操作系统及其安全性缺陷专门知识，就能有效检测出冒充 合法用户的入侵。 基于异常的入侵检测方法有如下缺点： ( 1 ) 误检率高：因为它不可能对整个系统内的所有用户行为进行全面的描述，况且每个用 户的行为是经常改变的。尤其在用户数目众多，或者工作目的经常改变的环境中，这个缺陷 尤为突出。 ( 2 ) 闽值难以确定：为用户建立正常 j = 为模式的特征轮廓和对用户活动的异常性报警的门 限值的确定都比较因难，不是所有入浸者的行为都能够产生明显的异常性，有经验的入侵者 还可以通过改变他的行为，来改变入侵检测系统中的用户正常行为模式，使其入侵行为逐步 变为合法。 2 误用检测：也称为基于知识的检删。这种模型的特点是收集非正常操作也就是入侵行为 4 阳帅范入学坝】。1 i 】_ ，生学也论义摧十时间序列勺入馒待测模型卅歹 的特征，建立相关的特征库。在后续的检测过样中，将收集到的数据与特征库中的特征代码 进行比较，得出是否是入侵的结论。 基于误用的入侵检测方法有如下优点： ( 1 ) 检测准确度高、虚警率低：这种方法由于依据具体特征库进行判断，所以检测准确度 很高，虚警率低。 ( 2 ) 方便管理员做出相应措施：可检测出所有对系统来说是已知的入侵行为，系统安全管 理员能够很容易地知道系统遭受到的是哪种入侵攻击并采取相应的行动。 基于误用的入侵检测方法有如下缺点： ( 1 ) 对未知攻击行为检测困难：因为只能根据己知的入侵序列和系统缺陷的模式来检测系 统中的可疑行为，所以不能处理对新的入侵攻击行为以及未知的、潜在的系统缺陷的检测。 另外，对于系统内部攻击者的越权行为，由于他们没有利用系统缺陷，因而很难检测。 ( 2 ) 系统的依赖性太强：它对具体系统的依赖性太强，使得系统移植性不好，维护工作量 大，而且将具体入侵手段抽象成知识也很困难。 2 2 3 入侵检测系统的定义 入侵检测系统的概念早在1 9 8 0 年就由j a m e sa n d e r s o n 提出，到1 9 8 7 年由d o r t o t h y d e n n i n g 提出了第一个入侵检测模型9 3 。 入侵检测系统就是检测企图破坏计算机资源的完整性、保密性和有效性的软件。其中： 完整性是为了防止系统内软件( 程序) 与数据被非法删改和破坏。 保密性是为了防止系统内信息的非法泄漏。 有效性是要求信息和系统资源可以持续有效，而且授权用户可以随时随地的以他所喜欢 的格式存取资源。 入侵检测系统不仅能够检测到网络上的非法入侵，还能对计算机内部的一些非法的越权 处理、滥用职权和错误操作等行为做出准确的判断，是防火墙的合理补充，帮助系统对付网 络攻击，扩展了系统管理员的安全管理能力，提高了信息安全基础结构的完整性。入侵检测 系统被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对网络进行监 测，从而为系统提供对内部攻击、外部攻击和误操作等的实时检测和保护。 2 3 入侵检测模型 最早的入侵检测模型”? 由d o r o t h yd e n a i n g 在1 9 8 6 年提出，这个模型与具体系统和具 体输入无关，对此后的大部分实用系统部很有借鉴价值。 5 海帅范人学坝i 。研究生学位论文堆州0i 训序列的入侵检测模型宄 2 3 1 通用入侵检测模型 在幽2 一l 表示了这个通用模型的体系结构1 1 。 审计记录网络数据包等 图2 - l 入侵检澳4 通用模型 其中： 事件产生器可以根据具体应用环境而有所不同，一般情况下可来自审计记录、网络数据 包等，这些事件构成了检测的基础。 行为特征表是整个检测系统的核心，它包含了用于计算用户行为特征的所有变量，这些 变量可以根据具体所采纳的统计方法以及事件记录中的具体动作模式而定义，并根据匹配上 的记录数据更新变量值。如果有统计变量的值达到了异常程度，则行为特征表产生异常记录， 并采取一定的措施。 规则模块可以由系统安全策略、入侵模式等组成。它一方面为判断是否入侵提供参考机 制；另一方面，根据事件记录、异常记录以及有效日期等控制并更新其他模块的状态。而目 前，关于入侵模式的提取和编制还没有一个统一的标准，一般都由有经验的安全技术人员手 工完成。 2 3 2 入侵检测系统模型研究 2 3 2 1 基于异常的入侵检测 一个通常的基于异常的入侵检测系统由数据提取模块、数据分析模块和结果处理模块 组成，其结构如图2 2 。 烈蓑b 、蚓五i k l _ 卅提l _ 1 1 分。卅处r 取 f 析i 理| 图2 2 基于异常的入侵检测系统结构图 通常基丁异常的入侵检测系统的检测是针对某个特定的对象这个对象可以是某个人也 可以是某个程序。首先监视对象的行为学习这个对象的行为特征，以便产生这个对象的行 为概貌并通过其后的监视对比学习到的行为概貌检测山这个对象的异常行为，产生警告并 街帅范人学坝f 州f 究生学位论文 毕十时问序列的入侵榆测模型埘宄 做出相廊的反应。其中的监视行为就是数据提取模块需要做的r 作。此外，根据其后的检测 过程，本模块还把原始数据格式转化为特定格式的数据，以便分析模块处理。 数据提取模块根据需要来读取对象行为所产生的日志信息，如系统日志、应用程序所产 生的日志、各种程序的输入输出，甚至可咀截获系统行为产生自己需要的日志数据。有效的 数据提取模块是整个入侵检测系统的基础。 数据的分析行为可以分为两个部分：对象行为的学习和异常行为的检测。通常分析功能 的过程是：首先从输入的数据中提取出当前对象行为的特征概貌，把这个概貌和以前学习的 对象行为概貌进行比较，如果超出某个既定阀值，就认定为异常行为，产生警告信息并提交 给结果处理模块：如果没有超出，则要学习这个行为，把它和以前的行为概貌综合生成新的 对象行为概貌。以反映用户行为的变化。这个过程进行循环，不断地进行学习和检测。需要 注意的事，这个循环的学习过程必须有一定的基本准则和修订过程，否则一个足够有耐心的 入侵者就可能会通过一系列的过程来误导系统。 结果处理模块执行数据分析的结果，并选择一些合适的响应选项来解决问题。有入侵发 生的情况下，在向管理员报告有入侵发生的前提下，必须将所有的情况记录下来，并进行相 应的处理以阻止进一步的入侵。理想的入侵检测系统应该提供起重要作用的问题处理模块， 而且为参与安全管理的每个成员定制特定的处理方案。 基于异常入侵检测系统的特点是“学习正常，发现异常”，因此它的特点主要体现在学 习过程中，可以在检测系统中大量借鉴其它领域的方法来完成用户行为概貌的学习和异常的 检测。这些其它领域的方法包括人工智能、神经网络以及统计学等，所以其具体实现上因具 体的理论基础的不同而各有差异。异常检测方法大致宥统计学方法、数据挖掘、自治代理、 神经网络和人工免疫等。 下面我们分别针对统计学方法、数据挖掘、自治代理这三种具体的基于异常的入侵检测 系统进行分析。 1 基于统计学方法的异常检测系统 基于统计的入侵检测技术。使用统计学的方法来学习和检测用户的行为。般以用户 的行为或对计算机的使用情况建立活动轮廓，活动轮廓由一组统计参数组成，比如可包括 c p u 和i 1 0 利用率、文件访问、出错率、网络连接等，这种攻击检测方法是基于对用户历史 行为以及在早期的证据或模型的基础上进行的由审计系统实时地检测用户对系统的使削情 况，根据系统内部保存的用户行为概率统计模型进行检测。当发现有可疑的行为发生时，保 持跟踪并监测、记录该川户的行为。系统要根据每个i l f j 户以前的历史行为，生成每个刚户的 海帅l t 人学畈f 埘究生学位论义 撼十时间序列的入慢榆测模型驯， 历史行为记录库，当川户改变他们的行为习惯时，这种异常就会被检测出来。 统计方法的典型应用主要是基于主机的入侵检测系统的审计记录的，一个典型的系统是 s r i i n t e r n a t i o n a l 公司f * 3 1 d e s ( i n t r u s i o n d e t e c t i o n e x p e r ts y s t e m ) ，其系统结构如图2 3 。 审计数据产生部件ll 审计数据产生部件ll 审计数据产生部件 图2 3 i d e s 系统结构 图2 3 表示了信息在各核心部件间的流动关系。审计数据产生部件为系统最底级驻留 在各监控主机上的探测器，负责收集日志数据，并进行初步处理；审计数据汇总部件收集汇 总来自不同主机的日志数据，除了进一步处理外，还负责为上层的分析、存储工具提供有效 的数据。统计分析部件和基于规则的分析部件分别为统计分析方法和基于规则的分析方法： 数据流存储部件负责永久性存储日志数据。结果融合部件通过融合两种分析工具的初步结 果，得出最终的检测结果；系统最上层为用户界面，为管理者提供一个基于图形的实时配置、 管理工其集成环境。 基于入侵统计的异常检测方法优点： ( 1 ) 它将传统的统计分析方法应用到大量警报数据的处理中，使得计算量小、实时性强。 ( 2 ) 适用于各种类型的检测系统，特别适合在大规模入侵检测系统中，为监控中心大量警 报数据的分析，提供了一种通用的宏观异常判断方法。 基于入侵统计的异常检测方法缺点： ( 1 ) 对于非常复杂的用户行为很难建立一个准确匹配的统计模型。 ( 2 ) 统计模型没有普遍性，因此一个用户的检测措施并不适用于另一用户，使得算法庞大 且复杂。此外，为了自适应用户行为的变化统计轮廓要随之不断更新，这在另一方面使入侵 者如果知道某系统在检测嚣的监视之i ，能巨漫地训i 绦检测系统，以至于最初认为是异常的 行为，经一段时间训练后也认为是上e 常的。 8 毖j 时问序列的八侵检测模型研究 2 基于数据挖掘的异常检测系统 随着信息技术地不断发展，数据的急剧膨胀已经远远地超出了人们手_ j 二处理数据的能 力，这就迫切希望产生一种高性能的自动化数据分析工具或算法，它能够高速、全面、深入 有效地加工数据，帮助人们从海量数据申挖掘出对各类决策有指导意义的一般性知识。数据 挖掘技术就是在此时代背景下产生的，并迅速成为人工智能又一个活跃的发展领域。 数据挖掘是一种从大型数据库或数据仓库中提取隐藏的预测性信息的技术，它能挖掘 出数据间潜在的模式，找出最有价值的信息和知识，指导商业行为或辅助科学研究。其中模 式是利用挖掘算法得到的结果，是对一种可能性分布的简单描述：知识或信息是通过对模 式进行处理而得到的易于理解的结果。数据挖掘的技术基础是人工智能，它利用了人工智能 的一些已经成熟的算法和技术，例如：人工神经网络、遗传算法、决策树、邻近搜索算法、 规则推理、模糊逻辑等“”。数据挖掘系统利用的技术越多，得出的结果精确性就越高。这主 要取决于问题的类型以及数据的类型和规模。无论采用哪几种技术来完成任务，从功能上可 以将数据挖掘的分析方法划分为以下几种：关联分析方法、序列模式分析、分类分析和聚类 分析1 。 一个典型的基于数据挖掘的入侵检测系统是m a d a mi d ( m i n i n ga u d i td a t af o r a u t o m a t e dm o d e l sf o ri n t r u s i o nd e t e c t i o n ) ，它的结构图如图2 - 4 ，其结构说明 如下： ( 1 ) 数据采集：收集用户历史行为数据进行特征提取，用于构造入侵行为模式知识库； 收集系统中各种审计数据或网络数据用于被检测。 ( 2 ) 数据集成：将采集到的数据进行集成与预处理。以便为下一步的数据挖掘准备数据。 ( 3 ) 数据挖掘：采用数据挖掘技术从系统有关数据中提取有关行为特征和规则，从而用 于建立网络安全异常模式或正常模式。 ( 4 ) 知识库：知识库中存有系统需要的异常模式或正常模式。入侵检测系统将用户的行 为特征与其进行比较判断，从而可以判断出用户的行为是否是入侵行为。 ( 5 ) 特征提取：采用类似于数据挖掘的技术从当前用户的行为数据中提取当前用户行为 特征。 ( 6 ) 入侵检测：系统根据一定的算法从知识库中提取出相关规则数据，对当前用户行为 特征进行人侵检测。根据检测的结果作出相应的行动。如果属于入侵行为，则系统作出报警， 并采取定措施防止入侵，留下入侵证据。如果属于正常行为，则系统继续对用户行为进行 检测。 9 糕十时问序列的入侵捡测模型研究 基于数据挖掘的入侵检删系统。“有如下_ 优点： ( 1 ) 智能性好，自动化程度高：这种检测方法采用了统计学，决策学以及神经网络的 多种方法自动地从数据中提取肉眼难以发现的网络行为模式，从而减少了人的参与，减轻了 入侵检测分析员的负担，同时也提高了硷测的准确性。 ( 2 ) 检测效率高：数据挖掘可以自动地对数据进行预处理，抽取数据中的有用部分， 有效地减少数据处理量，因而检测效率较高。对于面对网上庞大数据流量的入侵检测系统， 这一点是至关重要的。 ( 3 ) 自适应能力强：应用数据挖掘方法的检测系统不是基于预定义的检测模型，所以 自适应能力强，可以有效地检测新型攻击以及己知攻击的变种。 ( 4 ) 虚警率低：数据挖掘方法可以有效地剔除重复的攻击数据，因而具有较低的虚警 率。 基于数据挖掘的入侵检测系统有以下缺点：数据挖掘的过程需要不断的反复和评估，比 如如果分类器的分类效果不好，就需要通过频繁模式的挖掘和比较，构造更有助于分类的特 征项。 嗣府 幽24 基丁数据挖掘的入侵检洲结构削 1 0 街9 q i 范人学坝卜 ，j f 究生学位沦义牡十时问序列的入侵愉删模型研究 3 基j + 自治代理的入侵榆测系统 ( 1 ) a a f i d 简介 a a f i d 全称为a u t o n o m o u sa g e n t sf o ri n t r u s i o nd e t e c t i o n ，即自治代理入侵检测系统。 e u g e n ehs p a f f o r d 等提出的a f f i d 就是采用自治代理的分布式入侵检测系统，将代理作为底 层的数据收集和分析部件，其中代理是指能在特定的环境下无须人工干预和监督完成某项工 作的实体。 ( 2 ) a a f i d 系统结构 一个遵循a a f i d 体系结构的简单的入侵检测系统的物理结构。”如图2 5 所示，图中包括 该体系的三个基本部件：代理、收发器和监视器。这些部件称为a a f i d 实体或者简称为实体， 由这些实体构成的入侵检测系统既是a a f i d 系统。图2 6 是图2 5 系统对应的逻辑结构图， 双向箭头表示实体伺的控制流和数据流。图2 6 中逻辑组织和主机阃实体的物理位置无关。 个a a f i d 系统可以分布在网络中任意数目的主机上。每台主机可以运行任意数目的代 理来监控主机上发生的感兴趣事件。同一台主机上的所有代理都将各自的发现的事件和数据 报告给同一个收发器。每台主机上只有一个收发器在运行，它监视并控制该主机上运行所有 自代理。它可以启动和停止代理，或向代理发送配置命令，也可以精简从代理收到的数据。 收发器将它汇总的数据报告给一个或者多个监视器。每台监视器管理多个收发器的运行，监 视器可以获得整个网络范围内的数据，因此它可以实现高层次的相关性检查，从而检测到涉 及多台主机的入侵。监视器也可以按照层次进行组织，这样一些监视器就可以向更高层的监 视器进行报告。一个收发器可以向多个监视器进行报告，这样会可以提供冗余数据，避免单 个监视器故障而出现漏警。最终由监视器负责给用户界面提供信息，并从用户界面取得控制 命令。以上所述的各个部件使用应用编程接口( a p i ) 进行通信。 因为代理是一些独立运行的实体，所以可以从系统中增加和删除代理而不会对系统其他 部分产生影响，从而也不用重新启动入侵检测系统。此外，代理能在运行时对其自身进行重 新配置而不用重新启动。代理在被应用到更复杂的环境之前还能自我测试。多个实现不同简 单功能的代理还可以组成代理组，它们之间可以交换信息，得出更复杂的结果，这些结果使 用单个代理是无法实现的1 2 2 1 。 基于代理分布入侵检测模型的优电有：独立性、灵活性、系统可扩充性、错误扩散小、 数据来源不受限制、兼容性、与平台和开放语言无关、协作性和可以适应复杂的网络拓扑环 境并能对各方面的信息进行综合分析等。 基丁代理分布入侵检测模型的缺鲁有：在有需要的时候，例如发现一种新的攻击手段， a a f i d 就要设计一个新的代理或者对现有的代理进行修改米发现这种攻击手段，相对比较复 i f 海| f i 地人学顺i 刈宄生学位论文 挂十忻问序列的入侵愉测模型t u f 宄 杂。 图2 - 5 a a f i d 系统物理结构图 其中：图例 图2 _ 6a a f i d , 示例系统逻辑结构图 口收勰口 监勰生 主机 代理 控制流 数据流 由于基于异常的入侵检测技术存在上述一些问题，而这些问题使大多数此类的系统仍停 留在研究领域，并且没有长足的进展，真正得到发展并且有很多商业产品方向的是入侵检测 的另个分支基于误用的入侵检测系统，下面我们：博详细的讨论这一方向。 2 3 2 2 基于误用的入侵检测 基于误用的入侵检测技术的研究主要是从2 0 世纪9 0 年代中期开始，当时主要的研究组 织有s r i ，p u r d u e 大学和c a l i f o r n i a 大学的d a y i s 分校，现在从事这方面技术研究的组织 1 2 口 卜海帅范人学坝i 州l 完生学位论文 璀十时川序列的入侵检测模型f l j f 歹e 币机构已经数不胜数了。一个典型的基于误j 的入侵检测系统模型1 如图2 - 7 所示。 修正现有规则 图2 7 典型的基于误用的入侵检测系统模型 基于误用的入侵检测系统通过使用某种模式或者信号标识表示攻击，进而发现相同的 攻击。这种方式可以检测许多甚至全部已知的攻击行为，但是对于未知的攻击手段却无能为 力。其中误用信号标识需要对入侵的特征、环境、次序以及完成入侵的事件相互间的关系进 行详细地描述，这样误用信号标识不仅可以检测出入侵行为，而且可以发现入侵的企图，误 用信号局部上的符合就可能代表一个入侵的企图。 误用检测方法大致有专家系统、模型推理、模式匹配和状态转换分析等。下面我们分别 针对专家系统和模型推理这两种具体的基于误用的入侵检测系统模型进行分析。 1 基于专家系统的入侵检测系统模型 专家系统是在现存的入侵检测系统中使用最广的人工智能技术。专家系统是以专家的经 验性知识为基础建立的，是一种以知识库和推理机为中心的智能软件系统结构。”。它采 用类似于i f t h e n 这种带有因果关系的结构，使用由专家制定的规则来表示攻击行为，并在 此基础上从审计事件中找出入侵。专家系统可以实现基于知识的推理和自动学习的功能，使 规则不断增多，推理能力逐步提高。在专家系统中，规则是指描述一个攻击所必需条件的编 码，它构成专家系统的i f 部分，当i f 部分规则的所有条件都得到满足的时候，t h e n 部分所 代表的相应措施将被执行。由此可以得出入侵检测专家系统最显著的特征是采用一定的规则 表示攻击的行为，把根据规则进行的推理过程从解决问题的过程中分离出来。 一个典型的基于专家系统的误用检测模型是i d e s ，图2 8 是是它的结构图。 幽2 8 基于专家系统的八浸检测系统结构图 河川i 池人学顺l 研，t 生学位论文 基于专家系统的入侵检测系统的优点：利用专家知识来表示入侵行为，可以很容易实现 自动监测。 基丁专家系统的入侵检测系统的缺点： ( 1 ) 专家知识表示行为序列很困难，很不直观。 ( 2 ) 专家系统的知识维护需要非常有知识经验的编程人员，需要频繁更新它的规则库 来保持它的时效性，而管理员很可能会忽略或很少进行必需的更新。 2 基于模型推理的入侵检测系统模型 模型推理检测系统最早是由t d g a r v e y 和t f l u n t 提出的，它主要通过构建一些误用的 模型，在此基础上对某些行为活动进行监视，并推理出是否发生了入侵行为。它需要为此建 立一个包含各种攻击特殊情况的知识库，这里的攻击特殊情况是指一系列构成攻击的行为。 图2 - 9 基于模型推理的入侵检测系统模型 基于模型推理的入侵检测系统模型主要用于研究，较少应用在商用系统中。 从图2 - 9 可以看出模型推理检测系统的系统结构主要由三个组件构成”： 先知模块：根据当前行为模型和一些特殊情况模型，预测下一阶段可能发生的某些特殊 情况，并把它们传递给计划模块。 计划模块：把先知模块的假设转化成一种可以与审计事件活动相匹配的格式，这样它就 可以使用预先得到的审计事件数据来计划下一步主要寻找什么样的数据，并把要搜寻的目标 通知给解释模块。 解释模块：对审计数据进行分析，寻找计划模块“计划”出来的数据。 模型推理系统的检测过程就是一个按照这三个模块不断循环前进的过程，聚集了越来越 多的特殊情况依据。通常采用概率论的数学方法来处理积累的数据，当积累的数据达到某个 限值的时候，一个攻击行为或攻击企图就会检测出来了。 模型推理检测系统具有以f 优点： f1 ) 它的推理过程有比较合理的数学理论基础，与专家系统相比，在处理不确定性方面的 能力较强。 14 基于时问序列的入侵榆测模型训允 ( 2 ) 计划模块使得攻击行为的表示与具体的审计数据相分离。 ( 3 ) 计划模块和解释模块知道每一步需要寻找的东西，这样大量的干扰信息就可以被轻易 地过滤掉，因此大大降低了需要处理的数据量。 ( 4 ) 它可以利用入侵情况模型推导出攻击者下一步的行动，这样就可以采取一些预防性的 措施等。 模型推理检测系统具有以下缺点： ( 1 ) 需要定义最后的限值，这是件很难的事情。如果限值定义不当，很容易影响检测的 准确性。 ( 2 ) 创建模型系统的工作、计划模块对模型的翻译工作以及解释模块对实时行为的解释检 测工作都很大，整体系统性能能否提高还很难说。 ( 3 ) 和专家系统一样，模型的维护也是一件困难的事情。 皋十时间序列的入埕检测模型 ；j l = 究 第三章基于时间序列的入侵检测系统模型 本章首先对提出的时间序列模型用p e t r in e t 进行建模，对所建模型进行可达性、复杂 度等性质的定性定量的分析，并且使用口+ b u i i d e r 6 0 对模型的可达性性质进行了编码实现 和性能分析。随后利用随机p e t r in e t 和连续时间的马尔可夫链同构的性质，应用所获得的 同构马尔可夫链对求得稳定状态概率的子系统的平均延时时间和后继状态转移概率进行了 详细的计算，从而为入侵检测系统的设计提供理论根据。 3 1 p e t r in e t 和马尔可夫的概念和性质 描述系统行为通常有两种形式：( 1 ) 数据流图：通常用在软件设计中，着重于描述行 为的顺序系列。( 2 ) 状态图：通常用在硬件设计中，着重于描述条件的顺序序列。通常我 们想同时描述一个系统的两个方面：一个行为导致一种新的条件的产生，一个条件使得一系 列的行为使能，因此引入p e t r in e t 结构。 3 1 1p e t r in e t 概念 p e t r in e t 是由德国人c a r l a d a m p e t r i 于1 9 6 2 年提出的一种形式描述模型。 1 p e t r in e t 形式化定义 p e t r in e t 的形式化定义为1 定义3 1 ：p n = f p ，t ，f , m o ， 其中：p = p o ，p 。p m ) ，表示库所集合，它是一个描述条件的集合。 t = t o ，t 一t m ，表示变迁集合，它是一个描述行为的集合。 f _ c p ， u t