（计算机应用技术专业论文）基于程序行为的异常检测技术研究与实现.pdf

摘要 随着i n t e r n e t 技术的迅速发展，网络入侵问题也越发严重，入侵检测已成为网络 防护安全体系中的重要组成部分。入侵检测系统通过从计算机网络或计算机系统中的若 干关键点收集信息并对其进行分析，以发现网络或系统中是否有违反安全策略的行为和 遭到袭击的迹象。 异常检测作为入侵检测的一个重要分支，也越来越受到人们的重视。由于l i n u x 进 程可由一系列的系统调用序列来表征，通过分析其系统调用序列可以了解进程的行为模 式，据此本文分别探讨了对l i n u x 进程的系统调用序列进行模式提取和异常检测的两种 方法： 1 基于h m m m l p 混合模型的异常检测方法。在这个方法中，多层感知机( m l p ) 用 作h m m 的概率估计器，以克服h m m 方法的不足，建立了一个基于系统调用的混合h m m m l p 异常检测模型用来对正常行为进行建模以实现异常检测，并给出了该模型的训练和检测 算法。实验结果表明该混合系统的漏报率和误报率都低于h m m 方法。 2 基于r b f 神经网络的异常检测方法。提出了用r b f 神经网络来构建异常检测中正 常行为的特征轮廓。通过与b p 网络和h m m 方法实现的异常检测效果相比较，我们可以 看出，r b f 方法的检测率较高，误报率较低，训练时间短。 本文用新墨西哥大学提供的综合仿真数据进行了实验仿真和比较，证明两种方法都 提高了入侵检测系统的性能。 论文的最后对下一步的工作进行了探讨，并且对入侵检测的进一步发展和应用进 行了展望。 关键词：入侵检测；异常检测；隐马尔可夫模型( h m m ) ；r b f 网络；系统调用 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e t ，n e t w o r ki n t r u s i o n i sb e c o m i n ga s e r i o u sp r o b l e m ，a n di n t r u s i o nd e t e c t i o nb e c o m e sac r i t i c a lc o m p o n e n to fn e t w o r k s e c u r i t ya d m i n i s t r a t i o n i n t r u s i o n d e t e c t i o ns y s t e m i sac o m b i n a t i o no f j l a r d w a r ea n ds o f t w a r et h a tm o n i t o r sa n dc o l l e c t ss y s t e ma n d n e t w o r ki n f o r m a t i o n a n da n a l y z e si tt od e t e r m i n ei fa na t t a c ko ra ni n t r u s i o nh a so c c u r r e d a sa ni m p o r t a n tb r a n c ho fi n t r u s i o nd e t e c t i o n ，a n o m a l yd e t e c t i o na t t r a c t s m o r ea n dm o r ea t t e n t i o n s s i n c eas e q u e n c eo fs y s t e mc a l l sg i v e sas t a b l e s i g n a t u r ef o r al i n u x p r o c e s s ，b e h a v i o ro f t h ep r o c e s sc a nb e e x p l o r e d b y a n a l y z i n g t h es y s t e mc a l ls e q u e n c e s s o ，i nt h i st h e s i s ，t w om e t h o d sa r e i n v e s t i g a t e df o rd e t e c t i o no fa b n o r m a lp r o c e s sb e h a v i o ru n d e r l i n u xn s i n gs y s t e m c a l1 s e q u e n c e s ： o n ei st o1 e a r nb e h a v i o rp a t t e r n sa n dt od e t e c ta n o m a l yb e h a v i o ru s i n ga h y b r i dh m m m l pm o d e l i nt h i sm e t h o d ，t h em u l t i p l el a y e rp e r c e p t r o n ( m l p ) i s u s e da sp r o b a b i l i t ye s t i m a t o i si nh f r a m e w o r kt oa l l e v i a t et h e1 i m i t a t i o n s o ft h em h ib a s e ds y s t e m a h y b r i dh m m m l pa n o m a l yd e t e c t i o i lm o d e lb a s e do ns y s t e m c a l l si s p r o p o s e d ，a n d t h e t r a i n i n ga l g o r i t h ma n dd e t e c t i o na l g o r i t h ma r e p r e s e n t e d t h ep r a c t i c a li m p l e m e n t a t i o n o f t h i s h y b r i ds y s t e m isa l s o i l l u s t r a t e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ef a l s en e g a t i v er a t ea n dt h e f a l s ep o s i t i v er a t eo ft h e h y b r i ds y s t e ma r eb o t hl o w e rt h a nt h eh 跚b a s e ds y s t e m t h eo t h e ri st ou s er b fn e u r a ln e t w o r k st om o d e ln o r m a lb e h a v i o rb a s e do n s y s t e mc a l l s c o m p a r e dw i t ht h eb pn e u r a ln e t w o r k sa n dt h eh 删b a s e dm e t h o d t h em e t h o db a s e do nr b fn e t w o r k sh a sh i g h e rd e t e c t i o nr a t e ，l o w e rf a l s e p o s i t i v e r a t ea n ds h o r t e rt r a i n i n gt i m e t h et w om e t h o d sa r eb o t ht e s t e do nt h ed a t ap r o v i d e db yu n i v e r s i t yo fn e w m e x i c o t h er e s u l t so fo u rp r e l i m i n a r ye x p e r i m e n t sh a v es h o w nt h a tb o t hm e t h o d s h a v e i m p r o v e dt h ep e r f o r m a n c eo fi n t r u s i o nd e t e c t i o ns y s t e m f ih a l l y ，s o m e p r o b l e m st ob ef u r t h e rs t u d i e da r ed i s c u s s e da n dt h ef u r t h e r d e v e l o p m e n to fi n t r u s i o nd e t e c t i o ni sd i s c u s s e d k e yw o r d s ：i n t r u s i o nd e t e c t i o n ：a n o m a l yd e t e c t i o n ：h i d d e nm a r k o vm o d e l ( h ： r b fn e u r a i n e t w o r k ：s y s t e mc a ii s 垫! 堡壁堑查盟墨堂堕型垄_ 术婴茎皇窭里一 0 前言 本章概括介绍了课题的研究背景，研究意义以及本文的研究内容，最后列出论文的 组织结构。 0 1 研究背景 随着网络的蓬勃发展，人们在使用网络提供的各种服务和信息的同时，也面临着曰 益增加的网络入侵的困扰，网络安全成为迫切需要解决的问题之。由于i n t e r n e t 的 许多基础协议制定时的安全方面考虑的欠缺和其开放性、动态性的特点，使得网络防御 非常困难；随着网络技术的发展，各种攻击手段和攻击工具也层出不穷。为了解决这些 安全问题，各种安全机制、策略和工具被研究和应用。然而，即使在使用了现有的安全 工具和机制的情况下，网络的安全仍然存在很大隐患，这些安全隐患主要可以归结为以 下几点： 1 每种安全机制都有一定的应用范围和应用环境。防火墙是一种有效的安全1 ： 具，它可以隐蔽内部网络结构，限制外部网络到内部网络的访问。但是对于内部 网络之间的访问，防火墙往往是无能为力的。因此，对于内部网络到内部刚络之 间的入侵行为和内外勾结的入侵行为，防火墙是很难发觉和防范的。 2 安全工具的使用受到人为因素的影响。一个安全工具能不能实现期望的效果，在 很大程度上取决于使用者，包括系统管理者和普通用户，不正当的设置就会产生 不安全因素。例如，n t 在进行合理的设置后可以达到c 2 级的安全性，但很少有 人能够对n t 本身的安全策略进行合理的设置。虽然在这方面，可以通过静态扫 描工具来检测系统是否进行了合理的设置，但是这些扫描工具基本上也只足基于 一种缺省的系统安全策略进行比较，针对具体的应用环境和专门的应用需求就很 难判断设置的正确性。 3 ，系统的后门是传统安全工具难于考虑到的地方。防火墙很难考虑到这类安全问 题，多数情况下，这类入侵行为可以堂而皇之经过防火墙而很难被察觉；比如说， 众所周知的a s p 源码问题，这个问题在i i s 服务器4 0 以前一直存在，它是t i s 服务的设计者留下的一个后门，任何人都可以使用浏览器从网络上方便地调出 a s p 程序的源码，从而可以收集系统信息，进而对系统进行攻击。对于这类入侵 行为，防火墙是无法发觉的，因为对于防火墙来说，该入侵行为的访问过程和正 常的w e b 访问是相似的，唯一区别是入侵访问在请求链接中多加了一个后缀。 4 只要有程序，就可能存在漏洞。甚至连安全工具本身也可能存在安全的漏洞。几 乎每天都有新的漏洞被发现和公布出来，程序设计者在修改已知的漏洞的同时又 可能使它产生了新的漏洞。系统的漏洞经常被黑客刹用，而且这种攻击通常小会 产生日志，几乎无据可查。比如说现在很多程序都存在内存溢出的漏洞，传统的 基于挥序行为的异常检测技术研究与实现 安全工具对于利用这些漏洞的攻击几乎无法防范。 5 ，黑客的攻击手段在不断地更新，几乎每天都有不同系统安全问题出现。然而安全 工具的更新速度太慢，绝大多数情况需要人为的参与才能发现以前未知的安全问 题，这就使得它们对新出现的安全问题总是反应太慢。当安全工具刚发现并努力 更正某方面的安全问题时，其他的安全问题又出现了。因此，黑客总是可以使用 先进的、安全工具不知道的手段进行攻击。 传统的防护安全技术如防火墙在防范网络入侵上起到了一定的作用，但防火墙具有 明显的局限性：防火墙难于防内，而且配置复杂，容易造成安全漏洞；同时防火墙只实 现了粗粒度的访问控制，它的安全控制主要基于i p 地址，不能对内容进行分析；对于 针对协议的攻击，防火墙认为是正常数据包而不加过滤。所以防火墙已不能满足网络安 全的需求，安全不能依靠单纯的静态防护，也不能依靠单纯的技术手段来解决，人们需 要全方位的安全模型、方法、技术和解决方案来应对面临的安全问题。 从二十世纪九十年代开始，随着以漏洞扫描和入侵检测为代表的动态检测技术和产 品的发展，相应的动态安全模型得到了发展，可适应网络安全理论体系逐渐形成。可适 应网络安全理论的代表性模型是p 2 d r 模型i ! l ，如图0 1 所示。 图0 ，lp 2 d r 模型示意图 f i g u r e01t h es k e t c hm a po f p 2 d rm o d e l p 2 d r 模型表明一个良好的完整的动态安全体系，不仅需要恰当的防护，比如：操 作系统访问控制、防火墙、加密等：而且需要动态的检测机制，如：入侵检测、漏洞扫 描等；在发现问题时及时进行响应。p 2 d r 模型给网络安全管理提供了方法，所有的安 全问题都可以在统一的簧略指导下，采取防护、检测、响应等不断循环的动态过程指导 下实施。p 2 d r 形成了一个完备的闭环自适应体系。其中，入侵检测技术已成为网络防 护安全体系中的重要动态安全部分。 在入侵检测之前，大量的安全机制都是根据从主观的角度设计的，他们没有根据网 络攻击的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难发现 未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。而入侵检测 正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现 未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的 安全性。入侵检测系统是防火墙的一个不可或缺的补充，在防范内部网络的安全上起到 7 量至型壁堑垄旦三! 墨堇丝型堇查型堑量鳖丝一一一 了重要的作用。 0 2 国内外研究现状 入侵检测技术的研究与开发在国外开展较早。在1 9 8 0 年，j a m e sa d e r s o n 首先提 出了入侵检测的概念【”。1 9 8 7 年d o r o t h yed e n n i n g 提出入侵检测系统的抽象模型，首 次将入侵检测的概念作为一种计算机系统安全防御问题的措施提出 3 1 。1 9 9 0 年， h e b e r l e i n 等提出了一个新的概念：基于网络的入侵检测一n s m ( n e t w o r ks e c u r i t y m o n i t o r ) 。在9 0 年代初兴起对网络入侵和入侵检测的研究。9 5 年以后逐渐出现一些入 侵检测的产品，其中比较有代表性的产品有i s s 公司的r e m s e c u r e 【4 ，n a i 公司的 c y b e r c o p 和c i s c o 公司的n e t r a n g e r ，s y m a n t e c 公司的n e t p r o w l e 等。国内对入侵柃 测的研究与开发从9 0 年代末开始，起步较晚。但己认识到入侵检溯的重要性，呈现蓬 勃发展的局面，比较成型的产品有中科网威的“天眼”入侵检测系统，启明星辰的“天 阗”入侵检测系统等，入侵检测的标准也已开始研究、制定。但在技术和产品上与同际 水平还存在定差距。 入侵检测系统的发展趋势是逐渐从单机日志分析走向网络与分布式检测，以适应网络规 模的伸缩性。人们也不断尝试将各种技术用到入侵检测当中，如在入侵检测系统中应用 自治代理以提高入侵检测系统的可伸缩性、可维护性、效率和容错性【5 ：将免疫原理应 用到分布式入侵检测领域以提高入侵检测系统的适应能力1 6 ；将信息检索技术引入到入 侵检测系统中提高数据分析能力【7 】。近年来的很多技术如智能代理、数据挖掘、机器学 习等技术都在入侵检测中得到了很好的应用，大大推动了对入侵检测系统的研究。 在标准制定方面，d a r p a ( t h ed e f e n s ea d v a n c e dr e s e a r c hp r oi e c t sa g e n c y ，美 陶国防部高级研究计划局) 在1 9 9 7 年3 月开始着手c i d f ( c o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ，公其入侵检测框架) 标准的制定。现在加州大学d a v i s 分校的安全实验室 已经完成c i d f 标准pj 。i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ，i n t e r n e t 工程任务 组) 成立了入侵检测工作组( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ，i d w g ) 负责建立入 侵检测数据交换格式( i n t r u s i o nd e t e c t i o ne x c h a n g ef o r m a t ，i d e f ) 标准9 1 ，并提供 支持该标准的工具，以更高效率地开发i d s 系统。国内在这方面的研究刚开始起步，目 前也已经开始着手入侵检测标准入侵检测框架( i n t r u s i o nd e t e c t i o nf r a m e w o r k ，i d f ) 的研究与制定。 全世界的计算机和网络专家们都十分重视对于入侵检测技术的研究，比较著名的研 究机构包括美国计算机紧急情况反应小组( c e r t ) 、国家计算机安全中心( n c s c ) ，n s a ( n a t i o n a ls e c u r i t ya g e n c y ) 、美国l o sa l a m o s 国家实验室等。在我国，也有很多学 者开始致力于这方面的研究。 但是，目前的入侵检测系统还不够成熟，存在着以卜，几点不足之处： 1 i d s 系统本身还在迅速发展和变化，远未成熟：目前，绝大多数的商业i d s 的工 作原理和病毒检测相似，自身带有一定规模和数量的入侵特征模式库，可以定期 更新。这种方式有很多弱点：不灵活，仅对已知的攻击手段有效；同时特征模式 库的提取和更新依赖于手工方式，维护不易。而具有自适应能力、能自我学习的 基于程序行为的异常检测技术研究与实现 i d s 系统还远未成熟，i d 技术在理论上还有待突破。所以i d $ 领域当前止处在不 断发育成氏的幼年时期。 2 现有i d s 系统误报或称虚警概率偏高，严重干扰了结果：如果i d s 系统对原本不 是攻击的事件产生了错误的警报，则假的警报一般称为虚警( f a l s e p o s i t i r e ) 。 通常这些错报会干扰管理员的注意力，产生两聃后果：忽略报警，但这样做的结 果和安装i d s 系统的初衷相背；重新调整临界闽值，使系统对误报的事件不再敏 感，但这样做之后一旦有真的相关攻击事件发生，i d $ 将不再报警，这同样损失 了i d s 的功效。 3 事件响应与恢复机制不完善：这部分对i d s 非常必要，但目前几乎都被忽略， 即使有，相当有限的响应和恢复功能还远不能满足人们的期望和要求。 4 i d s 与其他安全技术的协作性不够：如今，网络系统中往往采用很多其他的安全 技术，如防火墙、身份认证系统、网络管理系统等。如果它们之间能够相互沟通、 相互配合，对i d s 进一一步增强自身的检测和适应能力是有帮助的。 5 i d s 缺少对检测结果作进一步说明和分析的辅助工具：这妨碍了用户进。一步理解 看到的数据或图表。 6 ，i d s 缺乏国际统一的标准：没有关于插述入侵过程和提取攻击模式的统一规范； 没有关于检测和响应模型的统。描述语言；检测引擎的定制处理没有标准化。 入侵检测系统的性能与它所采用的分析方法和选择的监控对象有很大的关系。入侵 检测有两种最基本的类型：异常检测和误用检测。网络环境千变万化，黑客的攻击手段 也层出不穷，因此如何适应这些变化对于一个入侵检测系统而言是十分重要的。而异常 检测技术是对正常行为建模，所以它对新的入侵行为的变异具有较强的适应性。一直以 来，异常检测技术也都因此受到了广泛地应用。入侵检测系统可以选择的监控对象很多， 包括用户行为、程序行为、文件完整性等等。在过去的研究中人们对用户行为、文件完 整性等都做过分析，并且都取得了很大的成功，但是分析对象本身的一些特点限制了它 们优势的进一步发挥用户行为存在着较大的随意性和易变性，这给分析带来了很大 的麻烦：而文件完整性等只有在入侵行为产生之后才能表现出来，区此它不能用于实时 检测。九卜年代中期研究人员开始为分析程序行为带来的好处所吸引，许多研究都围绕 着程序行为展开。因为程序行为与用户行为相比具有较强的稳定性，它基本不随时间变 化，而且程序执行时有很多易于观测的属性( 例如系统调用等) ，这些都给分析和建模 带来了很大的方便。 总之，结合异常检测和程序行为分析的特点异常检测的对于入侵行为的变异有 较强的适应性，特别是与误用检测相比，它的检测率高且适应性强；而对程序行为的分 析又可以克服对用户行为分析中用户行为特征易变的缺点，使系统更加稳定我们在 研究入侵检测技术时选择了基于程序行为的异常检测技术作为研究的对象。 o 3 本文研究的内容和组织结构 本文主要研究了基于程序行为的异常检测技术。在特权程序的层次上通过分析程序 正常运行时产生的系统调用来建立正常行为的模型。文中特别对异常检测中建立正常程 4 基于程序行为的异常检测技术研究与实现 序行为特征轮廓的方法做了详细的探讨，提出了两种新的构建特征轮廓的方法：一种是 基于h n m l p 混合模型的方法，另一种足基于r b f 神经网络的方法。并分别对蕊种方法 进行了验证，给出了实验结论。 本文是按照下面的结构进行组织论述的： 第零章首先对同前的网络安全状况以及课题的背景和研究意义做了简要的介纠，并 给出了论文的研究内容和组织结构。 第一章“入侵检测系统简介”。对入侵检测的基本概念、分类、结构进行介绍，指 出入侵检测系统是i ：c ) 9 络安全技术中不可或缺的一个部分，对入侵检测系统的发展、系统 组成、系统分类、入侵榆测中的关键技术及目前流行的躲避入侵检测的攻击技术做了较 为详细的介绍。 第二章“基于程序行为的异常检测”。分析了基于程序行为的异常检测技术的优点， 重点介绍了两种基于程序行为的异常检测方法：t i d e 方法和r i p p e r 方法。 第三章“基于h m m m l p 混合模型的异常检测技术”。首先描述了基于隐马尔可犬模 型( h m m ) 的异常检测方法并指出其缺点，然后提出了一种将多层感知机( m l p ) 用作 h m m 的概率估计器的方法，以克服h 方法的不足，最后建立了一个基于系统调用的混 合h m l p 异常检测模型，并给出了该模型的训练和检测算法。实验结果表明该混合系 统的漏报率和误报率都低于h 删方法。 第四章“基于r b f 网络的异常检测技术”。首先从神经网络的基本概念及其特点入 手，并且介绍了b p 神经网络在入侵检测中的若干应用，但是其本身所具有的局部极小 性质限制了检测性能的提高。最后针对r b f 神经网络所具有的最优逼近性质，给出了一 种基于系统调用的r b f 网络入侵检测技术。实验证明，r b f 网络能够提高入侵检测性能。 第五章对本文的工作进行了总结，提出了课题下一步的研究方向。最后，还简单介 绍了入侵检测系统未来的发展趋势。 基于程序行为的异常检测技术研究与实现 1 入侵检测系统简介 自1 9 8 7 年d o r o t h yd e n n i n g 首先提出一个通用入侵检测模型开始，入侵检测技术 得到飞速的发展。从主机入侵检测到基于网络的入侵检测系统，从单一节点保护到分布 式多引擎的信息收集检测，面对膨胀的网络和攻击的猖獗，入侵检测的功能和研究内容 日益丰富。 1 1 入侵检测定义 1 9 8 0 年j a m e sa d e r s o n 首先提出了入侵检测的概念，将八侵尝试或威胁定义为： 潜在的有预谋未经授权访问信息、操作信息、致使系统不可靠或无法使用的企图 2 】。在 该文中，a d e r s o n 提出审计追踪可应用于监视入侵威胁。但由于当时所有已有的系统安 全程序都着重于拒绝未经认证主体对重要数据的访闽，这一设想重要性当时并未被理 解。1 9 8 7 年d o r o t h yed e n n i n g 提出入侵检测系统的抽象模型，首次将入侵检测的概 念作为一种计算机系统安全防御问题的措施提出【3 】，与传统加密和访问控制的常用方法 相比，入侵检测系统是全新的计算机安全措施，随着研究开发的进行，入侵检测的定义 也逐渐完善，目前入侵检测( i n t r u s i o nd e t e c t i o n ，简称i d ) 定义是： 通过从计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，以发现 网络或系统中是否有违反安全策略的行为和遭到袭击的迹象。进行入侵检测的软件与硬 件的系统便是入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 【9 1 。 某些i d s 还可以自动对入侵进行响应。入侵检测是对传统安全产品的合理补充，帮 助系统对付网络攻击，扩展了系统管理员的安全管理能力，提高了信息安全基础结构的 完整性。 1 2 入侵检测系统基本原理和模型 1 2 1d e n n in g 模型 d o r o t h yd e n n i n g 于1 9 8 7 年首先提出了一个通用的入侵检测模型，如图1 1 所示【3 】i d e n n i n g 模型奠定了入侵检测系统模型的基础。 该模型由以下6 个主要部分构成： i 主体：在目标系统上活动的实体，如用户。 2 刘象：系统资源，如文件、设备、命令等的扩展和细化。 3 ，审计记录：由 构成的六 元组。活动是主体对目标的操作，对操作系统而言，这些操作包括读、写、登录、 退出等；异常条件是指系统对主体的该活动的异常报告，如违反系统读写权限： 6 基丁- 程序行为的异常检测技术研究与实现 资源使用状况是系统的资源消耗情况，如c p u 、内存使用率等：时间戳是活动发 生 时间。 冈 1 _ j 图11 通用八侵检测系统模型 f i g u r e1 1a ni n t r u s i o nd e t e c t i o nm o d e l 4 活动简档：用以保存主体正常活动的有关信息，具体实现依赖于检测方法，在统 计方法中从事件数量、频度、资源消耗等方面度量，可以使用方差、马尔可夫模 型等方法实现。 5 异常记录：由 组成。用以表示异常事件的发生情况。 6 活动规则：规则集是检查入侵是否发生的处理引擎，结合活动简档用专家系统或 统计方法等分析接收到的审计记录，调整内部规则或统计信息，在判断有入侵发 生时采取相应的措施。 d e n n i n g 模型的最大缺点在于它没有包含已知系统漏洞或攻击方法的知识，而这些 知识在许多情况下是非常有用的信息。随着网络的发展，人们在d e n n i n g 模型的基础上 不断的提出了更好的适应目前大规模高速网络的体系结构，如使用a g e n t 机制或者层次 1 2 2 入侵检测系统基本功能 一个入侵检测系统的基本功能结构如图1 2 所示，它至少包含数据提取、数据分析、 结果处理三部分功能。 基于程序行为的异常检测技术研究与实现 图1 2 基本入侵检测系统功能结构图 f i g u r e1 2t h e b a s i cs t r u c t u r eo f a ni n t r u s i o nd e t e c t i o ns y s t e m 数据提取的作用在于为系统提供数据，数据的来源可以是主机上的日志信息、变动 信息，也可以足网络上的数据信息，甚至是流量变化等，这些都可以作为数据源。数据 提取模块在获得数据之后，需要对数据进行简单的处理，如简单的过滤、数据格式的标 准化等，然后将经过处理的数据提交给数据分析模块。数据分析的作用在于对数据进行 深入地分析，发现攻击并根据分析的结果产生事件，传递给结果处理模块。数据分析的 方式多种多样，可以简单到对某种行为的计数，如一定时间内某个特定用户登录失败的 次数，或者某种特定类型报文的出现次数，也可以是一个复杂的专家系统。该模块是一 个入侵监测系统的核心。结果处理模块的作用在于警告与响应。 1 3 入侵检测系统分类 我们按照检测数据来源和检测技术两种方法介绍入侵检测系统的分类。 1 3 1 按数据来源分类 入侵检测系统按照检测数据来源，主要可以分为以下两类【1o 】： 1 基于网络的入侵检测系统( n e t w o r k b a s e di d s ，简称n i d s ) 。n i d s 根据被监控网 络中的数据包内容检测入侵，通过在共享阚段上对通信数据的侦昕采集数据。使 用原始网络包作为数据源，分析可疑现象，不需要主机提供严格的审计，可以提 供对网络通用的保护而无需顾及异构主机的不同架构。 2 基于主机的入侵检测系统( h o s t - b a s e di d s ，简称h i d s ) 。b i d s 对系统审计日志 和操作系统进程进行分析来检测入侵，这类入侵检测系统的数据主要来自于系统 的日志记录、进程信息、文件目录信息、安全配置文件、系统调用信息等。这些 数据中包含了重要的有关用户的权限、允许的操作、占用的资源等关键信息。 n i d s 与h i d s 优缺点对比分析： 基于主机的入侵检测系统历史最久，多用户计算机系统出现不久已有雏形。其所收 集的信息集中在系统调用和应用层审计上，试图从日志判断滥用和入侵事件的线索。 h i d s 的主要目的是在事件发生后提供足够的分析来阻止进一步的攻击。反应的时间依 赖于定期检测的时问间隔。实时性没有n i d s 好。 基于主机的入侵检测系统具有如下优势： 1 监视所有系统行为。b i d s 能够监视所有的用户登录和退出、甚至用户所做的所有 基于程序行为的异棠检测技术研究与实理 操作、审计系统在日志里记录的策略改变、监视关键系统文件和可执行文件的改 变。可以提供比n i d s 更为详细的主机内部活动信息。 2 有些攻击在网络的数据流中很难发现，或者根本没有通过网络在本地进行。这时 n i d s 系统将无能为力。 3 适应交换和加密。h i d s 系统可以较为灵活地配置在多个关键主机上，不必考虑交 换和网络拓扑问题。这对关键主机零散地分布在多个网段上的环境特别有利。某 些类型的加密也是对n i d s 的挑战。依靠加密方法在协议堆栈中的位置，它可能使 基于网络的系统不能判断确切的攻击。h i d s 没有这种限制。 4 不要求额外的硬件。h i d s 配置在被保护的网络设备，不要求在网络上增加额外的 硬件。 基于网络的入侵检测系统具有如下优势： 1 n i d s 不要求在大量的主机上安装和管理软件，允许在蕈要的访问端口检查面向多 个网络系统的流黉。在一个网段只需要安装一套系统，就可以监视整个网段的通 信，因而花费较低。 2 b i d s 不查看包头，因而会遗漏一些关键信息，而n i d s 检查所有的包头来识别恶 意和可疑行为。例如，许多拒绝服务攻击只能在它们通过网络传输时检查包头信 息才能识别。 3 n i d s 的宿主机通常处于比较隐蔽的位置，基本上不对外提供服务，因此也比较坚 固。这样对于攻击者来说，消除攻击证据非常困难。捕获的数据不仅包括攻击方 法，还包括可以辅助证明和作为起诉的证据的信息；而h i d s 的数据源则可能已经 被精通审计日志的黑客篡改。 4 。n i d s 具有更好的实时性。例如，它可以在目标主机崩溃之前切断t c p 连接，从而 达到保护的目的。而h i d s 是在攻击发生之后，用于防止攻击者的进一步攻击。 5 n i d s 可以检测到不成功的攻击企图，而h i d s 则可能会遗漏一些重要信息。 6 ，n i d s 对被保护主机的操作系统依赖性小。 1 3 2 按检测技术分类 入侵检测技术主要有异常检测和误用检测两种【1 0 】： 1 异常检测。异常检测将攻击视为不同于正常的行为，通过识别任何违反正常的行 为检测入侵。异常检测系统试图建立一个对应“正常的系统轮廓”的特征原型， 然后把与所建立的特征原型中差别“很大”的所有行为都标志为异常。显而易见， 当入侵集合与异常活动集合存在相交情况时，一定会则存在“漏报”和“误报” 问题。为了使“漏报”和“误报”的概率较为符合实际需要，该系统的主要问题 是选择一个区分异常事件的“阈值”。而调整和更新某些系统特征度量值的方法 非常复杂，开销巨大。在实际情况下，试图用逻辑方法明确划分“正常行为”与 “异常行为”两个集合非常困难，几乎不可能。一个典型的异常检测系统模型如 图i 3 所示 1 1 。 茎型壁笪垄鲤塞堂垒型蕉查型塑皇壅些一 轮廓更新 动态生成新的轮廓 图1 3 一个典型的异常检测系统模型 f i g u r e1 3at y p i c a la n o m a l y d e t e c t i o ns y s t e mm o d e l 2 误用检测。误用检测明确定义攻击特征，通过将检测数据与攻击规则匹配来检测 已知的攻击。误用检测系统是建立在使用某种模式或者特征描述方法能够对任何 已知攻击进行表达这一理论基础上的。误用检测系统的主要问题是如何确定所定 义的攻击特征模式可以覆盖与实际攻击相关的所有要素，以及如何对入侵活动的 特征进行匹配。可以说，要想实现一个理论上能够百分之百正确检测所有攻击活 动的违规检测系统，首先必须保证能够用数学语言百分之百正确的描述所有的攻 击活动。一个典型的误用检测系统模型如图l ，4 所示【1 “。 修改现有规则 图1 4 个典型的误用检测系统模型 f i g u r e1 , 4at y p i c a lm i s u s ed e t e c t i o ns y s t e mm o d e l 异常检测误报率高，但是可以检测耳前未知的攻击。误用检测误报率低，僵只链检 测已知的攻击。所以有的入侵检测系统综合这两类入侵检测系统的优点，把异常检测和 误用检测都应用到一个系统中，提高系统的正确率和对新攻击的适应能力。 1 、4 主要入侵检测方法 本节介绍异常检测和误用检测中使用的主要检测方法【1 2 。 1 4 1 异常检测的常用方法 1 统计方法：统计方法是产品化的入侵检测系统中常用的方法。在统计方法中，需要解 决以下四个问题： ( 1 ) 选取有效的统计数据铡量点，生成能够反映主体特征的会话向量。 1 0 基r 程序行力的异常检测技术研究与实现 f 2 ) 根据主体活动产生的审计记录，刁i 断更新当前主体活动的会话向量。 ( 3 1 采用统计方法分析数据，判断当前活动是否符合主体的历史行为特征。 ( 4 1 随着时间变化，学习主体的行为特征，更新历史记录。 统计方法是一种成熟的入侵检测方法，它使入侵检测系统能够学习主体的日常行 为，将那些弓正常活动之间存在较大统训偏差的活动标识成为异常活动。 2 预测模式生成：预测模式生成基于如下假设：审计事件的序列不是随机的，而是符合 可识别的模式的。与纯粹的统计方法相比，它增加了对事件顺序与相互关系的分析， 从而能检测出统计方法所不能检测的异常事件。这方法首先根据已有的事件集合按 时间顺序归纳出一系列规则，在归纳过程中，随着新事件的加入，不断改变规则集合， 最终得到的规则能够准确地预测下一步要发生的事件。 3 神经网络法：神经网络法的基本思想是用给定的n 个动作训练神经网络去预测用户的 卜个命令。训练周期之后，神经网络使用已出现在网中的用户特征匹配实际的用户 命令，标志统计差异较大的事件为非法。使用神经网络的优点是：可以很好地处理i 噪 声数据，因为其只与用户行为相关，而不依赖于任何低层数据特性的统汁。但同样有 入侵者能够在其学习阶段训练网络的问题。 1 4 2 误用检测的常用方法 1 专家系统：专家系统是误用检测中运用最多的一种方法，它将有关入侵的知识转化成 i f - t h e n 结构的规则，i f 部分为入侵特征，t h e n 部分是系统防范措施。专家系统的建 立依赖于知识库的完备性，知识库的完备性又取决于审计记录的完备性与实时性。特 征入侵的特征抽取与表达是入侵检测专家系统的关键。 2 模型推理：模型推理是指结合攻击脚本推理出入侵行为是否出现。其中有关攻击者行 为的知识被描述为：攻击者目的，攻击者达到此目的的可能行为步骤，以及对系统的 特殊使用等。根据这些知识建立攻击脚本库，每一脚本都由一系列攻击行为组成。探 测时先将这些攻击脚本的子集看作系统正面临的攻击。然后通过一个预测器根据当前 模式，产生下一个需要验证的攻击脚本子集，并将它传给决策器。决策器收到信息后， 根据这砦假设的攻击行为在审计记录中的可能出现方式，将他们翻译成与特定系统匹 配的审计记录格式。然后在审计记录中寻找相应信息来确认或否认这些攻击。 3 数据挖掘：数据挖掘是种数据分析过程，- j 以从包含大量冗余信息的数据中提j ；双出 尽可能多的隐藏信息。将数据挖掘技术应用到入侵检测中，用于对海量的安全审计数 据进行智能化处理，目的是抽象出利于进行判断和比较的特征模型，这种特征模型可 以是基于误用检测的特征向量模型，也可以是基于异常检测的行为模式描述。在针对 安全审计数据的处理上，目前应用较多的数据挖掘算法是关联分析、序列挖掘和数据 分类，哥伦比亚大学的w e n k el e e 在这方面己进行了较长时间的研究 h , 1 4 , 1 5 】。国内也 己经有很多关于数据挖掘在入侵检测中应用的文章，他们有的是对用户行为进行挖掘 ”，有的是对i p 包序列进行挖掘m ，有的是对系统的审计数据进行挖掘。 基于程序行为的异常检测技术研究与实现 1 5 常见躲避入侵检测的攻击技术 随着入侵检测技术的发展，攻击者也不断改变攻击手段，躲避入侵检测h 】，下面介 绍几种月前流行的躲避入侵检测的攻击技术。 1 5 1 插入攻击 插入( i n s e r t i o n ) 攻击可使i d s 与一个实际接收端系统看到的包不同，从而使i d s 错误的接收分析一个实际接收端拒绝的包。在插入攻击中，攻击者插入数据到i d s 中， 使得对于终端系统非法的被拒绝数据在i d s 看来是有效的。使用插入攻击可以使得i d s 的特征分析失败，从而达到攻击目的。 图1 5 给出了一个插入攻击的示例。一令攻击者使用一个字符的数据流产生攻击。 而字母“x ”只被n i d s 接收，结果是n i d s 和终端系统重组产生不同的字符串。通常， 如果一个n i d s 在处理包时没有终端系统严格，就会产生插入攻击。 g j | 工；s 、 attack ? 目htxt ck 匡l 围匡 圜圈 司：( ：霸 司田园【习圈困 # 端幕统 拒抽接收x回囱围回因囡固 j j 攻照* 漉 图i ，5 一个插入攻击示例 f i g u r e1 5a ne x a m p l eo f t h ei n s e r t i o na t t a c k 1 5 2 逃避攻击 与插入攻击相反，逃避( e v a s i o n ) 攻击是终端系统接收一个包而n i d s 却拒绝。产 生逃避攻击的原因是n i d s 过于严格的处理数据包，以至于丢掉了本该处理的包，使得 攻击可咀逃避。逃避攻击非常容易被开发使用并且非常有破坏性。一个b 月显的攻击w 以 使用逃避攻击来逃脱分析引擎的检测。逃避攻击破坏模式匹配的方式与插入攻击类似， 攻击者使得终端系统看至r l l n i d s 更多的数据，而n i d s 丢失了检测一个攻击的关键数据。 在如图1 6 的逃避攻击中，n i d s 错误的拒绝分析字母“a ”，从而检测不到攻击。 垂王堡壁堡垄堕墨堕丝型垫生堡塞量兰g l 一 终端系统 h l d s 收到a t t a c k r 1 一r 1 r r 1r 一 划羔倒犁刨倒 收到a t t c k r er mr “一1 u 倒恻叫倒 ，。收到a t t a c k a 被终端系统接收、j j 。 被n i d s 拒绝 ：回国回国固国 ， 攻击数据流 - 。，：，一4 。+ 1 5 3 ip 碎片攻击 图1 6 个逃避攻击示例 f i g u r el6 a n e x a m p l e o f t h e e v a s i o n a t t a c k i p 碎片攻击是很常见的利用i p 分片与重组过程进行的攻击，先介绍i p 分片原 理，然后介绍几种常见的i p 碎片攻击。 1 5 31i p 分片原理 链路层具有最大传输单元m t u 这个特性，它限制了数据帧的最大长度，不同的网 络类型都有个上限值，以太网的m t u 是1 5 0 0 。如果i p 层有数据包要传，而且数据包 的长度超过了m t u ，那么i p 层就要对数据包进行分片操作，使每一片的长度都小于或 等于m t u 。我们假设要传输一个u d p 数据包，以太网的m t u 为1 5 0 0 字