（计算机软件与理论专业论文）基于程序行为的异常检测模型研究.pdf

y 6 1 8 3 9 1 基于程序行为的异常检测模型研究 摘要 入侵检测是网络高层次安全的保障系统，论文主要研究了基于程序行为的异常 检测技术，目的是利用异常检测技术的高适应性和程序行为的不易变性来提高检测 系统的性能。在u n i x 环境下构建了一个基于程序行为的异常检测模型，详细阐述了 该模型的模式抽取模块、检测模块以及检测参数修正模块的设计与实现。采用基于 t e i r e s i a s 算法的变长模式抽取方法构建程序正常行为模式库，在模式匹配中，基 于两步匹配算法实现变长模式匹配。引入了一种基于阈值的入侵判定方法，并在此 基础上，针对检测参数的确定进行了相关研究，提出一种新的匹配算法用于确定阈 值的取值范围。利用新墨西哥大学提供的仿真数据进行了实验测试，实验结果表明 在阈值一定的前提下，通过适当的调整两步匹配算法中匹配因子d 的值，可有效地 降低异常检测的误报率。 关键词：入侵检测，异常检测，程序行为，系统调用序列，模式匹配，匹配因子 r e s e a r c ho na n o m a l yi n t r u s i o nd e t e c t i o nm o d e lb a s e d o l lp r o g r a mb e h a v i o rp r o f i l e s a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e mi sah i g h l e v e ld e f e n c es y s t e mo nn e t w o r k s e c u r i t y t h i sp a p e rd i s c u s sap r o g r a m b a s e da n o m a l yd e t e c t i o na p p r o a c h , w h i c ht a k e sb o t ha d v a n t a g eo ft h ea b i l i t yo fa n o m a l yd e t e c t i o ni nd e t e c t i n g n o v e la t t a c k sa n dt h es t a b i l i t yo fp r o g r a mb e h a v i o ri ni n t r u s i o na n a l y s i s c o m p a r e dw i t ho t h e ro b s e r v a b l e s w ed e s i g n a p r o g r a m - b a s e da n o m a l yd e t e c t i o n m o d e lu n d e ru n i xa n de x p l i c a r ec h i e f l yp a t t e r ne x t r a c t i o nm o d u l e ，d e t e c t i o n m o d u l ea n dd e t e c t i o np a r a m e t e r sa m e n d i n gm o d u l e av a r i a b l e - 1 e n g t hp a t t e r n s e x t r a c t i n ga p p r o a c hb a s e do nt e i r e s i a sa l g o r i t h mi sa d o p t e dt om o d e l t h e n o r m a lp r o g r a mb e h a v i o r ，a n dat w o s t e pm a t c h i n ga l g o r i t h mi sa p p l l e dt o i m p l e m e n tv a r i a b l e l e n g t hp a t t e r nm a t c h i n g w ea p p l ya ni n t r u s i o nd e c i s i o n m e a s u r eb a s e do nt h r e s h o l dt od e t e r m i n ei fa ni n t r u s i o nh a p p e n s i no r d e r t os e l e c td e t e c t i o np a r a m e t e r s ，w ep u tf o r w a r dan e wm a t c h i n ga l g o r i t h mt o c h o o s et h es c o p eo ft h r e s h o l da n dm a k ea ne x p e r i m e n tu s i n gt h ee m u l a t i o n a l d a t ap r o v i d e db yt h eu n i v e r s i t yo fn e wm e x i c o t h er e s u l to ft h ee x p e r i m e n t i n d i c a t e st h a tf a l s ep o s i t i v e c a r lb er e d u c e d e f f e c t i v e l yb ya d j u s t i n g s u i t a b l yt h ev a l u eo fm a t c h i n gg e n e ，u n d e rt h ep r e c o n d i t i o no ft h r e s h o l d c o n f i r m e d l i t i n g ( c o m p u t e rs o f t w a r ea n dt h e o r y ) d i r e c t e db yj i ax i a o z h u k e yw o r d s ：i n t r u s i o nd e t e c t i o n a n o m a l y d e t e c t i o n ，p r d g r a mb e h a v i o r ，s y s t e m c a l1 s e q u e n c e ，p a t t e r nm a t c h i n g ，m a t c h i n gg e n e 第一章绪论 第一章绪论 1 1 网络安全现状 随着网络技术，特别是i n t e r n e t 的飞速发展，计算机网络已逐渐成为2 1 世纪 全球最重要的基础设施，它对社会的政治、经济、文化、军事和社会生活等方面产 生了巨大的影响。网络所代表的开放式信息系统是现代信息社会的发展趋势，而网 络的开放性，尤其是i n t e r n e t 的跨国界性、无主管性、不设防性和缺少法律约束性 1 ，给网络自身带来巨大的安全风险。 当前在全球范围内，对计算机及网络基础设施的攻击行为已经成为一个越来越 严重和值得关注的问题，特别是各种政府机构的网站，更是成为黑客攻击的热门目 标。据统计，全球有9 9 的大公司都发生过大的入侵事件。世界著名的商业网站， 如y a h o o 、b u y 、e b a y 、a m a z o n 、c n n 都曾被黑客入侵，造成巨大的经济损失，甚至 连专门从事网络安全的r s a 网站也受到黑客的攻击。计算机网络的安全问题已经成 为影响国家独立和安全，影响经济运行和发展，影响社会稳定和繁荣的重大问题。 网络安全问题日益突出，成为整个社会关注的焦点，保障计算机系统、网络系统及 整个信息基础设施的安全已成为刻不容缓的重要课题。 目前国内外对网络安全的研究和开发主要集中在以下几个方面 2 ： 1 网络安全模型和仿真以及安全防卫的系统方法； 2 多元身份认证技术： 3 信息加密技术； 4 具有隔断功能的高性能防火墙技术； 5 网络安全协议； 6 虚拟专用网络； 7 扫描程序； 8 入侵检测系统； 其中，入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 是一种新型的网络 安全技术，自1 9 8 0 年j a m e sa d e r s o n 首先提出了入侵检测的概念，到1 9 9 8 年r o s s a n d e r s o n 和a b i d ak h a t t a k 将信息检索技术引入到了入侵检测系统 3 ，数十年间 并未引起太多重视。直至i n t e r n e t 的兴起，全球化互联网络使网络安全问题日趋严 重，入侵行为频繁发生，入侵检测系统才逐步受到人们的关注，入侵检测技术也有 了快速的发展。入侵检测技术有别于传统的加密、身份认证、访问控制、防火墙、 安全路由等安全技术，能够有效地防范网络入侵，将其可能造成的安全风险降到最 低限度，是近年来网络和信息安全领域理论研究和技术开发与应用的热点问题之一。 第一章绪论 入侵检测系统的主要目的是提供实时的入侵行为检测以及采取相应的防护手 段，如记录证据用于跟踪和恢复、断开网络连接等。其作用就在于，当其它安全措 施被突破，入侵者已进入网络系统的情况下发挥作用，该技术主要通过从计算机网 络或计算机系统的关键点收集信息并进行分析，从中发现网络或系统中是否有违反 安全策略的行为和被攻击的迹象，及时发现入侵者并采用相应措施，从而避免或尽 可能减少因入侵而造成的损失，i d s 帮助系统对付网络攻击，扩展了系统管理员的 安全管理能力( 包括安全审计、监视、进攻识别和响应) ，提高了信息安全基础结构 的完整性。 目前，国内外有许多实验室和公司都在从事入侵检测系统的研究和开发工作， 并已完成一些原型系统和商业产品。从技术上看，这些产品基本上分为以下几类： 基于网络的产品和基于主机的产品。混合的入侵检测系统可以弥补一些基于网络与 基于主机的片面性缺陷。此外，文件的完整性检查工具也可看作是类入侵检测产 品。这些入侵检测产品在一定程度上都能大大提高系统和网络的安全性。但从整体 上来看，这些i d s 还存在普遍的缺陷，虽然不同的产品可能会在不同的方面有所侧 重。主要体现在构建方法、检测效率、可移植性、可扩展性、可维护性等方面，尤 其在检测的漏报和误报方面存在严重不足 4 。 一方面由于现有的入侵检测系统还存在着诸多缺陷，另一方面由于入侵方法的 越来越多样化与综合化，使得对入侵检测系统的深入研究成为必要。尽管已经有智 能体、神经网络与遗传算法 4 在入侵检测领域应用研究，但这只是一些尝试性的研 究工作，仍需对i d s 加以进一步的研究以解决其自学习与自适应能力。 1 2 论文研究的问题及意义 入侵检测技术已成为当前网络安全技术领域内的一个研究热点，常用的入侵检 测方法主要有两类，即误用检测和异常检测，前者是指运用已知的攻击方法，根据 已定义好的入侵模式，通过判断这些入侵模式是否出现来检测入侵。这种方法的检 测准确度很高，但它只能检测已知的攻击模式。后者则是通过提取正常模式审计数 据的数学特征，检查事件数据中是否存在与之相违背的异常模式，它具有能对整个 计算机系统中各种类型的异常活动进行检测，对攻击的检测不依赖其是否出现过， 可检测未知的攻击等优点，不像误用入侵检测那样受已知脆弱性的限制。 异常检测是目前入侵检测系统的主要研究方向，由于它对新的入侵行为的变异 具有较强的适应性，一直以来都受到广泛地应用。传统的异常检测技术主要是基于 轮廓用户的正常行为来检测异常，但因为不可能对整个系统内的所有用户行为进行 全面的描述，况且缚个用户的行为是经常改变的，所以它的主要缺陷在于误检率很 2 第一章绪论 高。尤其在用户数目众多，或工作目的经常改变的环境中。 基于程序行为的异常检测是近年来出现的一种相对于传统的基于用户行为的入 侵检测方法。相比于用户行为、网络拥塞状况等传统的入侵检测的监测对象，程序 行为的行为特征比较稳定、易于量化，而且程序执行时有很多易于观测的属性( 例 如系统调用等) ，这些都给分析和建模带来很大方便。 在基于程序行为的异常检测技术方面，国内外都进行了相关研究 2 6 ，2 8 ，3 1 ， 3 9 1 ，这些研究的共同点是收集程序在正常状态下使用的系统调用序列，建立程序的 正常行为模式库，通过程序运行时与行为轮廓的偏离来发现滥用程序的入侵行为。 用基于程序行为的异常检测方法来检测入侵，最关键的就是如何构建程序正常行为 模式库以及采用何种判定方法区分程序的正常和异常。 本文在已有的建库方法和入侵判定的基础上，针对国外已提出的变长模式抽取 方法以及种基于阐值的入侵判定方法进行了研究。构建了一个u n i x 下的基于程序 行为的异常检测模型，采用基于t e i r e s i a s 算法的变长模式抽取方法构建程序正常 行为模式库，基于两步匹配算法实现变长模式匹配，并着重对检测参数的确定进行 了研究，提出了一种新的匹配算法来辅助确定阈值的选取，利用新墨西哥大学提供 的仿真数据进行了实验研究，结果表明在阈值一定的前提下，通过适当的调整两步 匹配算法中匹配因子d 的值，可有效地降低异常检测的误报率。 1 3 论文结构安排 本文余下部分的内容组织如下：第二章概述了入侵检测技术的研究概况；第三 章详细介绍了基于程序行为的异常检测技术的原理、特点以及现有的用于建立程序 正常行为模式的方法；第四章描述了我们所建立的u n i x 下基于程序行为的异常检测 模型的结构及主要特点，介绍了数据收集模块、数据预处理模块、模式抽取模块、 检测模块以及检测参数修正模块的设计与实现：第五章为相关实验研究；第六章为 工作总结与展望。 3 第二章入侵检测技术 第二章入侵检测技术 2 1 入侵检测的概念 入侵检测系统( i d s ) 的研究始于8 0 年代，从最初的实验室原型研究到推出商 业化产品，已经有2 0 多年的发展历史了。i d s 是一种新型的网络安全技术，它有别 于传统的加密、身份认证、访问控制、防火墙、安全路由等安全技术，能够有效地 防范网络入侵，将其可能造成的安全风险降到最低限度，是近年来网络和信息安全 领域理论研究和技术开发与应用的热点问题之。 入侵检测即是对入侵行为的发觉，它通过从计算机网络或计算机系统的关键点 收集信息并进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击 的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统。i d s 是一种集检测、 记录、报警和响应于一体的动态安全技术，不仅能检测来自外部的入侵行为，同时 也监督内部用户的未授权活动，提供了对内部攻击、外部攻击和误操作的实时防护， 在网络系统受到危害之前拦截和响应入侵。其作用在于：识别入侵者；识别入侵行 为；检测和监视已成功的安全突破；为对抗入侵及时提供重要信息，阻止事件的发 生和事态的扩大。 总体来讲，入侵检测系统的功能主要有 夺监控、分析用户和系统的活动，查找非法用户和合法用户的越权操作。 夺检测系统配置的正确性和安全漏洞，并提示管理员修补漏洞。 夺评估关键系统和数据文件的完整性。 夺识别攻击的活动模式并向网管人员报警。 对用户的非正常活动进行统计分析，发现入侵行为的规律。 夺操作系统审计跟踪管理，识别违反政策的用户活动。 夺检查系统程序和数据的一致性与正确性。如计算和比较文件系统的校验 和能够实时对检测到的入侵行为进行反应。 对于一个成功的入侵检测系统来讲，它不但可使系统管理员时刻了解网络系统 ( 包括程序、文件和硬件设备等) 的任何变更，还能给网络安全策略的制订提供指 南。更为重要的一点是，它应该管理、配置简单，从而使非专业人员非常容易地获 得网络安全。而且，入侵检测的规模还应根据网络威胁、系统构造和安全需求的改 变而改变。入侵检测系统在发现入侵后，会及时做出响应，包括切断网络连接、记 录事件和报警等。 4 第二章入侵检测技术 2 2 入侵检测系统的组成 2 2 1i d s 的功能模块 按照较为规范的形式来划分，i d s 可分为以下3 个模块 6 ： 数据源：提供用于系统监视的审计记录流。 分析引擎：用于对审计数据进行分析，发现入侵或异常行为。 响应：根据分析引擎的输出结果，产生适当的反应。 图2 1i d s 的功能模块 如图2 1 所示，数据源、分析引擎和响应模块是相辅相成的。数据源为分析引 擎提供原始数据进行入侵分析，分析引擎执行实际的入侵或异常行为检测，分析引 擎的结果提交绘响应模块，帮助采取必要和适当的动作，阻止进一步的入侵行为或 恢复受损害的系统。同时，响应模块作用的对象也包括数据源和分析引擎，例如， 针对数据源，可以要求数据源提供更为细致的信息，调整监视策略，收集其它类型 的数据；针对分析引擎，则可以增加、删除或更改系统的检测规则，修正检测过程 中的参考模式，调整系统的运行参数等。 2 2 2 i d s 的模型结构 最早的入侵检测模型是d o r o t h yd e n n i n g 在1 9 8 6 年提出的 7 。这个模型与具 体系统和具体输入无关，对此后的大部分实用系统都很有借鉴价值。图2 2 表示了 这个通用模型的体系结构。 图2 2 入侵检测模型 事件产生器可以根据具体应用环境而有所不同，一般情况下可来自审计记录、 网络数据包以及其它可视行为。这些事件构成了检测的基础。行为特征模块是整个 5 第二章入侵检测技术 检测系统的核心，它包括了用于计算用户行为特征的所有变量，这些变量可以根据 具体所采纳的统计方法以及事件记录中的具体动作模式而定义，并根据匹配上的记 录数据更新变量值。 如果有统计变量的僮达到了异常程度，则行为特征表产生异常记录，并采取一 定的措旌。规则模块可以由系统安全策略、入侵模式等组成。它一方面为判断是否 入侵提供参考机制；另一方面，根据事件记录、异常记录以及有效日期等控制并更 新其它模块的状态。在具体实现上，规则模块执行基于知识的检测。由于这两种方 法具有一定的互补性，实际系统中经常将两者结合在一起使用。目前一种通用的入 侵检测模型如图2 3 所示。 图2 3 通用入侵检测模型 其中两种检测技术所关心的数据各有侧重，即使对来自同一数据源的信息也会 有不同的采集重点和处理方式，为了提高检测结果的准确性以及检测效率，数据源 在提交数据之前需要预处理，去掉无用和干扰数据：对于误用检测，需要为模式匹 配机准备好入侵签名库，也称模式库。 目前，关于入侵模式的提取和编制还没有一个统一的标准，一般都由有经验的 安全技术人员手工完成；而对于异常检测，则首先利用收集的数据，采用一定的统 计方法建立相应的系统剖析模型，作为系统正常的参考基准，这个过程由系统的剖 析引擎完成。而异常检测器则不断地计算相应统计量的变化情况，一旦系统偏移参 考基准超过许可范围，就认为系统发生异常。各个部分工作时产生的所有记录都应 存入系统的审计数据库中，方便系统管理员迸一步研究和解决问题。 2 3 i d s 的分类研究 入侵检测技术自8 0 年代提出以来得到了极大的发展，国外一些研究机构已经开 发出了应用于不同操作系统的数种典型的入侵检测系统。对于i d s 从不同的角度有 不同的分类方法。 6 第二章入侵检测技术 2 3 1基于数据来源的分类 入侵检测系统按其输入数据的来源可以分为基于主机的i d s 、基于网络的i d s 和混合型的i d s 三大类 8 。 2 3 1 i 基于主机的i d s 基于主机的i d s ( h i d s ) 为早期的入侵检测系统结构，通常部署在权限被授予 和跟踪的主机上，主要是对该主机的网络实时连接以及系统审计日志进行智能分析 和判断。如果其中主体活动十分可疑( 特征或违反统计规律) ，入侵检测系统就会采 取相应措旌。 早在7 0 年代末，j i ma n d e r s o n 就指出了通过日志文件的某些信息，如多次登 录失败的记录或访问机密文件的记录等，可以分析出非法用户的登录企图以及冒充 合法用户等简单入侵行为。在可靠计算机评价准则( t c s e c ) 中规定了c 2 安全级以 上的操作系统必须具备审计功能，并记录相应的安全性日忠。在标准u n i x 系统中， 这些日志文件可以根据系统管理员的设置，记录用户何时注册、在何处注册、要做 什么以及系统调用、程序运行结果等与安全性有关的操作信息。其中的审计数据包 括可查事件和可查信息。可查事件是指从安全角度应该注意的用户行为，例如认证 和授权机制的使用、对象的增加删除、打印输出等。可查信息是与特定的可查事件 相关的实际数据，包括事件发生的时间、产生事件的主体的唯一标志、事件的类型、 事件成功与否以及所增加、删除、访问的对象名称等。 这种检测方法首先要求系统根据配置信息中设定的需要审计事件，这些事件一 旦发生，系统就将具体参数记录在日志文件中。检测系统则根据一定的算法对目志 文件中的审计数据进行分析，最后得出结果报告。 图2 4 基于主机日志的检测 输出( 报警、紧急措施等) 基于主机的i d s 对分析“可能的攻击行为”非常有用。举例来说，有时它除了 指出入侵者试图执行一些“危险的命令”之外，还能分辨出入侵者干了什么事：他 们运行了什么程序、打开了哪些文件、执行了哪些系统调用。基于主机的i d s 与基 于网络的i d s 相比通常能够提供更详尽的相关信息。另外，基于主机的i d s 通常情 况下比基于网络的i d s 误报率要低，因为检测在主机上运行的命令序列比检测网络 7 第二章入侵检测技术 流更简单，系统的复杂性也少得多。 在很多操作系统中都有审计记录功能，如在u n i x 系统中的 s y s l o g ，p s ，p s t a t ，v m s t a t ，g e t r l i m i t 等。日志文件能够为入侵检测系统提供详尽 的有效数据，但是单独地依靠主机审计信息进行入侵检测却难以适应网络安全的要 求，若入侵者设法逃避审计或进行合作入侵，则基于主机的i d s 的弱点就暴露无疑 了。基于主机的i d s 主要存在以下不足： 基于主机的i d s 安装在我们需要保护的设备上。举例来说，当一个数据库服 务器需要保护时，就要在服务器本身上安装入侵检测系统。这会降低应用系统的效 率。此外，它也会带来一些额外的安全问题，安装了主机入侵检测系统后，将本不 允许安全管理员有权力访问的服务器变成他可以访问的了。 基于主机的i d s 的另一个问题是它依赖于服务器固有的日志与监视能力。如 果服务器没有配置日志功能，则必需重新配置，这将会给运行中的业务系统带来不 可预见的性能影响。 全面布署基于主机的i d s 代价较大，企业中很难将所有主机用基于主机的i d s 保护，只能选择部分主机保护。那些未安装基于主机的i d s 的机器将成为保护的盲 点，入侵者可利用这些机器达到攻击目标。 基于主机的i d s 除了监测自身的主机以外，根本不监测网络上的情况。对入 侵行为分析的工作量将随着主机数目的增加而增加。 基于主机的入侵检测产品主要对主机的网络实时连接以及系统审计日志进行智 能分析和判断。现已开发出的基于主机的入侵检测系统有：i s sr e a l s e c u r eo s s e n s o r 、e m e r a l de x p e r t b s m 、金诺网安k i d s 9 等。 2 3 1 2 基于网络的i d s 基于网络的i d s ( n i d s ) 放置在比较重要的网段内，它不停地监视网段中各种 数据包，并对每一个数据包或可疑的数据包进行特征分析。如果数据包与其所内置 的某些规则吻合，入侵检测系统就会发出警报甚至直接切断网络连接。 基于网络的i d s 的主要实现原理：任何一个网络适配器都具有收听其它数据包 的功能，它首先检查每个数据包的目的地地址，只有符合本机地址的包才向上一层 传输。通过适当配置适配器，就可以捕获同一子网上的所有数据包。而基于简单网 管协议( s n m p ) 的这些数据包应含有配置信息( 路由表、地址、名字等) 以及运行 数据( 如用于不同网络接口及各层之间通信的计算器等) ，这就为入侵检测提供了必 要的原始数据。基于网络的入侵检测系统被放置在防火墙或网关后，它像网络窥探 器一样捕获所有内传或外传的数据包，但它并不延误数据包的传送，因为它对数据 包来讲仅仅是在进行监视。 0 第二章入侵检测技术 基于网络的i d s 有其自身的一些特点： 基于网络的i d s 能够检测来自网络的攻击以及超过授权的非法访问。它不需 要改变服务器等主机的配置，不会在业务系统的主机中安装额外的软件，因此不会 影响这些机器的c p u 、i 0 与磁盘等资源的使用，不会影响业务系统的性能。 由于基于网络的i d s 不像路由器、防火墙等关键设备的方式工作，它不会成 为系统中的关键路径，故基于网络的i d s 发生故障不会影响正常业务的运行。因此 部署一个基于网络的i d s 的风险要比部署一个基于主机的i d s 的风险少得多。 基于网络的i d s 近年内有向专门的设备发展的趋势，安装这样的一个入侵检 测系统非常方便，只需将定制的设备接上电源，做很少的一些配置，将其连到网络 上即可。 虽然基于网络的i d s 是网络系统安全策略和措施的重要手段和工具，但它也存 在着许多局限性： 基于网络的i d s 只检查它直接连接网段的通信，不能检测在不同网段的网络 包。那么在使用交换以太网的环境中就会出现监测范围的局限。而安装多台网络入 侵检测系统的传感器会使部署整个系统的成本大大增加。 基于网络的i d s 为了性能目标通常采用特征检测的方法，它可以检测出普通 的一些攻击，但很难实现一些复杂的需要大量计算与分析时间的攻击检测。 基于网络的i d s 可能会将大量的数据传回分析系统中。在一些系统中监听特 定的数据包会产生大量的分析数据流量。一些系统在实现时常常采用一定的方法来 减少回传的数据量。对入侵判断的决策由传感器实现，而中央控制台则成为状态显 示与通信中心，不再作为入侵行为的分析器。这样的系统中的传感器协同工作的能 力较弱。 基于网络的i d s 处理加密的会话过程比较困难，目前通过加密通道的攻击尚 不多，但随着i p v 6 的普及，这个问题会越来越突出。 目前，大部分入侵检测产品都是基于网络的，主要有 1 0 ：国外的i s s 9 第二章入侵检测技术 r e a l s e c u r en e t w o r ks e n s o r 、c i s c os e c u r ei d s 、c ae t r u s ti d s 、a x e n t 的 n e t p r o w l e r ，以及国内的金诺网安k i d s 、北方计算中心n i s d e t e c t o r 、启明星辰天 阗黑客入侵检测与预警系统和中科网威“天眼”网络入侵侦测系统等。 2 3 1 3 混合型的l d s 基于网络的i d s 和基于主机的i d s 都有不足之处，且每种i d s 都能检测对方无 法检测到的一些入侵行为，单纯使用其中的一种会造成主动防御体系的不全面。但 是，它们的缺憾是互补的。如果能将这两种类型的入侵检测系统无缝的结合起来部 署在网络内，就会构架成一套完整立体的主动防御体系，综合了基于网络和基于主 机两种结构特点的混合型的入侵检测系统，既可发现网络中的攻击信息，也可从系 统臼志中发现异常情况。 结合主机型与网络型技术。混合型的i d s 以系统为基础，并可识别流向或来自 该单一主机网络封包上的攻击。混合型的系统不像网络型i d s ，它不会检查每个 经过的封包，所以它减缓了某些因为流量分析丽造成的效能降低问题。混合型的i d s 监控系统的事件、资料、目录以及登录文件中的攻击行为，以提供更多的防护。平 台的限制与部署问题仍是一个争议，且它们在传统上会耗费相当的系统资源，但是 较之于网络型的i d s ，它们较不易发生误报的情形。 基于主机的i d s 和基于网络的i d s 各有特色，可互为补充。完美的i d s 产品应 该将两者结合起来。目前主流的i d s 产品都采用混合型i d s 的架构，如i s s 的 r e a l s e c u r e 、启明星辰的天阒黑客入侵检测与预警系统以及上海金诺网安的k i d s 1 1 等都属于这一类型。 2 3 2 基于检测技术的分类 对各种事件进行分析，从中发现违反安全策略的行为是入侵检测系统的核心功 能。i d s 通常使用两种基本的分析方法来分析事件、检测入侵行为，即误用检测和 异常检测 1 2 。误用检测的目标是发现已知的入侵模式，它是大部分商业i d s 产品 采用的分析方法。异常检测则试图检测出系统行为的异常模式，在实际i d s 中应用 较少。两种分析方法各有自己的长处和缺点，最有效的i d s 应该是主体技术使用误 用检测，结合使用异常检测技术。 2 3 2 1 误用检测 误用检测( m i s u s ed e t e c t i o n ) 是指运用已知的攻击方法，根据已定义好的入 侵模式，通过判断这些入侵模式是否出现来检测入侵。这种方法由于依据具体特征 库进行判断，所以检测准确度很高，并且因为检测结果有明确的参照，也为系统管 理员做出相应措施提供了方便。主要缺陷在于只能检测已知的攻击模式，当出现针 对新漏洞的攻击手段或针对旧漏洞的新攻击方式时，需要由人工或者其它机器学习 系统得出新攻击的特征模式，添加到误用模式库中，才能使系统具备检测新的攻击 l o 第二章入侵检测技术 手段的能力。 随着对计算机系统的弱点、漏洞和入侵行为分析研究的深入，误用检测在入侵 检测系统中起到越来越重要的作用。如何构造一个足够通用和精确的入侵描述模式 来表示已知的入侵方法，提高误用检测的系统化，是误用检测面临的主要问题。误 用检测使用的方法主要有专家系统、模式匹配方法、状态转移方法和基于模型的方 法等。 ( 1 ) 专家系统 专家系统( e x p e r ts y s t e m ) 1 3 是最早的误用检测方案之一，被许多经典的检 测模型所采用，如i d e s 、d i d s 和c m d s 等。用专家系统对入侵进行检测，经常是针 对有特征入侵行为。入侵的特征抽取与表达，是入侵检测专家系统的关键。在系统 实现中，将有关入侵的知识转化为i f t h e n 结构( 也可以是复合结构) ，条件部分为 入侵特征，t h e n 部分是系统防范措施。专家系统的建立依赖于知识库的完备性，知 识库的完备性又取决于审计记录的完备性与实时性，并且运用专家系统防范有特征 入侵行为的有效性也完全取决于专家系统知识库的完备性。 专家系统的优点在于把系统的推理控制过程和问题的最终解答相分离，即用户 不需要理解或干预专家系统内部的推理过程，而只须把专家系统看作是一个自治的 黑盒子。当然，要达到这一目的，黑盒子的生成是一项困难而费时的工作，用户必 须把决策引擎和检测规则以硬编码的方式嵌入到系统中。一般情况下，专家系统的 检测能力强大，灵活性也很高，但计算成本较高，通常以降低执行速度为代价。 将专家系统应用于入侵检测时，也存在一些实际的问题：如难以科学地从各种 入侵手段中抽象出能规则化的知识，从审计数据中提取产生式规则也不容易，尤其 是审计数据有时并不能完全提供检测所需的信息，而且对某个具体漏洞的应用方法 可能千变万化，规则库不一定能包括所有的可能性。另外，专家系统在运行时需要 对所有审计数据进行分析，处理的数据量过大，在大型系统上，如何获得实时连续 的审计数据也是个问题。 ( 2 ) 模式匹配 模式匹配( p a t t e r n m a t c h i n g ) 1 4 是最为通用的误用检测技术，通过将收集 到的信息与已知的网络入侵和系统误用模式数据库进行比较，从而发现违背安全策 略的行为。该过程可以很简单( 如通过字符串匹配以寻找一个简单的条目或指令) ， 也可以很复杂( 如利用正规的数学表达式来表示安全状态的变化) 。一般来讲，一 种进攻模式可以用一个过程( 如执行一条指令) 或一个输出( 如获得权限) 来表示。 把攻击信号看成一种模式进行匹配检测有以下一些特点： 事件来源独立：模式的描述并不包含对事件来源的描述，模式只需要了解事件 可以提供什么数据，而不管事件如何提供这些数据。 l l 第二章入侵检测技术 描述和匹配相分离：描述入侵信号的模式主要是定义什么需要匹配，而不是如 何去匹配，描述什么需要匹配和如何匹配是相分离的。 动态的模式生成：描述攻击的模式可以在需要的时候被动态生成。 多事件流：允许多事件流同时进行模式匹配，而不需要把这些事件流先行集中 成一个事件流。 可移植性：入侵模式可以轻易地移植，而不需要进行重新生成。 模式匹配具有原理简单、扩展性好、检测效率高、可以实时检测等优点，但只 能是用于比较简单的攻击方式，并且误报率高。虽然其在性能上存在很大问题，但 由于系统的实现、配置、维护都非常方便，因此得到了广泛的应用。著名的跨平台 的轻量级网络入侵检测工具s n o r t 以及由美国l a w r e n c eb e r k e l e y 国家实验室开发 的网络入侵监测工具b r o 就采用了这种检测手段。 ( 3 ) 状态转移方法 状态转移方法 1 5 采用优化的模式匹配技术来处理误用检测问题。由于处理速 度的优势和系统的灵活性，状态转移法已成为当今最具竞争力的入侵检测模型之一。 这种方法采用系统状态和状态转移的表达式来描述已知的攻击模式。目前，实现基 于状态转移的入侵检测可使用3 种方法：状态转移分析、着色p e t r i 网和基于语言 应用程序接口的方法。在此简要的介绍状态转移分析法。 状态转移分析是使用高层状态转移图来表示和检测已知攻击模式的误用检测技 术。状态转移图是一种针对入侵或渗透过程的图形化表示方法。当使用状态转移图 提取入侵序列的特征时，系统应该限制为仅表示那些导致状态变化的关键行为。 状态转移分析系统使用有限状态机模型来表示入侵过程。入侵过程由一系列导 致系统从初始状态转移到入侵状态的行为组成。初始状态表示在入侵发生之前的系 统状态，入侵状态则代表入侵完成后系统所处的状态。系统状态通常使用系统属性 或用户权限来描述。用户的行为和动作导致系统状态的转变。 用于误用检测的状态转移分析引擎包括一组状态转移图，各自代表一种入侵或 渗透模式。每次当新的行为发生时，分析引擎检查所有的状态转移图，查看是否导 致系统的状态转移。如果新行为否定了当前状态的断言，分析引擎就将状态转移图 回溯到断言仍然成立的状态；如果新行为使系统状态转移到了入侵状态，状态转移 信息就被发送到决策引擎，并根据预先定义的策略采取相应的响应措施。 状态转移分析是针对事件序列的分析，所以不善于分析过分复杂的事件，而且 不能检测与系统状态无关的入侵。 ( 4 ) 基于模型的方法 入侵者在攻击一个系统时往往采用一定的行为序列，如猜测口令的行为序列， 这种行为序列构成了具有一定行为特征的模型，根据这种模型所代表的攻击意图的 第二章入侵检测技术 行为特征，可以实时地检测出恶意的攻击企图。 基于模型的方法 1 6 即是指通过入侵模型的结合推理出入侵行为是否出现，其 中有关攻击者行为的知识被描述为：攻击者目的，攻击者达到此目的的可能行为步 骤，以及对系统的特殊使用等。根据这些知识建立攻击脚本库，每一脚本都由系 列攻击行为组成。检测时先将这些攻击脚本的子集看作系统正面临的攻击。然后通 过一个称为预测器的程序模块根据当前行为模式，产生下一个需要验证的攻击脚本 子集，并将它传给决策器，决策器收到信息后，根据这些假设的攻击行为在审计记 录中的可能出现方式，将它们翻译成与特定系统匹配的审计记录格式，然后在审计 记录中寻找相应信息来确认或否认这些攻击，初始攻击脚本子集的假设应满足：易 于在审计记录中识别，并且出现频率很高。随着一些脚本被确认的次数增多，而另 一些脚本被确认的次数减少，则攻击脚本将不断地得到更新。 与专家系统通常放弃处理那些不确定的中间结论的缺点相比，这一方法的优点 在于它基于完善的不确定性推理数学理论。基于模型的入侵检测方法可以仅监测一 些主要的审计事件，当这些事件发生后，再开始记录详细的审计，从而减少审计事 件处理负荷。 但是，在创建入侵检测模型时的工作量比别的方法要大，在系统实现时决策器 如何有效地翻译攻击脚本也是个问题。 2 3 2 2 异常检测 异常检测( a n o m a l yd e t e c t i o n ) 是目前入侵检测系统的主要研究方向，它是指 根据使用者的行为或资源使用状况来判断是否入侵，而不依赖于具体行为是否出现 来检测，所以也被称为基于行为的检测。异常检测基于统计方法，使用系统或用户 的活动轮廓( a c t i v i t yp r o f i l e ) 来检测入侵活动。活动轮廓由一组统计参数组成， 通常包括c p u 和i o 利用率、文件访问、出错率、网络连接等。这类i d s 先产生主 体的活动轮廓，系统运行时，异常检测程序产生当前活动轮廓并同原始轮廓比较， 同时更新原始轮廓，当发生显著偏离时即认为是入侵。 基于行为的检测与系统相对无关，通用性较强。它甚至有可能检测出以前从未 出现过的攻击方法，不像基于知识的检测那样受已知脆弱性的限制。但因为不可能 对整个系统内的所有用户行为进行全面的描述，况且每个用户的行为是经常改变的， 所以它的主要缺陷在于误检率很高。尤其在用户数目众多，或工作目的经常改变的 环境中。其次由于统计简表要不断更新，入侵者如果知道某系统在检测器的监视之 下，他们能慢慢地训练检测系统，以至于最初认为是异常的行为，经一段时间训练 后也认为是正常的了。 在异常检测方式中，主要包括量化分析、统计分析、非参量化统计分析和神经 网络等方法。其中最广泛使用的是概率统计分析方法。 第二章入侵检测技术 ( 1 ) 量化分析 量化分析 1 7 是异常检测中使用最为广泛的方案，其特点是使用数字来定义检 测规则和系统属性。它通常涉及一系列的计算过程，从简单的计数到复杂的加密运 算，计算的结果可以作为构造误用检测的入侵特征或者异常检测的统计模型的数据 基础。在早期的入侵检测系统中，量化分析常常被用来对原始数据进行精简。通用 的量化分析方法有如下几种： 夺门限检测：它是最为常见的量化分析方法，通常使用计算器来描述系统和 用户行为的某些属性，并设定可以接受的数值范围，一旦在检测过程中发 现系统的实际属性超出了正常设定的门限值，就认为系统出现了异常。 夺启发式门限检测：是对传统门限检测的改进，对于包含大量用户或目标环 境的系统来说，可以大幅度地提高检测的准确性。例如，传统的门限检测 设置的检测规则是：一个小时内，如果登陆失败的次数大于3 ，就认为出现 异常；而在启发式门限检测中，则定义为：当登陆失败的次数大于1 个异 常数时，就会发出报警信息。 夺目标完整性检查：它针对系统中某些关键的对象，检查是否受到无意或恶 意的更改。其最通用的方式是使用消息摘要函数计算系统对象的密码校验 值，并将计算得到的参考值存放在安全区域。系统定时地计算校验值，与 预先存储的参考值相比较，如果发现偏差，就发出报警信息。 ( 2 ) 统计分析 统计分析技术 i s 是产品化的入侵检测系统中最常用的方法。首先，检测器根 据用户对象的动作为每个用户都建立一个用户特征表，通过比较当前特征与已存储 定型的以前特征，从而判断是否是异常行为。用户特征表需要根据审计记录情况不 断地加以更新，用于描述特征的变量记录诸如：c p u 的使用、i o 的使用、使用地点 及时间、邮件使用、编辑器使用、所创建、删除、访问或改变的目录及文件以及网 络活动等具体操作。 这种方法的最大优点是可以使入侵检测系统学习主体的日常行为，将那些与正 常活动之间存在较大统计偏差的活动标识成异常活动。从而具有较高检测率与可用 性。但是它的“学习”能力也给入侵者以机会通过逐步“训练”使入侵事件符合正 常操作的统计规律，从而透过入侵检测系统。统计方法中常用的测量参数有审计事 件的数量、间隔时间和资源消耗情况等。 在统计方法中，需要解决以下四个问题： 选取有效的统计数据测量点，生成能够反映主体特征的会话向量。 根据主体活动产生的审计记录，不断更新当前主体活动的会话向量。 采用统计方法分析数据，判断当前活动是否符合主体的历史行为特征。 1 4 第二章入侵检测技术 随着时间变化，学习主体的行为特征，更新历史记录。 ( 3 ) 非参量化统计分析 使用非参量化统计分析 t 9 进行异常检测，基于这样一个前提：通过系统的特 性表现出的用户行为数据，都可以归为正常行为和异常行为这两种截然不同的类别。 使用此方法，系统可以容纳可预测性比较低的用户行为，并且可以引入那些在参量 分析中无法引入的系统属性。 非参量化统计技术可以有效地针对相似的系统操作和用户的行为模式进行聚类 分析。其优点在于：通过将原始的事件数据转换为向量表示形式，可以实现可靠而 高效的数据精简。与参量化统计分析相比，大幅度地提高了检测速度和检测的精确 性。其缺陷在于，如果将系统特性扩展到资源使用之外，则将降低分析的准确性和 有效性。 ( 4 ) 神经网络方法 神经网络技术 2 0 在入侵检测中研究的时间较长，并在不断发展。这种方法对 用户具有自学习和自适应功能，能够根据实际检测到的信息有效的加以处理并做出 入侵可能性的判断。 利用神经网络检测入侵的基本思想是用一系列信息单元( 命令) 训练神经网络， 这样在给定一组输入后，就可能预测出输出。将神经网络应用于攻击模式的学习， 理论上也是可行的。但目前主要应用于系统行为的学习，包括用户以及系统守护程 序的行为，与统计理论相比，神经网络更好地表达了变量间的非线性关系，并且能 自动学习并更新。 早期的研究通过训练向后传播神经网络来识别已知的网络入侵，进一步研究识 别未知的网络入侵行为。而现今的神经网络技术已经具备相当强的攻击模式分析能 力，它能够较好地处理带噪声的数据，而且分析速度很快，可以用于实时分析。现 在提出了各种其他的神经网络架构诸如自组织特征映射网络等，以期克服后向传播 网络的若干限制性缺陷。 将神经网络应用于入侵检测中，也存在一些问题。例如，在很多情况下，系统 趋向于形成某种不稳定的网络结构，不能从训练数据中学习到特定的知识，这种情 况目前尚不能完全确定产生的原因。另外，神经网络对判断为异常的事件不会提供 任何解释或说明信息，导致了用户无法确认入侵的责任人，也无