（计算机应用技术专业论文）支持向量机系统调用跟踪异常检测建模研究.pdf

太原理【人学硕t 研究生学位论文 y7 ：i 8 5 e 0 支持向量机系统调用跟踪异常检测建模研究 摘要 随着计算机网络技术的发展，计算机网络在各个领域得到 了广泛的应用。计算机网络的普及和应用，对网络安全提出了 更高的要求。入侵检测已成为网络安全中重要的手段，引起了 国内外的广泛关注。 本文将u n i x 操作系统的系统调用作为审计数据源，利用支 持向量机算法训练异常检测模型来实现检测入侵活动。目前的 入侵检测模型存在先验知识较少时泛化能力差的问题。应用支 持向量机算法学习检测模型，可以使入侵检测模型在小样本f 先 验知识少1 的条件下仍然具有良好的推广能力。传统的基于主机 系统调用序列的入侵检测模型，将标志行为特征的特征模式， 按照正常和异常两利类别构建了两类别特征模式空间。本文在 两类别特征模式空间的基础上，将类别空间中出现频度较小的、 类别特征不明显的、不稳定的短序列分离出来，将特征类别空 间分为正常、异常和微量三类，微量短序列的性质与它所处的 环境有关，采用邻接算法来决定其究竟为正常还是异常。 t 太原理j ，人学硕十研究生学位论文 文章首先分析了将支持向量机用于入侵检测的可行性，然 后提出了微量短序列的概念及对现有模型的改进，设计了相应 的邻接算法，最后用入侵检测中常用的系统调用数据进行实验 仿真来检测改进后异常检测模型的性能。 实验结果表明，本文所构建的模型不仅发挥了支持向量机 技术在分类方面良好的性能，如泛化能力强，训练速度快，以 及可以保证在先验知识不足的情况下，模型仍有较好的分类正 确率，而且与传统模型相比，能够更准确的反映行为特征，在 提高异常行为异常度，鉴别未知攻击等方面取得了较为突出的 效果。 关键词：网络安全，入侵检测，统计学习，支持向量机，微量 短序列，邻接关系 i i 太原理工大学硕士研究生学位论文 r e s e a r c h o na n o m a i j yd e t e c t i o n m o d e l i n gb a s e do ns y s t e mc a l lt r a c e sb y s u p p o r tv e c t o rm a c h i n e a b s t r a c t w i t ht h ed e v e l o p m e n to fn e t w o r kt e c h n o l o g y ，n e t w o r kh a sb e e n e x t e n s i v e l y u s e d w i t ht h e p o p u l a r i z a t i o n a n da p p l i c a t i o no f n e t w o r k ，m o r ea n dm o r ea t t e n t i o n s a r e b e i n g f o c u s e do nt h e n e t w o r k i n gs e c u r i t y , i n t r u s i o n d e t e c t i o nh a s e m e r g e d a sa n i m p o r t a n ta p p r o a c hi nc o m p u t e rs e c u r i t y i nt h i st h e s i s ，w ea d d r e s st h ep r o b l e mo fd e t e c t i n gi n t r u s i v e a c t i v i t i e sb yu s i n gh o s t - b a s e dd a t aa st h es o u r c e i np a r t i c u l a r p r o g r a mp r o f i l e sb a s e do nu n i xs y s t e mc a l l s l i f em o d e l e d t h e g e n e r a l i z i n ga b i l i t yo fc u r r e n ti d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) i s p o o rw h e ng i v e nl e s sp r i o r ik n o w l e d g e i ti sf o u n dt h a tt h ei d s b a s e do ns v mn e e d sl e s sp r i o r ik n o w l e d g et h a no t h e rm e t h o d sa n d c a ns h o r t e nt h et r a i n i n gt i m eu n d e rt h es a l t l ed e t e c t i o np e r f o r m a n c e c o n d i t i o n u t i l i z i n gs v m ( s u p p o r tv e c t o rm a c h i n e s ) i ni n t r u s i o n i i i d e t e c t i o n ，t h eg e n e r a l i z i n ga b i l i t yo fi d si ss t i l lg o o dw h e nt h e s a m p l es i z ei ss m a l l ( 1 e s sp r i o r ik n o w l e d g e ) c l a s s i c a li n t r u s i o n d e t e c t i o nm o d e lb a s e do ns e q u e n c eo fh o s ts y s t e mc a l ld i v i d e dt h e c h a r a c t e rm o d ei n t ot w oc l a s s e s b u tt h ec h a r a c t e r so fs o m es h o r t s e q u e n c e s ，w h o s ef r e q u e n c i e sa r el o w e rc o m p a r e dt oo t h e r s ，s h o u l d b ev i o l a t e df r o mt h en o r m a lo ra b n o r m a lm o d e ，b e c a u s et h e i r p r e s e n t a t i o nc o u l dn o tt e l lu se x a c t l yt h eb e h a v i o ro ft h eu s e ro ft h e c o m p u t e rw a sn o r m a lo ra b n o r m a l s o ，t h es e q u e n c e sa r ec l a s s i f i e d a st h r e ec l a s s e s ，s u c ha sn o r m a l ，a b n o r m a la n dp a l t r yo n e s t h e b e h a v i o ro fap a l t r ys h o r ts e q u e n c eb e h a v i o rw a sm o r er e l i a b l et o i t se n v i r o n m e n t t h e n e i g h b o ra l g o r i t h m w a sc o n s t r u c t e dt o d e t e r m i n et h ec h a r a c t e r so ft h ep a l t r ys h o r ts e q u e n c e s f i r s t ，t h ea p p r o a c ho fa ni n t r u s i o nd e t e c t i o nb a s e do ns u p p o r t v e c t o rm a c h i n ei sd i s c u s s e d t h e nt h ep a l t r ys h o r ts e q u e n c ei s p r o v i d e da n dt h ei m p r o v e m e n to fi n t r u s i o nd e t e c t i o nm e t h o db a s e d o ns u p p o r tv e c t o rm a c h i n ei si n t r o d u c e d f i n a l l y , a ne x a m p l eu s i n g s y s t e mc a l lt r a c ed a t a ，w h i c hi su s u a l l yu s e di ni n t r u s i o nd e t e c t i o n ， i s g i v e n t oi l l u s t r a t et h ep e r f o r m a n c eo ft h i sm e t h o d a n d c o m p a r i s o no fd e t e c t i o na b i l i t y b e t w e e nt h em e t h o da n dt h e i v 太原理工大学硕士研究生学1 ：i ) = 论文 t r a d i t i o n a ld e t e c t i o nm e t h o db a s e do ns v m t h er e s u l to ft h ee x p e r i m e n td e m o n s t r a t e st h ea p p r o a c ho ft h i s p a p e rn o to n l yu s e st h ea d v a n t a g eo fs v m i nc l a s s i f i c a t i o n ，s u c ha s h i g ha b i l i t yi ng e n e r a l i z a t i o n ，s h o r tt r a i n i n gt i m ea n di ts t i l lh a s g o o dp e r f o r m a n c ee v e ni fg i v e nl e s sp r i o r ik n o w l e d g e b u ta l s o ， c o m p a r i n gw i t ht r a d i t i o n a lm e t h o d ，i tc a nr e p r e s e n tt h ec h a r a c t e r s o fb e h a v i o rm o r ea c c u r a t e l y t h e ni th a sa l s og o o dp e r f o r m a n c ei n i n c r e a s i n g t h ea b n o r m a l d e g r e e o fa b n o r m a lb e h a v i o ra n d i d e n t i f y i n gu n k n o w na t t a c k s k e yw o r d sn e t w o r ks e c u r i t y ，i n t r u s i o nd e t e c t i o n ，s t a t i s t i c a l l e a r n i n g ，s u p p o r tv e c t o rm a c h i n e ，p a l t r ys h o r ts e q u e n c e ， r e l a t i o n s h i po fn e i g h b o r v 太原理工大学硕士研究生学位论文 1 。1 研究的目的和意义 第一章绪论 随着计算机和通信技术的迅猛发展，计算机应用日趋广泛与深入，同 时也使计算机安全问题更加突出和复杂。网络的开放性为信息的窃取、盗 用、非法修改以及各种扰乱破坏提供了可乘之机，使得信息在存储、处理 和传输等各个环节，都有可能遭到入侵者的攻击或病毒的危害，造成系统 的瘫痪或重要数据的丢失。因此，如何对计算机系统和网络中的各种非法 行为进行主动防御和有效抑制，成为当今计算机安全亟待解决的重要问 题。 无论是缓冲器溢出还是微软的i n t e r n e t 浏览器中的漏洞都说明我们的 应用和操作系统在很多层次上都存在着安全问题。从传统的安全角度来 讲，广泛使用规范的方法和更好的软件工程来减少安全问题应该是可能 的。这依赖于这样几个假设：安全策略能够被准确无误的表达，程序能萨 确的运行，系统正确地配置。尽管这些假设在理论上是合理的，但实际上 是不能完全做到的。计算机系统并不是固定的，配置不断被经销商、系统 管理员和用户改交着，程序被增加或移除，无论静态系统还是动态系统要 证明其规范化，都要花费大量时间而且很难做到完全f 确，像加密，防火 墙，访问控制，审计跟踪也就是不可靠的，这使得一个安全策略设计的再 完美，也不能可靠的运行。如果我们承认这些漏洞，那么就必须承认我们 并不安全。引入入侵检测技术是目前保证计算机安全的必要手段。入侵检 测能够寻找漏洞，通过监视和分析系统行为，在非法入侵者攻击系统时，及 时将它们捕获【2 l 。入侵检测系统按照检测策略可分为基于主机、网络、应 用程序和目标等四类。检测策略的不同主要区别于数据来源的不同和监视 对象的不同。 基于主机系统调用跟踪的入侵检测技术，是针对主机系统调用数据集 进行监测的一种网络安全技术。对主机系统调用的监测可以有效地控制和 】 太原理1 二大学硕士研究生学位论文 监管特权程序的使用，辨别滥用职权的发生。对于利用系统脆弱性或应用 程序漏洞，实施类似缓冲区溢出获取系统特权进行恶意攻击的系统检测， 有着其他检测系统不可比拟的优势。主机系统调用跟踪入侵检测技术的研 究与实现，同时为其他基于序列的检测技术，例如基于用户命令序列的入 侵检测提供了可以借鉴的方法。所以，开展基于主机系统调用跟踪的入侵 检测技术的研究是非常有意义和十分必要的。 支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称s v m ) 是一砷被广泛研究 的入侵检测分类方法，是一种建立在统计学习理论基础之上的机器学习方 法，可以在高维特征空间描绘训练向量，并对每一个向量标记其类型。s v m 将分类问题视为二次方程优化问题。通过处理输入的训练数据集，s v m 在 特征空间构造超平面，根据定义的支持向量集将数掘进行分类。其最大的 特点是根据v a p n i k 习的结构风险最小化原则，尽量提高学习机的泛化能力， 即山有限的训练样本集得到小的误差能够保证对独立的测试集保持小的 误差。s v m 应用到入侵检测中，可以保证在先验知识不足的情况下，s v m 分类器仍有较好的分类正确率，从而使得整个入侵检测系统具有较好的检 测性能。 1 2 本文研究的内容和所做的工作 在本课题中，论文的研究、设计和实现工作主要包括以下几个方面的 内容： j 分析了目前网络中存在的主要安全触题，以及当斡网络中主要攻 击手段，讨论了解决安全问题的一些主要技术。 2 阐述了传统的入侵检测模型，重点分析了目前基于主机系统调用 的入侵检测技术，讨论了s v m 与入侵检测技术相结合的可行性。 3 对s v m 算法的理论基础、基本概念及要解决的关键技术进行了研 究，分析了当前通用的几种s v m 训练算法，结合基于主机系统调用的入侵 检测模型所采用的训练数据的特点，将序贯最小优化( s e q u e n t i a lm i n i m a l o p t i m i z a t i o n 简称s m o ) 算法作为训练算法，应用于基于主机系统调用 入侵检测模型。 2 太原理工大学硕士研究生学位论文 4 分析了目前基于主机系统调用入侵检测技术存在的问题，在两类 别特征模式空间的基础上，将类别空间中出现频度较小的、类别特征不明 显的、不稳定的短序列分离出来，将特征类男4 空间分为正常、异常和微量 三类。 5 实验的设计与实施。对实验数据进行预处理，把实验数据处理成 s v m i i e 够识别的数字向量形式。按照三类特征空间，分两次训练s v m ，在 检测阶段，把检测数据分为三类，采用邻接算法最终确定微量短序列的性 质。并与传统的基于s v m 的入侵检测模型的检测效果进行了比较。 1 3 论文的结构安排 本文第二章分析了网络安全现状，包括黑客和病毒，网络安全的标准、 政策及现状，网络安全的重要技术手段及概念。第三章主要介绍了s v m 的理论基础和使用方法，并对近年来的若干新进展进行了介绍。第四章提 出了一个基于s v m 的入侵检测模型。先讨论了i d s 和s v m 的结合问题。 接着指出了传统模型的不足，引入微量短序列的概念，将类别空间扩展为 三类。第五章设计了采用s v m 的入侵检测模型的三类分类器，通过对分 类器的训练和测试，并和传统模型检测效果相比较，说明了引入微量短序 列后，基于s v m 入侵检测模型的可行性和有效性，同时指出了实现过程 中的一些问题。第六章对所做的工作进行了总结，并探讨了下一步应丌展 的工作。 太原理工大学硕士研究生学位论文 第二章网络安全现状与入侵检测技术分析 2 1 网络安全现状 随着网络技术，特别是i n t e m e t 的飞速发展，计算机网络已逐渐成为2 1 世纪全球最重要的基础设施，它对社会的政治、经济、文化、军事和社会 生活等方面产生了巨大的影响。网络所代表的开放式信息系统是现代信息 社会的发展趋势，而网络的开放性，尤其是i n t e r n e t 的跨国界性、无主管性、 不设防性和缺少法律约束性，给网络自身带来巨大的安全风险【4 j 。 当前在全球范围内，对计算机及网络基础设施的攻击行为己经成为一 个越来越严重和值得关注的问题，特别是各种政府机构的网站，更是成为 黑客攻击的热门目标。据统计，全球有9 9 9 6 的大公司都发生过大的入侵事 件。世界著名的商业网站，女n y a h o o ，b u y ，e b a y ，a m a z o n ，c n n 都曾被黑客 入侵，造成巨大的经济损失，甚至连专门从事网络安全的r s a 网站也受到 黑客的攻击。计算机网络的安全问题己经成为影响国家独立和安全，影响 经济运行和发展，影响社会稳定和繁荣的重大问题。网络安全问题曰益突 出，成为整个社会关注的焦点，保障计算机系统、网络系统及整个信息基 础设施的安全已成为刻不容缓的重要课题。 2 , 2 入侵检测的概念 入侵检测是对系统的运行进行监视，发现各种攻击企图、攻击行为或 攻击结果，以保证系统资源的机密性、完整性和可用性i 讣。入侵检测是一 种新型的网络安全技术，它有别于传统的加密、身份认证、访问控制、防 火墙、安全路由等安全技术，能够有效地防范网络入侵，将其可能造成的 安全风险降到最低限度，是近年来网络和信息安全领域理论研究和技术开 发与应用的热点问题之一。 进行入侵检测的软件与硬件的组合便是入侵检测系统( i n t r u s i o n 5 太原理工大学硕士研究生学位论文 d e t e c t i o ns y s t e m ，摘称i d s ) ，i d s 是一种集检测、记录、报警和响应于一 体的动态安全技术，不仅能检测来自外部的入侵行为，同时也监督内部用 户的未授权活动，提供了对内部攻击、外部攻击和误操作的实时防护，在 网络系统受到危害之前拦截和口向应入侵。 总体来讲，入侵检测系统的功能主要有： 监控、分析用户和系统的活动，查找非法用户和合法用户的 越权操作。 检测系统配置的正确性和安全漏洞，并提示管理员修补漏洞。 评估关键系统和数据文件的完整性。 识别攻击的活动模式并向网管人员报警。 对用户的非正常活动进行统计分析，发现入侵行为的规律。 操作系统审计跟踪管理，识别违反政策的用户活动。 检查系统程序和数掘的一致性与正确性。如计算和比较文件 系统的校验和能够实时对检测到的入侵行为进行反应。 对于一个成功的入侵检测系统来讲，它不但可使系统管理员时刻了解 网络系统( 包括程序、文件和硬件设备等) 的任何变更，还能给网络安全策 略的制订提供指南。更为重要的一点是，它应该管理、配罱简单，从而使 非专业人员非常容易地获得网络安全。而且，入侵检测的规模还应根据网 络威胁、系统构造和安全需求的改变而改变。入侵检测系统在发现入侵后， 会及时做出响应，包括切断网络连接、记录事件和报警等。 2 3 入侵检测系统的组成 2 3 1i d s 的功能模块 按照较为规范的形式来划分，i d s 可分为以下3 个模块2 1 如图2 2 所示，数据源、分析引擎和响应模块是相辅相成的。数据源提 供用于系统监视的审计记录流，为分析引擎提供原始数据进行入侵分析； 分析引擎执行实际的入侵或异常行为检测，分析引擎的结果提交给响应模 块，帮助采取必要和适当的动作，阻止进一步的入侵行为或恢复受损害的 6 太原理工大学硕士研究生学位论文 系统。同时，响应模块作用的对象也包括数据源和分析引擎，例如，针对 数据源，可以要求数据源提供 更为细致的信息，调熬监视策 略，收集其它类型的数据；针对 分析引擎，则可以增加、删除 或更改系统的检测规则，修正 检测过程中的参考模式，调整 系统的运行参数等。 2 3 2 i d s 的模型结构 图2 - 2i d s 的功能模块 f i g u r e2 - 2 f u n c t i o nm o d u l eo fi d s 最早的入侵检测模型是d o r o t h yd e n n i n g 在1 9 8 6 年提出的1 6 a 这个模 型与具体系统和具体输入无关，对此后的大部分实用系统都很有借鉴价 值。图2 3 表示了这个通用模型的体系结构。 图2 - 3 入侵检测模型 f i g u r e2 - 3 m o d e lo fi n t r u s i o nd e t e c t i o n 事件产生器可以根据具体应用环境而有所不同，一般情况下可来自 审计记录、网络数据包以及其它可视行为。这些事件构成了检测的基础。 行为特征模块是整个检测系统的核心，它包括了用于计算用户行为特征的 所有变量，这些变量可以根据具体所采纳的统计方法以及事件记录中的具 体动作模式而定义，并根据匹配上的记录数据更新变量值。 7 太原理工大学硕士研究生学位论文 如果有统计变量的值达到了异常程度，则行为特征表产生异常记录， 并采取一定的措施。规则模块可以由系统安全策略、入侵模式等组成。它 一方面为判断是否入侵提供参考机制；另一方面，根据事件记录、异常记 录以及有效日期等控制并更新其它模块的状态。在具体实现上，规则模块 执行基于知识的检测。由于这两种方法具有一定的互补性，实际系统中经 常将两者结合在一起使用。目前一种通用的入侵检测模型如图2 - 4 所示。 图2 - 4 通用入侵检测模型 f i g u r e2 - 4g e n e r a lm o d e lo fi n t r u s i o nd e l e c i o n 其中两种检测技术所关心的数据各有侧重，即使对来自同一数据源的 信息也会有不同的采集重点和处理方式，为了提高检测结果的准确性以及 检测效率，数据源在提交数据之前需要预处理，去掉无用和干扰数据：对 于误用检测，需要为模式匹配机准备好入侵签名库，也称模式库。 目前，关于入侵模式的提取和编制还没有个统一的标准，一般都由 有经验的安全技术人员手工完成；而对于异常检测，则首先利用收集的数 据，采用一定的统计方法建立相应的系统剖析模型，作为系统正常的参考 基准，这个过程由系统的剖析弓1 擎完成。而异常检测器则不断地计算相应 统计量的变化情况，一旦系统偏移参考基准超过许可范围，就认为系统发 生异常。各个部分工作时产生的所有记录都应存入系统的审计数据库中， 方便系统管理员进一步研究和解决问题。 8 太原理丁大学硕士研究生学位论文 2 4 d s 的分类 入侵检测技术自8 0 年代提出以来得到了极大的发展，国外一些研究机 构已经开发出了应用于不同操作系统的数种典型的入侵检测系统。 2 4 1 按数据来源分 入侵检测系统按其输入数据的来源可以分为基于主机的i d s 、基于网 络的i d s 和混合型的i d s 三大类。 1 ) 基于主机的i d s 基于主机的i d s ( h i d s ) 为早期的入侵检测系统结构，通常部署在权限 被授予和跟踪的主机上，主要是对该主机的网络实时连接以及系统审计日 志进行智能分析和判断。如果其中主体活动十分可疑( 特征或违反统计规 律) ，入侵检测系统就会采取相应措施。 早在7 0 年代末，j i m a n d e r s o n 就指出了通过同志文件的某些信息，如 多次登录失败的记录或访问机密文件的记录等，可以分析出非法用户的登 录企图以及冒充合法用户等简单入侵行为。在可靠计算机评价准则 ( t c s e c ) 中规定了c 2 安全级以上的操作系统必须具备审计功能，并记录 相应的安全性日志。在标准u n i x 系统中，这些日志文件可以根据系统管 理员的设置，记录用户何时注煅、在何处注煅、要做什么以及系统调用、 程序运行结果等与安全性有关的操作信息。其中的审计数据包括可查事件 和可查信息。可查事件是指从安全角度应该注意的用户行为，例如认证和 授权机制的使用、对象的增加删除、打印输出等。可查信息是与特定的可 查事件相关的实际数据，包括事件发生的时间、产生事件的主体的唯一标 志、事件的类型、事件成功与否以及所增加、删除、访问的对象名称等。 9 太原理1 = 大学硕士研究生学位论文 这秘检测方法首先耍求系统根据配置信息中设定的需要审计事件，这 些事件一旦发生，系统就将具体参数记录在日志文件中。检测系统则根据 一定的算法对日志文件中的审计数据进行分析，最后得出结果报告，如图 2 5 所示。 输出( 报警等紧急措施) 图2 5 基于主枫日志的检测 f i g u r e2 - 5i n t r u s i o nd e t e c t i o nb a s e do nh o s ts y s t e ml o g 基于主机的1 d s 对分析“可能的攻击行为”非常有用。举例来说，有 时它除了指出入侵者试图执行一些“危险的命令”之外，还能分辨出入侵 者运行了什么程序、打开了哪些文件、执行了哪些系统调用。基于主机的 i d s 与基于网络的1 d s 相比通常能够提供更详尽的相关信息。另外，基于 主机的i d s 通常情况下比基于网络的i d s 误报率要低，因为检测在主机上 运行的命令序列比检测网络流更简单，系统的复杂性也少得多。 在很多操作系统中都有审计记录功能，如在u n i x 系统中的s y s l o g ，p s ， p s t a t ，v m s t a t ，g e m i m i t 等。日志文件能够为入侵检测系统提供详尽的有效数 据，但是单独地依靠主机审计信息进行入侵检测却难以适应网络安全的要 求，若入侵者设法逃避审计或进行合作入侵，则基于主机的i d s 的弱点就 暴露无疑了。 基于网络的i d s 基于网络的i d sm i d s ) 放置在比较重要的网段内，它不停地监视网段 中各种数据包，并对每一个数据包或可疑的数据包进行特征分析。如果数 据包与其所内置的某些规则吻合，入侵检测系统就会发出警报甚至直接切 断网络连接。 基于网络的i d s 的主要实现原理【8 】：任何一个网络适配器都具有收听 1 0 太原理工大学硕士研究生学位论文 其它数据包的功能，它首先检查每个数据包的目的地地址，只有符合本机 地址的包才向上一层传输。通过适当配置适配器，就可以捕获同一子网上 的所有数据包。雨基于简单网管协 r ( s n m v ) 的这些数据包应含有配置信息 ( 路由表、地址、名字等) 以及运行数据( 如用于不同网络接口及各层之间通 信的计算器等) ，这就为入侵检测提供了必要的原始数据。基于网络的入侵 检测系统被放置在防火墙或网关后，它像网络窥探器一样捕获所有内传或 外传的数据包，但它并不延误数据包的传送，因为它对数据包来讲仅仅是 在进行监视，如图2 6 。 图2 - 6 基于网络数据包的检测 f i g u r e2 - 6i n t r u s i o nd e t e c i o nb a s e do nn e t w o r k i n t e r n e t 3 ) 混合型的1 d s 基于网络的i d s 和基于主机的工d s 都有不足之处，且每神i d s 都能 检测对方无法检测到的一些入侵行为，单纯使用其中的一种会造成主动防 御体系的不全面。但是，它们的缺憾是互补的。如果能将这两种类型的入 侵检测系统无缝的结合起来部署在网络内，就会构架成一套完整立体的主 动防御体系，综合了基于网络和基于主机两种结构特点的混合型的入侵检 测系统，既可发现网络中的攻击信息，也可从系统同志中发现异常情况。 结合主机型与网络型技术。混合型的i d s 以系统为基础，并可识别流 向或来自该单一主机网络封包上的攻击。混合型的系统不像网络型i d s ， 它不会检查每一个经过的封包，所以它减缓了某些因为流量分析而造成的 1 】 太原理工火学硕十研究生学位论文 效能降低问题。混合型的i d s 监控系统的事件、资料、目录以及登录文件 中的攻击行为，以提供更多的防护。平台的限制与部署问题仍是一个争议， 且它们在传统上会耗费相当的系统资源，但是较之于网络型的i d s ，它们 较不易发生误报的情形。 基于主机的i d s 瓤基于网络的i d s 各有特色，可互为补充。完美的i d s 产品应该将两者结合起来。目前主流的i d s 产品都采用混合型i d s 的架构， 如i s s 的r e a l s e c u r e 、启明星辰的天闻黑客入侵检测与预警系统以及上海 会诺网安的k i d s 等都属于这一类型。 24 2 基于检测技术的分类 对各种事件进行分析，从中发现违反安全策略的行为是入侵检测系统 的核心功能。i d s 通常使用两种基本的分析方法来分析事件、检测入侵行 为，即误用检测和异常检测嘲。误用检测的目标是发现已知的入侵模式， 它是大部分商业i d s 产品采用的分析方法。异常检测则试图检测出系统行 为的异常模式，在实际i d s 中应用较少。两种分析方法各有自己的长处和 缺点，最有效的i d s 应该是主体技术使用误用检测，结合使用异常检测技 术。 1 ) 误用检测 误用检测( m i s u s ed e t e c t i o n ) 是指运用已知的攻击方法，根据己定义好的 入侵模式，通判断这些入侵模式是否出现来检测入侵。这种方法由于依据 具体特征库进行判断，所以检测准确度很高，并且因为检测结果有明确的 参照，也为系统管理员做出相应措麓提供了方便。主要缺陷在于只能检测 已知的攻击模式，当出现针对新漏洞的攻击手段或针对旧漏洞的新攻击方 式时，需要由人工或者其它机器学习系统得出新攻击的特征模式，添加到 误用模式库中，才能使系统具备检测新的攻击手段的能力。 随着对计算机系统的弱点、漏洞和入侵行为分析研究的深入，误用检 测在入侵检测系统中起到越来越重要的作用。如何构造一个足够通用和精 确的入侵描述模式来表示己知的入侵方法，提高误用检测的系统化，是误 1 2 太原理工大学硕十研究生学位论文 用检测面临的主要问题。 2 ) 异常检测 异常检测( a n o m a l yd e t e c t i o n ) 是目前入侵检测系统的主要研究方向， 它是指根据使用者的行为或资源使用状况来判断是否入侵，而不依赖于具 体行为是否出现来检测，所以也被称为基于行为的检测。异常检测基于统 计方法，使用系统或用户的活动轮廓( a c t i v i t yp r o f i l e ) 来检测入侵活动。活 动轮廓由一组统计参数组成，通常包括c p u 和i 0 利用率、文件访问、出 错率、网络连接等。这类1 d s 先产生主体的活动轮廓，系统运行时，异常 检测程序产生当前活动轮廓并同原始轮廓比较，同时更新原始轮廓，当发 生显著偏离时即认为是入侵。 基于行为的检测与系统相对无关，通用性较强。它甚至有可能检测出 以f i i 从未出现过的攻击方法，不像基于知识的检测那样受已知脆弱性的限 制。但因为不可能对整个系统内的所有用户行为进行全面的描述，况且每 个用户的行为是经常改变的，所以它的主要缺陷在于误检率很高。尤其在 用户数目众多，或工作目的经常改变的环境中。其次由于统计简表要不断 更新，入侵者如果知道某系统在检测器的监视之下，他们能慢慢地训练检 测系统，以至于最初认为是异常的行为，经一段时间训练后也认为是正常 的了。 在异常检测方式中，主要包括量化分析、统计分析、非参量化统计分 析和神经网络等方法。其中最广泛使用的是概率统计分析方法。 2 4 3 基于体系结构的分类 根据入侵检测系统构成部件是否具有分布性，还可以分为集中式i d s 和分布式i d s1 1 0 1 。 1 1 集中式的i d s 集中式i d s 的数据由一个主机收集，并由单一的模块来分析。有些检 测系统使用位于网络节点的模块实现分布式数据收集，但是收集的数据被 传输到一个中心主机上用单一的引擎进行处理和分析。现有的许多基于主 机或网络的入侵检测系统大都采用集中式的体系结构。例如：i f r d ，i d i o t 1 3 太原理工大学硕士研究生学位论文 和n a d i r 等系统都属于这种类型。 与分布式i d s 相比，集中式i d s 存在以下几个问题： 中心主机是一个单点失效点：由于数据集中处理，该机就成为网络 安全的瓶颈，当它自身受到攻击或其它原因不能难常工作时，整 个网络就得不到保护。 可扩展性较差：由于所有工作都是由单一主机执行，被监控的网 络规模受到限制，而入侵检测系统的实时性要求很高，分布式数 据收集将造成网络数据通信过载，使得系统来不及处理或丢失网 络数据包而失效。 缺乏灵活性：系统在重新配置或增加新的功能时，往往必须手工 编辑某些配置文件，而且必须重新启动才能使其生效。 2 ) 分布式的i d s 分布式的i d s 采用了分布式智能代理的结构方式，由几个中央智能代 理和大量分布的本地代理组成，其中本地代理负责处理本地事件，而中央 代理负责整体的分析工作。与集中式i d s 不同的是，它强调的是通过全体 智能代理协同工作来分析入侵者的攻击策略。 这种i d s 有其明显的优点，但同时又带来了其他的一些问题，如大量 代理的组织和协作问题、相互之间的通信、处理能力和分析任务的分配等。 2 5 基于主机系统调用的入侵检测技术 i d s 能够监视的系统行为有许多不同的角度，关键在于从一个角度上 所刻画的正常行为，无论对于正常的变化还是入侵的扰乱都应当具有健壮 性。对已知入侵建立模型，对所有攻击方法进行特征编码，有很大困难， 而且难以适应变化多端的攻击的变种，需要不断升级，系统维护昂贵。异 常检测技术由于能够检测出未知的攻击，使入侵检测系统有较好的自适应 能力，并且，随着入侵检测系统技术的不断发展，误报率和漏报率的不断 降低。所以异常检测成为入侵检测技术中的研究热点。其中有许多方法被 使用。如分析特殊文件状态变化；根据特权进程所允许的操作，为特权进 程定义一种特殊的程序语言，来分辨行为是否正常；用学习树算法建立用 1 4 太原理工人学硕士研究生学位论文 户处理事务的模型；在生物神经方面，连接主义和神经网络被用于对数据 分类，遗传算法也常常作为分类算法。 通常，在操作系统的核心中都设置了一组用于实现各种系统功能的子 程序( 过程) ，也就是系统在其内核里内建的函数，这些函数可以用来完 成一些系统级别的功能，操作系统将它们提供给用户调用，称之为系统调 用( s y s t e mc a l l s ) 。每当用户在程序中需要操作系统提供某种服务时，便 可利用一条系统调用命令，去调用系统过程。它般运行在核心态；通过 软中断进入：返回时通常需要重新调度( 因此不一定直接返回到调用过 程) 。系统调用是沟通用户( 应用程序) 和操作系统内核的桥梁。 s t e p h a n i ef o r r e s t 在1 9 9 6 年，阐述了以自然界的免疫系统为背景构建 入侵检测系统的方法，将主机系统诵甬辱剜应忍于入侵检测l l j 。使用主枫 系统调用短序列作为研究对象，构建了基于主机系统调用序列的入侵检测 模型。经过对模型的实验和测试，得出这样一个重要结论：一令运行的进 程所产生的系统调用短序列，对于正常的行为来说是稳定的；在有入侵或 入侵企图发生时，系统调用短序列将产生较大的波动，从而证实了将系统 调用序列运用于入侵检测的可行性。 f o r r e s t 构建正常行为数据库的方法比较简单，先扫描一个特定进程所 发尘的系统调用，然后建立一个给定长度为k 的序列的数据库，并以树状 结构存储。数据库对于不同的程序是不同的，对于定的体系结构、软件 版本也是不同的，因此，一个程序的系统调用序列数据库一旦建立了它 就能够监视该程序唤醒的进程。如巢进程在执行过程中，系统调用序列没 有在正常序列数据库中出现，就被视为不匹配，不匹配的数量就决定了行 为是否为异常。 新墨西哥大学的s t e v eh o f m e y r 在这种思想的指导下建立了 s t i d e ( s e q u e n c e t i m e d e l a y e m b e d d i n g ) 模型，丌发了相关软件。s t i d e 接 受基于时间的序列集，然后将序列集分成固定长度的短序列，将新的序列 与已存在的数据库中的固定长度的短序列相比较，并将比较结果统计，作 为判别依据”。文章中还提出了一个改进模型t - s t i d e ( s t i d ew i t h f r e q u e n c yt h r e s h o l d ) ，t - s t i d e 是对s t d e 的简单补充，他引入了稀有序列 1 5 太原理工大学硕士研究生学位论文 值得怀疑的概念，对每一个序列发生频率进行纪录，低于正常训练数据 0 0 0 1 的序列认为异常，同样要通过设定闽值进行判别。 在f o r r e s t 以主机系统调用序列为研究对象，并得出重要结论之后，有 关基于主机系统调用序列的入侵检测模型层出不穷，下面介绍几种具有代 表性的模型方法：数据挖掘的方法、基于频率的方法、有限状态机、神 经网络等。 1 ) 数据挖掘的方法( d a t am i n i n ga p p r o a c h e s ) 数据挖掘方法主要是从海量的数据中提取出所需要的重要数掘信息， 将数据挖掘方法用于此的目的是构造一个有效的程序正常行为模式，这个 模式要比通过简单罗列程序正常行为状态下产生的系统调用序列所建立 的模式更简洁有效【1 2 】。而且，通过正确提取这些模式的主要特征，还能够 归纳出在训练数据时有可能遗漏的正常行为模式。 采用数据挖掘方法作为入侵检测的主要工具的代表人物是w e n k e l e e t 州】。1 9 9 8 年，c o l u m b i a 大学的w e n k el e e 及其研究小组首次将数 掘挖掘技术应用于入侵检测系统，并针对主机系统调用数据进行了研究测 试和分析比较。w e n k el e e 对f o r r e s t 提出的短序列匹配算法进行了优化， 通过数据挖掘技术，从应用程序产生的大量的系统调用短序列构成的数据 库中，提取能够判别正常或异常行为模式的规则，形成规则库，也就是挖 掘出能够鉴别异常行为的行为特征，称其为知识。这个过程使用了r i p p e r ( r e p e a t e di n c r e m e n t a lp r u n i n gt op r o d u c ee r r o rr e d u c t i o n ) 快速分类学习算 法生成分类规则。每个r i p p e r 分类规则都是由一个或多个属性值条件测试 和一个类型标识组成，属性值可以是离散的，也可以是连续的，而且类型 标识容许有多种类型。例如，a d = v ，彳。口或爿。口就是分类规则的典型 条件测试，其中a d 是数据项的离散特征属性，v 是4 d 的有效值，a 。为数 据项的连续特征属性，口为a 。的某个取值。如果一个数据项的属性值能够 满足分类规则的条件测试，则称分类规则覆盖了该数据项，对于分类规则 的某个目标类而言，凡属于目标类的数据项就称为正例，属于其它类的数 据项则称为反例。r i p p e r 机器学习分类算法不仅在计算复杂性、泛化精度、 分类规则简洁性、对噪声数据集的适应性等方面优于其它分类算法，而且 】6 太原理工人学硕士研究生学位论文 可以处理多个类型标识。假设训练数据集d 有n 个类型标识，算法首先按 照类型标识在数据集d 中的增序分布对类型标识排序，即在c ，o ， “类型标识排序中，类型标识c ，的分布最小，类型标识c 。的分布最大。 r i p p e r 算法首先从数据集d 中学习一个可以将c 与印，c 3 ，c 。区分丌 的规则集，并从d 中删除由规则集覆盖的所有数据项。然后再学习可以将 c 2 与c 3 ，c 4 ，岛分离的规则集，直到剩余最后一个类型标识“为止， 最后一个类型标识“称为缺省类。然后对结果进行优化处理，在分类规则 的基础上使用域( r e g i o n ) 的概念进行分类，形成分类器。 这种模型提取的是应用程序正常执行时，对应的系统调用有向图中隐 含的，能够反应正常和异常行为特征的短序列的知识，w e n k el e e 使用 r i p p e r 产生标准的i f - t h e n 格式的规则库，使分类器短小精干，不但具有简 洁的形式，提高了检测效率，而且易于理解，便于手工调整，易于和其他 入侵检测工具相结合。前面提到的f o r r e s t