（计算机软件与理论专业论文）ids中特征选择算法的研究.pdf

南京邮电人学硕士研究生学位论文摘要 摘要 随着网络信息技术的迅猛发展，人们被海量数据淹没，必须找到有效的方法， 自动的分析数据、自动对数据分类、自动对数据汇总、自动的发现和描述数据中 的趋势、自动的标记异常，数据挖掘技术因此而诞生和发展。数据挖掘是一门交 叉学科，包括数据库技术、人工智能、神经网络、机器学习、统计学、模式识别 等等。 特征选择在模式识别、数据挖掘领域有着十分广泛的应用，同时也是需要有 效解决的重要问题。大部分已有的特征选择算法对庞大的数据集的处理时问过 长，实用价值不高，仍处于理论研究阶段。同时，没有任何一种算法能适用于各 具特点的不同数据源。 本文针对入侵检测系统o d s ) 被检测数据的特点，对适用于i d s 特征选择算 法进行了研究。提出了一种基于分类的特征选择算法一一多次模糊迭代特征选择 算法，并通过仿真实验证明了该算法在i d s 数据集上可取得良好的特征选择效 果。 论文介绍了课题的意义和背景；介绍入侵检测技术和数据挖掘技术的概念和 算法：在此基础上，重点分析了具有代表住的特征选择方法；最后详细描述了本 文提出的适用于i d s 的多次模糊迭代特征选择算法，给出了该算法的仿真实验 结果和分析，指出了下一步的研究内容 关键词：入侵检测；数据挖掘；特征选择 南京邮电人学硕士研究生学位论文摘要 a b s t r a c t w i t ht h ed e v e l o p m e n to fn e t w o r ki n f o r m a t i o nt e c h n o l o g y , p e o p l ea r ef l o o d e db y h u g ed a t a ，w em u s tf i n de f f e c t i v et o o l st oa u t o m a t i c a l l ya n a l y z e ，c l a s s i f y , a n dg a t h e r d a t a ；f i n da n dd e s c r i b ed a t at r e n d ，a n dl a b e lt h ea b n o r m a lr e c o r d a l lt h e s eg i v eb i r t h t od a t am i n i n ga n dp r o m o t ed e v e l o p m e n to fi t i t sac r o s ss u b j e c t ，i n c l u d i n gd a t a b a s e a r t i f i c i a li n t e l l i g e n c e ，n e r v en e t w o r k ，m a c h i n el e a r n i n g ，s t a t i s t i c s ，p a t t e mr e c o g n i t i o n ， e t c f e a t u r es e l e c t i o nh a sa b r o a da p p l i c a t i o ni ns o m ef i e l d sl i k ep a t t e r nr e c o g n i t i o n ， d a t am i n i n g a tt h es a m et i m e ，i t sa ni s s u en e e dt ob er e s o l v e de f f i c i e n t l y a tp r e s e n t ， m o s te x i s t e df e a t u r es e l e c t i o na l g o r i t h m sa r et i m ee x h a u s t e dw h e nt h e ye n c o u n t e r h u g ed a t a ，a n dn oa n ya l g o r i t h m sc a na p p l yt oa l lc i r c u m s t a n c e t h i sp a p e ra i m sa tt h es p e c i a l i t yo fi d sd e t e c t e dd a t as e t ，r e s e a r c h e sf e a t u r e s e l e c t i o na l g o r i t h ma d a p t i n gt oi d s ，p r o p o s e sa nc l a s s i f i c a t i o n b a s e dm u l t i t i m e f u z z yf e a t u r es e l e c t i o na l g o r i t h m ，a n dd o e ss i m u l a t i o ne x p e r i m e n tt op r o v ei t e f f e c t i v i t yo ni d sd a t as e t t h i sp a p e ri n t r o d u c e st h eb a c k g r o u n da n dm e a n i n go ft h es u b j e c t ，t h ei n t r u s i o n d e t e c t i o nt e c h n i q u e sa n dt h ec o n c e p ta n da l g o r i t h m so fd a t am i n i n g a n dt h e nf o c u s e s o nt h ea n a l y s i so fr e p u t a t i o nf e a t u r es e l e c t i o na l g o r i t h m s f i n a l l y , i td e s c r i b e st h e m u l t i t i m ef u z z yf e a t u r es e l e c t i o na l g o r i t h ma d a p t i n gt oi d si nd e t a i l ，g i v e sa n d a n a l y z e st h es i m u l a t i o nr e s u l t s ，a n dp o i n t so u tf u r t h e rr e s e a r c hc o n t e n t k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；d a t am i n i n g ；f e a t u r es e l e c t i o n i i 南京邮电大学 硕士学位论文摘要 学科、专业： 工学计算机软件与理论 研究方向：数据仓库和决策支持系统 作 者：三塑生级研究生周桂芳指导教师奎垫塑 题目：i d s 中特征选择算法的研究 英文题目：r e s e a r c ho nf e a t u r es e l e c t i o na l g o r i t h m si ni d s 主题词：入侵检测数据挖掘特征选择 k e w o r d s ：i n t r u s i o nd e t e c t i o nd a t am i n i n g f e a t u r es e l e c t i o n 南京邮电大学学位论文独创性声明 y 8 5 0 9 6 1 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中持别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：! 塾! 墨日期：! ! ! ：i ：! 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：f 坌主羔蔓 导师签名：彦融锄 南京邮电火学硕士研究生学位论文 第一章引言 1 1 课题的意义 第一章引言 随着i n t e r n e t 的迅猛发展，计算机网络正影响着社会的各个方面，网络安全 日益成为人们关注的焦点。人们不仅仅需要系统具有信息保护的能力，而且需要 系统在遇到攻击时具有入侵检测和快速恢复能力，正是在这种情况下，入侵检测 技术迅速发展起来，成为了网络安全中极为重要的一个课题。 入侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 是一种用来发现外部攻击和 合法用户滥用特权的系统，它根据用户的历史行为，基于用户的当前行为，完成 对入侵的检测，并留下证据，为数据恢复和事故处理提供依据。就数据搜集机制 而言，i d s 可以分为基于主机的和基于网络的两种类型。前者主要依赖于系统和 应用程序的审核日志或者由可载入系统内核的模块分析提供数据源。后者的主要 数据是捕捉到的网络数据包。就检测技术而言，i d s 有基于标识的检测、基于异 常的检测、基于规范的检测。从概念上讲，这三种方式都离不开下列两个组件： 特征和建模算法i l j 。 数据挖掘技术是从已知数据集中挖掘出有用信息的技术，数据挖掘技术在商 务分析、智能决策等领域都有着广泛的应用。将数据挖掘技术应用到i d s 中， 对有效地进行特征选择，建立合适的检测模型，最终提高i d s 的入侵检测能力、 降低其误报率和虚报率都有着十分重要的意义。 特征选择是数据挖掘在i d s 中的主要应用之一。作为数据预处理的重要环 节之一，特征选择的效果对整个i d s 的性能和检测准确率有着重要的影响。 因此，本文以“i d s 中特征选择算法的研究”为课题，对数据挖掘在i d s 中的 应用和i d s 检测效率的提高具有较高的理论意义和使用价值。 1 2 课题的背景 本论文研究的课题一一“i d s 中特征选择算法的研究”，是江苏省教育厅自然 科学研究专项基金( 0 2 s j d 5 2 0 0 0 2 ) 资助的项目“基于数据挖掘的入侵检测技术的 研究”的一部分。该项目已结题。 南京邮电火学硕士研究生学位论立 第一章引言 1 3 论文主要内容 论文的主要内容如下： ( 1 ) 第二章介绍入侵检测的概念、系统构成以及特征选择的地位和作用，并 且论述了在入侵检测系统中可用的数据挖掘技术。 ( 2 ) 第三章介绍了数据挖掘的概念、算法综述和评价标准等。 ( 3 ) 第四章分析和总结了具有代表性的特征选择方法。 ( 4 】第五章描述了本文提出的适用于i d s 的多次模糊迭代特征选择算法。 ( 5 ) 第六章给出井分析对多次模糊迭代特征选择算法的仿真实验结果 ( 6 ) 最后，评价了多次模糊迭代特征选择算法的优点和缺点，指出了下一步 ( 6 ) 最后，评价了多次模糊迭代特征选择算法的优点和缺点，指出了下一步 的研究内容。 南京邮电几学硕士研究生学位论文 第二章入侵检测 第二章入侵检测 作为本文研究的基础，本章对相关领域知识进行介绍。首先介绍了入侵检测 的概念、特点、现有入侵检测系统存在的优缺点及系统构成，以及数据挖掘技术 在入侵检测系统中的地位和作用。 2 1 入侵检测系统概述 1 9 8 0 年j a m e s p a n d e r s o n 在给一个保密客户写的一份题为计算机安全威 胁监控与监视的技术报告中指出，审计记录可以用于识别计算机误用，他对威 胁进行了分类，第一次详细阐述了入侵检测的概念。1 9 8 4 年到1 9 8 6 年乔治敦大 学的d o r o t h yd e n n i n g 和s r i 公司计算机科学实验室的p e t e rn e u m a n n 研究出了 一个实时入侵检测系统模型i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m s 入侵检 测专家系统) ，它是第一个在一个应用中运用了统计和基于规则两种技术的系统， 是入侵检测研究中最有影响的一个系统。1 9 8 9 年，加州大学戴维斯分校的t o d d h e b e r l e i n 写了一篇论文( ( an e t w o r ks e c u r i t ym o n i t o r ) ) ，该监控器用于捕获t c p i p 分组，第一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成 统一格式的情况下监控异种主机，网络入侵检测从此诞生。 入侵检测系统的任务就是在提取到的庞大的检测数据中找到入侵的痕迹。入 侵分析过程需要将提取到的事件与入侵检测规则进行比较，从而发现入侵行为。 一方面入侵检测系统需要尽可能多地提取数据以获得足够的入侵证据，而另一方 面由于入侵行为的千变万化而导致判定入侵的规则越来越复杂，为了保证入侵检 测的效率和满足实时性的要求，入侵分析必须在系统的性能和检钡, t t t 力之间进行 权衡，合理地设计分析策略，并且可能要牺牲一部分检测能力来保证系统可靠、 稳定地运行并具有较快的响应速度。 入侵检测系统在不影响网络性能的情况下能对网络活动进行监测，从而提供 对内部攻击、外部攻击和误操作的实时保护。这些主要是通过以下任务来实现： 监视、分析用户及系统活动； - 系统构造和弱点的审计； 南京邮电人学硕士研究生学位论文 第二章入侵检测 识别反映已知进攻的活动模式并报警； 异常行为模式的统计分析； 评估重要系统和数据文件的完整性； 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 入侵检_ ；9 1 4 的基本原理图如下： 图2 1 入侵检测基本原理图 2 1 1 入侵检测系统分类 一按信息分类 根据信息源的不同，分为基于主机型、基于网络型、混合型三大类。 基于主机的入侵检测系统( h o s t - b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，h i d s ) ：其 输入数据来源于系统的日志，如访问日志、软件使用日志等，一般检测该主机上 发生的入侵，主要用于保护关键应用的服务器，实时监视可疑的连接、系统日志 检查，非法访问的闯入等。这种i d s 可监测系统、事件和系统的安全记录，当 有文件被修改时，i d s 将新的记录条目与己知的攻击特征相比较，看它们是否匹 配。如果匹配，就会向系统管理员警报或者做出适当的响应。 基于网络的入侵检测系统( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m n i d s ) ： 其输入数据来源于网络各个节点的信息流，能够检测该网段上发生的网络入侵， 4 南京邮电火学硕士研究生学位论文 第= 章入侵检测 主要用于实时监控网络关键路径的信息。这种i d s 以网络包作为分析数据源。 它通常利用一个工作在混杂模式下的网卡来实时监视并分析通过网络的数据流。 i d s 扫描当前网络的活动，监视和记录网络的流量，根据定义好的规则来过滤从 主机网卡到网线上的流量，提供实时报警。 两部分相结合的分布式入侵检测系统：能够同时分析来自主机系统审计日志 和网络数据流的入侵检测系统，一般为分布式结构，由多个部件组成。 二按检测方法分类 根据检测所用分析方法不同，可分为误用( m i s u s e ) 检测、异常( a b n o r m a l ) 检测 和混合型的入侵检测系统，其中： 误用( m i s u s e ) 检测：设定一些入侵活动的特征，通过现在的活动是否与这些 特征匹配来检测。常用的检测技术为： ( 1 ) 专家系统：采用一系列的检测规则分析入侵的特征行为。规则，即知 识，是专家系统赖以判定入侵存在与否的依据。除了知识库的完备性 外，专家系统还依赖条件库的完备性，这一点又取决于审计记录的完 备性、实时性和易用性。此外，匹配算法的好坏，也对专家系统的工 作效率有很大影响。 ( 2 ) 基于模型的入侵检测方法：入侵者在攻击一个系统时往往采用一定的 行为序列，如猜测e l 令的行为序列。这种行为序列构成了具有一定行 为的特征模型，根据这种模型代表的攻击意图的行为特征，可以实时 地检测出恶意的攻击企图。 ( 3 ) 简单模式匹配：基于模式匹配的入侵检测方法将已知的入侵特征编码 成为与审计记录相符合的模式。当新的审计事件产生时，这一方法将 寻找与它相匹配的已知入侵模式。 ( 4 ) 软计算方法：软计算方法包含了神经网络、遗传算法与模糊技术。 异常( a b n o r m a l ) 检测，异常检测假设入侵者活动异常于正常的活动。为实现 该类检测，i d s 建立正常活动的“规则集( n o r m a lp r o f i l e ) ”，当主体活动违反其 统计规则时，认为可能是“入侵”行为。异常检测的优点之一为具有抽象系统正常 行为从而检测系统异常行为的能力。这种能力不受系统以前是否知道这种入侵的 限制，所以能够检测新的入侵行为。大多数的正常行为的模型使用一种矩阵的数 南京邮电凡学硕士研究生学位论文 第二章入侵检测 学模型，矩阵的数据来自于系统的各种指标。比如c p u 使用率、内存使用率、 登陆的时间和次数、网络活动、文件的改动等。异常检测的缺点是：若入侵者了 解到检狈规律，就可以小心的避免系统指标的突变，而使用逐渐改变系统指标的 方法逃避检测。另外检测效率也不高，检测时间较长。最重要的是，这是一种“事 后”检测，当检测到入侵行为时，破坏早已经发生了。 一般的入侵检测系统都属于第三类混合型的入侵检测系统。误用入侵通常都 有明确的模式，所以误用检测( m i s u s ed e t e c t i o n ) 根据对使用系统或网络的信息 进行模式匹配来识别使用者的入侵行为。异常检钡l j ( a n o m a l yd e t e c t i o n ) 则指根据 使用者的行为或资源使用状况来判断是否入侵，而不依赖于具体行为是否出现来 检测，所以也被称为基于行为的检测。异常检测基于统计方法，使用系统或用户 的活动轮廓( a c t i v i t yp r o f i l e ) 来检测入侵活动。活动轮廓出一组统计参数组成，通 常包括c p u 和i 0 利用率、文件访问、出错率、网络连接等。这类i d s 先产生主体 的活动轮廓，系统运行时，异常检测程序产生当前活动轮廓并同原始轮廓比较， 同时更新原始轮廓，当发生显著偏离时即认为是入侵。 2 1 2 入侵检测技术分类 入侵检测技术是以探测与控制为技术本质，发挥主动防御的作用，是网络安 全中极其重要的部分，其中的主要智能技术包括： 1 、基于神经网络的入侵检测方法：这种方法是利用神经网络技术来进行入 侵检测。这种方法对用户行为具有学习和自适应功能，能够根据实际检测到的信 息有效地加以处理，并做出入侵可能性的判断。 2 、基于专家系统的入侵检测技术：根据安全专家对可疑行为的分析经验而 形成套推理规则，然后在此基础上建立相应的专家系统，由此专家系统自动对 所涉及的入侵行为进行分析。该系统应能随着经验的积累而利用其自学习能力进 行规则的扩充和修正。 3 、基于模型推理的入侵检侧技术：根据入侵者在入侵时所执行的某些行为 程序的特征，建立一种入侵行为模型，根据这种行为模型所代表的入侵意图的行 为特征来判断用户执行的操作是否属于入侵行为。当然这种方法也是建立在对当 前己知的入侵行为程序的基础之上的，对未知的入侵方法所执行的行为程序的模 6 南京邮电火学硕十研究生学位论文 第二章入侵检测 型识别需要进一步的学习和扩展。 4 、基于数据挖掘技术的入侵检测技术：采用的是以数据为中心的观点把入 侵检测问题看作为一个数据分析过程。数据挖掘是一种面向应用的技术，同传统 的统计概率方法相比，数据挖掘方法具有如下优点：数据挖掘体现了一个完整的 数据分析过程，它一般包括数据准备、数据预处理、建立挖掘模型、模型评估和 解释等；另外它也是一个迭代的过程，通过不断的调整方法和参数以得到较好的 模型。基于数据挖掘的网络入侵检测模型可以进行机器学习和模式扩充，使得手 工和经验成分减少，入侵检测效率和可靠性明显得到提高。本文即将利用数据挖 掘的算法对入侵检测系统进行性能的改进。 2 1 3 入侵检测的基本步骤 完整的入侵检测一般分两步： 一信息收集 入侵检测的第一步是信息收集，内容包括系统、网络、数据及用户活动的状 态和行为。而且，需要在计算机网络系统中的若干不同关键点( 不同网段和不同 主机) 收集信息，这除了尽可能扩大检测范围的因素外，还有一个重要的因素就 是从来自一个源的信息有可能看不出疑点，但从来自多个源的信息的不一致性却 是可疑行为或入侵的最好标识。当然，入侵检测很大程度上依赖于收集信息的可 靠性和正确性，因此，很有必要只利用所知道的真正的和精确的软件来报告这些 信息，因为黑客经常替换软件以搞混和移走这些信息，例如替换程序调用的子程 序、库和其它工具。黑客对系统的修改可能使系统功能失常并看起来跟正常的一 样，例如，u n i x 系统的p s 指令可以被替换为一个不显示侵入过程的指令，或者 是编辑器被替换成一个读取不同于指定文件的程序( 黑客隐藏了初始文件并用另 一版本代替) 。这需要保证用来检测网络系统的软件的完整性，特别是入侵检测 系统软件本身应具有相当强的坚固性，防止被篡改而收集到错误的信息。 入侵检测利用的信息一般来自以下四个方面： 系统和网络日志文件。黑客经常在系统日志文件中留下他们的踪迹，因此， 充分利用系统和网络日志文件信息是检测入侵的必要条件。日志中包含发生在系 统和网络上的不寻常和不期望活动的证据，这些证据可以指出有人正在入侵或己 南京邮电人学硕士研究生学位论文 第二章入侵检测 成功入侵了系统。通过查看日志文件，能够发现成功的入侵或入侵企图，并很快 地启动相应的应急响应程序。日志文件中记录了各种行为类型，每种类型又包含 不同的信息，例如记录“用户活动”类型的同志，就包含登录、用户i d 改变、用户 对文件的访问、授权和认证信息等内容。很显然地，对用户活动来讲，不正常的 或不期望的行为就是重复登录失败、登录到不期望的位置以及非授权的访问重要 文件的企图等等。 目录和文件中的不期望的改变。网络环境中的文件系统包含很多软件和数 据文件，包含重要信息的文件和私有数据文件经常是黑客修改或破坏的目标。目 录和文件中的不期望的改变( 包括修改、创建和删除) ，特别是那些正常情况下限 制访问的，很可能就是一种入侵产生的指示和信号。黑客经常替换、修改和破坏 他们获得访问权的系统上的文件，同时为了隐藏系统中他们的表现及活动痕迹， 都会尽力去替换系统程序或修改系统日志文件。 程序执行中的不期望行为。网络系统上的程序执行一般包括操作系统、网 络服务、用户启动的程序和特定目的的应用，例如数据库服务器。每个在系统上 执行的程序由- n 多进程来实现。每个进程执行在具有不同权限的环境中，这种 环境控制着进程可访问的系统资源、程序和数据文件等。一个进程的执行行为由 它运行时执行的操作来表现，操作执行的方式不同，它利用的系统资源也就不同。 操作包括计算、文件传输、设备和其它进程，以及与网络间其它进程的通讯。一 个进程出现了不期望的行为可能表明黑客正在入侵你的系统。黑客可能会将程序 或服务的运行分解，从而导致它失败，或者是以非用户或管理员意图的方式操作。 物理形式的入侵信息。这包括两个方面的内容，一是未授权的对网络硬件 连接；二是对物理资源的未授权访问。黑客会想方设法去突破网络的周边防卫， 如果他们能够在物理上访问内部网，就能安装他们自己的设备和软件。依此，黑 客就可以知道网上的由用户加上去的不安全( 未授权) 设备，然后利用这些设备访 问网络。例如，用户在家里可能安装m o d e m 以访问远程办公室，与此同时黑客 正在利用自动工具来识别在公共电话线上的m o d e m ，如果一拨号访问流量经过 了这些自动工具，那么这一拨号访问就成为了威胁网络安全的后门。黑客就会利 用这个后门来访问内部网，从而越过了内部网络原有的防护措施，然后捕获网络 流量，进而攻击其它系统，并偷取敏感的私有信息等等。 南京邮电犬学硕士研究生学位论文 第二章入侵榆测 二信号分析 对上述四类收集到的有关系统、网络、数据及用户活动的状态和行为等信息， 一般通过三种技术手段进行分析：模式匹配、统计分析和完整性分析。其中前两 种方法用于实时的入侵检测，而完整性分析则用于事后分析。 模式匹配。模式匹配就是将收集到的信息与己知的网络入侵和系统误用模 式数据库进行比较，从而发现违背安全策略的行为。该过程可以很简单( 如通过 字符串匹配以寻找一个简单的条目或指令) ，也可以很复杂( 如利用正规的数学表 达式来表示安全状态的变化) 。一般来讲，一种进攻模式可以用一个过程( 如执行 一条指令) 或一个输出( 如获得权限) 来表示。该方法的一大优点是只需收集相关的 数据集合，显著减少系统负担，且技术已相当成熟。它与病毒防火墙采用的方法 一样，检测准确率和效率都相当高。但是，该方法存在的弱点是：需要不断的升 级以对付不断出现的黑客攻击手法，不能检测到从未出现过的黑客攻击手段。 统计分析。统计分析方法首先给系统对象( 如用户、文件、目录和设备等) 创建一个统计描述，统计正常使用时的一些测量属性( 如访问次数、操作失败次 数和延时等) 。测量属性的平均值将被用来与网络、系统的行为进行比较，任何 观察值在正常值范围之外时，就认为有入侵发生。例如，统计分析可能标识一个 不正常行为，因为它发现一个在晚八点至早六点不登录的帐户却在凌晨两点试图 登录。其优点是可检测到未知的入侵和更为复杂的入侵：缺点是误报、漏报率高， 且不适应用户正常行为的突然改变。具体的统计分析方法如基于专家系统的、基 于模型推理的和基于神经网络的分析方法，目前正处于研究热点和迅速发展之 中。 完整性分析。完整性分析主要关注某个文件或对象是否被更改，这经常包 括文件和目录的内容及属性，它在发现被更改的、被特洛伊化的应用程序方面特 别有效。完整性分析利用强有力的加密机制，称为消息摘要函数( 例女 i m d 5 ) ，它 能识别哪怕是微小的变化，其优点是不管模式匹配方法和统计分析方法能否发现 入侵，只要是成功的攻击导致了文件或其它对象的任何改变，它都能够发现。缺 点是一般以批处理方式实现，不用于实时响应。尽管如此，完整性检测方法还应 该是网络安全产品的必要手段之。例如，可以在每一天的某个特定时间内开启 完整性分析模块，对网络系统进行全面地扫描检查。 9 南京邮电人学硕士研究生学位论文 第二章入侵检测 2 1 4 入侵检测系统框架 1 9 8 7 年d o r o t h yed e n n i n g 提出了入侵检测的模型，首次将入侵检测作为一种 计算机安全防御措施提出。 该模型包括6 个主要的部分( 见图2 2 ) ： 图2 - 2d e n n i n g 模型 ( 1 ) 主体( s u b j e c t s ) ：在目标系统上活动的实体，通常指用户； ( 2 ) 对象( o b j e c t s ) ：指资源，由系统文件、设备、命令等占有： ( 3 ) 审计记录( a u d i tr e c o r d s ) ：由 构成的六元组。其中：活动( a c t i o n ) 是主体对对 象( o b j e c t s ) 的操作，对操作系统而言，这些操作包括登录、退出、读、写、执 行等；异常条件( e x c e p t i o n c o n d i t i o n ) 是指系统对主体的异常的活动( a c t i o n ) 的报告，如违反系统读写权限；资源使用情况( r e s o u r c e u s a g e ) 指的是系统的 资源消耗情况；时间戳( t i m e s t a m p ) 指活动( a c t i o n ) 发生时间。 ( 4 ) 活动档案( a c t i v ep r o f i l e ) ：即系统正常行为模型，保存系统正常活 动的相关信息。 ( 5 ) 异常记录( a n o m a l yr e c o r d ) ：由 组成。 表示异常事件的发生情况。 ( 6 ) 活动规则( a c t i v e l yr u l e s ) ：一组根据产生的异常记录来判断入侵是 否发生的规则集合。一般采用系统的正常活动模型为准则，根据专家系统或统计 方法对审计记录进行分析和处理，如果确实发生入侵，将进行相应的处理。 l o 南京邮电人学碳士研究生学位论文 第二章入侵检测 继d e n n i n g ：于二1 9 8 7 年提出上述的通用的入侵检测模型后，i d e s 和它的后继 版本n i d e s 都基- 于d e r m i n g 模型，早期的入侵检测系统多采用d e n n i n g 模型来实 现。 目前的入侵检测系统大部分是基于各自的需求独立设计和开发的，不同系统 之间缺乏互操作性和互用性，这对入侵检测系统的发展造成了障碍，因此d a r p a ( t h ed e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ，美国国防部高级研究计划局) 在 1 9 9 7 年3 月开始着手c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，公共入侵检测 框架) 标准的制定。现在加州大学d a v i s 分校的安全实验室己经完成c d f 标准， i e t f ( i n t e m e te n g i n e e r i n gt a s kf o r c ei n t e m e t t 程任务组) 成立了i d w o ( i n 缸1 l s i o n d e t e c t i o nw o r k i n gg r o u p ，入侵检测工作组) 负责建3 f f _ i d e f ( i n t r u s i o nd e t e c t i o n e x c h a n g ef o r m a t ，入侵检测数据交换格式) 标准，并提供支持该标准的工具，以 更高效率地开发入侵检测系统。国内在这方面的研究刚开始起步，目前也己经开 始着手入侵检测标准1 d f ( i n t r u s i o nd e t e c t i o nf r a m e w o r k ，入侵检测框架) 的研究 与制定。 c i d f 是一套规范，它定义 i d s 表达检测信息的标准语言以及i d s 组件之间 的通信协议。符合c i d f 规范的i d s 可以共享检测信息，相互通信，协同工作，还 可以与其它系统配合实施统一的配置响应和恢复策略。c i d f 的主要作用在于集 成各种i d s 使之协同工作，实现各i d s 之间的组件重用，所以c i d f 也是构建分布 式i d s 的基础。 c i d f 的规格文档出四部分组成，分别为： 体系结构( t h ec o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r ka r c h i t e c t u r e ) 规范语言( ac o m m o ni n t r u s i o ns p e c i f i c a t i o nl a n g u a g e ) 内部通讯( c o m m u n i c a t i o ni nt h ec o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k l 程序接口( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r ka p i s ) 其中：体系结构阐述了一个标准的i d s 的通用模型；规范语言定义了一个用 来描述各种检测信息的标准语言：内部通讯定义t i d s 组件之间进行通信的标准 协议；程序接口提供了一整套标准的应用程序接口( a p i 函数) 。以下将分别对c i d f 的四个组成部分进行结构分析。 c i d f 的体系结构文档阐述了一个i d s 的通用模型。它将一个i d s 分为以下 南京邮电大学硕士研究生学位论文 第二章入侵检测 四个组件( 见图2 3 ) ： 事件产生嚣：( e v e n tg e n e r a t o r s ) ，用e 盒表示； 事件分析器( e v e n ta n a l y z e r s l ，用a 盒表示； 事件数据库( e v e n td a t a b a s e s ) ，用d 盒表示： 响应单元( r e s p o n s eu n i t s ) ，用r 盒表示。 事件产生器事件分析器 事件数据库响应单元 图2 - 3c i d f 体系结构 c i d f 模型的结构如下：e 盒通过传感器收集事件数据，并将信息传送给a 盒， a 盒分析得到的数据，并产生结果；d 盒存放各种中间数据和最终数据，这些数 据可以是复杂的数据库，也可以是简单的文本文件；r 盒则是对分析结果做出反 应的功能单元，它可以做出切断连接、改变文件属性等强烈反应，也可以只是简 单报警。a 、e 、d 及r 盒之间的通信都基于g i d o ( g e n e r a l i z e di n t r u s i o nd e t e c t i o n o b j e c t s ，通用入侵检测对象) 和c i s l ( c o m m o n i n t r u s i o ns p e c i f i c a t i o nl a n g u a g e ， 通用入侵规范语言) 。如果想在不同种类的a 、e 、d 及r 盒之间实现互操作，需 要对g i d o 实现标准化并使用c i s l 。 c i d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它可以是基于网络的i d s 从网络中提取的数据包，也可以是基于主机的i d s 从系统日志等其它途径得到 的数据信息。 c i d f 组件之间是以通用入侵检测对象g i d o 的形式交换数据的，一个g i d o 可以表示在一些特定时刻发生的一些特定事件，也可以表示从一系列事件中得出 的一些结论，还可以表示执行某个行动的指令。 c i d f 中的事件产生器负责从整个计算环境中获取事件，但它并不处理这些事 件，面是将事件转化为g i d o 标准格式提交给其它组件使用，显然事件产生器是 南京邮电人学硕士研究生学位论文 第二章入侵检翊 所有i d s 所需要的，同时也是可以重用的。c i d f 中的事件分析器接收g i d o ，分 析它们，然后以一个新的g i d o 形式返回分析结果。c i d f 中的事件数据库负责 g i d o 的存贮，它可以是复杂的数据库，也可以是简单的文本文件。c i d f 中的响 应单元根据g i d o 做出反应，它可以是终止进程、切断连接、改变文件属性，也 可以只是简单的报警。 c i d f 将各组件之间的通信划分为三个层次结构：g i d o 层( g i d ol a y e r ) ，消 息层( m e s s a g el a y e r ) 和传输层( n e g o t i a t e dt r a n s p o r tl a y e r ) 。其中传输层不属于 c i d f 规范，它可以采用很多种现有的传输机制来实现。消息层负责对传输的信 息进行加密认证，然后将其可靠地从源传输到目的地，消息层不关心传输的内容， 它只负责建立一个可靠的传输通道。g i d o 层负责对传输信息的格式化，正是因 为有t g i d o 这种统一的信息表达格式，才使得各个i d s 之间的互操作成为可能。 c i d f 也对各组件之间的信息传递格式、通信方法和a p i 进行了标准化。在现 有的i d s 中，经常用数据采集部分、分析部分、响应部分和日志来分别代替事件 产生器、事件分析器、响应单元和事件数据库这些术语。 c i d f 的规范语言文档定义了一个公共入侵标准语言( c o m r n o ni n t r u s i o n s p e c i f i c a t i o nl a n g u a g e ，以下简称为c i s l ) ，各i d s 使用统一的c i s l 来表示原始事 件信息、分析结果和响应指令，从而建立t i d s 之间信息共享的基础。c i s l 是c i d f 的最核心也是最重要的内容。 要建立一个c i s l 并非易事，它必须能够满足以下的要求： 有丰富的表达能力：能够表示各种入侵行为及其相应的处理方法： 表达唯一：表达本身不能产生二义性： 语言精确：对每一种表达的含义做出明确的定义； 可分层次：不同层次的组件能够得到不同的信息； 可自定义：能够解释自己需要得到的信息； 高效率：尽可能少地占用系统资源； 可扩展：可以增加新的表达内容而不影响整个语言结构： 语言简朴：语言可以被快速编码和解码； 可移植：语言能够支持多种操作系统平台及多种传输机制； 易于实现：如果语言复杂到无法实现，语言本身也就失去意义了。 南京邮电天学硕士研究生学位论文第二章入侵检测 为了能够满足以上的要求，c i s l 使用了一种类似l i s p 吾言的s 表达式，它的 基本单位由语义标志符( s e m a n t i ci d e n t i f i e r s ，以下简称为s i d ) 、数据和圆括号组 成。例如( h o s t n a m e “f i r s t e x a m p l e c o r n ”) ，其q 6 h o s t n a m e 为s i d ，表示后面的数 据是一个主机名，”f i r s t e x a m p l e c o m ”伪数据，括号将两者关联。 多个s 表达式的基本单位递归组合在一起，构成整个c i s l 的s 表达式。在c i s l 中，所有信息( 原始事件、分析结果、响应指令等) 均是用这种s 表达式来表示的。 例如下面的s 表达式 ( d e l e t e ( c o n t e x t ( h o s t n a m e f i r s t e x a m p l e c o r n ) ( t i m e 1 6 ：4 0 ：3 2j t m1 42 0 0 5 3 ) ( i n i t i a t o r ( u s e r n a m e j o e ) ) ( s o u r c e ( f i l e n a m e e t c p a s s w d ) ) ) 表示用户名为 j o e ”的用户在2 0 0 5 年6 月1 4 日1 6 点4 0 分3 2 秒删除了主机名为 “f i r s t e x a m p l e c o r n ”的主机上的文件“e t c p a s s w d “。这是一个事件描述，其中的 d e l e t e 、c o n t e x t 、h o s t n a m e 、t i m e 等均为s i d 。 这些s i d 、s 表达式以及s 表达式的组合。递归、嵌套等构成t c i s l 的全部表 达能力。也o i c i s l 本身。在计算机内部处理c i s l 时，为节省存储空间提高运行 效率，必须对a s c i i 形式的s 表达式进行编码，将其转换为二进制字节流的形式， 编码后的s 表达式就是g i d o 。g i d o 是s 表达式的m 进制形式，是c i d f 各组件统 一的信息表达格式，也是组件之间信息数据交换的统一形式。在c i s l 中还对 g i d o 的动态追加，多个g i d o 的组合，以及o i d o 的头结构等进行了定义等。 目前c i d f 还没有成为正式的标准，也没有一个商j k l d s 产品完全遵循该规 1 4 南京邮电人学硕士研究生学位论文 第一二章入侵检测 范，但各种i d s 的结构模型具有很大的相似性，各厂商都在按照c i d f 进行信息交 换的标准化工作，有些产品已经可以部分地支持c i d f 。可以预测，随着分布式 i d s 的发展，各种i d s 互操作和协同工作的迫切需要，各种i d s 必须遵循统一的框 架结构，c i d f 将成为事实上的i d s 的工业标准。 2 2 传统入侵检测方法 目前，国际顶尖的入侵检测系统i d s 主要以模式发现技术为主。所谓模式发 现技术是指从各种入侵行为及其变种中抽取出各方面的模式或特征，然后用这些 模式去匹配、去发现可能的攻击。i d s 一般从实现方式上分为两种：基于主机的 i d s 和基于网络的i d s 。一个完备的入侵检测系统i d s 应该是基于主机和基于网络 两种方式兼备的分布式系统。另外，能够识别的入侵手段的数量多少，最新入侵 防范的更新是否及时都是评价入侵检测系统的关键指标。 传统的入侵检测有基于主机、基于网络、基于统计模型等几类，但通常都按 照基于主机的i d s 和i 基于网络的i d s 来划分。基于主机的i d s 原理上类似于计算机 防病毒软件或是网络管理软件在所有服务器上安装某种代理，用特定的管理 控制系统进行汇报工作。它们使用一种传感控制结构，而且通常是纯被动的。基 于网络的系统可以通过比较线路的流量，以及内部列出的种种特征标识进行观 测。两种方案都可以对识别到的攻击做出反应。 2 2 1 基于主机的入侵检测 就目前的情况来看，d n s ，e m a i l 和w e b n 务器是多数网络攻击的目标，大约 占据全部网络攻击事件的1 3 以上。这些服务器必须要与i n