（计算机应用技术专业论文）基于关联分析的入侵检测技术研究.pdf

摘要 摘要 随着计算机技术的发展，网络结构日趋复杂，入侵手段日趋多样化， 入侵检测系统在过去几年的研究主要集中在体系架构和检测方法上，在不 断取得突破的同时，也暴露出一些诸如事件风暴、误报率和漏报率高、上 下文不明确等问题，严重影响了入侵检测系统的性能。为了解决上述问题， 人们将关联分析技术引入入侵检测系统，开发了关联分析型入侵检测系统。 因果关联法是警报关联分析中的重要方法，能够发现攻击间的逻辑步 骤，揭示隐藏在警报背后的攻击策略。本文重点研究基于因果关系的关联 分析型入侵检测系统，主要工作如下： 首先，提出一种警报漏报关联算法。针对现有关联分析型入侵检测系 统中存在的警报漏关联问题进行研究，深入分析攻击类型及攻击发生的前 提条件和结果，在此基础上定义了漏报关联规则，能够有效的检测到入侵 检测系统的漏报。 其次，提出种攻击预测算法。通过对警报信息的合成、关联、分类 处理后，依据攻击行为间的因果关系及时序关系进行预测，揭示攻击者的 入侵意图和入侵趋势，提前阻止攻击的发生。 再次，构建了具有攻击预测功铯的关联分析型入侵检测系统。针对现 有关联分析型入侵检测系统过分依赖警报信息，一条攻击被漏报将导致随 后的整个攻击序列被漏报的严重后果，本文对原系统进行改进，添加了漏 报分析模块和攻击预测模块，解决了原系统中存在的问题，并使改进的系 统具有预测功能。 最后，作为这些研究成果的应用，本文在l i n u x 乎台用c 程序实现了 改进的系统模型，并模拟网络入侵事件对系统攻击，进行了大量的测试实 验，总结系统的各方面性能，分析存在的问题，为进一步研究提供了方向。 关键词入侵检测；因果关联；关联规则；漏报关联；攻击预测 燕山大学工学硕士学位论文 a b s 仃a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , t h en e t w o r ka r c h i t e c t u r ei s c o m p l e xd a yb yd a y , a n di n t r u s i o nm e t h o dd i v e r s i f i e sm o r ea n dm o r e t h e r e s e a r c ho fi n t r u s i o nd e t e c t i o ns y s t e mm a i l l l yc o n c e n t r a t e do nt h es y s t e m c o n s t r u c t i o na n d0 1 1t h ed e t e c t i o nm e t h o dd u r i n g p a s ts e v e r a ly e a r s w h i l e o b t a i n i n gt h eb r e a k t h r o u g hu n c e a s i n g l y , s o m ep r o b l e m ss u c ha se v e n ts t o r m , h i g h r a t eo ff a l s ep o s i t i v e sa n df a l s en e g a t i v e s ，a n du n c l e a rc o n t e x ta r ee x p o s e d ， w h i c hh a v es e r i o u s l ya f f e c t e dt h ep e r f o r m a n c eo fi n t r u s i o nd e t e c t i o ns y s t e m i n o r d e rt os o l v et h ep r o b l e m sm e n t i o n e da b o v e ，ac o r r e l a t e d a n a l y s i si n t r u s i o n d e t e c t i o ns y s t e mi sd e v e l o p e db yc o m b i n i n gc o r r e l a t e d - a n a l y s i st e c h n o l o g y w i t l li n t r u s i o nd e t e c t i o ns y s t e m p r e r e q u i s i t e - b a s e dc o r r e l a t e d - a n a l y s i sm e t h o di s o n eo ft h ei m p o r t a n t c o r r e l a t e d a n a l y s i sm e t h o d s ，w h i c hc a nd i s c o v e rt h el o g i c a ls t e p sa m o n gt h e a t t a c k s ，a n de x p o s et h ea t t a c ks t r a t e g yt h a th i d e sb e h i n dt h ea l e r t s s oa p r e r e q u i s i t e b a s e dc o r r e l a t e d - a n a l y s i si n t r u s i o nd e t e c t i o ns y s t e mi se m p h a s e s i nt h i sp a p e r t h em a i nt a s ki sa sf o b o w s ： f i r s t l y , o n ek i n do ff a l s en e g a t i v e sc o r r e l a t e d - d e t e c t i o na l g o r i t h m i s p r o p o s e d c o n s i d e r i n g t h e p r o b l e mo f f a l s e n e g a t i v e s i nt h e e x i s t i n g c o r r e l a t e d a n a l y s i s i n t r u s i o nd e t e c t i o n s y s t e m , t y p e s ，p r e r e q u i s i t e s a n d c o n s e q u e n c e so fa t t a c k sa r ea n a l y z e d a n dac o r r e l a t i o nr u l ei sd e f i n e dw h i c h c o u l dd e t e c te f f e c t i v et h ef a l s en e g a t i v e sm a d eb yi n t r u s i o nd e t e c t i o ns y s t e m s e c o n d l y , o n ek i n do fa t t a c kp r e d i c t i o na l g o r i t l m ai sp r o p o s e d t h r o u g h t h ep r o c e s s i n go fm e r g e n c c ，c o r r e l a t i o na n dc l a s s i f i c a t i o nt oa l e r ti n f o r m a t i o n , p r e r e q u i s i t e - b a s e dr e l a t i o na n ds u c c e s s i o nr e l a t i o no fa t t a c k sa r ea p p l i e di nt h e a l g o r i t h mt op r e d i c ta t t a c k s i tw i l lp r e s e n tt h ei n t r u s i o ni n t e n t i o na n di n t r u s i o n t e n d e n c yw h i c h c a l lh e l pt op r e v e n ta t t a c ko c c u r r i n g a b s l r a c t t h i r d l y , t h ec o r r e l a t e d - a n a l y s i s i n t r u s i o nd e t e c t i o ns y s t e mw h i c hc a l l p r e d i c ta t t a c k si sd e s i g n e d c o n s i d e r i n gt h ep r o b l e mt h a tt h ew h o l ea t t a c k s s u c c e s s i o nw i l ln o tb ed e t e c t e dw h e no n ef a i l st or e p o r t ，w ei m p r o v eo nt h e f o r m e rs y s t e m , a n da d d sf a l s en e g a t i v e sc o r r e l a t e d - d e t e c t i o nm o d e la n da t t a c k p r e d i c t i o nm o d e l s o t h ep r o b l e mm e n t i o n e da b o v ei sa v o i d e di nt h ei m p r o v e d s y s t e m f i n a l l y , t h es y s t e mm o d e li sc a r r i e do u ti ncl a n g u a g ea st h ea p p l i c a t i o no f t h er e s e a r c h a t t a c k i n ge x p e r i m e n ti sm a d eb ys i m u l a t i n gi n t r u s i o ni n c i d e n t s t h r o u g hs u m m a r i z i n gv a r i o u sf a c t o r s c a p a b i l i t i e sa n da n g l i c i z i n gt h es h o r t a g e i nt h es y s t e m , w ep r o v i d et h ed e v e l o p m e n td i r e c t i o na n dp r e c i o u se x p e r i e n c e f o rt h ef u r t h e rr e s e a r c h k e y w o r d si n t r u s i o nd e t e c t i o n ；p r e r e q u i s i t e - b a s e dc o r r e l a t i o n ；c o r r e l a t i o n r u l e s ；f a l s en e g a t i v e sc o r r e l a t i o n ；a t t a c kp r e d i c t i o n 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于关联分析的入侵检 测技术研究，是本人在导师指导下，在燕山大学攻读硕士学位期间独立进 行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他 人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和 集体，均己在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签字刁忧敞 i e i 巅 ：a 名年，土月手日 燕山大学硕士学位论文使用授权书 基于关联分析的入侵检测技术研究系本人在燕山大学攻读硕士学 位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕山大学 所有，本人如需发表将署名燕山大学为第一完成单位及相关人员。本人完 全了解燕山大学关于保存、使用学位论文的规定，同意学校保留并向有关 部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权燕 山大学，可以采用影印、缩印或其他复制手段保存论文，可以公布论文的 全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密回。 ( 请在以上相应方框内打“”) 第1 章绪论 1 1 网络安全概述 第1 章绪论 信息社会的到来与信息技术的应用，使人们在生产方式、生活方式及 思想观念等方面都发生了巨大变化，极大的推动了人类社会的发展和人类 文明的进步，把人类带入了崭新的信息化时代。由于网络的全球性、开放 性、无缝连通性、共享性和动态发展，使任何人都可以自由接入i n t e r n g t ， 因此，网络在给人们带来便利的同时也产生了一些弊端。 c s i ( c o m p u t e rs e c u r i t yi n s t i t u t e ) 和f b i ( s a nf r a n c i s c of e d e r a lb u r e a uo f i n v e s t i g a t i o n ) 在2 0 0 6 年的计算机犯罪和安全的报告中指出，有9 8 的受访 机构使用防火墙。有9 7 的计算机使用杀毒软件和7 9 的用户使用反问谍 软件。然而，截止到今年8 月，由于网络安全而造成的经济损失达5 亿美元。 我国的网络安全形势也不容乐观，2 0 0 6 年第1 8 次中国互联网路发展状况统 计报告指出，我国的计算机用户中有7 0 1 的人受到过病毒或黑客的不同 程度攻击，信息盗窃以2 5 0 的速度增长，9 9 的大公司都曾发生过大的入 侵事件【l 】。鉴于越来越严峻的形势，网络信息安全已成为亟待解决、影响 国家大局和长远利益的重大关键问题。 信息安全的概念从早期的通信保密扩展到研究信息的保密、完整、可 用、可控和不可否认的信息安全，并进一步发展到今天的信息保障体系。 人们常说的“数据库安全”、“操作系统安全”、对计算机系统中的数据 保护，以及抵御黑客对计算机系统的破坏是指“计算机安全( c o m p u t e r s e c u r i t y ) ”；丽“网络安全( n e t w o r ks e c u r i t y ) ”则主要是指对分布式系统、 网络及网络通信设备之间所处理的数据的保护。因此，所谓“网络信息安 全”可以理解为：一个国家的社会信息化状态和信息技术体系不受外来威 胁与侵害；在技术层次上的含义，就是保证在客观上杜绝对信息安全属性 的安全威胁，使得信息的拥有者在主观上对其信息的本源性放心。信息安 燕山大学工学硕士学位论文 全的基本属性、面向数据的安全概念是信息的保密性、完整性和可用性， 而一般的信息安全的基本属性可以归纳为下面5 个方面。 ( 1 ) 保密性确保信息只被授权人访问，对抗对手的攻击，保证信息不 泄漏给未经授权的人。 ( 2 ) 完整性保护信息和信息处理方法的准确性和原始性，对抗对手主 动攻击，防止未经授权篡改。 ( 3 ) 可用性确保授权的用户在需要时可以访问信息，即使出现突发事 件，授权用户仍然可以得到或使用数据，服务也能正常运作。 ( 4 ) 可控性确保授权的用户可以随时控制信息的机密性。 ( 5 ) 不可否认性保证信息行为人不能否认其信息行为，防止参与某次 通信交换的一方事后否认该次交换曾经发生。 1 2 入侵检测在网络安全防护中的重要作用 为了应付日益严峻的网络安全局面，人们研究和应用了各种安全机制、 策略和工具。传统上，一般采用静态安全防御策略来进行防御，主要采用 的手段有：防火墙、数据加密、身份认证、访问控制，操作系统加固等。然 而，随着攻击者知识的日趋成熟，攻击工具与手法的日趋复杂多样，同时 各种系统、软件存在着层出不穷的漏洞，单纯的被动的静态安全防御策略 已经无法满足现实需要。因此，人们开始采用动态安全防御的思想来进行 安全防护，p 2 d r 网络安全模型是动态安全防御思想的一个典型代表【2 j 。 p 2 d r 模型的理想实现是在整体安全策略( p o l i c y ) 控制和指导下，综合 运用防护工具( p r o t e c t i o n ，如防火墙、身份认证、加密等手段) ，利用检测 工具( d e t e c t i o n ，入侵检测系统和漏洞扫描等) 了解系统的安全状态，并通 过适当的响应( r e s p o n s e ，安全评估和策略管理系统) 将系统调整到“最安 全”和“风险最低”状态。防护、检测和响应组成了一个完整的、动态安 全循环。入侵检测系统是p 2 d r 模型的重要环节，因为，成功的入侵检测是 保证快速响应的关键，同时，安全检测是调整和实现安全策略的有力工具。 入侵检测实现了将静态防护转化为动态防护。 2 第1 章绪论 入侵检测系统在网络防范体系中的作用类似于监视器，它通过检测网 络和系统内部的数据和活动，发现可能的入侵活动，并进行报警或主动切 断入侵通道。使用入侵检测系统不仅可以防止外部的入侵，还可以检测内 部用户的未授权活动，这是防火墙所不能实现的f 3 l 。 1 3 关联分析型入侵检测系统的研究现状 入侵检测系统在安全防护领域的作用勿庸置疑，然而入侵检测技术本 身的局限性严重阻碍t i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 的发展。目前i d s 主 要采用误用检测和异常检测两种方法1 4 】，它们都不可避免地会产生漏报警 和大量误报警，并且重复报警多、可读性差，管理员很难从中真正了解当 前系统的安全状况。 针对这些问题，研究者们在不断改进检测算法、完善攻击模式库的同 时，开始考虑利用攻击事件之间的关联来提高检测的准确性和可用性，这 方面的研究主要有两个分支：一是在检测时实时地对网络事件进行关联； 二是对报警信息进行关联分析。二者都基于同样的思想，即攻击者要实现 其目的通常是通过一系列攻击步骤来完成的，而不是通过单个攻击行为。 因此，通过关联分析技术可以减少误报警，提高检测率，大大提高报警信 息的可用性。 1 3 1 溉率关联方法 v a l d e s 等提出的基于概率相似度的入侵报警关联系统，用手工定义的 入侵事件间概率相似度和极小匹配规则来构建入侵事件关联专家系统【5 1 。 首先计算报警信息不同属性之间的相似度，相似度的值在0 到1 之间。对 于不同的属性值，设定不同的相似度计算函数。新的报警信息会与已存在 的所有报警线程的相应属性值进行比较，计算它们之间的相似度。报警之 间的相似度定义为不同的属性相似度的平均值。将报警中与报警线程相似 度最大，并超过设定阈值的报警融合到报警线程中。若不超过设定阈值， 则生成一个新的报警线程。在融合过程中，将针对报警信息的不同属性， 燕山大学工学硕士学位论文 生成一张表格，以存储被融合的信息。这种方法能够较好地融合匹配度较 高的报警信息。实验表明，这种方法可以有效地压缩报警信息的数量。 1 3 2 聚集与关联组件方法 w e s p i 等提出基于i b mt i v o l ie n t e r p r i s ec o n s o l e 的入侵事件a c c 组件 ( a g g r e g a t i o na n dc o r r e l a t i o nc o m p o n e n t ) t 6 1 ，用关联和聚集两种算法来描述 入侵事件间的关系，其中关联算法包含重复( d u p l i c a t e ) 和因果( c o n s e q u e n c e ) 两种关系，用于过滤报警；聚集算法用于建立具有共性的攻击场景，并最 终用基于规则的方式实现关联。它主要包含两个步骤：首先判断报警是否 是重复的；其次是报警因果关系的判断。这种机制要求报警信息必须以特 定的顺序发生，并且在一定的时间间隔内发生。在超过给定的时间间隔的 情况下，如果已生成的报警序列已经满足序列值，则终止该序列线程；如 果已生成的报警序列未满足序列值，则丢弃该序列线程。 1 3 3 机器学习方法 这也是一种实时的报警信息关联方法，应用机器学习的方法来训练数 据集，生成报警关联线程【“。每一个线程表示一个行为或者组织的行为方 式，而不一定是恶意行为。为了避免攻击者采用不同的口或欺骗i p 的行 为来进行攻击，它采用了一种比较i p 位值的方法，其中定义了一个数量级 r ，为两个地址中连续相同的位数。若r = 0 ，则两个i p 不可能来自相同的子 网；若r = 3 2 ，则口是相同的。每当一个新的报警信息产生时，计算其属 于不同线程的可能性，并将报警信息添加到可能性最大的线程中。如果与 所有线程比较，可能性都低于所设定的阈值，则创建一个新的线程。最后， 对每个线程中的数据进行训练挖掘，以获得通用而普遍的规则。 1 3 4 基于因果关系的关联分析方法 美国北卡罗莱纳州大学的p e n gn i n g 及其工作小组提出了基于因果关 系的报警信息关联方法【引。c u p p e n sf 等也提出了类似的方法，对于i d m e f 格式的警报进行关联分析1 9 。通过对黑客攻击行为的分析可知，黑客入侵 4 第】章绪论 行为不是独立的，而是攻击系列中的不同阶段，早期阶段为后期阶段做准 备，前期步骤的成功是后期步骤成功的前提条件，它们之间存在着因果关 系。利用这个分析结果将一系列攻击步骤关联起来。即，如果一个攻击的 结果是另一个攻击成功的前提条件，那么，这两个攻击是关联的，是同一 系列攻击中的两个步骤。 1 4 关联分析型入侵检测系统的不足和发展方向 概率关联方法通过专家来定义属性权重，不能发现较少特性的报警信 息之间的关联信息，不能体现警报之间的因果关系。聚集与关联组件方法 的序列机制仅仅应用于报警信息的类型，在序列的定义中，涉及到报警信 息的产生、严重程度和两个报警信息间的时间间隔，没有为两个报警的关 联提供充足的信息。而且，由于入侵者行为的不确定性，预测入侵者的行 为方式是一件非常困难的事情。机器学习方法要求在每个线程上对数据进 行训练，并且结果线程可能过于庞大，而对于不存在于线程中的数据无法 进行关联，影响到最后的分析结果的准确性。基于警报因果关系的关联方 法由于依赖于i d s 的报警信息，因此，如果发生漏报警，丢掉了攻击序列 中的关键报警消息，则一个攻击场景就被分为了多个部分，会降低甚至丧 失关联的意义【l 。 目前，关联分析技术虽然还不能提供一个完美的对付攻击的解决方案， 但是除去其内在的局限性，它仍是应付网络安全事件的一个有效措施，也 是真正解决大量攻击、入侵问题的切实可行的方法。 对上述问题的解决，正是以后关联分析型入侵检测系统主要发展方向。 1 5 本文研究的主要内容及论文结构 入侵技术的发展与进化以及网络带宽的不断增加，对入侵检测系统提 出了新的挑战。本文研究的主要内容是对现有的基于因果关系的关联分析 型入侵检测系统( p r e r e q u i s i t e - b a s e dc o r r e l a t e d - a n a l y s i si n t r u s i o n d e t e c t i o n 5 燕山大学工学硕士学位论文 s y s t e m ) 】作出合理改进，提出了漏报关联算法和攻击预测算法，并将漏报 分析模块和攻击预测模块应用于原系统中，使改进后的系统具有检测漏报 和攻击预测的功能，更具合理性和实用性。 本文章节安排如下。 第l 章主要分析了计算机网络系统的安全性，叙述了关联分析型入侵 检测系统的发展现状和目前存在的不足，并指出本文的主要内容和结构。 第2 章首先对关联分析技术作了整体的介绍，包括关联分析技术的产 生背景、定义及其基本关系，然后介绍了几种主要的警报关联分析方法， 最后介绍了引入关联分析技术的入侵检测系统模型。 第3 章首先分析了p e n gn i n g 提出的因果关联算法的思想、原理及优 缺点，然后重点描述了本文所提出的漏报关联算法，包括算法所涉及的数 据结构、关联规则的生成和算法的实现，最后对算法进行分析。 第4 章首先分析了几种典型的攻击预测算法的思想、原理及优缺点， 然后重点描述了本文提出的攻击预测算法，包括合成算法、关联算法、时 序模式匹配方法和后向预测算法的实现，最后对算法进行分析。 第5 章首先分析了原系统中存在的缺陷，根据第3 章提出的漏报关联 算法，构建了漏报分析模块；根据第4 章提出的攻击预测算法，添加了攻 击预测模块；设计了一个具有预测功能的新的p c a i d s ，然后对系统各功 能模块及知识库作了详细介绍。 第6 章介绍了本课题所做的相关实验，包括漏报关联算法的有效性测 试实验和攻击预测算法的有效性及算法性能测试实验，并对实验结果进行 了透彻的分析总结。 最后是全文结论和今后的研究方向。 6 第2 章关联分析技术 第2 章关联分析技术 2 1关联分析技术的产生背景 随着计算机技术的发展，人们有能力设计和实现一些复杂的系统，如 通讯网络、计算机系统、实时监控系统等，作为一个共有的特征，这些系 统都有离散的状态( s t a t e ) ，例如：空闲、异常、出错等。同时，状态之间 相互转化能够产生事件( e v e n t ) ，例如：命令、警报、超时等。所以，这些 系统被称为离散事件系统( d i s c r e t ee v e n ts y s t e m ) 或者是事件驱动系统 ( e v e n t d r i v e ns y s t e m ) 。随着工业的进步，这些离散事件系统正朝着复杂化、 分布化和异构化的方向发展，及时有效地处理这些系统产生的离散事件的 难度变得越来越大，这就迫切地需要对大量的离散事件进行分类、整合和 关联，因此事件关联( e v e n tc o r r e l a t i o n ) 技术便应运而生。 最初，事件关联技术应用在一些需要实时监控的传统重大任务系统中， 例如核电站监控系统、石油开采监控系统等。现在，它已经在一些新的领 域( 消息系统、网络管理等) 得到了广泛的应用和研究。在入侵检测领域， 过去几年的研究集中在体系架构和检测方法上，在不断取得突破的同时， 也暴露出了一些诸如事件风暴、虚警率高、上下文不明确等问题【l “，严重 影响了入侵检测系统的更好应用。针对这些问题产生的根源，事件关联技 术也逐步得到了重视和应用，研究人员开始对其所起作用展开研究，提出 了一些警报关联的方法。 2 2 事件关联的定义及其基本关系 从攻击的角度出发，事件之间的关联性是指它们是否是同一个攻击行 为所产生的，这种攻击行为包括单个简单行为和由一系列攻击步骤组成的 复杂攻击行为。根据事件关联的定义，事件之间的关系可以进一步抽象为 7 燕山大学工学硕士学位论文 以下两种关系f 1 3 】。 2 2 1 冗余关系 冗余关系事件往往是由一个简单攻击或一个复杂攻击的某个步骤触发 多个i d s 系统或多次触发一个i d s 系统所引起。以常见的端口扫描为例，通 常，一次扫描攻击会同时针对目标机器的多个端口，这样同一个行为可能 产生多个警报。同样道理，若一次扫描行为是针对不同子网的不同主机， 将会触发各个子网的i d s 系统产生警报，等等。这里将这样一类事件之间 的联系称之为冗余关系。 2 2 2因果关系 黑客的攻击行为总是沿一定的步骤和路径来进行的，在一个完整的攻 击过程中，由单个攻击步骤触发的警报事件可能存在其前因事件和可能带 来的后果事件。例如，攻击者可能会首先进行漏洞扫描，发现有漏洞的主 机后，根据获取的漏洞信息，进一步对目标主机进行渗透攻击，在取得主 机的控制权后，再去攻击其他主机。概念上，这些事件都属于同一个复杂 攻击，它们之间存在某种因果关系。事件之间的因果关系显得较隐蔽，揭 示事件之间的因果关系有助于发现贯穿于整个安全系统的攻击模式和入侵 趋势，预见下一步将面临的威胁，提前阻止攻击的发生，将系统的安全防 御从被动式的“滞后型”转为主动式的“抢先型”。 2 3 警报关联方法分类 目前比较常用警报关联方法为概率关联和基于数据挖掘的关联方法。 2 3 1 概率关联方法 2 3 1 1 基于特征相似的概率关联方法为了融合不同i d s 的优点，往往 在不同网络域配置不同类型的i d s 。对来自不同类型i d s 的报警信息进行 综合关联分析，可以有效地识别真正的攻击事件，对减少重复报警和误报 8 第2 章关联分析技术 警有很大作用。目前，不同类型i d s 产品的开发没有采用统一标准，报警 数据格式和内容不统一，判断是否是对同一事件的报警相当困难。 文献 5 】利用报警信息特征的相似性来解决该问题，其方法描述如下。 ( 1 ) 定义特征相似函数对报警信息的共有特征( 如攻击源、攻击目标、 攻击类型、时间戳) 分别定义相似函数。 ( 2 ) 定义特征相似期望相似期望是关联的必要非充分条件，它表达了 对报警信息特征相似的先验期望，这个相似期望大小的定义依赖于特定上 下文。因为不同的特征对于报警信息是否整体相似的作用是不一样的，所 以采用不同特征的相似度加权值来计算整体相似度。 ( 3 ) 定义特征最小相似度如果莱特征的相似度小于最小相似度，则两 条报警信息的该特征不具有相似性，即取值为0 。 ( 4 ) 定义报警相似度阈值域如果两条报警信息的相似度不包含在相 似度阈值域，则两条报警不相似。 ( 5 ) 计算报警相似度计算公式为 s i m ( x ，5 e s i r e ( x , ，v j ) e ， i| 其中x 表示候选元报警，y 表示新的报警，j 是报警消息的特征索引，e i 是 对莉个特征的相似期望，它代表特征的权值，x j 和y i 分别表示报警消息x 和y 的第i 个特征的值。 该方法实验结果表明，通过该关联分析，可减少1 2 到2 3 的报警数据， 其缺点是所分析比较的报警信息必须具有共有特征，另外，它也不能发现 报警消息之间的因果关系。 2 3 1 2 基于攻击场景构建的概率关联方法通过对攻击过程的研究发 现，一次完整的攻击过程通常经历五个步骤，即：目标系统信息收集、目 标漏洞探测、权限提升、实施破坏、攻击痕迹清除。因此，可对同属一个 攻击场景的报警信息进行关联。 文献【7 ，1 4 】采用原子模型方法：每从i d s 接收到一个报警信息，就与已 经构建的攻击场景进行概率关联，即计算该报警属于己知攻击场景的概率， 把该报警归为概率最大的攻击场景，如果所有的关联概率都低于预先给定 的阈值，则创建新的攻击场景。一旦报警归为一个攻击场景，就不再改变。 9 燕山大学工学硕士学位论文 概率计算可采用手工编码方法、启发式方法或数据挖掘方法，下面简单介 绍启发式方法。 报警消息是否属于攻击场景的计算公式为：s i m ( x , y ) = l i j ( t ) r i f ( r ) 。 其中x 表示待处理的报警消息；y 表示攻击场景中最新的报警消息；i u 表示 两个报警消息之间的联系；q j ( a 0 表示两条报警消息之间的时间间隔：r i 。( r ) 表示两个报警消息的源i p 地址范围。l u 、o 日( t ) 、民( r ) 的取值范围均为 o ，l 】， 因此s i m ( x ，y ) 的取值也是 o ，1 】。l 、o i j ( a t ) 、r i j ( r ) 的具体含义如下：i u 表示 来自第j 个攻击阶段的报警消息紧跟来自第i 个攻击阶段的报警消息的概 率。如，扫描之后发生权限提升的概率要大于实施破坏之后发生权限提升 的概率，这是因为，攻击者往往要通过扫描才有可能得到访问系统的权限， 而一个没有相当权限的攻击者是不太容易实施破坏的。o i i ( a t ) 是s i g r a o i d 函 数，定义为a 。i ( a t ) = 1 ( 1 + e a + p a t ) 。r i j ( r ) 是两条报警消息源i p 地址的相似程度， 它是r 的函数，其取值依赖于报警消息所处的攻击阶段。r 表示两个i p 地址 的相同二进制位数，其取值范围为0 , 3 2 1 ，r = 3 2 说明两个i p 地址完全一样， r = 0 说明两个i p 地址不可能属于同一个子网。在五个过渡类型阶段，r 取值 为r = o ，8 ，1 6 ，2 4 ，3 2 ，r 的其他取值由r i i ( r ) 的线性插值决定，如d o s 对攻 击中的所有的r 都有i - j = d o s ，则r i i ( r ) 可有一个相对很大的值，这样就能够 识别使用假i p 地址进行的攻击。 该方法的优点是：能够发现利用假冒源口地址和潜伏期很长的攻击场 景；关联速度快，在不到2 秒内，可对1 60 0 0 个报警分配攻击场景。其缺点 是：由于场景的分配基于原子模型，一旦一个攻击场景出错，就会影响到 后续报警信息的关联，因此该方法需要在减少错误场景创建上进行改进。 2 3 2 基于数据挖掘的关联分析方法 数据挖掘 1 5 】是一门对过去、历史的学习掌握规律从而把握未来的技 术。其中的聚类分析、序列分析、关联分析技术已成功应用于入侵检测系 统。如，b a r b a r a j 6 ， 】采用增量式数据挖掘方法实时检测异常网络流量模式： l e e 和s m l f 0 1 8 】利用数据挖掘技术自动构建检测特征和对检测入侵的分类 器进行训练，希望构建的i d s 更加系统化，同时克服现有i d s 的局限性。 1 0 第2 章关联分析技术 2 3 2 1 聚类分析聚类分析是根据特征对对象进行分类的一种多元分析 技术，把特征相近的个体归为一类，使得同一类中的个体具有高度的相似 性，不同类之间的个体具有高度的相异性。 ( 1 ) 基于攻击场景的启发式聚类攻击场景是指具有共同特征的事件 集合。报警信息中的特征都可作为聚合属性，目前一般采用三个聚合属性： 攻击源、攻击目标、攻击类型。场景定义为：攻击源，攻击目标，报警类 型，严重级别。 文献【1 l 】根据攻击者采取的攻击方法定义了七种攻击场景：具有相同 攻击源、攻击目标、攻击类型，如攻击者对w e b 服务器发动一系列的w e b 攻击；具有相砀攻击源、攻击目标，如攻击者对目标的不同服务发动攻击； 具有相同攻击目标、攻击类型，如攻击者共同协作以对同一目标实行分布 式攻击，使之拒绝服务；具有相同攻击源、攻击类型，如攻击者对不同的 域名服务器发动攻击；具有相同攻击源，如攻击者对不同目标发动不同攻 击；具有相同攻击目标，如分布式攻击，不同攻击者针对系统不同漏洞发 动攻击；具有相同攻击类型，如不同攻击者针对同一漏洞发动攻击。 这种方法的缺点是需要事先知道相应的攻击场景，而且不能发现新的 攻击场景。 ( 2 ) 面向属性归纳的概念聚类方法a o i ( a t t r i b u t e o r i e n t e di n d u c t i o n ) 是数据概化的一种方法，它由c a i ，c e r c o n e 和h a n 1 9 】于1 9 9 1 年首次提出来。 概念聚类1 2 0 2 1 2 2 1 依据对象的概念描述形成聚类簇，一般分两步进行：首先 发现合适的簇；其次形成对每个簇的描述。 概念聚类主要优点是：一是通过聚类簇的可理解性描述，方便了聚类 解释：二是概念聚类擅长处理类别属性特征数据，如i p 地址、端口号和报 警类型等。a o i 首先是作为一种数据总结技术被提出，后来建立起与概念 聚类之间的联裂2 3 , 2 4 1 ，成为概念聚类的工具。下面是根据a o i 算法进行修 改的面向属性的聚类算法。 输入：报警信息集合l ，一个聚类的最小报警信息数r a i n - s i z e ，组成报 警信息的各个特征的概念层次表t 1 ，t n 。 输出：概化的报警信息。 燕山大学工学硕士学位论文 算法： o ：= l ： w h i l e ( t r u e ) 对o 中每一个报警信息a c ：= 报警消息a 覆盖的报警消息x 的个数； 如果c m i ns i z e ，则终止并返回报警信息a ：， 根据启发性知识选择报警信息的一个特征a i ，i 1 ，n ) ； 对每一个报警a ，a a i l ：= p a r e n t ( a a i ，t 0 ： 概化属性的选择：对于a i ，设表示一个报警信息覆盖其他报警信息的 最大个数，存在一个报警信息a o ，a l 所覆盖的报警信息是最多的，如果 小于m i ns i z e ，则需要对a i 进行概化，因此选择a i 概化。概化的结果使报 警信息可读性更强。 2 3 2 2 序列模式挖掘方法序列模式挖掘【2 5 】是指挖掘相对时间或其他出 现频率高的模式一频繁场景。通过序列模式的挖掘，从理论上发现了报警 信息之间有价值的关联模式。 ( 1 ) 发现攻击工具的特征一场景如一个攻击场景中，来自同一攻击源 的报警消息，如果攻击目标不同且报警序列相同，通常这样的攻击场景表 明攻击者使用同一攻击工具对不同目标进行了攻击。 ( 2 ) 发现场景规则通过已发生的攻击可以对攻击者的攻击行为进行 预测，并可采取适当措施对抗。 ( 3 ) 发现隐含报警( 复合报警) 有些报警可能包含或隐含其他报警。如 i d s 报警消息“t c pf i nh o s ts w e e p ”隐含报警信息“o r p h a n e df i np a c k e t ”， 反之则不然。 ( 4 ) 对合法系统操作引起的报警进行过滤异常并不一定意味着入侵 行为，因此，对非入侵行为所造成的报警消息进行预先过滤处理，可以减 少分析的负担。 序列模式挖掘方法的缺点是：自动化程度较低，仅有1 的报警数据可 被自动处理；产生的攻击场景难以理解，定位操作很耗时，需要寻找更实 用的报警序列模式挖掘算法。如序列挖掘算法【2 6 】己成功应用于特权进程序 1 2 第2 章关联分析技术 列的挖掘中，我们认为该算法可以进行拓展，用于报警信息关联分析。关 联方法没有考虑报警信息之间的时间顺序，在有些情况下，报警序列( 即时 间因素) 是很重要的，因此要采取序列模式分析作为补充：同时该方法没有 考虑丢失相关报警信息所带来的风险。 2 3 2 3 关联方法关联方法 2 7 郊l l 妇a g r a w a l 等人于1 9 9 6 年提出，它是寻找 给定数据集中各项之间的有价值联系的方法。关联规则的挖掘分两步：首 先找出所有的频繁项集；然后由频繁项集产生强关联规则。 关联方法的典型应用实例是购物篮分析。同样，该方法可用于i d s 报 警信息关联分析，如i b m 提供了遍布全球的客户实时入侵检测服务，在客 户网络中配置n e t r a n g e r 、c i s c o s y s t e m s 等商用i d s 产品，所有的报警信息 通过i n t e m e t 送到i b m 的网络操作中心。因此，如何有效管理不同客户的报 警信息成为其面对的一个难题，由于每一个i d s 有独立的历史报警数据， 它们在报警类型、报警速率、一天内或一周内的报警分布等方面是不同的， 因此，需要构建不同i d s 的正常( 或异常) 轮廓。具体方法是：用频繁项集来 刻画每一个i d s 的正常报警。首先，把来自同一客户的连续报警流分为单 个报警脉冲，一个报警脉冲对应于关联分析中的一次交易，其中一个报警 消息称为项。然后应用i b m 的i n t e l l i g e n tm i n e rf o rd a t at o o l k i t 来发现频繁报 警集合，最后产生关联规则用来过滤报警信息。 2 3 2 4 基于因果关系的混合方法攻击的先决条件是攻击成功的必要条 件。例如服务存在漏洞是进行远程缓冲区溢出攻击的先决条件。通过攻击， 攻击者还可取得实施进一步攻击的条件，如发现服务漏洞、安装木马程序 等。因此可根据攻击的前提和结果进行关联，依据其因果关系的表达方式， 分为r e q u i r e s p r o v i d e s 模型方法和关联规则方法。 ( 1 ) r e q u i r e s p r o v i d e s 模型方法文献 2 9 】采用r e q u i r e s p r o v i d e s 模型描 述攻击场景，在该模型中，引入能力( c a p a b i l i t i e s ) 和概念( c o n c e p t s ) 两个术 语。能力是攻击发生所需要的条件( 如t e l n e t 需要合法的用户名和口令及开 放t e l n e t 服务) ，更正式地，它是一个封装了语义类型属性的语义对象，该 对象描述特定的能力实例和与其他能力关联的方法。概念是形成攻击场景 子任务的抽象情况。根据攻击的抽象组件概念定义攻击场景，每一个概念 燕山大学工学硕士学位论文 是单独描述的，概念需要能力来支撑，能力之间能互相提供能力。 该模型的核心是攻击描述语言j i g s a w 3 0 】，它可以表达和描述复杂的 攻击场景。一般攻击描述是根据攻击所利用的漏洞或事件序列给出，但这 些方法无法刻画复杂攻击场景或概括未知攻击。该模型中，攻击描述为一 系列的能力集，而不是事件序列。能力提供对抽象攻击概念的支持，反过 来概念又提供新的能力。 r e q u i r e s p r o v i d e s 模型方法，虽然作者提到可以应用该模型对报警信息 关联分析，但是j i g s a w 很难成为一个实际可行的报警信息关联技术，这 是因为，该方法要求所有的攻击前提都必须满足才考虑攻击的结果，如果 i d s 发生漏报警，则不能关联检测到攻击事件。该方法目前只是理论讨论， 并未进行实验和测试。 ( 2 ) 关联规则方法该方法用关联规则表示攻击场景，它以谓词为基本 构建块对每种类型攻击进行编码，描述攻击的前提