（计算机软件与理论专业论文）网络安全事件关联分析技术研究与应用.pdf

哈尔滨t 程大学硕十学位论文 摘要 随着计算机网络迅速普及和扩张，网络攻击和非法访问事件飞速增长， 网络安全形式日益严峻。网络信启、安全已经影响到生活、经济甚至是国家安 全。防火墙、入侵检测系统等多种安全防护技术的出现，对网络安全防护起 到了积极的作用。遗憾的是，入侵检测系统在提高安全防护效果的同时也产 生了海量的初级告警数据( 大部分为误报和冗余事件) ，不便于用户理解告警 的含义并采取恰当的措施。因此，通过应用告警关联方法开发实用的入侵检 测系统，通过关联分析告警信息生成清晰的攻击过程描述，通过生成综合告 警来减少误告警的数量提高检测效率变得非常必要。 本文在对安全事件关联分析技术总结与分析的基础上，提出了一种基于 层次式聚类的多特征关联方法，结合不同聚类方法的特点对告警事件进行特 征关联，在充分体现不同算法优点的同时避免了因方法单一而导致的聚类结 果的单一性。 此外，本文还对基于c a p a b i l i t y 的因果关联方法进行了研究并加以改 进，对模型的实现过程给出了详尽的描述，通过实现主机配置信息匹配模块 精简了模型的报警数量，提高了关联准确度。实验结果分析也验证了改进的 因果关联方法针对多步攻击事件关联的有效性，并使得最终生成的攻击关联 图准确明了地体现出多步攻击之间的因果关系。 关键词：告警关联；层次式聚类；因果关联；c a p a b i l i t y 模型 哈尔滨t 程大学硕十学位论文 a b s t r a c t w i t hs p e e dd e v e l o p m e n to fi n t e r n e tt e c h n o l o g i e s ，n e t w o r ks e c u r i t yh a s b e c o m em o r ea n dm o r es e n s i t i v ea n di m p o r t a n t t h ei n t e m e ti ss u f f e r i n gf r o ma g r o w i n gn u m b e ro fs e c u r i t yt h r e a t s n e t w o r k a n di n f o r m a t i o ns e c u r i t yh a s a f f e c t e do u rn o r m a ll i f e ，e c o n o m ya n de v e nn a t i o n a ls e c u r i t y t h e r e f o r e ，n e t w o r k s e c u r i t ye q u i p m e n t sa n ds y s t e m sa r ec o n s t a n t l yd e v e l o p i n g ，s u c ha sf i r e w a l l ， i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) a n ds oo n ，w h i c hp l a ya na c t i v er o l eo nt h e n e t w o r ks e c u r i t y m e a n t i m e ，t h ei d sp r o d u c e dl a r g en u m b e r so fa l e r t s ，i n c l u d i n g b o t ha c t u a la n df a l s ea l e r t s ，m a k ei tav e r yc h a l l e n g i n gt a s kf o rh u m a nu s e r so r i n t r u s i o nr e s p o n s es y s t e m st ou n d e r s t a n dt h ea l e r t sa n dt a k ea p p r o p r i a t ea c t i o n s s o ，i f sn e c e s s a r yt h a ta p p l ya l e r tc o r r e l a t i o nm e t h o d sd e v e l o ps e v e r a li d s c o o r d i n a t i o nm o d e st oa n a l y s i sa l e r t sa n db u i l dd i s t i n c ta t t a c ks c e n a r i o sa n d r e d u c et h ev o l u m eo ff a l s ea l e r t s b a s e do nt h es u m m a r ya n da n a l y s i sf o rt h es t a t u so ft h ec o r r e l a t i o n t e c h n o l o g i e s ，t h i sp a p e rp r e s e n t sa m u l t i f e a t u r ec o r r e l a t i o nm e t h o d ，w h i c hb a s e d o nt h eh i e r a r c h i c a lc l u s t e r i n g i na c c o r d a n c ew i t ht h ec h a r a c t e ro fd i f f e r e n t c l u s t e r i n gm e t h o d s ，t h i sm e t h o da c h i e v e st h ec o r r e l a t i o nf o rt h ea l a r me v e n t s i t f u l l yr e f l e c t st h ea d v a n t a g e so fd i f f e r e n ta l g o r i t h m s f u r t h e r m o r e ，i ta l s oa v o i d s t h em o n o t o n i cc o r r e l a t i o nr e s u l t s ，w h i c hi sc a u s e db yt h em o n o t o n i cm e t h o d s i n a d d i t i o n ，t h i sp a p e rm a k e sas t u d yo fc a u s a l i t yc o r r e l a t i o nm e t h o db a s e d + o n c a p a b i l i t ym o d e l ，a n di m p r o v e si t ad e t a i l e dd e s c r i p t i o n f o rt h e c a p a b i l i t ym o d e li s g i v e n b yt h ee x p e r i m e n t a lr e s u l t sa n dc o m p a r a t i v e a n a l y s i s ，i tv a l i d a t e st h ee f f e c t i v e n e s so ft h em u l t i a t t a c kc o r r e l a t i o n a d d i n gt h e f u n c t i o nf o rv a l i d a t i n gt h eh o s tc o n f i g u r a t i o ni n f o r m a t i o n ，i tr e d u c e se f f e c t i v e l y t h en u m b e ro ft h ea l a r me v e n t s ，i m p r o v e st h ea c c u r a c yo ft h ec o r r e l a t i o n k e yw o r d s ：a l e r tc o r r e l a t i o n ；m e r a r c k c a lc l u s t e r i n g ；c a u s a l i t yc o r r e l a t i o n ， c a p a b i l i t ym o d e l 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用己在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其他个人或集体己经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：妻盖目描勒 日期：加咿1 年j 月7 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校攻读 学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程 大学有权保留并向国家有关部门或机构送交论文的复印件。本人 允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进 行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位 论文，可以公布论文的全部内容。同时本人保证毕业后结合学位 论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨 工程大学。涉密学位论文待解密后适用本声明。 本论文( 口在授予学位后即可口在授予学位1 2 个月后口解 密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：去 坷栏荸力 日期：圳年多月7 日 导师( 签字) ：张走弓致 砰钥f 夕日 哈尔滨1 二程大学硕十学位论文 第1 章绪论 1 1 课题研究背景 随着通信技术和计算机技术的飞速发展，信息的处理和传递突破了时间 和地域的限制，呈现爆炸式的发展，网络化与全球化成为不可抗拒的世界潮 流，因特网( i n t e m e t ) 在政治、军事、金融、商业、交通、电信、文教等社 会活动的各个领域和环节，发挥着越来越重要的作用。电子商务、电子现金、 数字货币、网络银行等网络业务的兴起以及各种专用网络的建设，使得网络 安全问题日益突出。c n n i c 2 0 0 7 年7 月发布的第2 0 次中国互联网络发展 状况统计报告显示，中国现已有1 6 2 亿上网用户，随着越来越多的公司也 将其核心业务向互联网转移，网络安全也作为一个无法回避的问题呈现在我 们面前。j a v e l i ns t r a t e g y & r e s e a r c h 统计表示，2 0 0 6 年美国由于身份信息被 盗而损失的金额为4 9 3 亿美元。2 0 0 6 年抽样检测发现，我国大陆地区有4 4 7 1 7 个i p 主机被植入木马程序，与去年相比增加一倍，同时约有1 千多万个p 地址主机被攻击者利用蠕虫等手段植入僵尸程序，2 0 0 6 年大陆地区网页被篡 改2 4 4 7 7 次，政府网站被篡改3 8 3 1 次，同比增长一倍。红色代码、冲击波、 熊猫烧香等网络病毒与木马，给国家、企业及个人都造成了难以估量的经济 损失。 为了保障网络的可用性和网络上信息的机密性、完整性、防止来自外部 或内部的攻击行为，网络管理者花费了大量的资源来购买防火墙、入侵检测 系统( i d s ) 、虚拟专用网( v p n ) 网关和防病毒软件等网络安全工具，力图 保障网络的安全。这些网络安全工具和网络设备都以日志和告警等形式记录 了大量的网路安全数据，这些数据已经成为网络安全工作中防御、检测和响 应的重要基础依据。 然而，在现实网络环境中，这些海量、零星杂乱的安全数据，并不等于 真实有效的安全信息，也不能单独构成有用的安全事件，更不能及时形成真 正有指导意义的安全响应知识。网络安全数据不能直接作为有效安全信息而 哈尔滨t 程大学硕十学位论文 存在的问题如下：1 、安全数据庞大冗余、难以直接解读与管理。一方面，面 对海量的安全数据，如果单纯依赖网络安全管理人员手工或经验对其进行处 理，发现有价值的信息，几乎是不可能的任务：另一方面，其中过多的错误 报警常常干扰网络的正常运行。以至于使这些安全工具和日志成为网管人员 的累赘和麻烦。2 、安全资料零星杂乱，安全事件不易发现。由于当前各种网 络安全工具缺少协作和互动，一方面，各个安全工具产生的安全数据常常是 孤立的、零星的、缺乏与其他安全数据的关联、无法形成系统一致的真实有 效的主体安全事件：另一方面，还存在大量虚假攻击的所谓安全资料，某些 特殊的黑客工具可以攻击网络安全设备，人为产生大量安全事件。当前的i d s 技术，虽然在入侵检测方面做出了一些努力，但由于其原始数据来源过于单 一且不能进行告警关联，其误报和漏报问题仍然没有很好地解决。若能对 i d s 、防火墙、路由器、网关等多种网络安全设备产生的大量日志和告警信 息集中起来分析，就可以提高发掘安全知识的效果。3 、安全态势缺少实时监 控，告警反应严重滞后。由于安全数据的庞大和孤立，企图依靠安全管理员 通过读取、分析、聚类这些安全设备的数据来及时了解威胁并进而采取有效 的安全措施几乎是不可能的。实际情况常常是，安全事件造成显著后果后才 得知事件的发生。 因此，对这些海量的网络安全数据进行有效的关联分析，揭示隐藏在事 件背后的逻辑关系及其攻击意图，对整个攻击过程生成直观的分析报告，全 面监控网络状况，有效指导网络安全管理、预防和阻断，是网络安全保障的 一个极有价值并且十分必要的手段。只有这样管理员才能有效维护网络安全， 减少入侵行为和信息的泄漏。 网络安全事件关联是指通过安全事件相互之间的关系来找出并确认安全 事件，形成高层次的告警事件，即警报。本文重点研究了两种关联模型，对 安全事件进行有效的聚类分析和因果关联，在实验以及实际应用中都取得了 较好的效果。 1 2 课题主要研究内容 鉴于目前各种安全设备间相互协作能力较差、告警数据泛滥，缺乏有效 的关联分析，导致检测准确率不高、误报及冗余信息过多，难于准确定位攻 2 哈尔滨t 程大学硕士学伊论文 1 1 | 击等缺点，本文对相关关联分析技术作了深入研究，提出并实现了基于层次 式聚类的多特征关联技术，有效弥补了由单一聚类算法导致的聚类标准的单 一性缺点，并通过实验验证了算法的有效性。在检测多步攻击事件的因果关 联算法中，本文在改进c a p a b i l i t y 结构的基础上实现了主机配置、相关服务进 程的描述，从而有效提高了因果关联的准确率和相关率。 本文主要工作内容包括： 1 基于层次式聚类的多特征事件关联模型的研究与实现 由于每一个聚类算法都有自身特定的聚合需求，很难全面的考虑到所有 的聚类标准，聚类方法的单一性也在一定程度上影响了聚类的结果，为了能 够实现一种能够满足多个关联标准的高效聚类算法，本文提出了一种层次式 的聚合方法，通过在多个层次，结合不同聚类方法的特性进行告警事件之间 的关联，在充分体现不同算法的优点的同时避免了因方法单一而导致的聚类 结果的单一性，层次式聚类算法并不是简单的将不同的关联方法串联到一起， 每一层的处理过程都不是孤立的，每一层的聚类在体现自身的关联特性的同 时都会为下一层聚类带来处理上的便捷，并成为其下一层的输入。该算法通 过实验验证，与单一聚类算法相比较，具有更好的准确度和稳定性。 2 基于c a p a b i l i t y 模型的因果关联技术 鉴于目前因果关联模型中对于告警事件的信息单元的描述过于复杂，且 不易修改和扩展，本文在c a p a b i l i t y 结构模型的基础上加以改进，通过 c a p b i l i t y 结构来描述一个告警事件，不但易于理解和使用，还具有很好的 扩展性，能够兼容其他的关联模型，为异源异构的数据的提供了统一的公式 化的标准。c a p b i l i t y 结构把关联模型中的前置条件和导致后果的抽象化描 述用标准化的形式规范起来，以便在处理数以万计的报警信息时能够有效地 进行关联，在知识库的更新和维护上也有很大的帮助，有利于不同模型之间 的结合和拓展。除此之外还实现了主机配置信息的匹配模块，当一个事件经 过关联算法处理被关联到一个报警序列时判断其目标主机能否满足攻击条 件，例如一个针对w i n d o w s 系统的d o s 攻击对一个l i n u x 系统是不构成威胁 的，经过这样的匹配，可以有效降低误报，提高关联准确度，通过实验分析， 该模型具有较高的关联准确度。 哈尔滨工程大学硕十学位论文 1 3 论文组织结构 本文对目前网络安全设备进行了分析，针对面临的问题，详述了网络安 全事件关联分析现状，对安全事件关联分析相关技术进行了深入研究，设计 并实现了网络安全事件发现与关联分析的两个模型。本文共分四章进行论述。 第一章为绪论，对网络安全面临的威胁进行了概述，提出了对网络安全 事件进行关联分析的实际意义。 第二章为网络安全事件发现与关联分析技术，对现有安全事件发现技术 进行了概述，分析目前网络安全设备面临的问题，之后重点论述了网络安全 事件关联分析技术研究现状。 第三章对聚类分析算法进行了分析与总结，并鉴于当前聚类关联算法的 单一性提出了基于层次式聚类的多特征关联算法，在详细描述了算法特点及 实现过程后，经过实验验证了算法的有效性。 第四章详细介绍了因果关联分析方法，并对c a p a b i l i t y 模型加以改进 和优化，通过实验结果分析，该模型相对于其他同类系统有较高的关联准确 度。 4 哈尔滨t 程大学硕士学位论文 第2 章网络安全事件关联分析技术 为了进一步阐述网络安全事件关联分析技术，本章将对事件关联的定义 以及安全事件之间的关联关系进行详细介绍，在对主要关联算法研究的基础 上，对当前已有关联分析系统进行分析和总结。 2 1 事件关联的定义 随着计算机技术的不断发展，人们有能力设计和实现一些复杂的系统， 如通讯网络、计算机系统、实时监控系统等、作为一个共有的特征，这些系 统都有离散的状态( s t a t e ) 。例如：空闲、异常、出错等。同时，状态之间的 相互转换能够产生事件( e v e n t ) ，例如：命令、告警、超时等。所以这些事 件被称为离散事件系统( d i s c r e t ee v e n ts y s t e m ) ，或者事件驱动系统 ( e v e n t d r i v e ns y s t e m ) 。 随着工业的进步，这些离散事件系统正朝着复杂化、分布化和异构化的 方向发展，在网络安全领域关联分析的对象是网络安全事件，对网络运行、 网络应用构成威胁的异常活动，通常反映在各种网络安全设备产生的告警数 据，安全日志数据等信息中。当前主要是以入侵检测系统( i d s ) 产生的告 警为主，但是由于i d s 所产生的报警过于离散和庞大，很难人工的有效解读， 不能及时发现攻击的时间、空间、意图、和危害。 不仅如此，由于当前网络安全设备自身的不足导致了严重的误报及漏报 现象，有的系统误报率甚至高达8 0 9 5 ，难以识别出真正的威胁，随着 网络的普及和大众安全防范意识的不足，使得分布式攻击，如d d o s 、僵尸 网络、蠕虫等大规模异源的安全事件日益泛滥，安全人员难以发现完整的攻 击场景、时序和地域关系，及时有效地处理这些离散事件的难度变得越来越 大，这就迫切需要对大量的离散事件进行分类、整合和关联，因此，事件关 联技术( e v e n tc o r r e l a t i o n ) 应运而生。关联分析的目的在于从看似“分散独 立”的海量安全数据中寻找异常活动的逻辑关系，发现攻击意图、步骤、危 害、风险等信息。 哈尔滨工程火学硕士学何论文 因此可以将安全事件的关联分析定义为：用方法和工具表示的形式框架， 用来对多源数据进行分析、聚类、分类、关联、以获得高质量的安全事件信 息。 美国国防部联合实验室( j d l ) 从军事应用的角度将数据融合定义为： 将来自多传感器和信息源的数据和信息加以联合( a s s o c i a t i o n ) 、关联 ( c o r r e l a t i o n ) 和组合( c o m b i n a t i o n ) ，以获得精确的位置估计( p o s i t i o n e s t i m a t i o n ) 和身份估计( i d e n t i t ye s t i m a t i o n ) ，以及对战场情况的威胁及重要 程度进行实时的完整评价【1 。 2 2 安全事件关系 从攻击的角度出发，事件之间的关联性是指他们是否为同一个攻击行为 所产生的，这种攻击及行为包括单个简单行为和由一系列攻击步骤组成的复 杂攻击行为。根据事件关联的定义，事件之间的关系可以进一步抽象为以下 两种【2 | 。 a ) 冗余关系：通常是由一个简单的攻击或者一个复杂攻击的某一个步骤 触发多个入侵检测引擎或多次触发同一个入侵检测引擎所引起的，以最常见 的端口扫描为例，一般情况下，一次扫描行为会同时针对目标主机的多个端 口，这样同一个行为可能产生多个报警，同样道理，若一次扫描行为是针对 不同子网的不同主机，则会触发多个子网的i d s 部件产生警报。这一类事件 间的关系称之为冗余关系。与冗余事件同样能够产生无用警报的是误报事件， 而真正具有威胁的安全事件被淹没在冗余事件和误报事件中，难以被挖掘出 来，如图2 1 所示。 图2 1 冗余事件关系示意图 b ) 因果关系：入侵者的攻击行为总是沿一定的步骤和路线来进行的，因 哈尔滨t 程大学硕十学位论文 此一个完整的攻击过程中，由单个攻击步骤触发的告警事件可能存在其i 订因 事件和可能带来的后果事件，例如，攻击者可能会先进行漏洞扫描，发现有 漏洞的主机后根据获取的漏洞信息，进一步对目标主机进行渗透攻击，在取 得主机的控制权后再去攻击其他的主机，概念上，这些事件都属于同一个复 杂的攻击序列，他们之间存在着某种因果关系，如图2 2 所示 汐汐 图2 2 因果关系不总图 冗余关系相对来说比较明显，易判断，易处理，可以采用聚合方法将属 于冗余关系的事件过滤掉，以便有效减少原始事件的数量。事件之间的因果 关系相对更隐蔽，揭示事件之间的因果关系有助于发现贯穿于整个安全系统 的攻击模式和入侵趋势，预测所面临的威胁，提前阻止攻击的发生，将系统 的安全防御从被动式的“滞后型”转为主动式的“抢先型”。基于以上两点， 本文提出了针对冗余关系的聚类关联算法一基于层次式聚类的多特征关联算 法，有效地聚合和缩减了报警数量，获得较好的实验结果，并针对因果关系 的安全事件，改进了基于c a p a b i l i t y 模型的因果关联算法，实现了主机配 置信息的匹配模块，提高了关联结果准确性。这部分内容将在第三章和第四 章中详细论述。 2 3 关联分析技术及模型 2 3 1 关联分析技术 安全事件关联分析技术通过对安全事件进行关联分析，生成更高级的攻 击场景。为了便于有效处理安全事件信息，很多学者进行了有益的研究，如 文献 3 】中，系统的描述了报警信息的标准化问题。并且实现了s n o r t 、b l a c k i c c 两个系统的报警格式标准化。报警格式主要是遵照了i d m e f 格式，其中比 哈尔滨工程大学硕士学位论文 较关键的报警名称统一是通过手工建立报警名称与c v e 号的对应关系库实 现。实现报警格式标准化之后，根据i d m e f 标准以及安全事件关联分析的 需要，可以适当扩展数据，即对数据进行预处理操作。文献 4 中的预处理组 件( p r e p r o c e s s i n g ) ，主要完成对扩展报警信息的信息内容完善。文献 5 中 则将关键信息不足的报警信息进行过滤。 安全事件关联分析技术可以分为三类：基于相似概率的关联算法、基于 情景的关联算法、基于安全事件前因与后果的关联算法等。 1 ) 基于相似概率的关联 通常认为相关告警具有一定的属性相似性。此假设可以从实际攻击过程 的分析中得到验证。基于此种经验假设，一些学者对报警之间的相似性进行 了深入的研究。 s r i 的a n d e r s s o n 等和v a l d e s 、s k i n e r z a 产7 j 在e m e r a l d 项目中提出了 基于告警属性相似度的安全报警关联系统，利用手工定义的入侵事件间概率 相似度和极小匹配规则来构建安全事件关联分析系统。s t a n i f o r 等提出的 s p i c e 系统【8 】和j u l i s c h 在 9 中同样用到了相似度计算的方法。c u p p e n s 等在法 国国防部( d g a ：f r e n c hd e f e n s ea g e n c y ) 的科研项目m i r a d o r 中的a l e r t c l u s t e r i n g 部分使用了类似的聚类方法【l 。这类方法的优点在于对相似报警 ( 来自相同的源或目标地址的报警) 进行聚类时非常有效，缺点是不能充分 发掘出相关报警之间的因果关系。d e b a r 和w e s p i 1 1 】提出的用聚类和关联两种 方法用于i d s 报警的关联分析，综合考虑了相似性和因果两种关系，部分解 决了该问题。o l i v e r m d a i n 等提出的基于自定义的报警间距离的场景构建方 法【l2 l 中用概率的方法定义了报警间距离，然后将相近的报警聚成一簇。 a m b a r e e n 等学者把人工智能方面的研究成果与告警关联结合起来 1 3 1 1 4 1 ， 将模糊认知映射图( f c m ) 引入到i d s 数据融合中，认为安全事件之间的松散 关系存在于有序集合中，衡量有序关系也是采用概率方法。 基于属性的相似度计算中有两个关键点，属性集的选取以及各属性相似 度函数的选择。属性集需要从安全事件中获得，主要包括传感器标识、攻击 类别、攻击源和目标地址、攻击时间等。各属性相似度函数根据事件特征各 有不同，这需要具有一定的告警事件专家知识。此方法通过精心选定相似度 标准、权重系数等参数，可以较好地处理告警泛滥问题，且算法实时性好， 8 哈尔滨工程入学硕七学位论文 但系统本身对攻击不理解，不能有效关联告警事件间的时序关系和因果关系， 难以识别复杂的攻击场景，且属性相似度的计算以及权重分配很大程度上依 赖于领域知识，移植性不好。 2 ) 基于攻击情景的关联 基于攻击情景的关联将入侵过程描述为攻击情景，攻击情景一般可表示 为五个步骤或阶段的组合：信息探测、攻击尝试、权限提升、深入攻击、拒 绝服务。但实际上攻击情景是由人或者通过机器学习得到的经常发生的攻击 序列，这种关联方法类似于入侵检测中误用检测的方法。 o d a i n 提出通过机器学习的方法来训练包含已知入侵情景的数据集来 “学习”告警关联模型【15 1 。这种方法能实时地将告警聚合到“情景”中( 每 个情景是由同一入侵者发起的一系列的攻击而引起的告警组合) 。它根据计算 一个新告警属于给定情景的概率来自动建立报警关联模型。但是他需要在每 一个配置中进行训练，而且结果模型可能与训练数据匹配太紧密，于是就会 漏掉没有出现在训练数据集中的攻击情景。 文献 1 6 中，利用a s l 语言来完成两个功能：1 ) 将告警事件看作一个实 体，并描述不同的攻击所产生的告警信息的内部信息；2 ) 描述攻击过程中告 警事件和告警事件之间的关系。被a s l 语言描述的攻击序列模板形式上表现 为一个有向图，有向图的生成方式如下：图的每一个节点代表一种类型的告 警事件，从代表事件e i 的节点到代表事件e j 的节点的有向边表示存在一攻击 序列模板，在该模板内部，事件e j 是e i 的后继。则事件关联算法就演化为一 个沿着图的根节点( 没有输入边的节点) 进行模式匹配的过程，在匹配的过程 中，本节点的匹配进行以前，必须保证其所有前驱节点的匹配工作已经被完 成。 基于攻击情景方法可以有效关联已有的攻击情景，这就需要攻击情景的 完备性。如果采用人工建立，则需要专家知识，且更新困难；如果采用机器 学习方法，则需要完备的训练数据集，数据集获得具有难度，并且训练效果 还有赖于数据挖掘方法。 1 9 9 8 年s w i l e r 等提出了一种攻击图方法【1 7 1 8 1 ，目的是为了在安全分析中 把网络拓扑信息也考虑在内。在他们的模型方法中，攻击图中的一个节点代 表一个可能被利用的脆弱性的状态，节点内容通常包括主机名、用户权限、 9 哈尔滨工程大学硕士学位论文 攻击的影响等，每条边代表一个单一行为引起的状态改变。行为的执行者可 能是攻击者、普通用户、后门程序等，他们用攻击模板描述一致的攻击行为， 然后通过已有的攻击模板，从目标状态反向生成系统的攻击图，生成成功则 表明系统存在脆弱性。另外根据攻击图还可以计算攻击成功的概率。 3 ) 基于安全事件因果关系的关联 使用攻击前提条件和后续结果来关联告警的方法主要是针对攻击者发动 攻击的前因后果而设计的【1 9 】【2 0 1 。该算法的基本思想是：寻找一个攻击a 发起 的先决条件和攻击事件b 的攻击结果之间是否存在逻辑联系，如果存在，则 a 和b 就可能是一个系列攻击的两个环节，可以关联为b a 。 e n i n g 在他的t i a a 系统 2 1 2 2 中事先定义了各种攻击可能发生的前因和 后果的知识库，通过对报警实例之间前因和后果的匹配，形成告警关联图。 该算法有三个比较关键的步骤：第一步是要提前定义每一种已知攻击类型的 先决条件和攻击后果。第二步是根据时间限制和h y p e r - a l e r tt y p e 定义来生成 h y p e r - a l e r t 实例，生成h y p e r - a l e r t 实例的过程实际上也是对原始报警信息的一 个聚合过程。第三步是对生成好的h y p e r - a l e r t 实例进行关联的过程。有了对 攻击的先决条件和攻击后果的详细描述，关联的过程就相对容易的多。 实验证明，这种方法可以有效的发现报警之间的因果关系，但关联的效 果依赖于知识库的制定，新的攻击层出不穷，提f j 定义一套系统的、完善的 前因后果知识库不太可行，并且对于每个安全事件都要进行前因与后果的关 联分析，以及归属决策，需要耗费大量的计算机资源，不利于实时在线处理。 2 3 2 关联分析模型 安全事件的关联分析技术属于数据融合范畴，数据融合模型可以从功能、 结构和数学模型等几方面来研究和表示【2 3 】。 华中科技大学的李之堂、李家春等人在他们的s a t a 系统中，融合了r c a 告警聚合算法、多步攻击关联分析算法以及告警威胁度排序算法 a l e r t r a n k 【2 4 1 。系统的层次框架如图2 3 所示，框架分为四层：数据与知识采 集层，关联分析层，高层关联分析和控制与告警层。该系统可以实时采集不 同网络中安全设备的告警和日志，实现告警聚合、多步攻击关联、误报警去 除和攻击意图识别，最终评估和展示全局安全态势。 l o 哈尔滨工程大学硕十学位论文 息用户控制界面 毋固 m s 及防火墙 扫描 一 d 图2 3 s a t a t 系统框架示意图 在d i v i dl h a l l 提出的多传感器数据融合的一个整体框架中【2 5 1 ，他把 多传感器数据融合由低到高分成了不同层次。数据融合是一个信息抽象的过 程，其最终目的是希望通过数据融合的手段，达到对整个环境安全态势的清 晰把握，进而对各种潜在的安全威胁做出预测。作者在文中提出了一个多传 感器数据融合模型，如下图2 4 。 图2 4 多传感器数据融合处理模型 1 1 人机接口 哈尔滨工程大学硕十学位论文 t i mb a s s 等人早在1 9 9 9 年就提出了下一代计算机控件的入侵检测系统， 该系统从异构的分布式网络中的多传感器中提取数据并加以融合，以形成计 算机控件的态势估计( c y b e r s p a c es i t u a t i o n a la w a r e n e s s ) 【2 6 】【2 7 】。t i mb a s s 所 描述的入侵检测模型是一个可演绎的过程，为了了解网络安全的状态，它通 过寻找数据流中特定的入侵特征和模板去检测数据来源中预先已经知道的模 型。网络的发展越来越复杂，网络安全事件的数量、状态、威胁都在快速的 增长，现在对高级的入侵检测系统的设计者来说，正面临着更复杂多变的挑 战。t i mb a s s 的研究虽然只限于理论研究和设想阶段，但是为数据融合技术 开辟了新的研究领域。 目前很多关联分析系统都是仅仅局限于解决某些关联问题，没有一个完 善的关联解决方案，f r e d r i kv a l e u r 等认为不同的i d s 提供着不同级别粒度的 报警信息，因此需要采用多种关联方法来聚焦于不同方面，从而提出了一个 完整的多组件告警关联模型框架 2 8 1 ，取得了很好的实验效果。其提出的多组 件综合关联处理框架图如图2 5 所示： 安全管理员 图2 5 多组件综合关联处理框架图 该模型由1o 个组件构成，包括标准化组件( n o r m a l i z a t i o n ) ，由于数据源 来自于不同传感器的告警信息具有不同格式，为了使系统中所有其他组件都 能正确有效识别与操作，需要进行告警格式标准化。这里以i d m e f 为参考， 选取其中部分属性；预处理组件( p r e p r o c e s s ) ，给报警增加一些必要的属性 信息，包括攻击开始时间、结束时间，统一的告警名称等；告警融合组件( a l e r t f u s i o n ) ，合并不同i d s 产生的对同一攻击的多次报警，采用滑动时间窗口的 方式，对同一传感器产生的多个告警进行匹配，合并，以形成后告警 哈尔滨t 程大学硕十学位论文 ( m e t a a l e r t ) ；告警验证组件( a l e r tv e r i f i c a t i o n ) ，确定与告警对应的 攻击的有效性，误报或者无关报警会严重影响关联的效果及高级攻击场景的 构建；线性重构组件( t h r e a dr e c o n s t r u c t i o n ) ，合并那些同一攻击者对同一 目标的攻击，通过滑动时间窗的方法匹配源和目的属性是否相同，来决定是 否合并多个i d s 的报警信息；攻击会议重构组件( a t t a c ks e s s i o n r e c o n s t r u c t i o n ) ，联合针对同一攻击的基于网络的告警和基于主机的告警；焦 点识别组件( f o c u sr e c o g n i t i o n ) ，识别大量攻击的源或目的主机，主要针对 d o s 或者端口扫描；多步攻击关联组件( m u l t i s t e pc o r r e l a t i o n ) ，识别属于 一系列告警信息，文中采用了s t a t l 来指定攻击场景，s t a t l 是一种可扩展 语言，可以用来表示攻击模式的状态转换关系；影响分析组件( i m p a c t a n a l y s i s ) ，决定检测到的攻击对所监控的网络以及受害目标的影响程度；优 先级区分组件( p r i o r i t i z a t i o n ) ，根据上一组件的分析，确定报警的优先级。 系统根据多源数据告警特点，详细设计了一个多组件模型，从实验效果 看，取得了很好的效果，尤其是对多种报警的区别对待，问题的分析与对策 解决安排上值得借鉴。但是此系统本身产生了一些组件间的冗余，使系统处 理效率受到影响；报警关联组件需要专家知识，维护更新困难；影响分析以 及优先级区分具有太多主观性，没有进行量化分析等问题。 图2 6t l 姐体系框架示意图 大多数攻击都不是孤立的，只是属于攻击的不同阶段，而且之前的攻击 为后来的攻击做准备。基于此，t e m p l e t o n 等提出了基于攻击前提条件和结果 1 3 哈尔滨t 程大学硕十学何论文 的关联策略，使满足一定因果关系的告警得到关联，同时，提供了6 个组件 ( 聚集、焦点分析、聚类分析、频繁分析、链接分析、联合分析) 进行协作 报警分析。p e n gn i n g 等学者将因果关联组件与这些组件都整合进了t 队a 系统，供用户通过平台进行报警分析。t i a a 主要包括三个子系统：告警收 集系统( a l e r tc o l l e c t i o ns u b s y s t e m ) ，报警关联系统( a l e r tc o r r e l a t i o ns u b s y s t e m ) 和告警交互分析系统( i n t e r a c t i v ea n a l y s i ss u b s y s t e m ) 。告警收集子系统主要 是以i d m e f 为标准完成报警的规范化处理；报警关联子系统包括超报警 ( h y p e r a l e r t ) 的产生( t i a a 报警分析的基础) 以及关联引擎两部分；告警 交互分析子系统则利用提供的6 个功能目的不同的组件进行独立或组合的报 警分析。t i a a 体系结构如图2 6 。 实验证明，这种方法可以比较好的发现报警之间的因果关联关系，但关 联的效果依赖于知识库的制定，新的攻击层出不穷，提前定义一套系统完善 的前因、后果知识库不太可行。 2 4 关联分析技术发展趋势 网络安全事件关联分析技术及多传感器数据融合技术已经成为信息安全 领域的研究热点，取得了很多有意义的研究成果。总结分析已有成果，提出 未来的发展思路有： 1 需要研究安全事件融合模型，合理的融合模型将会极大提高融合效果。 融合模型需要考虑关联效果与及时响应两方面。 2 深入研究报警关联算法，结合各种关联分析技术的优缺点，继续进行 扬长避短甚至是克服缺点的相关研究。比如概率关联方法，可以研究引入机 器学习、统计分析等技术，结合专业知识进行相似度的更准确定义，并通过 相似度的细粒度判断进行报警关联性决策；基于攻击情景的方法，需要更多 的引入数据挖掘的方法，实现攻击情景的自动生成，这将会有效提高安全事 件关联分析模型的适应性，当然还需进行数据集获得等的相关研究工作；基 于安全事件前因与后果的关联方法，攻击事件的前因集与后果集需要人工生 成，需要很强的专业领域知识，这就可以考虑引入动态生成技术，比如利用 训练集进行数据挖掘等处理。因果关联的空间开销大，这一方面需要研究因 果集更合理的表示方法，关联性判断更高效的决策方法等。 1 4 哈尔滨工程大学硕士学位论文 3 多种关联方法的结合使用，单一的关联分析技术都无法对所有攻击进 行有效的高层融合及攻击场景的准确形成，根据关联方法的研究成果，进行 多种关联方法相结合，优势互补，形成多层纵深关联。而多种关联方法的结 合策略需要进一步研究。 4 创新性关联分析技术的研究，数据融合领域最新方法或理论成果的应 用研究。 5 态势评估，网络安全防护发展的必然结果是对攻击事件的自动准确响 应，而响应的基础即是高层的攻击事件理解以及网络安全态势的准确把握。 对于大量的安全事件，需要区分优先级别，需要进行分层次的攻击统计及威 胁度评判，这些态势评估涉及的相关技术都需要继续进行深入研究。目前有 相关学者进行的研究【：9 1 ，通过系统资源的重要性对报警事件进行评估分级。 2 5 本章小结 本章首先论述了对于事件关联的定义，以及事件关联产生的背景，并进 一步分析了事件之间的关联关系，主要有两种：冗余关系和因果关系。之后 介绍了安全事件关联分析技术，从技术层面上概述了关联分析技术与关联分 析模型的研究现状，并阐述了关联分析技术发展趋势。 哈尔滨t 程大学硕士学伊论文 第3 章基于层次式聚类的多特征事件关联技术 聚合分析方法作为处理处安全事件中冗余信息的有效手段被广泛应用于 网络安全领域，本章将对聚合分析方法进行详细的讨论，分析其特点与不足， 在此基础上，提出一种新的聚合分析方法，并验证其有效性。 3 1 事件聚合关联分析 聚合分析是依据样本之间关联的度量标准将其划分成几个群类，使同一 群组内的样本相似，属于不同群组的样本相异的一种方法。一个聚合分析算 法的输入是一组样本空间和一个度量两个样本间相似度( 或相异度) 的标准， 其输出是样本空间的几个聚类，这些聚类构成一个分区或一个分区结构。聚 合分析的目的是将具有高相似度或关联性的样本聚合到一起，精简样本信息， 挖掘出隐藏于离散样本之间事件特性，通过聚类分析，我们可以减少样本数 量，提高处理效率。 聚合方法有很多种，目前比较常用的方法有： 1 划分方法：给定一个有n 个元组或记录的数据集，构造k 个分组，每 一个分组代表一个聚类( k e ，s i m ( x ，】，) s i m ( x ，】，) = 型一 ( 3 一1 ) e = 1 当s i m ( x ，y ) 大于某个指定阈值时，将告警x 和】，关联成一个聚类，形 成一个超告警( m e t aa l e r t ) 。否则生成一个新的聚类。 每一种聚合算法都体现了不同的聚合标准，其他的聚合算法还有基于信 息增量的聚类，基于攻击向量的相异度矩阵聚类等。这些方法都能够解决特 定的聚类问题并取得了较好的实验及应用效果。但是每一个算法都有不足之 处，例如a c c 算法中无法对时间属性进行关联，属性相似度算法仅能在单一 层面上进行相似度计算，并且存在着聚合不稳定的现象。目前仍然没有一个 算法能够全面地解决所有的告警归并及聚类问题。 1 9 哈尔滨工程大学硕士学伊论文 3 2 层次式聚合关联算法研究 每一个算法都有自身特定的聚合需求，很难全面的考虑到所有的聚合标 准，聚合方法的单一性也在一定程度上影响了聚合的结果，针对这一问题， 本文提出了一种层次式的聚合关联方法，通过在多个层次，依据不同聚合方 法的特性进行告警事件之间的关联，在充分体现不同算法的优点的同时避免 了因方法单一而导致的聚类结果的单一性，层次式聚合关联算法并不是简单 的将不同的关联方法串联到一起，每一层的处理过程都不是孤立的，每一层 的聚类在体现自身的关联特性的同时都会为下一层聚类带来处理上的便捷，