（控制理论与控制工程专业论文）网络安全事件关联引擎的研究与设计.pdf

1 0 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处 本人签名： 盔鱼墨 ，本人承担一切相关责任。 日期： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名： 导师签名： 专釜星 日期： 日期： 摘要 网络安全事件关联引擎的研究与设计 摘要 在信息化程度逐步提高的现代社会，信息安全越来越得到关注。 常用的i d s ，防火墙，各种异常检测等安全工具由于自身的局限，因 为不能识别正常行为而引发误报；单个攻击行为引发多个重复告警， 也给管理员做出正确判断带来困难；更重要的是，网络攻击行为日趋 复杂化、分布化，一个攻击过程由多个攻击步骤构成，多个步骤又完 全可能在不同的地方实施，依靠单个的事件日志无法反映整个攻击行 为的全貌，因而也就无法捕捉到那些有计划、有步骤的复杂攻击行为。 集中采集各种网络安全设备的告警信息，对重复告警做以合并，然后 对整合过的告警做以关联分析，将各个设备和安全组件的告警信息关 联在一起，挖掘出复杂的多步攻击，全面把握网络安全状态，做出正 确的全面的综合的安全决策，以保网络能够正常、健康的运行，就是 网络安全事件关联研究的问题。 本文主要总结了安全事件关联在安全事件管理平台中的地位，以 及安全事件关联的国内外研究现状和现有技术方案，包括基于漏洞的 关联、基于先决条件的关联、基于概率相似度的关联和基于统计的关 联；接着提出了利用数据挖掘中的关联规则方法对告警做以分析，通 过频繁项集来挖掘告警间的关联关系，进而建立基于攻击序列模版的 安全事件关联所需的安全事件先验知识规则库；继而以基于攻击序列 模版的安全事件关联为基础，设计了基于多线程的主从匹配器协作的 安全事件关联并行计算方案，详细介绍了基于多线程的主从匹配器协 作的安全事件关联并行计算方案的架构、模块划分、模块功能以及内 部协作机制，并提出利用反相匹配的策略减少安全事件关联匹配中存 在的冗余问题。最后通过实验证明此方案大大提高了安全事件关联匹 配的效率，减少系统的开销。 关键字安全事件关联数据挖掘安全事件关联引擎 匹配复杂因子分析 位论文 摘要 北京邮电人学硕 ：学位论文a b s t r a c t r e s e a r c ha n dd e s i g n0 fn e t w o r k s e c u r j t ye v e n tc o r r e l a t i o ne n g i n e a b s t r a c t 、m mt h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g yi nm o d e ms o c i e t y ， i n f o r m a t i o ns e c u r i t yh a sr e c e i v e dm o r ea n dm o r ea t t e n t i o n c o m m o n l y u s e ds e c u r i t yt o o l ss u c ha si d s ，f i r e w a l l ，v a r i o u sa n o m a l yd e t e c t o r sd o n o tr e c o g n i z en o r m a lb e h a v i o ra n dt r i g g e rf a l s ea l a r m sb e c a u s eo ft h e i r l i m i t a t i o n s as i n g l ea t t a c kt r i g g e r e dm u l t i p l e r e p e a t e da l a r m sf r o m v a r i o u sd e t e c t o r s m o r ei m p o r t a n t l y ，t h en e t w o r ka t t a c k sa r eb e c o m i n g m o r es o p h i s t i c a t e da n dd i s t r i b u t e d m u l t i p l es t e p sa t t a c k sa r ee n t i r e l y p o s s i b l et oi m p l e m e n t i nd i f f e r e n tp l a c e s ，a sar e s u l tr e l y i n go nas i n g l e e v e n tl o gc a nn o tr e f l e c tt h ew h o l es e n s eo fa g g r e s s i v eb e h a v i o r t h e r e f o r et h es y s t e mw i l ln o tb ea b l et oc a p t u r et h o s ec o m p l e x i t ya t t a c k s w h i c ha r ep l a n n e da n dc a r r i e do u ts t e pb ys t e p s oi ti sd i f f i c u l t i e sf o rt h e a d m i n i s t r a t o rt om a k et h e f i g h tj u d g m e n t s t h e ns e c u r i t y e v e n t c o r r e l a t i o ni sp r o p o s e da n di tf o c u so nc o l l e c t i n ga l a r mi n f o r m a t i o nf r o m av a r i e t yo fn e t w o r ks e c u r i t yd e v i c e s ， m e r g i n gt h er e p e a t e da l a r m s ， f i n d i n gt h ec o r r e l a t i o nb e t w e e na l a r m sa n dm a k i n gar i g h tr e s p o n s et ot h e a t t a c kt h a ti sd e t e c t e d t h i sa r t i c l es u m m a r i z e st h ei m p o r t a n c eo fs e c u r i t ye v e n tc o r r e l a t i o n i ns e c u r i t ye v e n tm a n a g e m e n tp l a t f o r m ，a n ds e c u r i t ye v e n tc o r r e l a t i o n t e c h n i q u e sa th o m ea n da b r o a d ，i n c l u d i n gs e c u r i t ye v e n tc o r r e l a t i o n b a s e do nc r o s s - c o r r e l a t i o n ， s e c u r i t y e v e n tc o r r e l a t i o nb a s e do n p r e r e q u i s i t e ，s e c u r i t ye v e n tc o r r e l a t i o nb a s e d o nt h es i m i l a r i t yo f p r o b a b i l i t ya n ds e c u r i t ye v e n tc o r r e l a t i o nb a s e do ns t a t i s t i c a l o nt h i s i i i i i 北京邮电人学硕i ：学位论文目录 目录 第一章绪论1 1 1 引言1 1 2 安全事件管理及安全事件关联介绍2 1 2 1 安全事件管理介绍2 1 2 2 安全事件关联介绍。3 1 3 安全事件关联研究现状3 1 4 本文的主要成果。5 1 5 本文的组织结构5 1 6 ，j 、! ；占6 第二章安全事件关联技术7 2 1 基于漏洞的关联7 2 2 基于先决条件的关联8 2 2 1 攻击的形式化描述8 2 2 2 攻击关联的定义和算法9 2 2 3 关联规则的使用1 0 2 2 4 生成高级告警l o 2 3 基于概率相似度的关联1 2 2 4 基于统计的关联1 4 2 5 小结16 第三章安全事件关联引擎设计1 7 3 1 安全事件关联引擎架构1 7 3 2 告警采集系统设计：1 8 3 2 1 各模块功能介绍1 9 3 。2 2 各模块交互设计2 0 3 3 规则库的建立2 1 3 3 1 规则的定义和主要数据结构2 1 3 3 2 利用关联规则建立规则库：2 4 3 4 基于多线程的主从匹配器协作的安全事件关联方案设计3 0 3 5 单线程方法和多线程方法的匹配复杂因子分析3 6 3 5 1 单线程方法的处理流程3 6 3 5 2 多线程方法的处理流程3 6 3 5 3 单线程和多线程方法的匹配复杂因子比较分析3 7 3 6 小结3 8 第四章实验及结果分析3 9 4 1 实验环境3 9 4 2 关联规则挖掘4 0 i v 北京邮电人学硕j ：学位论文目录 4 3 基于单线程的和基于多线程的安全事件关联方案的性能比较4 l 4 4 小结一4 2 第五章总结及展望4 3 5 1 本文的工作总结4 3 5 2 下一步的研究计划4 3 参考文献4 5 致j 射4 9 硕士在读期间发表文章5 0 v 北京邮电大学硕卜学位论文 绪论 1 1 引言 第一章绪论 随着计算机网络的发展，信息与网络技术正逐渐的改变着人们的政治、经济、 文化生活的方式，同时也改变着国家安全的保障方式。在信息化程度逐步提高的 现代社会，信息安全越来越得到关注。信息安全威胁也呈现出多元化、复杂化、 系统化的趋势。同时，随着人们对网络在生产和生活上依赖性的增强，对网络的 安全性的要求也越来越突出。根据我国国家计算机网络应急技术处理协调中心 c n c e r t c c 发布的统计报告 1 】，仅在2 0 0 5 年上半年，c n c e r t c c 共收到国 内外通过应急热线、网站、电子邮件等报告的网络安全事件6 5 6 7 9 件，比2 0 0 4 年全年共收到的网络安全事件( 6 4 6 8 6 件) 还要多，网络安全事件有成倍增加 的趋势。另外，我国公安部公共信息网络安全监察局于2 0 0 6 年8 月2 5 日发布的 一项调查报告显示，在被调查的一万三千多家单位中，5 4 的被调查单位发生过 信息网络安全事件，比去年上升5 ，其中发生过3 次以上的占2 2 ，比去年上 升7 。公安部发表的0 8 年全国信息网络安全状况调查报告【2 】显示，在发生安 全事件的类型中，感染计算机病毒、蠕虫和木马程序依然十分突出，占7 2 ，其 次是网络攻击和端口扫描( 2 7 ) 、网页篡改( 2 3 ) 和垃圾邮件( 2 2 ) 。攻击或病毒 传播源来自内部人员的比例同比增加了2 1 ；涉及外部人员的同比减少了1 8 ， 说明联网单位对外部网络攻击防范的意识有所增强，但单位内部的网络安全管理 工作还不到位。网络( 系统) 管理员通过技术监测主动发现网络安全事件的占 6 6 2 8 ，同比增加了1 3 ，是发现安全事件的主要手段，说明网络( 系统) 管理员 安全技术水平有所提高；而通过安全产品发现的比例同比减少了8 ，原因是目 前计算机病毒、木马等恶意代码躲避安全产品的发现、查杀甚至破坏安全产品的 能力有所增强。网络系统规模在日益扩大，网络应用水平在不断提高，为了提供 快速、可靠和更加丰富的网络服务，需要网络在规模、复杂程度上进一步扩展。 因此，网络安全的保障不可能单靠防火墙等安全设备单一的防护，必须靠一个包 括防火墙、入侵检测、漏洞扫描器等多项技术和安全产品组成的安全体系来实现。 复杂的安全体系要求我们做好信息安全方面的管理工作。信息安全管理标准 b s 7 7 9 9 由英国标准协会b s i 邀请业界相关厂商为共同追求有国际性质量标准的 信息安全管理标准而制定，于2 0 0 0 年1 1 月经国际标准化组织i s o 审核通过，已 逐渐成为国际通用和遵循的信息安全领域中应用最普遍、最典型的标准之- - 3 。 北京邮电人学硕i ：学位论文 绪论 为了保证信息安全管理标准的实施，信息安全管理系统出现了。信息安全管理系 统一般至少由事件管理、规则管理、资产管理、身份管理等几个子系统组成。网 络安全管理系统是信息安全管理系统的重要组成部分，同信息安全管理系统一 样，也包含了网络安全事件管理、安全规则管理、安全设备管理、用户管理等子 系统。 据国外专业机构的评估，在企业计算的总成本中，管理方面约占7 成。当网 络安全系统的基本建设达到一定程度之后，不同厂商的不同产品会产生大量不同 形式的安全信息，这使得整个系统的相互协作和集中管理成为难点，因此，对整 个安全体系的安全管理也就成了至关重要的问题。 1 2 安全事件管理及安全事件关联介绍 1 2 1 安全事件管理介绍 本文的项目背景是发改委项目“无线移动环境下信息安全综合管理系统产业 化项目”。此项目是根据国家对信息安全产品的发展要求和发展规划，针对目前 无线移动领域存在的信息安全管理混乱，而基于传统m 网络的通用信息安全管 理平台又无法胜任对无线移动网络的信息安全事件进行有效管理而提出，本项目 的建设目标是基于信息安全防御“三分技术、七分管理”的思想，根据项目总体 建设思路，在无线移动网络环境下建设综合信息安全管理平台，对整体无线移动 网络的各种安全事件、用户行为、安全风险进行集中统一管理，建设核心的信息 安全管理支撑体系。项目将致力于拓展安全管理中心在无线移动环境下安全管 理、资产保护、攻击预警和响应服务等方面的功能，使其承担安全事件，资源配 置，事件响应，数据库等全方位的集中管理任务，实时检测网络节点单元和整个 网络运行状况，减轻管理员的负担，并可以从减少时间投入，减少费用投入和帮 助企业建立体系化，结构化的安全策略等多个方面显著提高i t 相关业务系统运 营的效率。 无线移动环境下信息安全综合管理系统产业化项目是对各种网络设备和安 全组件的集中统一管理，集中采集各种网络设备和安全组件的告警信息，对其格 式归一化并对重复告警做以合并，然后对整合过的告警做以关联分析，将各个设 备和安全组件的告警信息联系在一起，全面把握网络安全状态，做出正确的全面 的综合的安全决策，以保证网络能够正常、健康的运行。无线移动环境下安全事 件管理平台项目主要分为安全事件采集、收集终端安全事件检测、安全事件关联、 安全事件响应和安全事件可视化5 个模块，安全事件关联模块作为其核心模块， 居于主导地位。 2 北京邮电大学硕l ：学位论文 绪论 1 2 2 安全事件关联介绍 常用的i d s ，防火墙，各种异常检测器等安全工具由于单个工具的局限，常 因为不能识别正常行为而引发误报；单个攻击行为引发多个重复告警，也给管理 员做出正确判断带来困难。更重要的是，网络攻击行为同趋复杂化、分布化，一 个攻击过程由多个攻击步骤构成，多个步骤又完全可能在不同的地方实施，依靠 单个的事件日志，太过琐碎、无法反映整个攻击行为的全貌，因而也就无法捕捉 到那些有计划、有步骤的复杂攻击行为。 最理想的方案是将i d s ，防火墙，异常检测工具等全部集成于同一系统中， 并能对不同类型的事件同志进行全局分析，从而达到对网络安全状况( 包括当前 遭受的攻击、网络流量、访问路径甚至会话特征等等) 的全面监控。但这样内存、 磁盘容量需求都将十分庞大，另外对处理性能也是一个挑战，如果达不到实时或 近于实时要求，那么安全分析毫无意义。 一个变通的方案是保持i d s ，防火墙，异常检测工具在网络节点中的部署 不变，而采用一个中心节点集中接收这些节点的安全事件，并对这些信息作关联 分析处理，以减少误报、避免重复报警、增加攻击检测率，也就是所谓的安全事 件关联。这种解决方案目前已被一些研究组织和商业公司所采用。 安全事件关联作为安全事件管理的核心部分之一，要解决的问题主要有t 1 ) 联系可能的安全场景分析单个告警事件，以避免虚警： 2 ) 对相同、相近的告警事件作处理，以避免重复告警： 3 ) 挖掘深层次、复杂的攻击行为，达到识别有计划的攻击，从而增加攻击 检测率。 1 3 安全事件关联研究现状 目前，网络安全事件关联主要有漏洞扫描、聚合分析，因果关联分析、基于 统计的关联和安全事件严重度分析等。 m o r i n 等提出了一种形式化模型m 2 d 2 考虑信息源包括被检测系统的描述、 漏洞信息、检测工具的有关信息以及被观测事件的信息来对告警进行关联，这种 方法在理想状况下能有效识别误告警。还有一些研究者提出利用漏洞分析信息来 进行告警确认的方法 4 5 】。然而关于该方法的研究尚未深入，难以整合到完整的 关联分析过程中，并且这种方法依赖于对受保护网络的早期漏洞分析结果，无法 适应动态的告警确认。 聚合分析目前主要采用基于告警属性相似度的计算方法。s r i 的a n d e r s s o n 等 6 】和v a l d e s 7 8 】在e m e r a l d 项目中用手工定义的入侵事件间概率相似度和 3 北京邮电大学硕卜学位论文 绪论 极小匹配规则来构建安全事件关联分析系统。s t a n i f o r d 等 9 】和j u l i s c h 在文献 【1 0 1 2 中同样用到了相似度计算的方法。c u p p e n s 等在法国国防部的科研项目 m i r a d o r 中的告警聚合部分也使用了类似的方法。这类方法的优点是在对相似 告警进行聚类时非常有效，能够有效地合并相似度很大的告警，缺点是不能充分 发掘出相关告警之间的因果关系，并不能把属于不同种类却之间存在着某种联系 的两种告警有效地关联起来。d e b a r 和w e s p i 1 3 提出的用聚类和关联两种方法 用于i d s 报警的关联分析，综合考虑了相似性和因果两种关系，部分解决了该 问题。聚合过程能有效的减少告警数据量，但是不能去除误告警和无用告警，而 这些多余告警会对后续的关联分析过程产生很大的影响【1 4 1 。 为了挖掘告警问的因果关系，研究者们提出了通过分析攻击间因果关系的方 法来进行多步关联分析。该方法最早由t e m p l e t o n 等根据 1 5 1 8 】提出。随后，美 国北卡罗莱纳州大学的p e n gn i n g 等 1 9 2 6 根据这一思想对该方法做了深入和系 统的研究，全面提出了基于先决条件的网络安全事件关联，将告警表示为用三元 组，提出了基于三元组的知识表示的关联算法和攻击场景构建技术。c h e u n g 等 【2 7 提出了c a m l 语言用于多步攻击建模。c u p p e n s 等也利用这一方法对 m i r a d o r 系统做出了改进 2 8 】。而这种方法的缺陷就在于因果关系的定义太过 复杂且只能关联存在因果关系的告警，因此不适合在关联分析过程中单独使用。 另有一些研究利用已知的攻击场景和从现有的数据集中挖掘出来的知识进行安 全事件关联分析。i b m 的h e l l e r s t e i n 等 2 9 】提出了使用专家知识库进行关联分析 的方法，该方法已经用于i b m 的t i v o l i 事件关联分析系统中。c a r a u j o 等 3 0 】 对该方法中的规则生成过程进行了优化。d a i n 和c u n n i n g h a m 3 1 提出了基于资 料挖掘的方法，并通过实验比较指出数据挖掘方法优于原始匹配方法和启发式关 联方法。 在统计方面，佐治亚理工学院的x i n z h o uo 、w e n k el e e 等利用时间序列之 间的统计关系对安全事件做关联分析【3 2 】；中科院计算所的肖政等利用b a y e s 分 类器对告警进行聚类 3 3 】。 在安全事件严重度分析的研究方面，s r i 公司的p o r r a s 等【3 4 】在e m e r a l d 项目的研究中提出了基于m i s s i o n - i m p a c t 的事件优先级计算方法。 国内，西安交通大学的李辉博士等提出了一个基于人机交互式知识发现的入 侵事件关联方法 3 5 1 ，华中科技大学的李家春博士对分布式入侵检测系统中分级 告警关联技术进行了研究 3 6 - 4 1 ，提出了一种基于改进增量贝叶斯分类器的概率 关联方法。根据文献情况来看，国内大部分的工作者都侧重于介绍国外的方法和 技术，并没有关于新的关联方法的探讨，网络安全事件关联分析方法上还未有足 够深入的研究。 4 北京邮电大学硕上学位论文绪论 1 4 本文的主要成果 本文主要总结了安全事件关联在安全事件管理平台中的地位，以及安全事件 关联的现有技术方案，包括基于漏洞的网络安全事件关联、基于先决条件的网络 安全事件关联、基于概率相似度的网络安全事件关联和基于统计的网络安全事件 关联；在此基础上提出了利用数据挖掘中的关联规则方法对告警做以分析，通过 频繁项集的统计来挖掘告警间的关联关系，进而建立基于攻击序列模版的安全事 件关联所需的安全事件先验知识规则库；继而设计了基于攻击序列模版的安全事 件关联的具体实现方案，并将其扩展到基于多线程的主从匹配器协作的安全事件 关联并行计算，大大提高了安全事件关联匹配的效率，并提出利用反相匹配的策 略减少安全事件关联匹配中存在的冗余问题，大大减少系统的开销。具体的工作 如下： 1 ) 总结了安全事件关联在安全事件管理平台中的地位及安全事件关联的现 有技术方案，包括基于漏洞的网络安全事件关联、基于先决条件的网络安全事件 关联、基于概率相似度的网络安全事件关联和基于统计的网络安全事件关联； 2 ) 提出了利用数据挖掘中的关联规则方法对告警做以分析，通过频繁项集 的统计来挖掘告警间的关联关系，进而建立基于攻击序列模版的安全事件关联所 需的安全事件先验知识规则库，并设计了规则库的知识表示形式； 3 ) 介绍了基于攻击序列模版的安全事件关联，并将其扩展到基于多线程的 主从匹配器协作的安全事件关联并行计算方案，设计了并行计算方案的任务分配 和同步机制； 4 ) 通过实验验证作者提出的方案，试验结果充分证明了安全事件关联引擎 的可用性和有效性。 1 5 本文的组织结构 本文的组织结构如下： 第一章介绍论文背景、安全事件关联分析的相关知识和本文的主要工作。 第二章深入阐述安全事件关联分析技术，并分析了各种技术的优缺点。 第三章提出了利用数据挖掘中关联规则的技术建立安全事件关联规则库 的方法；提出了基于攻击序列模板的关联技术的具体方案，并将其扩展到基于多 线程的主从匹配器协作的安全事件关联并行计算。 第四章通过实验验证第三章提出的方案。 第五章总结本文工作并提出进一步的研究计划。 5 学位论文 绪论 了安全事件关联及其在安全事件管理系统中的位置，并总结了安全 目前的国内外研究现状，介绍了本文的主要工作和本文的主要结 6 北京邮l 乜人学硕l ：学位论文 安全事件关联技术 第二章安全事件关联技术 现有的网络安全事件关联技术根据其对先验知识的依赖程度可以划分为两 类：有指导的网络安全事件关联方法和无指导的网络安全事件关联方法。有指导 网络安全事件关联方法指的是在先验知识的指导下，完成整个网络安全事件关联 过程；无指导的网络安全事件关联方法不需要先验知识的帮助而完成网络安全事 件关联的整个关联工作。有指导的网络安全事件关联方法主要有基于漏洞的关 联、基于先决条件的关联、基于概率相似度的关联，无指导的网络安全事件关联 方法主要是基于统计的关联。 2 1 基于漏洞的关联 漏洞是在硬件、软件、协议的具体实现或系统安全策略上存在的缺陷，从而 可以使攻击者能够在未授权的情况下访问或破坏系统。但是，系统的差异是很大 的。不同的系统有不同的漏洞，从而造成各种攻击的可行性和对系统安全的威胁 度也存在很大的差异。基于漏洞的关联方法的主要作用就是把告警中包含的信息 与真实网络环境下的漏洞信息、网络拓扑结构信息，以及系统的资产信息和安全 策略进行关联，从而来判断告警的成功率和威胁程度，以最终达到区分真实威胁 和过滤误告警的目的。此项技术从系统的网络的真实环境出发，综合考虑了系统 与网络资源的差异性，根据不同的配置有不同的关联结果，具有很强的实用性和 变通性。 基于漏洞的关联一般步骤是： ( 1 ) 扫描得到告警中目标主机的漏洞信息和主机信息，包括漏洞以及操作系 统类型、活跃端口号、开启的应用和服务等； ( 2 ) 找出告警对应的攻击类型，然后将步骤( 1 ) 中得到的信息和该告警所 属的攻击类型对网络条件的依赖信息进行匹配； ( 3 ) 将匹配结果作为贝叶斯网络条件概率计算过程的输入，然后以条件概率 表( 安全专家根据经验知识设定的概率转移表) 为基础，根据贝叶斯网络计算原 理，计算出攻击成功的条件概率。这个概率就作为这条告警的可信度( r e l i a b i l i t y ) 的值； ( 4 ) 在系统运行过程中，网络管理员可以动态的调整一个安全规则，每个规 则描述了在特定时间内，从特定源目标地址，端口到特定目的地址，端口发生的 7 北京邮电大学硕士学位论文 安= 牟：事件关联技术 特定攻击类型的告警的严重度。如果告警匹配了这对安全规则，则这条告警的严 重度( p r i o r i t y ) 值设为该规则的严重度。如果没有匹配的，就以告警本身的严重 度设定； ( 5 ) 同一个网络罩的各种不同资源，对于整个网络的良好运行肯定有着不同 的价值和重要程度。资产a s s e t 就是用来描述资产的重要程度的。资产a s s e t 完全 由网络管理员自己来设定，可以设定每个主机的资产a s s e t ，也可以设定每个监 控网络的资产a s s e t 。如果告警没有找到对应的资产a s s e t ，就取一个事先设定好 的默认值； ( 6 ) 基于漏洞的关联最终是要得到告警的风险值r i s k ，根据得到的告警的可 信度r e l i a b i l i t y 、告警的严重度p r i o r i t y 和资产a s s e t 和式2 1 就可以得到告警的威 胁程度r i s k 。 r i s k = r e l i a b i l i t y p r i o r i t y a s s e t 式2 一l 这种关联方法很有必要，因为相同的告警在不同的实际环境中，对于系统和 网络的威胁程度差别可能会很大，由此造成的后果也差别很大。另外，通过设定 阈值对基于漏洞的关联之后的结果进行过滤，将小于阈值的告警进行过滤，对剩 下的有一定威胁度的告警再进行聚合和因果关联，就可以把时间花在有一定威胁 度和有一定攻击成功可能性的告警上，提高关联效率的同时保证关联率( 攻击场 景的识别能力) 。 2 2 基于先决条件的关联 基于先决条件的安全事件关联算法其基本思想是：通过对较早发生的安全事 件的对系统造成的结果和较晚发生的安全事件的先决条件进行比较，对两个安全 事件进行关联。该算法需要对攻击建模以描述攻击的前因后果关系，为此需提出 一套攻击描述语言，再根据该描述语言建立攻击知识库，作为关联分析的先验知 识。因此，基于先决条件的关联问题就转化为以下三个问题：1 ) 对攻击的形式 化描述，其中包括对攻击前后件的形式化描述；2 ) 利用这些关联规则对两个告 警进行因果关联；3 ) 高级告警的生成和关联结果的简化处理。 2 2 1 攻击的形式化描述 由于需要根据攻击的前后件之问的逻辑联系来关联告警，所以必须首先对攻 击用形式化的方式描述出来，并抽象出其前后件的特征。可以通过以下三部分来 描述一个攻击a ：1 ) 告警属性：表示攻击发生时产生的告警的主要属性，用谓 词a t t r _ a l e t t ( a ) 描述：2 ) 攻击前件：表示攻击成功发生时需要满足的前提条件， 用谓词p r e ( a ) 描述；3 ) 攻击后件：表示攻击成功发生后可能产生的影响。美国 北京邮电人学硕t 学位论文安全事件关联技术 北卡罗莱纳州大学的p e n gn i n g 等对该方法进行了深入的研究。他将安全知识表 示超级告警类型，其实质就是三元组：( a t t a c k ，p r e r e q u i s i t e s ，p o s t ) ，其 中，a t t a c k 是一组属性名的集合，p r e r e q u i s i t e s 是用一个逻辑公式表示的攻击 发生的前提条件，而p o s t 则是用逻辑公式表示的攻击发生后给整个系统所造成 的影响。攻击前件和攻击后件分别用来描述攻击发生之前和之后的系统状态，可 以定义一些谓词来描述与攻击有关的系统状态的特征。 2 2 2 攻击关联的定义和算法 可以用形式化的方法定义两个攻击之间的关联关系： 定义【1 设a 和b 是两个攻击，且p o s t ( a ) = e x p r a l ，e x p r a 2 ，e x p r a m ； p r e ( b ) = e x p r b l ，e x p r b 2 ，e x p r b n 。如果存在i 【1 ，m 】，j 【1 ，n 】，使得e x p r a i a h y p 一 e x p r b j ，则攻击a 和b 可以进行关联，记作a t t a e k _ c o r r e l a t i o n ( a ，b ) 。其 中h y p 指的是其他假设条件，可以是e x p r a k ( k 【1 ，m 且k i ) ，也可以是其他 与领域知识或系统状态有关的内容，也是以谓词的形式表示。需要注意的是，这 种关联关系并不满足交换律。如果a 和b 可以关联，b 和a 却不一定可以关联， 即a t t a c kc o r r e l a t i o n ( a ，b ) 和a t t a c kc o r r e l a t i o n ( b ，a ) 之间没有必然联系。给出攻 击关联的定义后我们就可以对两个攻击进行关联了，在介绍攻击关联算法之前， 先定义两个预定义： 定义 2 】合一置换：假设f l 和f 2 是两个谓词公式，通过对f 1 和f 2 中的项 进行置换，使f l 和f 2 达到完全一致的过程，称为合一。 定义【3 】最通用合一置换r e p ：假设f 是一个谓词公式集：f = f 1 ，f 2 ，f n ， 若1 i r 是f 的一个置换，且对f 中的任意一个合一置换由都存在一个置换q ，使 得由= 1 l r0q ( “o 表示复合代换) ，则称1 l r 是f 的一个最通用合一置换( r e p ) 。 攻击关联算法如下： 直接关联算法：假设a 和b 是两个攻击，则：( 1 ) 重新命名出现在a 和b 描述中的变量，使得二者的描述中没有相同的变量，设此时a 的后件和b 的前 件分别为：p o s t ( a ) = e x p r a l ，e x p r a 2 ，e x p r a m ，p r e ( b ) = e x p r b l ，e x p r b 2 ， e x p r b n ；( 2 ) 寻找一个r e p0 ，使得对i 【l ，m 】，j 1 ，n 】，有e x p r a f f o = e x p r b j 0 ，那么a 可以和b 关联，结束算法；( 3 ) 如果0 不存在，寻找一个r e po ， 使得对i 【l ，m 】，j 【1 ，n 】，有e x p r a i 0 = f a c t ( u s e r ，e x p r b j ) h0 ，那么a 可以和b 关联。规则前后件的形式化描述格式是和2 2 1 中描述的攻击的前后件 形式化描述格式一致的，可以将一个攻击和一个本体规则关联，或将两个本体规 则关联，或将一个本体规则和一个攻击关联。这样，我们就可以利用本体规则对 两个攻击进行关联： 9 北京邮电大学硕二l 学位论文 安全事件关联技术 间接关联算法：假设a 和b 是两个攻击，r 是一个本体规则的集合：r = r 1 ， l 沁，如果满足以下条件，则攻击a 和攻击b 可以通过本体规则r l ，r q 关 联：( 1 ) 攻击a 可以利用直接关联算法通过r e p00 和规则r l 关联；( 2 ) 对每个j 【l ，q - l 】，规则码可以利用直接关联算法通过r c p0 j 和规则r j + l 关联；( 3 ) 规 则i 可以利用直接关联算法通过r c p0q 和攻击b 关联。 2 2 3 关联规则的使用 所有关联规则离线产生后，就可以进行在线关联了。假设a l e r t l ( 其对应的 攻击类型是a t t a c k l ) 和a l e r t 2 ( 其对应的攻击类型是a t t a c k 2 ) 是两个告警，在使用 关联规则之前，需要检查a l e r t l 和a l e r t 2 是否满足时问约束条件，于是引入如 下算法： 告警关联时间约束：假设t i m e l 是a l e r t l 的攻击发生时间的上限，t i m e 2 是 a l e m 2 的的攻击发生时间的下限，如果t i m e l t i m e 2 ，那么告警a l e r t l 和a l e r t 2 就满足告警关联时间约束条件，反之不满足。 在满足上面条件的情况下，可以利用如下算法对a l e r t l 和a l e r t 2 进行关联： 告警关联算法： ( 1 ) 在关联库中，对谓词a t t a c kc o r r e l a t i o n 进行过滤，看如下谓词是否成立： a t t a c k _ c o r r e l a t i o n ( a t t a c k l ，a t t a c k 2 ) 或a t t a c k _ c o r r e l a t i o n ( a t t a c k 2 ，a t t a c k l ) ( 2 ) 如果上述谓词不成立，结束算法 ( 3 ) 如果谓词a t t a c k ， 成立，则使用告警关联时间_ c o r r e l a t i o n ( a t t a c k la t t a c k 2 ) 约束检查a l e r t l 和a l e r t 2 是否满足告警关联时间约束条件：若满足，则可以使 用相应的关联规则检查a l e r t l 和a l e r t 2 是否满足关联条件：若满足关联条件， 则可以关联a l e r t l 和a l e r t 2 ，生成一个新的告警对a l e r t ，_pair(alertla l e r t 2 ) ( 4 ) 如果谓词a t t a c k ， 成立，则使用告警关联时间c o r r e l a t i o n ( a t t a c k 2 a t t a c k 1 ) 约束检查a l e a 2 和a l e r t l 是否满足告警关联时间约束条件：若满足，则可以使 用相应的关联规则检查a l e r t 2 和a l e r t l 是否满足关联条件：若满足关联条件， 则可以关联a l e r t 2 和a l e r t l ，生成一个新的告警对a l e r t ， 。p a i r ( a l e r t 2a l e r t l ) 值得注意的是，因为告警收到的顺序不一定和它们产生的顺序一致，所以我 们对a l e r t l 和a l e r t 2 可能关联的这两种情况都要考虑。 2 2 4 生成高级告警 网络安全事件关联模块的最终目的是生成高级告警以提供给管理员更为直 观的信息，方便管理员采取防护措施： 1 0 北京邮电人学硕上学位论文安伞事件关联技术 1 ) 假设a 是告警库中的告警集，当收到一个新的告警a l e r tn e w 时，对 a l e r tn e w 和每个a l e r tie a ，使用关联告警算法进行关联，于是会生成一个关 联告警对集合，这些告警对中有一个成员为a l e r tn e w ； 2 ) 对于集合中的每个告警对，检查这个告警对是否能融合到一个己存在的 攻击场景( 其实就是一个告警序列) ：如果能，则把a l c w tn e w 添加到此攻击场景 中，生成一个更长的场景；如果不能，则生成一个新的场景； 3 ) 针对每个场景，看以下两种情况是否成立： a 设a l e r tf i r s t ，a l e r tl a s t 分别是已更新的场景或新生成的攻击场景( 一个 告警序列) 中的第一个和最后一个告警，若a l e r tf i r s t 对应的攻击前件为空， a l e f tl a s t 对应的攻击后件为空 b 场景中的告警数量大于某一个阈值d ( 可以根据经验和网络规模设定) 若上述情况中任意一种成立，则可以合并该场景中包含的告警，生成一个高级告 警。 例如，假设已有一个场景，包含三个告警( a l e r t l ，a l e r t 2 ，a l e r t 3 ) ，假设又收 到一个告警a l e r t 4 ，在线关联过程生成一个告警对( a l e r t 3 ，a l e r t 4 ) 。此时，就生成 了一个更长的场景( a l e r t l ，a l e r t 2 ，a l e r t 3 ，a l e r t 4 ) 。若a l e r t l 对应的攻击前件为空， a l e a 4 对应的攻击后件为空，则可以将这四条告警合并成一个高级告警。 在分析大量告警时利用有向图来构建攻击场景。但是单纯的事件关联只适合 比较小的数据量，会在大量数据面前暴露出许多问题，如： 1 )不同的攻击者发动同一类型攻击或者同一攻击者在不同主机发出对 同一主机的同一的攻击使得检测困难； 2 )生成的图太大( 最大的图有近3 0 0 0 个节点，几十万条边) ，使得理 解起来非常困难。 为此，p e n gn i n g 等提出了三个有效的方法：通过时间间隔约束融合告警， 减少图中的节点和有向边；利用聚焦约束条件( 属性名称与常量之间的比较的逻 辑结合) 筛选出符合聚焦约束条件的告警加以重点分析，其余不相关的告警被摒 弃；利用聚类约束条件将原始相关图分解，具有共同特征的节点被保留在同一子 图内。这样，从处理过的关联图中就能较容易的发现攻击场景的各个步骤。 举个利用基于先决条件的关联的例子：假设有s a d m i n d p i n g 类型告警 h s a d m i n d p i n g ：其f a c t 为 ( 盱c 芒i m l p = 1 5 2 1 4 1 1 2 9 5 ，v i c t i