（计算机应用技术专业论文）网络安全事件发现与关联分析系统.pdf

哈尔滨工程大学硕士学位论文 摘要 随着i n t e r n e t 规模的迅速扩张，网络应用得到飞速发展与壮大，随之而 来的是网络遭受着越来越多的安全威胁。网络信息安全已经影响到生活、经 济甚至是国家安全。因此，网络安全设备及系统得到不断发展，出现了防火 墙( f w ) 、入侵检测系统( i d s ) 、防病毒系统( a v ) 等多种安全防护技术，在 网络安全防护中起到了积极的作用。 对于各种网络安全设备，尤其是i d s 和f w ，面临着诸多问题与挑战，主 要是海量报警信息、误漏报率高、报警事件描述低级和安全设备之间没有协 作等问题。为了解决目前网络安全设备面临的上述问题，安全事件关联分析 技术目前正不断得到重视，特别是对i d s 报警事件的关联分析处理成为研究 热点。 本文在对关联分析技术研究现状总结与分析的基础上，设计了基于攻击 图关联分析算法以及基于属性相似度关联分析算法。基于攻击图关联分析算 法是借助于网络攻击图提供的信息，得到弱点利用节点间距离( 攻击图距离) ， 在假设攻击者会选择最小代价( 攻击图距离最短) 进行下步攻击的前提下， 通过攻击图距离来衡量安全事件间相关性，从而对多步攻击进行关联；基于 属性相似度关联分析算法是聚类思想的应用。通过衡量安全事件之间的属性 相似性，来衡量整体安全事件的相似度，并设计了新事件与原有聚类的整体 相似度衡量算法。将满足一定相似度阈值的安全事件进行聚合。 本文还设计了一个安全事件关联分析模型，同时结合安全事件预处理技 术，冗余归并技术，安全态势评估技术，统计分析技术，最终完整实现了网 络安全事件发现与关联分析系统。通过采用d a r p a 数据集测试，能够有效精 简报警，降低误漏报率，并对多步安全事件进行关联，还原攻击过程，生成 了高级攻击场景。原型系统达到了设计的预期目标。 关键词：网络安全；事件关联；攻击图关联；属性相似度关联 哈尔滨工程大学硕士学位论文 a b s t r a c t w i t ht h er a p i de x p a n s i o no ft h es c a l eo fi n t e m e t ，t h ea p p l i c a t i o n so fn e t w o r k a r ed e v e l o p i n ga n ds t r e n g t h e n i n gr a p i d l y ，a n dt h ei n t e r a c ti ss u f f e r i n gf r o ma g r o w i n gn u m b e ro fs e c u r i t yt h r e a t s n e t w o r k a n di n f o r m a t i o ns e c u r i t yh a s a f f e c t e do u rn o r m a ll i f e ，e c o n o m ya n de v e nn a t i o n a ls e c u r i t y t h e r e f o r e ，n e t w o r k s e c u r i t ye q u i p m e n t sa n ds y s t e m s a r ec o n s t a n t l yd e v e l o p i n g ，t h e r ea r em a n y n e t w o r ks e c u r i t yt e c h n o l o g i e s ，s u c ha sf i r e w a l l ( f w ) ，i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) ，a n t i v i r u s ( a v ) ，a n ds oo n , w h i c hp l a ya na c t i v er o l eo nt h en e t w o r k s e c u r i t y f o rav a r i e t yo fn e t w o r ks e c u r i t ye q u i p m e n t s ，p a r t i c u l a r l yi d sa n df w , w e a r ef a c i n gm a n yp r o b l e m sa n dc h a l l e n g e s ，w h i c hi n c l u d em a s s i v ea l e r t s ，h i 曲r a t e o ff a l s e p o s i t i v ea n df a l s en e g a t i v e ，l o w - l e v e la l e r t s ，u n a v a i l a b l eo fs e c u r i t y e q u i p m e n t sc o o p e r a t i n ga n ds oo n t or e s o l v et h e s ep r o b l e m s ，t h ec o r r e l a t i o n t e c h n i q u e so fe v e n t sa l eb e i n gc o n s t a n t l yp a i da t t e n t i o nt o ，e s p e c i a l l yt h ee v e n t s c o r r e l a t i o na n a l y s i sf o ri d s b e c o m em a i n s t r e a m s t h i st h e s i si n t r o d u c e st h es t a t u so ft h en e t w o r ks e c u r i t yt e c h n o l o g i e s ，w h i c h s h o w st h en e c e s s a r yo fe v e n t sc o r r e l a t i o n w i t hp r e s e n t i n gas u m m a r ya n d a n a l y s i so ft h ee v e n tc o r r e l a t i o nt e c h n o l o g i e s ，t h ep a p e rd e s i g n st w oc o r r e l a t i o n a l g o r i t h m s ，o n ei sb a s e do nt h ea t t a c kg r a p h , a n dt h eo t h e ri s b a s e do nt h e a t t r i b u t e ss i m i l a r i t y t h ef i r s ta l g o r i t h mr e l i e so nt h ed i s t a n c eo fa t t a c kg r a p h ，i ti s c e r t a i n l yt h a tt h ea t t a c k e rw i l ls e l e c tt h ee a s i e s ta t t a c kf o ras a m et a r g e ls ot h e d i s t a n c eo fa t t a c kg r a p hc a nr e p r e s e n tt h er e l a t i v i t yt oc o r r e l a t et h em u l t i s t e p a t t a c k s ；t h es e c o n da l g o r i t h mi st h ea p p l i c a t i o no fc l u s t e r i n ga l g o r i t h m ，w i t h m e a s u r i n gt h es i m i l a r i t yo fp r o p e r t i e s ，w ec a nd e c i d et h ec l u s t e r s ，w ea l s od e s i g n a na l g o r i t h mt om e a s u r et h es i m i l a r i t yo ft h en e we v e n ta n dt h eo v e r a l lc l u s t e r t h et h e s i sa l s os h o w sa ne v e n tc o r r e l a t i o nm o d e l w i t ht h ec o m b i n a t i o no f w i p i n go f fr e d u n d a n c y , t h es e c u r i t ye v a l u a t i o n ，s t a t i s t i c a la n a l y s i st e c h n i q u e sa n d _ l 玺i b 堡i i i 堑i 奎望些塑璧一 i i i i 葺i i i i 薯宣毒罩宣暑声暑；i 青i 宣窨i i i 。一 c o m b i l l e dw i t ht h ep r a c t i c a la p p l i c a t i o no ft h et w oa l g o r i t h m s ，w ed e s l 乒a n d i r n p l e m e n ta d e t e c t i o na n dc o r r e l a t i o na n a l y s i ss y s t e mf o rn e t w o r ks e c 螂e v e n t u s i n gt h ed a r p a d a _ t a 矾sf o rt e s t i n g ，t h es y s t e mc a nc o r r e l a t em u l t i s t e pa t t a c k s ， r e d u c em e 锄。吼to fa l 甜sa n dr e d u c et h er a t eo f f a l s ep o s i t i v ea n df a l s en e g a t i v e t h ep r o t o t y p es y s t e ma c h i e v e se x c e p t e da i m k e yw o r d s ：n e t w o r ks e c u r i t y ；e v e n tc o r r e l a t i o n ； a t t r i b u t e ss i m i l a r i t yc o r r e l a t i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中己 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本论文的研究做出重要贡献的 个人和集体，均己在文中以明确方式标明。本人完全意识 到本声明的法律结果由本人承担。 作者( 签字) ： 堑丝j 日 期：2 知沪多月i f 日 哈尔滨工程大学硕士学位论文 。 课题研究背景 第1 章绪论 c 啦c 2 0 0 7 年7 月发布的第2 0 次中国互联阿络发展状况统计报告 显示，中国现已有1 6 2 亿上网用户，同时越来越多的公司也将其核心业务向 互联网转移，但网络安全也作为一个无法回避的问题呈现在我们面前。 j a v e l i ns t r a t e g y r e s e a r c h 统计表示，2 0 0 6 年美国由于身份信息被 盗而损失的金额为4 9 3 亿美元。2 0 0 6 年抽样检测发现，我国大陆地区有4 4 7 1 7 个王p 主机被植入木马程序，与去年相比增加一倍，同时约有圭千多万个羔p 地址主机被攻击者利用蠕虫等手段植入僵尸程序，2 0 0 6 年大陆地区网页被篡 改2 4 4 7 7 次，政府网站被篡改3 8 3 1 次，同比增长一倍。红色代码、冲击波、 熊猫烧香等等网络病毒与木马，给国家、企业及个人都造成了难以估量的经 济损失。因此对网络安全威胁及网络安全事件进行检测识别，对网络安全进 行防护的工作刻不容缓。 1 2 课题目的与意义 随着计算机网络知识的普及，攻击者越来越多，知识网趋成熟，攻击工 具与手法墨趋复杂多样，单纯的防火墙策略已经无法满足对安全蘸度敏感的 部门的需要，网络的防卫必须采用一种纵深的、多样的手段。而入侵检测系 统，正是弥补了防火墙无法检测内阏安全事件以及防护手段单一等缺点，形 成了对整个网络的安全事件检测与发现，从而做到有效防护。 对入侵攻击行为进行准确的识别并对网络安全威胁态势进行预 樊l ，对于 保障计算机系统、网络系统及整个信息基础设施的安全就成为一项刻不容缓 的重要课题。然而随着网络带室的不断增加以及嬲络规模的不断扩大，由于 数据源信息不完整、监听点盲区部署以及检测方法的不足等因素，往往造成 网络安全监测系统产生大量重复报警、误报、漏掇以及低级报警事件，使得 哈尔滨工程大学颓七学位谂文 安全管理员不能得到粪正有价值的攻击行为预警信息，继而无法采取积极肖 效的防范措施，嚣此严重制约了网络安全监测系统豹实用性与可晨性。 本谋题主要研究对多源两络安全事件进行关联分橱，挖掘隐藏在这些原 始事件背后的逻辑联系和攻击意图，以消除冗余报警及虚假警报信息，降低 误漏掇率，分析鑫真正翁威胁所在并对翳络安全藏胁态势进行有效预警。 1 。3 本文研究内容 作者通过研究网络安全设备面临的问题，综合分析了目前对网络安全事 件关联分析麴善内外研究现状，试图解决基前各种网络安全设备特别是i d s 所两临的各种闯题，对相关关联分析技术作了深入研究，设计了包括基于属 性相似度的关联分析算法和基于攻击图鲶关联分捉算法，安全事件标准化， 冗余归并方法，安全态势评髂统计分折等算法，并实瑗了两络安全事彳孚发现 与关联分析系统。主要工作包括： ( 1 ) 关联分撬懿合模型：鹜翦，惹入侵检测技术褥到不断发展，安全攀 件关联分析技术成果不断，但是目前还没有一种关联分析技术可以完全解决 入侵检测系统瑟簸的阍题( 见2 。董。3 节 ，这就需要多_ 种技术戆结合使震，遮 就涉及到了安全事件关联分析模型的研究。 ( 2 ) 多澡异质数据预处理：嚣为安全事静关联分析的数据源丰富，不同 厂家及开源i d s 系统徒往都提供不同的安全事件表示方式以及内容，如果更 广泛的对v p n ，防火墙、路由器等安全阏志进行融合，则安全事件规范化与 预处理都是必需韵工依。对于i d s 系统，霹使簇设都遵循了i d m e f 标准格 式，但是不同的i d s 厂商对于报警事件的事件类别，攻击名称等重要属性还 是有不嚣麓命名标识。嚣此需要黯报警数据进行预处理。 ( 3 ) 安全事件关联分析算法：根据入侵检测系统面临的问题，主要是误 报漏报、海量报警、低级报警、i d s s 之闻兹互操作性阆题等，为了解决这些 致命缺陷以及提高i d s 的实用饿，必须对i d s 产生的安全事件继续进行挖糍 分析，从丽涉及到了安全事件关联分析算法的研究。本文主要研究了基于攻 击鬻关联分橱算法，基于属性稽似度关联分析算法以及掰络安全态势评估技 术等，在这些技术研究基础上，结合安全事件关联分析模型以及多源数据预 2 哈尔滨工程大学硕士学位论文 处理技术，完整实现了一个网络安全事件发现与关联分析系统。 1 4 论文组织结构 本文对对目前网络安全设备进行了分析，针对面临的问题，详述了网络 安全事件关联分析现状，对安全事件关联分析相关技术进行了深入研究，设 计并实现了网络安全事件发现与关联分析系统。本文将分成四章进行论述。 第一章为绪论，对网络安全面临的威胁进行了概述，提出了对网络安全 事件进行关联分析的实际意义。 第二章为网络安全事件发现与关联分析技术，对现有安全事件发现技术 进行了一个概述，从而分析目前网络安全设备面临的问题，之后重点论述了 网络安全事件关联分析技术研究现状。 第三章对网络安全事件关联分析关键算法进行了研究与设计，并对算法 性能进行了实验验证，从而证明在关联分析系统实现的应用中的有效性。 第四章详细介绍了网络安全事件发现与关联分析系统的实现。 哈尔滨工程大学硕士学位论文 第2 章网络安全事件发现与关联分析技术 2 网络安全事件发现技术 目前，网络安全现状不容乐观，相应的网络安全防护意识不断增强。这 也使得一些网络安全防护技术得到不断研究与发展。基于网络的安全事件发 现技术主要有防火墙技术，入侵检测技术等。 2 1 。1 防火墙技术 ( 王) 防火墙的定义 防火墙( f i r e w a l l ) 是内部网络( 局域网) 和国际互连网( i n t e m e t ) 之间的一道 安全屏障，是指设置在两个网络之间的一组组件( 既可以是一组硬件，也可以 是一组软件，还可以是软、硬件的组合) ，用于检测和控制两个网络之间的通 信流，允许合法信息包通过，阻止非法信息包通过，以达到对重要信息的存 储和访问的控制，保护信息系统的安全瑟】。 ( 2 ) 防火墙的功能 防火墙作为在安全领域最晕出现的主流安全防护产品之一，地位无可替 代，主要功能作用包括如下几点【2 j ： a 。作为蠹外网安全的主要保护屏障 通过使用防火墙，类似子在网络的内外网之间架设了一个检查站，这种 方式极大地提高了内部网络的安全性，并通过过滤不安全的服务而降低风险。 b 强化网络安全策略 通过以防火墙为中心的安全方案配置，能将许多安全软件( 如口令、加 密、身份认证、v p n 等) 配置在防火墙上，这种集中安全警理更热经济实用。 c 对网络存取和访问进行监控审计 防火墙可以详细地记录访闯冒志，间时也能提供鼹络使用情况的统计数 据。当网络发生异常行为时，防火墙能够进行适当地报警，并提供网络是否 受到监测和攻击的详缨信息。 4 哈尔滨工程大学硕士学位论文 d 防止内部信息的外泄 通过利用防火墙对外部网、d m z 区域和内部网络的划分，可实现对重点 网段的隔离，从而限制了局部重点或敏感网络安全问题对全局网络造成的影 响。 ( 3 ) 防火墙的原理 防火墙的工作原理是按照事先规定的配置和规则( 主要包括两种规则， 允许的访问和禁止的访问) ，监控所有通过防火墙的数据流，只许授权的数据 通过，同时记录有关的联接来源、服务器提供的通信量和试图入侵的任何企 图，以方便网络管理员的检测和追踪。 ( 4 ) 防火墙的体系结构 防火墙的体系统一般可分为三种，包括双重宿主主机体系结构、被屏蔽 主机体系结构和被屏蔽子网体系结构。 ( 5 ) 防火墙的分类 防火墙的实现方式多种多样，我们从实现防火墙的技术上进行分类，主 要有包过滤防火墙、应用代理防火墙和混合型防火墙三种【2 】。 a 包过滤防火墙 包过滤防火墙是在口层实现，它可以只用路由器来实现。包过滤防火 墙根据报文的源i p 地址，目的m 地址、源端口、目的端口和报文传递方向 等报头信息来判断是否允许有报文通过。包过滤路由器的最大优点是：对用 户来说是透明的，即不需要用户名和密码来登陆。包过滤路由器的弊端是明 显的，由于它通常没有用户的使用记录，我们不能从访问中发现黑客的攻击 记录。它还有一个致命的弱点，就是不能在用户级别上进行过滤，即不能识 别用户与防止p 地址的盗用。如果攻击者将自己的主机设置为一个合法主 机的i p 地址，则很容易地通过包过滤防火墙。 b 应用代理防火墙 代理防火墙也叫应用层网关防火墙，包过滤防火墙可以按照i p 地址来 禁止未授权者的访问。但它不适合单位用来控制内部人员访问外部网络，对 于这样的企业，应用代理防火墙是更好的选择。代理服务是设置在i n t e r n e t 防 火墙网关上的应用，是在网管员允许下或拒绝的特定的应用程序或者特定服 务，一般情况下可应用于特定的互联网服务，如超文本传输、远程文件传输 哈尔滨工程大学硕士学位论文 等。同时还可应用于实施较强的数据流监控、过滤、记录和报告等功能。应 用层网关包括应用代理服务器、回路级代理服务器、代管服务器、口通道、 网络地址转换器、隔离域名服务器和邮件技术等。 c 混合型防火墙 混合型防火墙是将数据包过滤和代理服务结合在一起使用，从两实现了 网络安全性、性能和透明度的优势互补。随着技术的发展，防火墙产品还在 不断完善、发展。冒翦出现的薪技术类型主要有以下几种：状态监视技术、 安全操作系统、自适应代理技术、实时侵入检测系统等。混合使用数据包过 滤技术、代理服务技术和一些新技术是未来防火墙的趋势。 2 1 2 入侵检测系统 ( 1 ) 入侵检测系统的定义 入侵检测就是通过从计算机网络或计算机系统中的若干关键点收集信息 并对其进行分析，铁中发现网络或系统絮是否有违反安全策略的行为和遭到 攻击的迹象。而进行入侵检测的软、硬件的组合就是入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m ，箍称i d s ) 3 1 。 ( 2 ) 入侵检测系统的功能 a 。识别入侵与攻击 入侵检测引擎可以有效地对各种网络攻击行为进行识别，包括扫描攻击、 拒绝服务攻击、缓冲区溢出攻击、以及利用系统漏洞或后门的权限提升等各 种攻击。 b 监控网络通信 入侵检测系统可以有效监控网络中的所有通信，满足数据监测、主动扫 描、网络审计、统计分析等功能，从而使目前网络使用状态及安全状态得到 有效监控。 c 完善网络安全管理 入侵检测系统可以有效识别网络蠢部筋异常，是防火墙的有效补充。通 过对攻击或入侵的检测及反应，可以有效地发现和防止大部分的网络犯罪行 失，给网络安全管理提供了一个集中、方便、有效的工具。显著提高网络安 6 哈尔滨丁稃大学硕十学位论文 全纵深防护的质量。 ( 3 ) 入侵检测系统的实现原理 对大规模互联网入侵检测的研究始于美国加州大学戴维斯分校( u c d a v i s ) ，1 9 9 6 年，u cd a v i s 提出了通用入侵检测框架c i d f ( c o m m o ni n t r u s i o n d e t e c t i o nf r a m e w o r k ) 【4 】，如图2 1 。i d s 处理过程分为数据采集阶段、数据处 理及过滤阶段、入侵分析及检测阶段、报告以及响应阶段等四个阶段。数据 采集阶段是数据审核阶段。入侵检测系统收集目标系统中引擎提供的主机通 讯数据包和系统使用等情况。数据处理及过滤阶段是把采集到的数据转换为 可以识别是否发生入侵的阶段。分析及检测入侵阶段通过分析上一阶段提供 的数据来判断是否发生入侵。这一阶段是整个入侵检测系统的核心阶段，根 据系统是以检测异常使用为目的还是以检测利用系统的脆弱点或应用程序的 b u g 来进行入侵为目的，可以区分为异常行为和错误使用检测。报告及响应 阶段针对上一个阶段中进行的判断做出响应。如果被判断为发生入侵，系统 将对其采取相应的响应措施，或者通知管理人员发生入侵，以便于采取措施 【5 1 。 图2 1c i d f 各组件关系图 ( 4 ) 入侵检测系统体系结构 入侵检测系统从网络拓扑上看，可以分为三类： a 单一型 7 哈尔滨工程大学硕士学位论文 这一类型的系统可能只有一台运行检测软件的主机，或由一台中央服务 器以及一些分布于其他主机行的简单日志记录程序组成。所有的记录数据必 须送到中央服务器进行统一的分析处理。大部分现有的系统都属于这一类型。 b 层次型 层次型的结构克服了单一型系统的弊端，它的设计主要以大型网络为对 象。它由若干个具有层次等级的i d s 构成。每个i d s 负责一定范围内的日志 收集，得出分析结果，并向上一层i d s 汇报结果。与单一型i d s 不同的是下 层i d s 向上层只传输已经分析处理后的结果，而不是所有的日志文件。这样 占用的带宽较少，高层的i d s 也只需要综合分析下层i d s 的报告。 c 层次协作型 由于前两种结构的一个共同缺点都是各个检测单元之间存在不平等的关 系，中央单元的损坏将导致整个系统的失效。而协作型系统由多个具有独立 检测能力的i d s 构成，它们分布于网络的每台主机上，相互之间存在一定的 通信机制，能够相互传递信息以及相互干涉并做出总体结论。因此，破坏单 个甚至多个i d s 单元并不足以影响整个系统的检测能力。并且由于单元之间 能够相互通信，因此可以及时的对被破坏的单元进行修补。 ( 5 ) 入侵检测系统分类 i d s 根据检测对象的不同，可以分为网络入侵检测系统( n i d s ) 和主机 入侵检测系统( h i d s ) 。从实现技术上可以分为误用检测系统( m i s u s ed e t e c t i o n s y s t e m ) 和异常检测系统( a n o m a l yd e t e c t i o ns y s t e m ) 。在此主要从技术实现 上进行介绍。 a 误用检测 误用检测目前技术相对成熟，原理简单，主要是基于规则集的匹配，即 此方法有一入侵攻击特征库，按照一定的匹配策略和算法进行匹配，如果符 合即视为攻击，此方法具有很低的误报率。但对于未知攻击甚至时已有攻击 的简单变种就会无能为力。目前最为广泛应用的轻量级网络入侵检测系统 s n o r t 6 主要就是采用误用检测技术实现网络安全事件发现与识别。 b 异常检测 异常检测，也称为基于行为的入侵检测，以系统、网络、用户或进程的 正常行为建立轮廓模型( 即正常行为模式) ，将与之偏离较大的行为解释成人 哈尔滨工程大学硕士学位论文 侵。该方法基于如下的假设：入侵会引起用户或系统行为的异常。这种方法 识别入侵是基于数据流作了什么，而不是特征的匹配，由此，异常检测可以 检测未知的攻击，这也是异常检测技术得以重视的主要原因。异常检测的核 心是异常检测算法的实现，还有正常模型的建立。正常模型以及异常检测算 法的优劣都直接影响到了入侵检测系统得检测率和误报率，这两点恰恰是评 价i d s 系统优劣的最重要的性能指标。异常检测技术又可以分为基于统计的 异常检测、基于机器学习的异常检测和基于规范的异常检测三大类【7 】。 2 1 3 现有网络安全发现技术的不足 目前网络入侵呈现出新的特点：( 1 ) 入侵或攻击的规模扩大化；( 2 ) 入 侵或攻击技术的分布化；( 3 ) 入侵主体对象的间接化，即实施入侵与攻击的 主体的隐蔽化；( 4 ) 入侵或攻击的综合化与复杂化。面对新的网络安全现状 与威胁，网络安全设备面临着诸多问题： ( 1 ) 安全防护体系方面 目前攻击复杂化以及分布化，使得使用单一的安全防护技术已经无法全 面保护网络，必须综合利用多种安全技术，形成有效协作，才能适应大规模 网络中复杂攻击的挑战。因此，针对网络安全现状，需要加强网络安全防护 体系的研究，突出以入侵检测为核心，多种安全设备或系统联动，形成有效 预警与响应，是网络安全主要发展趋势。 ( 2 ) 入侵检测方面 误报漏报问题：使用单一的误用检测或者异常检测技术都会导致较高的 漏报率或误报率。这就需要综合多种检测技术来较少漏报，并采用合理的信 息融合机制，进行攻击意图分析来识别误报与漏报。 冗余报警问题：网络安全事件检测的一大难题是会产生大量报警信息， 而其中绝大多数是无效报警，重复报警，这不仅对i d s 性能造成严重影响， 也使安全管理员无法区分哪些是最重要的报警信息而变得手足无措。 低级报警问题：网络安全设备如i d s 只能检测入侵过程中某一孤立的攻 击事件，即只能得到低级入侵活动和异常现象。而很多攻击是由一系列的攻 击步骤组成，这样不仅一种攻击产生了多次报警，更重要的是孤立的报警使 系统不能识别攻击意图而无法形成有效响应，安全管理人员也很难有直观理 9 哈尔滨工程大学硕士学位论文 解。 ( 3 ) 网络安全系统之间协作问题 目前复杂的网络环境及攻击手段以及入侵检测本身的不足导致了必须多 种安全系统及设备需要进行有效协作与交互，目前i d w g 工作组已经作了很 多有益的工作，包括报警信息同一格式标准i d m e f 以及交互协议i d x g 等。 对于多种安全设备产生的安全事件，需要进行有效的信息融合才能更好的保 护网络。 2 2 关联分析技术 基于入侵检测面临的问题，有必要对其产生的安全事件继续进行关联分 析( 后入侵检测技术p o s t i n t r u s i o nd e t e c t i o nt e c h n i q u e ) ，通过信息的聚合与 关联，能够处理同构及异构网络安全事件，大量减少报警数量，重建攻击过 程，有效降低误报率和漏报率，达到直观、全面、准确的网络安全态势评估。 总结数据融合及关联分析技术研究现状，可以将安全事件关联融合技术 分三层论述，低层融合、中层融合和高层融合。低层融合主要是安全事件预 处理；中层融合完成安全事件关联分析，这也是影响关联分析系统性能的核 心部分；高层融合包括安全事件关联验证以及网络安全态势评估等。下面将 分别论述三层的研究现状。 2 2 1 低层数据融合 低层融合主要完成安全事件规范化，以及多源数据的预处理，这是整个 安全事件关联分析的基础。 文献 8 】中，系统的描述了报警信息的标准化问题，并且实现了s n o r t 、 b l a c k i c e 两个系统的报警格式标准化。报警格式主要是遵照了i d m e f 格式， 其中比较关键的报警名称统一是通过手工建立报警名称与c v e 号的对应关 系库实现。 实现报警格式标准化之后，根据i d m e f 标准以及安全事件关系分析的 需要，可以适当扩展数据，即对数据进行预处理操作。文献【9 】中预处理组件 ( p r e p r o c c e s s i n g ) ，主要完成对扩展报警信息的信息内容完善。文献 1 0 】则 将关键信息不足的报警信息进行过滤。 l o 哈尔滨丁程大学硕士学位论文 在这一层，主要是完成了低层次的数据融合，包括信息的标准化以及报 警信息内容的预处理，目的在于为解决i d s 间甚至安全设备间的互操作问题 提供统一方案，是后续中高层事件融合的基础，但低层数据融合无法有效解 决入侵检测面临的其它问题。 2 2 2 中层数据融合 中层融合的目的就是解决入侵检测面临的诸多问题，是影响安全事件关 联分析效果的核心层。中层数据融合可以进一步细分为冗余归并和安全事件 关联两方面进行论述。 冗余归并主要是完成将满足重复关系和并发关系的安全事件合并。重复 关系定义为一个攻击被多个型号相同的检测器同时检测到而产生的多次报警 信息。并发关系定义为不同检测器对同一攻击行为产生的多个不同的报警信 息。冗余归并将会有效减少攻击数量，合并安全事件中具有直观冗余关系的 安全事件。但是仅仅进行冗余归并是不够的，还需要对安全事件进行继续挖 掘分析。 安全事件关联分析技术通过对安全事件进行关联分析，生成更高级的攻 击场景，是决定关联分析效果的关键。安全事件关联分析技术可以分为三类： 基于相似概率的关联法，基于情景的关联法，基于安全事件前因与后果的关 联。 ( 1 ) 基于相似概率的关联 通常认为相关报警具有一定的属性相似性。此假设可以从实际攻击过程 的分析中可以得到验证。基于此种经验假设，一些学者开始对报警之间的相 似性进行了有益的研究1 1 1 8 】。 a v a l d e s 提出利用概率统计的方法来计算攻击特征中相关属性之间的相 似度【1 2 】。根据相似度来决定是否对两个攻击进行关联，这种关联方法更加近 似于报警的聚类。s p a d e 中关联器部分实现的模拟退火算法【1 3 1 ，采用了基于 报警之间距离关系的方法进行聚类分析。o l i v e rm d a i n 等提出的基于自定义 的报警间距离的场景构建方法【1 4 1 ，用概率的方法定义了报警间距离，然后将 相近的报警聚成一簇。 有一种研究方式是把人工智能方面的研究成果与告警融合结合起来 哈尔滨工程大学硕七学位论文 u 5 ，1 6 】，研究者将模糊认知映射图( f c m ) ：j i 入到i d s 数据融合中来，认为安全 事件之间的松散关系，存在于有序集合中，衡量有序关系也是采用概率方法。 基于属性的相似度计算中有两个关键点，属性集的选取以及各属性相似 度函数的选择。属性集需要从安全事件中获得，主要包括传感器标识、攻击 类别、攻击源和目标地址、攻击时间等。各属性相似度函数根据特征各有不 同，这需要具有一定的报警事件专家知识。文献【1 7 】中提出了时间相似度的 计算，文献 1 8 】钟提出了对i p 地址相似度的计算。 此方法通过精心选定相似度标准、权重系数等参数，可以较好地处理报 警泛滥问题，且算法实时性好，但系统本身对攻击不理解，不能有效关联报 警间的时序关系和因果关系，难以识别复杂的攻击场景，且属性相似度的计 算以及权重分配很大程度上依赖于领域知识，移植性不好。 ( 2 ) 基于攻击情景的关联 基于攻击情景的关联将入侵过程描述为攻击情景，攻击情景一般可表示 为五个步骤或阶段的组合：信息探测、攻击尝试、权限提升、深入攻击、拒 绝服务。但实际上攻击情景是由人或者通过机器学习得到的经常发生的攻击 序列【1 9 】，这种关联方法类似于入侵检测中误用检测的方法。 o d a i n 提出了通过机器学习的方法来训练包含已知入侵情景的数据集来 “学习”报警关联模型【2 0 】。这种方法能实时地将报警组合到“情景”中( 每 个情景是由同一入侵者发起的一系列的攻击而引起的报警组成) 。它根据计算 一个新报警属于给定情景的概率来自动建立报警关联模型。但是他需要在每 一个配置中进行训练，而且结果模型可能与训练数据匹配太紧密，于是就会 漏掉没有出现在训练数据集中的攻击情景。 文献 2 1 】中，利用a s l 语言来完成两个功能：1 ) 将报警事件看作一个实 体，并描述不同的攻击所产生的报警信息的内部信息；2 ) 描述攻击过程中报 警事件和报警事件之间的关系。被a s l 语言描述的攻击序列模板形式上表现 为一个有向图，有向图的生成方式如下：图的每一个节点代表一种类型的报警 事件，从代表事件e i 的节点到代表事件的节点e j 有向边表示存在一攻击序列 模板，在该模板内部，事件e j 是e i 的后继。则事件关联算法就演化为一个沿 着图的根节点( 没有输入边的节点) 进行模式匹配的过程，在匹配的过程中， 本节点的匹配进行以前，必须保证其所有前驱节点的匹配工作已经被完成。 1 2 哈尔滨工程大学硕士学位论文 基于攻击情景方法可以有效关联已有的攻击情景，这就需要攻击情景的 完备性。如果采用人工建立，则需要专家知识，且更新困难；如果采用机器 学习方法，则需要完备的训练数据集，数据集获得具有难度，并且训练效果 还有赖于数据挖掘方法。 ( 3 ) 基于安全事件前因与后果的关联 使用攻击前提条件和后续结果来关联报警的方法主要是针对攻击者发动 攻击的前因后果而设计的 2 2 2 5 】。该算法的基本思想是：寻找一个攻击a 发起 的先决条件和攻击事件b 的攻击结果之间是否存在逻辑联系，如果存在，则 a 和b 就可能是系列攻击的两个环节，可以关联为b - a 。 e n i n g 在他的t i a a 系统【2 4 ，2 5 】中事先定义了各种攻击可能发生的前因和 后果的知识库，通过对报警实例之间前因和后果的匹配，形成报警关联图。 该算法有三个比较关键的步骤：第一步是要提前定义每一种已知攻击类型的 先决条件和攻击后果。第二步是根据时间限制和h y p e r - a l e r tt y p e 定义来生成 h y p e r - a l e r t 实例，生成h y p e r - a l e r t 实例的过程实际上也是对原始报警信息的一 个聚合过程。第三步是对生成好的h y p e r - a l e r t 实例进行关联的过程。有了对 攻击的先决条件和攻击后果的详细描述，关联的过程就相对容易的多。 实验证明，这种方法可以比较好的发现报警之间的因果关联关系，但关 联的效果依赖于知识库的制定，新的攻击层出不穷，提前定义一套系统的、 完善的前因、后果知识库不太可行，并且对于每个安全事件都要进行前因与 后果的关联分析，以及归属决策，需要耗费大量的计算机资源，不利于实时 在线处理。 2 2 3 高层数据融合 高层数据融合主要是指态势评估、威胁评估和验证关联。主要是对关联 之后的结果进行更准确的威胁辨别，并对网络安全态势进行量化评估，使安 全事件关联分析效果更直观地得到体现，是安全事件关联分析模型中的重要 环节，而对报警信息的验证将会进一步减少误报。 网络安全态势及威胁评估，类似于网络安全的风险评估。 安全风险的定性评估一般采用美国卡内基梅隆大学提出的o c t a v e 评 估方法【2 6 j ，该方法首先建立基于资产的威胁信息，再标识基础设施的脆弱性， 哈尔滨工程大学硕士学位论文 最后进行定性风险分析并开发安全策略。 e a p o r r a s 开发的m c o r r e l a t o r 2 7 】，采用对安全事件进行优先级计算，计 算方法主要基于两个方面，即资源及服务的重要性，安全事件的重要性。最 终生成按等级排序的安全事件。 安全风险的定量计算公式可以这样定义【2 8 】：r i s k ( t ) = f ( a ，t , v , 0 。其中t 代 表某个时刻，a 代表该资产的价值( 重要程度) ，t 代表该资产面临的威胁， v 代表该资产存在的脆弱性( 安全漏洞) ，f 代表某种函数关系，通常在常见 的半定量评估过程中，该函数有时采用简单的乘积来计算。 验证关联主要是通过获得所监控网络的硬件、软件信息，对安全事件进 行攻击成功有效性验证。有些研究者提出利用漏洞分析进行告警确认【2 9 1 。 g u l a 在文献 3 0 】中将安全事件分为正确报警、误报、漏报，将漏洞信息分 为正确实别、错误识别、漏识别，分别对可能的9 种组合情况进行了论述， 并提出了相应的解决建议。 2 3 关联分析模型 安全事件的关联分析技术属于数据融合范畴，数据融合模型可以从功能、 结构和数学模型等几方面来研究和表示 3 1 】。 美国国防部联合实验室( j d l ) 从军事应用的角度将数据融合定义为： 将来自多传感器和信息源的数据和信息加以联合( a s s o c i a t i o n ) 、相关 ( c o r r e l a t i o n ) 和组合( c o m b i n a t i o n ) ，以获得精确的位置估计( p o s i t i o n e s t i m a t i o n ) 和身份估计( i d e n i t ye s t i m a t i o n ) ，以及对战场情况的威胁及重要 程度进行实时的完整评价【3 2 1 。 d i v i dl h a l l 于1 9 9 7 年在其论文 3 3 1 q b 提出了多传感器数据融合的一 个整体框架，他把多传感器数据融合由低到高分成了不同层次。因为多传感 器数据融合最开始应用是在军事领域，这些不同层次多涉及到军事中的目标 定位等，但是从这个由低到高的层次图不难看出，数据融合是一个信息抽象 的过程，其最终目的是希望通过数据融合的手段，达到对整个环境安全态势 的清晰把握，进而对各种潜在的安全威胁做出预测。作者在文中提出了一个 多传感器数据融合模型，如下图2 2 。 1 4 哈尔滨工程大学硕士学何论文 数据源 源预处 第1 层处理目标提 第2 层处理态势评估 第3 层处理威胁评 理炼 估 _ k 传感嚣 ! 人机 r p t l 接口 附属信息 ! 数据库关联系统 第4 层处理过程评 岛国 估 图2 2 多传感器数据融合处理模型 早在1 9 9 9 年，t i mb a s s 就提出了下一代计算机空间的入侵检测系统将从 异构的分布式网络中的多传感器中提取数据并加以融合，以形成计算机空间 的态势估计( c y b e r s p a c es i t u a t i o n a la w a r e n e s s ) 3 4 】。t i mb a s s 提出的入侵检测 数据融合模型【3 5 】如图2 3 。 矢口识 卜一 图2 3 基于i d s 数据融合模型 t i mb a s s 所描述的入侵检测模型是一个可演绎的过程，为了了解网络安 全的状态，它通过寻找数据流中特定的入侵特征和模板去检测数据来源中预 先已经知道的模型。网络的发展越来越复杂，对象的数量、状态、威胁、传 感器和数据流在快速的增长，现在对高级的入侵检测系统的设计者来说，正 哈尔滨工稃人学硕+ 学位论文 面临着更复杂多变的挑战。b a s s 的研究虽然只限于理论研究和设想阶段， 但是为数据融合技术开辟了新的研究领域。 目前很多关联分析系统都是仅仅局限于解决某些关联问题，没有一个完 善的关联解决方案，作者认为不同的i d s 提供着不同级别粒度的报警信息， 因此需要采用多种关联方法来聚焦于不同发面，从而提出了一个完整的多组 件报警关联模型框架【3 酬，取得了很好的实验效果。其提出的多组件综合关联 处理框架图如图2 4 ： 安全管理员 图2 4 多组件综合关联处理框架图 此模型包含了1 0 个组件模块，包括标准化组件( n o r m a l i z a t i o n ) ，因为 来自于不同传感器的报警具有不同格式，为了使系统中所有其他组件都能正 确有效识别与操作，需要进行报警格式标准化。这里以i d m e f 为参考，选取其 中部分属性；预处理组件( p r e - p r o c e s s ) ，给报警增加一些必要的属性信息， 包括攻击开始时间、结束时间，统一的报警名称等；报警融合组件( a l e r t f u s i o n ) ，合并不同i d s 产生的对同一攻击的多次报警，采用滑动时间窗口的 方式，对同一传感器产生的多个报警进行匹配，合并，以形成后报警 ( m e t a a l e r t ) ；报警验证组件( a l e r tv e r i f i c a t i