（计算机应用技术专业论文）入侵检测报警信息聚类研究.pdf

重庆邮电大学硕士论文 摘要 摘要 入侵检测系统是网络安全的重要组成部分，在网络服务中得到越来越 多的应用。入侵检测技术在应用中出现了误报率高，报警量大，难以对报 警信息进行有效管理等问题或困难，特别是分布式入侵检测系统的应用， 更增大了报警管理的难度，从某种意义上说，已经影响或限制了入侵检测 系统的迸一步推广和应用。 报警关联是解决上述问题的有效方法。论文分四个部分对报警关联技 术进行研究：第一、介绍了入侵检测系统报警关联的研究背景；第二、介 绍了入侵检测报警关联的基本知识、基本操作和常用模型和相关技术，分 类讨论了现有关联算法的特点；第三、介绍了基于密度的聚类算法 d b s c a n ，并对该算法提出两种改进算法i d b c 和p d b c 。i d b c 算法可以 避免因参数值设置不当引起的信息过量丢失；p d b c 算法引入聚类思想， 不但解决了单一参数值对全局聚类的影响，而且可以把大数据量的任务划 分成多个小任务，缓解了聚类对系统资源的过高要求，提高了单机系统对 海量报警的处理能力；第四、对算法p d b c 的聚类效果和性能进行仿真实 验研究，结果表明与d b s c a n 相比，p d b c 的运行速度更快，聚类效果 更好，可以更有效地降低误报警，减少低层报警数量。 关键词：入侵检测，报警信息，报警关联，密度聚类 重庆邮电大学硕士论文 a b s t r a c t a b s t r a c t a sa n i m p o r t a n tc o m p o n e n to f n e t w o r ks e c u r i t y s y s t e m ，i n t r u s i o n d e t e c t i o ns y s t e m sh a v eb e e nw i d e l yu s e di nn e t w o r ks e r v i c e s h o w e v e r ，t h e a p p l i c a t i o no fi n t r u s i o nd e t e c t i o nt e c h n o l o g i e sh a sg i v e nr i s et os o m eo t h e r d i f f i c u l tp r o b l e m s ，l i k et h eh i g hf a l s e p o s i t i v er a t ea n dt h el a r g en u m b e ro f a l a r m sw h i c hi st o om a n yt ob ee f f e c t i v e l ym a n a g e d ，w i t ht h ew i d e ru s eo f t h ed i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m s ，t h o s ep r o b l e m sb e c o m em o r e s e v e r e ，a n dt oa c e r t a i ne x t e n t ，l i m i tt h ef u r t h e rs p r e a do fi d s s a l e r tc o r r e l a t i o ni sa ne f f e c t i v ew a yt os o l v et h ea b o v e m e n t i o n e d p r o b l e m s t h ed i s s e r t a t i o n s t u d i e sa l e r tc o r r e l a t i o n t e c h n o l o g i e s f r o m f o u r p e r s p e c t i v e s f i r s t ，i t i n t r o d u c e st h eb a c k g r o u n do fs t u d y i n ga l e r t c o r r e l a t i o nt e c h n o l o g i e sf o ri n t r u s i o nd e t e c t i o ns y s t e m s s e c o n d ，t h ep a p e r p r e s e n t st h eb a s i ck n o w l e d g e ，b a s i co p e r a t i o n ，t h ec o m m o nm o d e la n d r e l a t i v et e c h n o l o g i e so fa l e r tc o r r e l a t i o n ，m o r e o v e r ，c h a r a c t e r i s t i c so fc u r r e n t c o r r e l a t i o na l g o r i t h m sa r ed i s c u s s e di nc a t e g o r i e s t h ep a p e ra l s oi n t r o d u c e s d b s c a n - ac l u s t e r i n ga l g o r i t h mb a s e do nd e n s i t y , a n dp u t sf o r w a r dt w o i m p r o v e da l g o r i t h m s ，i e i d b ca n dp d b c i d b cc a na v o i dt h eo v e rl o s so f i n f o r m a t i o nc a u s e db yi m p r o p e rp a r a m e t e rv a l u e s b yu t i l i z i n gt e c h n o l o g yo f d i v i d i n ga n dc o n q u e r i n g ，p d b cn o to n l ys o l v e st h es i d ei m p a c to fas i n g l e p a r a m e t e rv a l u eo nt h eo v e r a l lc l u s t e r i n gp r o c e s s ，b ma l s ol e s s e n st h eh i 曲 r e s o u r c er e q u i r e m e n t so fc l u s t e r i n gp r o c e s s ，a n di m p r o v e st h ep r o c e s s i n g c a p a b i l i t i e s o fs i n g l e s y s t e m o nm a s s i v e a l a r m s ；l a s t l y , s t u d i e s t h e c o m p r e h e n s i v ep e r f o r m a n c e so fp d b cb ys i m u l a t i o ne x p e r i m e n t s t h er e s u l t s d e m o n s t r a t et h a tc o m p a r e dw i t hd b s c a n ，p d b cr n n sf a s t e ra n dc l u s t e r s i n t r u s i o na l a r m sm o r ee f f e c t i v e l y i tc a nr e d u c ef a l s ea l a r m sa n da l e r t sa t 】o w 】e v e l k e yw o r d s ：i n t r u s i o nd e t e c t i o n ，a l e r ti n f o r m a t i o n ，a l e r tc o r r e l a t i o n ，d e n s i t y c l u s t e r n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得重麽鲤电太堂或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：善删 签字日期：上妒7 年臼7 日 学位论文版权使用授权书 本学位论文作者完全了解重鏖邮电太堂有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查 阅和借阅。本人授权 重鏖噬鱼太堂可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者虢妥习汐袖导师虢墨琴 签字日期：五7 年6 月7 日签字日期：如矽年( 月7 日 重庆邮电大学硕士论文第一章绪论 1 1 引言 第一章绪论 互联网的飞速发展给人们带来了极大的便利。电子商务、金融电子化 等新兴事物的出现极大的改变了人们的传统生活，各个企业、组织纷纷把 网络作为新的活动平台。网络在对现代人类生活质量的提高产生深刻影响 的同时，也给安全带来了巨大的挑战，并且由于软件技术的不完善和安全 技术的滞后使得安全事件连年上升。 国家计算机网络应急技术处理协调中心发布( 2 0 0 6 年网络安全工作报 告【l 】公告称，我国网络安全事故同比有大幅度增加，其中国内政府机构 网页被篡改、国内外商业机构网页被仿冒和针对互联网企业的拒绝服务攻 击事件的影响最为严重。该报告还指出，僵尸网络和木马威胁非常严重， 攻击者非法利益目的更加明确、行为更加嚣张，黑客地下产业链基本形成。 据报道【i l ，国家计算机网络应急技术处理协调中心每天能发现新的漏 洞攻击型恶意代码9 6 个，每天捕获攻击次数3 0 6 9 次。在2 0 0 6 年我国大 陆地区大约有4 5 万个i p 地址( 包含动态i p ) 的主机被植入木马，比同期 增加1 倍。大约有1 0 0 0 多万个i p 地址主机被植入僵尸程序。境外1 6 万 个i p 对中国大陆的僵尸主机进行控制，主要位于美国、韩国等。在0 6 年 中国大陆被篡改的网站达到2 4 4 7 7 个，同比增长约1 倍。其中政府网站被 篡改数量为3 8 3 1 个。2 0 0 6 年，与用户密切相关的漏洞有8 7 个，同比增长 1 6 。其中部分漏洞严重威胁互联网运行安全。大多数漏洞对用户的系统 造成严重威胁。 我国公共互联网网络安全令人担忧。在利益驱动下，未来的网络安全 事故将更加频繁，更趋隐蔽化和复杂化。 目前网络安全主要采取的技术手段有防火墙、安全路由器、身份认证 系统、v p n 设备和系统安全分析系统等。它们对防止网络入侵都有一定的 效果，但是防火墙可以被入侵者绕过，不能防止内部入侵，而且不具备入 侵监控功能，也不能防止病毒攻击，单纯的依靠防御技术不可能满足日益 变化的网络安全需要，而另一项技术一一入侵检测技术则有效地弥补了这 些不足，它可以对网络进行实时监控，在第一时间发现入侵事件的发生并 及时采取相应的防护手段。入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简 称i d s ) 作为防火墙的合理补充，可以检测到是否有攻击者绕过了其它安 重庆邮电大学硕士论文第一章绪论 全保护机制，可以帮助管理员识别和消除保护机制中存在的安全漏洞，因 而得到了迅猛发展。 1 2 入侵检测系统的研究历史 随着i n t e r n e t 的蓬勃发展，近几年来i d s 得到了较深入的研究和广泛 的应用。 1 9 8 7 年，d e n n i n g 发表了著名论文“a ni n t r u s i o n d e t e c t i o nm o d e l ” 【2 】，d e n n i n g 在该文中提出了入侵检测系统的抽象模型。模型基于这样一 个假设：入侵者使用系统的模式与正常用户的使用模式不同，因此可以通 过监控系统的跟踪记录来识别入侵者的异常使用模式，从而检测出入侵者 违反系统安全性的情形。d e n n i n g 的模型是许多i d s 原型的理论基础。1 9 8 8 年为美国空军开发的h a y s t a c k l 3 1 系统，通过与已知攻击模式进行比较来分 析审计数据，判断是否存在入侵，是第一个采用误用检测技术的i d s ，其 后继产品s t a l k e r 4 】是基于主机i d s 的一大进步，在市场上取得了很大成功。 在著名的m o r r i 蠕虫病毒事件后，i d s 得到了更深入的研究，1 9 9 0 年 h e b e r l e i n 领导开发的n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 1 5 】系统，将网络数据 流作为审计数据，是第一个基于网络的i d s 。d i d s ( d i s t r i b u t e di n t r u s i o n d e t e c t i o ns y s t e m ) 6 l 将基于主机和基于网络的检测方法集成在一起，从局域 网各检测点分别采集数据，送至中央数据处理器作全局处理，成为入侵检 测系统发展历史上的一个里程碑。1 9 9 2 年，n i d e s ( n e x t g e n e r a t i o n i n t r u s i o nd e t e c t i o ns y s t e m ) 7 j 对i d e s s 】进行了重大修改，并于两年后发布 了最终测试版，n i d e s 采用分布式入侵检测技术，从多个主机收集和合并 处理审计信息，统计分析算法有大幅增强，基于规则的专家系统更加完善。 1 9 9 4 年普渡大学计算机系c o a s t 9 j 实验室研究了遗传算法在入侵检 测中的应用，使用遗传算法构建的智能代理程序能够识别入侵行为，而且 这些代理具有学习用户操作习惯的初步智能。g r i d s 1 0 】系统利用图论，将 多台机器的行为通过图表直观的表示出来，可用于对大规模自动或协同攻 击的检测。1 9 9 7 年剑桥大学的r o s s a n d e r s o n 和a b i d ak h a t t a k 1 i 】将信息检 索技术整合到入侵检测中，采用对审计跟踪数据建立索引信息，使用贝叶 斯( b a y e s i a n ) 推理等统计算法以优化搜索过程，不放过任何一个导常的状态 和操作，更有效地检测出入侵攻击1 9 9 8 年w e n k el e e 和s a l v a t o r e j s t o l f o 1 2 】将数据挖掘技术应用到入侵检测中，利用数据挖掘中的关联规则 等算法提取程序和用户的行为特征，并根据这些特征建造安全事件的分类 2 重庆邮电大学硕士论文第一章绪论 模型。1 9 9 8 年5 月，在i n t e r n e t 上发生了第一例分布式拒绝服务攻击d d o s 安全事件( d i s t r i b u t e dd e n i a lo fs e r v i c ea t t a c k ) ，d d o s 攻击引发了对i d s 系统新一轮研究热潮。1 9 9 8 年1 2 月，m a n y r o e s c h 推出了s n o r t t t 3 1 第一版， 并免费发布其源代码，s n o r t 是基于网络的i d s ，采用误用检测技术，目前 已成为应用最广泛的i d s 之一。 2 0 0 0 年，c a ( c o m p u t e ra s s o c i a t e si n t e r n a t i o n a l ) 公司发布安全工具 e t r u s t 1 4 1 ，它可以自动识别网络使用模式和网络使用的具体细节，可以对 w e b 和公司内部网络访问策略实施监视，提供了全面的网络保护功能，其 内置主动防御功能可以防止破坏的发生。这种高性能且使用方便的解决方 案在单一软件包中提供了最广泛的监视、入侵和攻击探铡、非法u r l 探 测和阻塞、警告、记录和实时响应，是新一代网络产品的代表。2 0 0 1 年， e n t e r c e p t ! ”】首先提出入侵防御概念，在系统请求被执行之前，即在网络系 统受到攻击之前，将请求与防御数据库中的预定义内容进行比较，然后根 据相应的安全级别采取不同的措施。2 0 0 2 年i s s 公司发布了r e a l s e c u r e n e t w o r ks e n s o r7 0 t 1 6 】，具备更详细的协议分析功能和更出色的碎片重组能 力。 从2 0 世纪9 0 年代到现在，对入侵检测系统的研发工作已呈现出百家 争鸣的繁荣局面，并在分布式和智能化两个方向取得了长足的进展。目前， s r i c s l 、普渡大学、加州大学戴维斯分校、洛斯阿拉莫斯国家实验室、 哥伦比亚大学、新墨西哥大学等机构在这些方面的研究代表了当前的最高 水平。 1 3 入侵检测系统分类 对现有入侵检测系统进行研究，从检测方法、保护对象、响应方式几 个角度可以得到不同的分类。 ( 1 ) 根据检测方法的不同，入侵检测可以分为：误用检测( m i s u s e d e t e c t i o n ) 、异常检测( a n o m a l yd e t e c t i o n ) 。误用检测是指根据已知的入侵 模式来检测入侵，其优点在于准确性很高，大部分入侵检测系统都是基于 误用检测的。误用检测的主要假设是攻击能够用某种方式精确编码，从理 论上讲，编码不可能完全有效的代表所有的攻击，编码本身就有具有不准 性，这样会造成i d s 的误报和漏报。而且误用检测受已有知识的限制不能 发现新的攻击针对误用检测无法检测新的攻击缺点，于是异常检测就被 提出- 它通过对标准的测量来检测滥用行为，如果一个行为模式与标准不 重庆邮电大学硕士论文第一章绪论 同，就会产生报警。优点在于检测未知攻击的能力，只要i d s 能检查出攻 击者与正常调用有较大的异同，就认为是一种攻击。其缺点是随用户行为 的改变系统的正常模式也会发生变化，这点会被攻击者利用而逃避检 测，所以漏报率和误警率较高。 ( 2 ) 根据被保护目标类型和分析数据源不同可以将入侵检测分为：基 于主机( h o s t b a s e d ) 的入侵检测系统、基于网络( n e t w o r k b a s e d ) 的入侵检测 系统【i7 】和混合型入侵检测系统。基于主机的入侵检测系统检测的主要是某 一台或几台主机上的日志文件和审计数据。优点是信息源完备，可以精确 监控每个用户的行为，而且对某些特定的攻击十分有效，比如审计日志能 够显示出缓冲区溢出攻击引起的优先级转移情况，从而能有效检测出缓冲 区溢出攻击。缺点是信息源与操作系统密切相关，由于各操作系统平台的 日志记录形式不同，所以通用性不强，必须为不同的操作系统开发不同的 版本，造成人力财力上的浪费；其次，信息源单一，缺乏相关性，随着黑 客入侵技术的不断发展，系统入侵通常发生在整个网络范围内，涉及一系 列主机，所以仅靠单一主机的信息无法做出准确的判断；再次，对网络底 层攻击检测困难，尽管曰志记录了大量的网络事件信息，但通过审计日志 不能发现网络数据包内容或底层攻击。基于网络的入侵检测系统通过监控 出入网络的通信数据流，依据一定规则对数据流的内容进行分析，从而发 现协议攻击和可能破坏安全策略的特征，做出入侵判断。与基于主机的入 侵检测系统相关其优点是检测速度快、蔽性好、视野更宽、占用资源少。 缺点是对经过加密的数据流进行分析存在困难，难于精确监控用户行为。 混合型入侵检测系统，既参照了系统审计记录和系统日志又结合了对网络 数据包的过滤，充分利用了两种数据源的优点。一些常用的检测系统如 a a f i d l 9 】就是采用的这种设计，混合型入侵检测系统可以从更全面的角度 对宿主主机和所在网段的安全情况进行监控。 ( 3 ) 根据检测系统对入侵攻击的响应方式可分为：主动的入侵检测系 统和被动的入侵检测系统。主动的入侵检测系统在检测出入侵后，可自动 的对目标系统中的漏洞采取修补、强制可疑用户退出系统以及关闭相关服 务等对策。而被动入侵检测系统在检测出入侵攻击后只是产生报警并不做 出相关的应对措施。 1 4 入侵检测系统的现状 入侵检测作为防火墙之后的第二道安全闸门，保护连网计算机系统不 4 重庆邮电大学硕士论文第一章绪论 受到来自内部或外部安全入侵的破坏。目前，几乎所有的入侵检测系统都 是基于异常检测模型、误用检测模型或两者的结合。主要误用检测技术有 专家系统 3 - s l 、状态迁移分析【1 们、模型推理【1 、模式匹配 1 3 , 1 6 】；而主要的 异常检测技术有神经网络，数据挖掘【1 2 l ，概率统计等。 在取得许多成果的同时，入侵检测系统还面临着一些困难；误用检测 模型不能检测未知的入侵，因而具有较高的漏警率；而由于对系统正常工 作状态进行全面准备建模有很大的困难，异常检测模型通常误报率都较 高。 1 5 论文背景及工作内容 互联网的普及使安全问题成为网络社会的一个重要课题。基于网络的 i d s 每天可以产生成千上万的报警，综合更多的安全产品报警数量会更加 庞大。大量的报警，让分析人员不堪重负。 在大量的报警中，很大的一部分是误报警。一些是对危害性很低的报 警( 比如对非活动端口的攻击等) ，也有一些是对危害性很大的攻击的报警。 如何区别出它们并采取适当的措施具有很大的挑战性，同时大量低级别的 报警也对生成综合全局的安全报警带来困难。 为了解决这些问题，研究人员开始研究报警关联技术，用来综合分析 多个入侵检测系统产生的报警并做出简要的网络安全状态报告。报警关联 技术通过对来自不同类型i d s 和其他安全设备所产生的报警信息进行关 联，充分利用各种安全产品的互补性，可以有效实现如下目标： 减少重复报警。基于规则的入侵检测系统不能利用过去的经验，所以 会对同一个攻击不断地产生大量的重复报警，通过报警关联可以在一定的 时间窗内避免重复的报警。 降低误报警。通过对攻击前后报警的联系，结合所监控的环境，报警 关联可以有效地去除误报警。e m e r a l d t 婚】是美国国防部与国际s r i 合作 开发的入侵检测系统，其中使了一个m c o r r e l a t o r 部件，进行报警关联， 有效地减少了误报率。 降低漏报警。目前，没有一种单一的i d s 能够检测到所有的网络攻击， 不同i d s 之间的报警通过关联，可以相互补充，防止漏报的发生。 发现高层攻击策略。将入侵过程的一系列攻击活动关联在一起，重建 攻击过程，这样就可以对入侵的整体情况进行描述，有利于对入侵的理解， 发现攻击策略，克服了以往i d s 那种检测结果过于细化和底层化的缺点， 5 重庆邮电大学硕士论文第一章绪论 x q i n t l 9 】等根据概率来关联和分析攻击场景，在关联低层的单个报警，识 别出攻击者的攻击策略和意图等方面做出了一些有效的研究。 在当前的各种关联方法中大都用到了报警聚类技术。k l a u s 和m a r e d a c i c r 对a o i 算法进行了一定的改进，形成了k m a o i t 2 0 1 算法。它能对历 史警报数据进行有效的聚类分析，抽象出误报的分布规律，形成规则，指 导对未来警报的触发。经实验证明，应用k m - a o i 算法后，系统警报负荷 降低了约7 0 ，显然这是一种非常有效的降低入侵检测系统误报率的方法。 然而，随着应用的不断推广，k m a o i 算法也暴露出很多问题，在处理连 续属性时容易产生过度归约。另外算法没有考虑到报警记录之间可能存在 的隐性关系。何云鹏【2 l j 等针对这个问题对k m - a o i 算法进行了改进，引进 了p e n g i z 2 l 等人提出的入侵前因和入侵后果概念，并运用模糊矩阵来处理报 警信息。这一改进保留了基于m i ns i z e 的面向属性归约算法处理离散属性 的优点，较好地解决了连续属性过度归约的问题，并且兼顾了报警间可能 的潜在关系，但是当分析的数据量偏大时，它的运行效率过低。现在我们 已经进入一个信息爆炸的时代，待处理的数据堪称海量，系统中的警报信 息也不例外，数据规模呈指数增长。研究新的、能够处理海量数据的报警 聚类算法势在必行。如何在现有的入侵检测系统报警信息分析、处理技术 和方法的研究基础上做出改进，提出一个能够适应海量数据的报警处理方 案，成为当前的一个重要研究方向。 论文的主要研究内容包括：报警信息关联研究，基于密度的报警聚类 算法，算法的实现和模拟实验验证。论文工作得到国家自然科学基金 ( n o 6 0 3 7 3 1 1 1 ) 、重庆自然科学基金重点项目( n o 2 0 0 5 b a 2 0 0 3 ) 、重庆市自 然科学基金项目( n o 2 0 0 5 b b 2 0 6 3 ，n o 2 0 0 5 b b 2 0 5 2 ) 、重庆市教委科学技 术研究顶目( n o 0 4 0 5 0 9 ) ，重庆邮电大学科研基金项目( n o a 2 0 0 6 0 5 ) 的资 助。 1 4 论文组织与结构 本文在现有的入侵检测系统报警关联研究的基础上做出改进，在报警 处理中引入新的理论方法，探讨了数据挖掘在报警聚类中的应用，论文的 基本组织结构如下： 第一章：绪论。介绍了入侵检测系统的研究历史、分类和现状，以及 本论文的研究背景和研究工作。 第二章：入侵检测系统报警关联。介绍了报警关联的概念，体系结构 6 重庆邮电大学硕士论文第一章绪论 和当前相关的算法，分类讨论了目前各种算法的优缺点，指出了当前存在 的许多问题，包括算法的实时处理能力、扩展性和健壮性等方面都有待提 高，尤其是处理海量数据和抗噪声干扰方面更有待进一步改进。 第三章：基于密度的报警聚类算法。介绍了聚类的相关概念，数据表 示方法，距离的度量，基于密度的算法，并在此基础上提出了改进算法和 相关分析。 第四章：模拟实验。搭建婪验平台，制定实验方案，并对实验结果进 行分析，比较了算法的聚类效果和性能，并通过聚类对攻击意图进行了推 断。介绍了实验数据集的特点，环境信息，通过大量的实验分析比较算法 之间的优缺点。 第五章：总结和展望。对本论文的主题进行讨论，总结研究的贡献， 并探讨其中的问题、不足与未来的研究方向。 7 重庆邮电大学硕士论文 第二章入侵检测系统报警关联 2 1 引言 第二章入侵检测系统报警关联 当前在入侵检测研究领域，有关报警关联的研究项目、工具和产品越 来越多，主要原因有以下几点：首先，当前的检测器发出的报警过于底层 化。对一次攻击或异常现象( 比如一次端口扫描) ，常常会产生大量的报警。 如此大量的报警常会让管理员很难从中找到真正的恶意事件。当用多个检 测器对同一个系统从不同角度进行监测时，情况会变得更加严重，而且， 大部分的入侵过程都是由一系列的入侵动作组成，这样就会引发许多异常 事件和入侵报警，这些报警信息相互之间存在联系，属于同一个攻击过程。 其次，有研究表明在大量的报警中，有9 9 以上都是误报警1 2 3 1 。因此，需 要一种技术能够自动的识别和丢弃误报警，降低处理真实报警的代价。事 实上，不仅要处理单一的检测器所产生的报警，而且需要对各安全产品的 报警信息进行综合分析，融合多种报警，从而更有效地发现攻击意图，得 到更准确、更实用、更易理解的深层次报告。 基于以上事实，人们提出了对报警进行聚合与关联的报警处理方法。 通过对报警信息进行处理，不但可以有效降低误报，消除重复报警，还可 以发现入侵事件之间所存在的逻辑关系。此项技术还可以将来自不同安全 产品的报警进行关联和融合，实现网络系统的立体防御。 2 2 相关知识 2 2 1 基本概念 报警关联( a l e r tc o r r e l a t i o n ) 报警关联【2 4 】指综合多个报警，挖掘报警之间的关系，对这些报警产生 新的含义。综合多源报警，从看似不相关的报警中挖掘出其中存在的关系 和特征，是安全管理中的一大挑战【”1 。得到了这些特征，安全管理员就可 以改变安全报警的响应策略并采取积极措施防止以后类似报警再次发生。 一般来讲，将所有这些报警转换成可利用信息的技术，称为报警关联。 原始报警( r o w a l e r t ) 原始报警是指直接从入侵检测或其他安全设备得到的报警。这些报警 8 重庆邮电大学硕士论文第二章入侵检测系统报警关联 都有各自特定的格式，所以通用性不强。早在1 9 9 7 年，美国国防部高级 研究机构( d a r p a ) 就起动了入侵检测通用框架c i d f 2 6 ( t h ec o m m o n i n t r u s i o nd e t e c t i o nf r a m e w o r k ) 研究。为了增强报警的通用性， i d w g ”l ( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ) 小组发布了i d m e f ( t h e i n t r u s i o nd e t e c t i o nm e s s a g ee x c h a n g ef o r m a t ) ，该数据模型定义了报警数据 格式和通信方法，可以和管理系统进行信息交互。i d w g 还定义了报警通 信协议i d x p t m 。i d m e f 2 7 1 描述了入侵检测的报警模型和使用方法，并用 可扩展标记语言x m l ( t h ee x t e n s i b l em a r k u pl a n g u a g e ) 进行了实现。 一超报警( m e t a a l e r t s ) 超报警是在报警的聚合与关联中，综合多个原始报警或其他超报警所 产生的报警。超报警概念的提出有利于层次化的报警聚合与关联。p n i n g 提出的h y p e r a l e r t 2 9 1 就是一个实例，其中的原始报警补充了“前因”和 “后果”信息，得到超报警。另外f c u p p e n 3 0 ；i 生法国的m i r a d o r 项目 中，针对不同i d s s 对同一攻击产生的简单报警进行聚类后得到一个超报 警。在美国的e m e r a l d 1 8 】项目中，超报警被定义为从多个异构的检测器 产生的报警中进行归并后得到的一个或多个报警。e m e r a l d 的报警关联 是在超报警之上进行的操作。 2 2 2 报警基本关联操作 对报警进行关联有很多方法，我们可以把关联看作是一个有输入和输 出的黑箱，在黑箱里可以使用不同的技术进行操作，这些技术我们将会在 第2 3 节进行讨论。技术虽然多种多样，但是我们把关联进行分解细化， 可以看到对报警主要有8 个方面的基本操作 3 h ：压缩、过滤、选择性抑制、 阈值触发、修改、概括、增加信息和细化。 - 压缩( c o m p r e s s i o n ) 压缩指在给定的时间窗内，将多次发生的同一报警压缩成一条报警并 给出报警发生的次数。功能是节省存储空间和减少传输时间。很多压缩方 法都会丢失一些信息，如图2 1 关联操作，压缩所示，在给定的时间窗【t 1 ，t 2 】 内，有5 条报警产生，其中有3 种a 类报警，2 种b 类报警，经过压缩处 理后，得到一条压缩报警。但是得到的报警丢失了压缩前每条报警到达的 具体时刻信息。 9 重庆邮电大学硕士论文第二章入侵检测系统报警关联 a l e r t a # a i e r ta x 3 + a l e r tb x 2 图2 1 关联操作，压缩 过滤( f i l t e r i n g ) 过滤是指过滤掉含有指定属性或参数的报警，对报警数量进行抑制。 过滤只对符合过滤规则的报警有影响，这种操作会丢失很多信息。如图2 2 所示对三种不同的报警，经过过滤后，只有a 3 类报警被送往管理员。 a l e r t a 3 属性a 图2 2 关联操作，过滤 一选择性抑制( s e l e c t i v es u p p r e s s i o n ) 选择性抑制根据关联系统产生的规则，丢弃满足条件的报警。规则往 往同报警之间的时序关系和管理员制定的报警优先级相关。这也是一种会 导致信息丢失的操作，如图2 3 ，其中的规则表明在报警a l 后t 秒内到达 的报警a 2 应当被丢弃。 a l e r t a l 图2 3 关联操作，选择性抑制 _ 阈值触发( t h r e s h o l d i n g ) 只有同一类型的报警，在一个特定的时间窗内发生的次数达到预先定 义的阐值时，才产生一条新报警。阙值触发会丢弃所有未达到规定阈值的 报警，也是一种有损操作。如图2 4 所示，对同一类报警a i ，a 2 ，a 3 达 l o 骞 重庆邮电大学硕士论文 第二章入侵检测系统报警关联 到了规定的阈值，产生了新报警。 a l e r t a l 5 匾( t h r e s h o l d = 3 ) 磅嘲l ：燮兰：j 啦 趸噩碗 t y p e l ” o l ld n ss e r v e r 广j 。面耐 d n ss e r v e r i sa t t a e k e d 图2 6 关联操作，概括 信息增加( e n r i c h m e n t ) 信息增加是根据报警闻的层次关系，将报警替换成信息更丰富的报 警。和前面几种方法不同的是，信息增加操作不会丢失信息。例如，在图 2 7 中，报警a 表示对特洛伊木马的报警，属性a 给出了目标主机的i p 地 重庆邮电大学硕士论文 第二章入侵检测系统报警关联 址，属性b 给出报警的类型( 比如为t c p 端口扫描) 。经过信息增加处理后， 报警b 不仅包含了原来的属性，而且增加了属性c 。指出了可能导致的攻 击，属性d 包含了数据库中已有的同种类型报警的个数。 嗲attributea 匮 a t t r i b u t e 矗 a t t r i b u t eb a n r i b u t ec a t t r i b u t ed 图2 7 关联操作，信息增加 i i 细化( s p e c i a l i z a t i o n ) 细化是概括的逆操作，根据规则库和报警的信息推绎出更具体的报 警。这个操作在高层结果的具体化上有很大的用处。从一个给定的报警产 生多个报警给管理员会使报告更加详细。在图2 8 中，关联引擎收到了报 警a ，但是产生报警a 的前提是报警a 1 和a 2 已经发生，因此报警a 可 以细化成这两个报警。 图2 8 关联操作，细化 2 3 报警关联的体系结构 报警关联是指识别和收集不同i d s 产生的报警，规范为统一格式，并 通过聚类，归并和关联等方式来识别报警之间存在的联系、重建攻击场景、 发现深层次报警，产生综合报警响应的技术。报警关联大多采用易于分布 式实现的分层结构，其基本模型如图2 9 所示。 重庆邮电大学硕士论文第二章入侵检测系统报警关联 图2 9 报警关联模型 由于传统的i d s 一般局限于单一的主机或网络架构，对异构系统及大 规模网络的监测明显不足，同时不同的i d s 系统各有优缺点，为了实现 i n t e r n e t 环境下的入侵检测和安全响应，不同i d s 产品进行搭配使用可 充分发挥各自的特点，增强了互补性。采用多个异构i d s 报警系统，可以 使不同来源的报警信息相互补充、相互印证，有利于真正理解攻击的实质。 报警收集和预处理多为空间上的横向融合操作，一般都在连接多个异构 i d s 独立的关联系统中进行。 收集模块收集来自不同i d s 产生的报警，其中预处理模块使用标准的 i d m e f 格式来对这些报警格式进行规范。一般来说，报警关联算法处理的 都是经过聚类，归并等方法处理后的超报警。考虑到入侵者为了达到入侵 目的，他通常会执行一系列的攻击，报警关联就是要分析所得到的初始报 警得到高层次的攻击报告。由于关联算法是报警关联的核心，直接决定着 报警关联系统的性能，因此后文将重点分析。 2 4 报警关联相关算法 通常我们可以把关联算法分成两类，第一类是需要先验知识的算法。 另一类是不需要先验知识的关联算法。 2 4 1 需要先验知识的关联算法 最先得到关注的就是需要先验知识的关联算法。根据知识的不同类型 可以进一步细分为基于攻击场景知识的关联算法和基于单个攻击前因和 重庆邮电大学硕士论文第二章入侵检测系统报警关联 后果信息的关联算法。 基于攻击场景知识的关联算法 一次完整的攻击过程通常经历五个步骤p 引，即：目标系统信息收集、 目标漏洞探测、权限提升、实施破坏、攻击痕迹清除。因此，可对属同一 个攻击场景的报警信息进行关联。 攻击场景是指具有共同特征的事件集合。报警信息中的特征都可作为 关联属性，目前一般采用三个聚合属性：攻击源、攻击目标、攻击类型。 场景定义为：( 攻击源，攻击目标，报警类型，严重级别) 。 文 3 4 】根据攻击者采取的攻击方法定义了七种攻击场景：( 1 ) 具有相 同攻击源、攻击目标、攻击类型，如攻击者对w e b 服务器发动一系列的 w e b 攻击；( 2 ) 具有相同攻击源、攻击目标，如攻击者对目标的不同服务 发动攻击；( 3 ) 具有相同攻击目标、攻击类型，如攻击者共同协作以对同 一目标实行分布式攻击，使之拒绝服务；( 4 ) 具有相同攻击源、攻击类型， 如攻击者对不同的域名服务器发动攻击；( 5 ) 具有相同攻击源，如攻击者 对不同目标发动不同攻击；( 6 ) 具有相同攻击目标，如分布式攻击，不同 攻击者针对系统不同漏洞发动攻击；( 7 ) 具有相同攻击类型，如不同攻击 者针对同一漏洞发动攻击。该方法的优点是方法简单，容易实现，开销小。 其缺点是需要事先知道相应的攻击场景，不能发现新的攻击场景。 基于场景匹配的方法维护起来代价比较高，而且不能自动适应环境的 改变，扩展性也不好，在过多的条件下可靠性不高，它们主要适用于管理 的机器不多而且环境很少发生变化的情况。由于知识的限定，这种系统不 能处理一些与场景不相匹配的情况，不能发现新的攻击，这影响到它的健 壮性。 一基于单个攻击前因和后果信息的关联算法 任何一个攻击都具有前因和后果。前因就是攻击成功所必须具有的前 提条件，后果就是攻击成功实施后所造成的结果。在一个由多个攻击动作 组成的入侵中，前一个攻击的后果就是下一个攻击的前因。基于这一思想， 首先定义每一个单独攻击的前因、后果，然后就可以将具有因果关系的攻 击关联在一起，重现整个攻击过程。 h c p n l 3 5 】是一种典型的基于攻击前因和后果的关联方法。该模型可以 通过引入n o r m a l 状态来吸收误警，为生成的报告提供了置信水平，可以用 于相应决策。但是存在容易被攻击者欺骗的缺陷，同时很难获得经过准确 标记的训练数据集。 这类关联算法由于只需指出单个攻击的前因和后果，不必事先知道整 1 4 重庆邮电大学硕士论文 第二章入侵检测系统报警关联 个攻击过程，所以不必手工产生大量的关联规则。它还可以识别和报告不 同攻击组合形成的新攻击过程，但是不能处理新攻击( 无法知道其前因、后 果) ，只适用于攻击步骤的关联。另外，由于关联时搜索空间较大，对计算 机资源消耗大，不适合在线操作。 2 4 2 不需要先验知识的关联算法 不需要先验知识的关联算法最常用的是聚类关联法。这类算法将具有 某些相同或相近特征的报警关联起来，如具有相同时间戳、目的地址等的 报警关联起来。这种方法多采用统计学方法、观察面较宽。 基于攻击属性相似性的关联算法 研究发现，属于同一个攻击的报警常含有一些相似的属性 3 6 , 3 7 】。 v a l d e s 3 8 】等提出了基于概率相似度的入侵报警关联系统，基于攻击属性相 似性的关联方法通过以下几个步骤对报警进行关联： 首先，计算报警不同属性之间的相似度。其次，当新的报警到来时， 与已存在的所有报警线程的相应属性值进行比较，计算它们之间的相似 度。最后，将报警与报警线程相似度最大、并超过设定阈值的报警融合到 报警线程中。若不超过设定阈值，则生成一个新的报警线程。 实验结果表明，通过该关联分析，可减少1 2 - 2 3 的报警数据，缺点 是分析比较的报警必须具有共有的特征，也不能发现报警间的因果关系。 一基于统计因果分析进行报警关联 统计时序方法主要是基于如下事实的启发 3 7 j ：在多步攻击所产生的报 警属性之间具有统计的相似性，攻击各步之间存在因果关系。如果步骤x 是步骤y 的前因，那么x 一定先于y 发生。次攻击所组成的各个步骤 最有可能在一个时间窗口内以一个较高的概率发生。基于统计因果分析的 事件关联方法从理论上更接近基于异常的入侵检测方法，是目前提出的最 新的关联方法之一。q i n l l 9 1 等人引入了时间序列分析的预测方法，核心的 关联算法采用了一种时序因果分析算法g c t ( g r a n g e rc a u s a l i t yt e s t ) ，通过 计算报警事件之间的o c l ( g r a n g e rc a u s a l i t yi n d e x ) 指数，实现报警关联该 关联方法的优点是可以发现新的攻击过程或报警关联序列，不需要攻击行 为的先验知识，从而减少了管理员对关联系统的维护工作量。但实际上整 个关联算法仍然离不开领域知识和专家经验的支持，不论在其报警优先级 计算中的b a y e s 网络各节点的c p t 确定，还是在g c t 关联所产生的候选 因果报警的检验等工作，都是依据经验来进行的。直到今天，这种统计因 重庆邮电大学硕士论文第二章入侵检测系统报警关联 果分析方法还不能进行完整的攻击过程的关联