（通信与信息系统专业论文）基于报警关联分析的智能入侵检测技术.pdf

摘要 摘要 入侵检测技术是继防火墙、数据加密等传统安全保护措施之后的新一代安全保 障技术，是p 2 d r 网络安全模型中的重要环节，它对系统的安全防护起着至关重要 的作用。但是在p 2 d r 安全模型下，入侵检测系统( i d s ) 与安全信息事件管理系 统( s i e m ) 的关系是单向的、孤立的、静态的，这使得入侵检测系统不可避免的 具有一系列缺陷，如滞后性、高漏报率、高误报率、产生海量琐碎的日志等。 为了改善i d s 存在的上述缺陷，本论文提出种基于报警关联分析的智能入侵 检测技术。该技术的基础为一个基于状态迁移的i d s 框架，对每种入侵行为的检 测方式都围绕着一个攻击场景来设计、表示和实施，每个攻击场景相当于一个有 限状态机( f s m ) ，将检测过程看作是系统安全状态在攻击场景中的变迁，当系统 安全状态随着一系列安全事件的发生而转移到“报警”状态时，i d s 发出报警信息。 系统对这些报警信息做分布式采集、集中存储和处理，并由一个关联分析引擎来 挖掘报警信息之间存在的关系和联系。设计一种调整方式，使得原有i d s 的有限 状态机可以根据关联分析的结果而动态地、实时地进行调整，从而达到改进检测 方式、降低漏报率误报率、减少报警信息数量和增加报警信息质量的目的。 本论文的工作主要体现在如下方面： 1 研究并搭建基于状态迁移的入侵检测系统； 2 对入侵检测系统的报警信息进行标准格式化和集中收集、存储； 3 研究、选择并实现数据挖掘领域中的关联分析方法，对采集的报警信息数 据进行关联分析，挖掘出有益于改进入侵检测性能的、存在于出报警信息 间的关系和联系： 4 设计并实现算法，根据关联分析的结果而动态改变入侵检测系统的状态 机，即改变入侵检测的方式。 关键词：入侵检测有限状态机数据挖掘关联分析 a b s t r a c t a b s t r a c t i n t r u s i o nd e t e c t i o nt e c h n o l o g yi san e w g e n e r a t i o ns e c u r i t yt e c h n o l o g ya f t e rt h e t r a d i t i o n a ls e c u r i t yt e c h n o l o g ys u c ha sf i r e w a l l ，d a t ae n c r y p t i o n ，a n ds oo n i ti sa n i m p o r t a n tp a r to ft h ep 2 d rs e c u r i t ym o d e l ，a n dp l a y sav i t a lr o l ei nt h ep r o t e c t i o no f s y s t e ms e c u r i t y h o w e v e r , i n p 2 d rs e c u r i t ym o d e l ，t h er e l a t i o n s h i pb e t w e e nt h e i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) a n dt h es e c u r i t yi n f o r m a t i o n e v e n tm a n a g e m e n t ( s i e m ) i so n e w a y , i s o l a t e d ，a n ds t a t i c ，w h i c hi n e v i t a b l ym a k e st h ei n t r u s i o nd e t e c t i o ns y s t e m 诵t l las e r i e so fd e f e c t s ，s u c ha sh y s t e r e s i s ，h i g ho m i s s i o nr a t e ，h i g hf a l s ea l a r mr a t e ，a n d m a s s i v el o g s i no r d e rt oo v e r c o m et h ea b o v e - m e n t i o n e ds h o r t c o m i n g so fi d s ，t h i sp a p e r p r e s e n t sa ni n t e l l i g e n ti n t r u s i o nd e t e c t i o nt e c h n o l o g yb a s e do na s s o c i a t i o na n a l y s i so f a l a r mm e s s a g e t h ef o u n d a t i o no ft h i st e c h n o l o g yi sas t a t e b a s e di d sf r a m e w o r k ， w h i c ht r a n s f o r m st h ed e s i g n ，r e p r e s e n t a t i o na n di m p l e m e n t a t i o no fe a c hi n t r u s i o n d e t e c t i o nm e t h o di n t ot h ef i n i t es t a t em a c h i n e ( a t t a c ks c e n a r i o ) f i e l d i tr e g a r d st h e d e t e c t i n gp r o c e s sa st h em i g r a t i o nb e t w e e nt h ed i f f e r e n ts e c u r i t y s t a t e si na t t a c k s c e n a r i o w h e nt h es y s t e ms e c u r i t ys t a t u si sb e i n gt r a n s f e r r e df r o mt h e ”s a f e ”s t a t et o t h e ”a l a r m ”s t a t e ，t h ei d sw i l li s s u ea na l a r mm e s s a g e t h es y s t e mg a t h e r sa n ds t o r e s t h e s ea l a r mm e s s a g e s ，a n dt h e nm i n e st h er e l a t i o n s h i pb e t w e e nt h e mb ya na s s o c i a t i o n a n a l y s i se n g i n e a f t e rt h a t ，t h ea t t a c ks c e n a r i ow i l lb ed y n a m i c a l l yc h a n g e dw i t ht h e a n a l y s i sr e s u l t s ，t oa c h i e v et h ep u r p o s eo fi m p r o v i n gd e t e c t i o nm e t h o d s ，r e d u c i n g o m i s s i o nr a t e f a l s ea l a r mr a t e ，r e d u c i n gt h en u m b e ro fa l a r mi n f o r m a t i o n ，a n d i n c r e a s i n gt h eq u a l i t yo f a l a r mi n f o r m a t i o n t h em a i nc o n t r i b u t i o n si nt h i sp a p e ra r ea sf o l l o w s ： 1 r e s e a r c ha n db u i l das t a t e b a s e di n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) ； 2 f o r m a ta l a r mm e s s a g e sb a s e do nc e r t a i ns t a n d a r d s ，t h e ng a t h e ra n ds t o r et h e s e a l a r mm e s s a g e so fi d s ； 3 c a r r yo na l la s s o c i a t i o na n a l y s i so ft h ea l a r mm e s s a g e s ，a n dt h e nm i n et h ei n n e r r e l a t i o n s h i pb e t w e e nt h e m ； 4 d e s i g na n di m p l e m e n tt h es y s t e m ，s ot h a tt h em e t h o do fi n t r u s i o nd e t e c t i o nc a n b ed y n a m i c a l l yc h a n g e dw i t ht h ea n a l y s i sr e s u l t s ，t h r o u g hc h a n g i n gt h ea t t a c ks c e n a r i o k e y w o r d s ：i n t r u s i o nd e t e c t i o n f s md a t am i n i n ga s s o c i a t i o na n a l y s i s 声明 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： z 纽日期尘型巴2 ：于 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名： 导师签名： 日期型! 丝主：丝 日期砬! 叟：芝：! 生 第一章绪论 第一章绪论 入侵检测川是各类网络安全防护系统中必不可少的组成部分，是网络安全技术 研究的一个传统领域。本章首先从著名的p 2 d r 2 1 安全模型入手，介绍入侵检测系 统( i d s ) 在网络安全防护体系中的位置与作用，分析了入侵检测系统在部署和使 用上所存在的局限性；然后介绍了入侵检测技术的发展历程和目前国内外在入侵 检测方面的研究现状：最后对本文的主要研究内容和章节安排做了说明。 1 1 研究背景与意义 p 2 d r 模型是目前信息安全领域具有代表性的安全模型，该模型包含四个主要 部分1 3 j ： ( 1 ) 安全策略( p o l i c y ) ：策略是模型的核心，所有的防护、检测和响应都是依 据安全策略实施的。网络安全策略一般由总体安全策略和具体安全策略2 个部分 组成。 ( 2 ) 防护( p r o t e c t i o n ) ：防护是根据系统可能出现的安全问题而采取的预防措 施，这些措施通过传统的静态安全技术实现。采用的防护技术通常包括数据加密、 身份认证、访问控制、授权和虚拟专用网( v p n ) 技术、防火墙、安全扫描和数 据备份等。 ( 3 ) 检测( d e t e c t i o n ) ：当攻击者穿透防护系统，或现有的防护系统出现安全 漏洞时，检测功能就发挥作用，与防护系统形成互补。检测是动态响应的依据。 ( 4 ) 响应( r e s p o n s e ) ：系统一旦检测到入侵，响应系统就丌始工作，进行事 件处理。响应包括紧急响应和恢复处理，恢复处理又包括系统恢复和信息恢复。 p 2 d r 模型的主体思想是在整体的安全策略控制和指导下，在综合运用防护工 具( 如防火墙、操作系统身份认证、加密等) 的同时，利用检测工具( 如漏洞评估、 入侵检测等) 了解和评估系统的安全状态，及时发现网络中存在的安全威胁与攻击 行为，并通过适当的响应将系统调整到“最安全”和“风险最低”的状态。防护、 检测和响应组成了一个完整的、动态的安全循环，在安全策略的指导下保证信息 系统的安全。如图1 1 所示： 2 一 基于报警关联分析的智能入侵检测技术 图1 1p 2 d r 安全模型 p 2 d r 模型有良好的数学基础，研究者在该模型的框架下建立了基于时间的安 全理论1 4 】。该理论的基本原理就是认为信息安全相关的所有活动，不管是攻击行为、 防护行为、检测行为还是响应行为等等，都与时间密切相关，都随着时间而动态 推进，因此可以用时间来衡量一个体系的安全性和安全能力。通过对该模型的分 析1 5 】，可以得出这样的结论：为保障信息系统的安全，管理员应该通过各种技术手 段来尽可能地延长防护时间，尽可能地减少检测时间和响应时间。而延长防护时 间就需要加强防护措施，如防火墙功能的加强、减少检测时间就需要加强i d s 的 检测能力与效率、减少响应时间就需要建立良好的响应机制，包括与防火墙、i d s 、 漏洞扫描器的联动等。 由此可见，检测是p 2 d r 网络安全模型中的重要环节，对网络的安全防护起着 至关重要的作用，使系统实现了从静态防护到动态防护的转变。其中的入侵检测 技术是继防火墙、数据加密等传统安全保护措施之后的新一代安全保障技术。计 算机系统各部分在设计、实现和部署使用中会给系统带来漏洞，目前尚无经济可 行的办法完全消除这些隐患，因此有效的入侵检测成为了保证系统安全的必不可 少的手段。入侵检测技术通过研究入侵的过程和特征，使网络安全系统能及时发 现攻击者的入侵企图和入侵行为，并向安全信息事件管理( s i e m ) 系统发送报警 信息，继而驱动响应策略，来阻断攻击或控制受损范围。优秀的入侵检测是保证 快速响应的关键。 但是，p 2 d r 模型描述的是一个单向循环的系统。在p 2 d r 安全模型下，i d s 与s i e m 的关系是单向的、孤立的、静态的作为检测环节和响应环节之间的桥 梁，s i e m 是单向通行的，它对i d s 提交的报警信息进行分析和处理，但其结果只 能影响到系统对入侵行为的响应，却没有对入侵检测的方式产生任何影响。当同 样的入侵再次发生时，i d s 的检测方法没有发生任何改变。i d s 只能由管理人员依 据防护环节的需求和具体情况来静态的配置，这样的工作方式使得i d s 不可避免 第一章绪论 3 一 的具有一系列缺陷，主要体现在： ( 1 ) 滞后性。当出现新的安全形势( 如新的攻击、新漏洞、新应用等等) ， 需要补充或改变i d s 的检测方式时，必须等管理人员认识到这些新需求 并做出相应的配置之后，i d s 才会以新方式工作。在出现新需求到配置 生效这段时间内，i d s 的检测效果表现出了滞后性，无法起到应有的作 用。 ( 2 ) 高漏报率。对网络的攻击方式种类繁多、花样多变，人为设置的检测规 则很难对所有的入侵行为都做到有效的识别，对于庞大规则库的管理也 是让管理员头痛的事。因此稍有不慎便会有入侵者成功骗过i d s 实施攻 击。 ( 3 ) 高误报率和海量日志。这是限制i d s 发展的一个核心问题，即使是目前 世界上最优秀的入侵检测系统，也只有7 5 的正确率。x e r o xp a l oa l t 研究中心经过实验发现【6 j ，一个入侵检测系统通常每天都会产生成百上 千条警报，而这些警报中大部分都是误报，在真正的警报中，又有很多 是试探行为，并没有实现真正的攻击，真正需要用户关注的警报并不多。 用户往往因为无法忍受众多的误报，而将i d s 束之高阁，使其成为了摆 设。其根本原因在于i d s 的报警信息中无法有效的体现它们之间的逻辑 关系。 为了改变i d s 与s i e m 之间这种单向、孤立、静态的关系，从而改善i d s 存在 的上述缺陷，本课题尝试研究一种智能的入侵检测和报警信息处理的方式，对入 侵检测系统提交的报警信息进行关联分析，挖掘出报警信息之间存在的内在关系 和联系，再将分析结果反馈到入侵检测系统中，使其动态地调整和改变对入侵行 为的检测方式，从而达到提高检测速度与精度、降低误报率、减少报警数量的目 的。 1 2 入侵检测系统的发展及研究现状 1 2 1 入侵检测系统的发展历程 自1 9 8 0 年a n d e r s o n 提出入侵检测【8 1 概念后，随着攻击的不断多样化、复杂化， 入侵检测技术也在飞速的发展。目前，入侵检测技术已经成为网络安全领域研究 的热点问题。总的来说，入侵检测的发展大致分为以下两个阶段【7 】： ( 1 ) 诞生阶段 1 9 7 7 年和1 9 7 8 年，美国国家标准局召开由政府和商业e d p 组织代表参加的会 4 一 基丁报警关联分析的智能入侵检测技术 议，对当时的安全、审计和控制的状况进行讨论。会上，美国国防部增加了计算 机审计的详细度要求，并把安全审计列为一种安全机制，j a m e sp - a n d e r s o n 负责主 持相关工作。1 9 8 0 年4 月，a n d e r s o n 为美国空军做了一份题为c o m p u t e rs e c u r i t y t h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ( 计算机安全威胁监控与监视) 的技术报告，报 告第一次详细阐述了入侵检测的概念，提出了一种对计算机系统风险和威胁的分 类方法，并将威胁分为外部渗透、内部渗透和不法行为三种，还提出必须修改现 有审计制度，利用审计跟踪数据监视入侵活动的思想1 8 j 。这份报告被公认为是有关 入侵检测的最早论述，也是入侵检测历史上的一个罩程碑。 1 9 8 6 年，为检测用户对数据库的异常访问，在i b m 主机上用c o b o l 开发的 d i s c o v e r y 系统1 9 j 被认为是最早的基于主机的i d s 雏形之一。 1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s r i c s l ( s r i 公司计 算机科学实验室) 的p e t e rn e u m a n n 提出一个实时入侵检测系统模型i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ，入侵检测专家系统) o l ，首次将入侵检测技术作 为一种计算机系统安全防御措施提出。与传统加密和访问控制方法相比，i d e s 是 一种全新的计算机安全措施。同时，d e n n i n g 于1 9 8 6 年发表的论文a ni n t r u s i o n d e t e c t i o nm o d e l ( 入侵检测模型) 】是入侵检测领域的另一篇开山之作。 1 9 8 8 年，t e r e s al u n t l l 2 l ，等人进一步改进d e n n i n g 的入侵检测模型，提出了与 系统平台无关的实时检测思想，用于检测针对单一主机的入侵行为。开发出的i d e s 系统包括一个异常检测器和一个专家系统，分别用于统计异常模型的建立和基于 规则的特征分析检测。 同年，美国军方和政府为检测空军基地使用u n i s y s 大型主机可能遭受的入侵 活动，组织研究人员开发出h a y s t a c k l l 3 l 系统：同时开发的入侵检测系统还包括： 美国国家安全局为m u l t i c s 主机开发的m i d a s t l 4 】( m u l t i c si n t r u s i o nd e t e c t i o na n d a l e r t i n gs y s t e m ) 、l o sa l a m o s 美国国家实验室丌发的w & s i ”1 ( w i s d o ma n ds e n s e ) 、 p l a n n i n gr e s e a r c h 公司开发的i s o a ! m l ( i n f o r m a t i o ns e c u r i t yo f f i c e r sa s s i s t a n t ) 等等。 然而，这一阶段提出的所有入侵检测系统都处于实验室研究阶段，应用范围有 限，功能上也很不完备。 ( 2 ) 发展成熟阶段 在诞生阶段，几乎所有的入侵检测系统都采用基于主机的入侵检测方法( 通过 审查和分析主机上操作系统的同志信息来判断是否存在入侵) 。然而，随着网络技 术的不断发展成熟，网络应用的越来越广泛，单独采用这种检测方法已无法有效 检测网络入侵行为。 2 0 世纪9 0 年代之后入侵检测系统的研究开始呈现出百家争鸣的繁荣局面，它 们主要是在分布式和智能化两个方向对入侵检测技术进行进一步的深入研究。 1 9 9 0 年，加州大学戴维斯分校的l t h e b e r l e i n 等人提出一个新的概念：基于 第一章绪论 5 一 网络的入侵检测系统- n s m l l 7 1 ( n e t w o r ks e c u r i t ym o n i t o r ) 。该系统首次直接将网 络数据流作为审计数据来源，通过在局域网上主动监视网络数据来追踪可疑的行 为，不再采用和基于主机的入侵检测系统一样的对主机中的审计信息进行处理的 检测方法。从此，入侵检测发展到一个新的阶段，两类入侵检测系统j 下式形成： 基于网络的入侵检测系统和基于主机的入侵检测系统： 1 9 9 1 年，n a d i r k l 8 1 ( 网络异常检测和入侵报告) 被提出，这个系统能够同时收 集主机和网络信息进行分析；同年，d i d s ! 旧1 ( 分布式入侵检测系统) n s m 的后续版 本被提出； 1 9 9 2 年，s t a t 2 0 】被提出，它是加利福尼亚大学的p o r r a s 提出的利用状态转移 分析的i d s 方法； 1 9 9 4 年，g e n e s p a f f o r d e t a l 提出了a a f i d i 2 l j ，即基于自治代理的入侵检测系统； 1 9 9 5 年，w h e e l g r o u p 提出了n e t r a n g e r l 2 2 j ，这是一款针对大型局域网的i d s 系统；同年，n i d e s l 2 3 】被提出，n i d e s 被认为是下一代入侵检测专家系统，它主 要实现了主机检测的功能； 1 9 9 6 年，g r i d s1 2 4 】被提出，它是面向大型可扩展网络的基于图的入侵检测系 统，它的设计和实现使得对大规模自动或协同攻击的检测更为便利；同年，普渡 大学的c r o s b i e 提出了着色p e t r i 网方法实现的入侵检测系统i d i o t l 2 5 1 ； ， 1 9 9 7 年，i s s ( i n t e m e ts e c u r i t ys y s t e m ) 提出了一款i d s 系统：r e a l s e c u r e l 2 6 j ，此 系统主基于特征分析技术，是一款基于网络的i d s ，它已经被扩大到针对拥有上千 台主机的大型复杂系统；同年，e m e r l d l 2 7 】系统被提出，这个系统采用了统计方 法来异常检测，由s r i 开发，旨在检测大型网络的攻击行为并且侧重于系统的可 扩展性。另外，e m e r l d 同时采用了误用检测和异常检测技术：同年，n n i d i 2 8 1 ( 基 于神经网络的研究方法) 被提出，n n i d 首先需要一个学习过程来获取用户十几天 的命令行同志，一个用户一天形成一个数组来表示用户执行命令的频度，然后基 于这些数据训练神经网络以标识这个用户。在运行过程中，使用神经网络识别新 一天的数组，若网络标识和实际用户有很大的不同，就表示有异常行为发生： 1 9 9 8 年，新墨西哥大学的f o r r e s t 小组提出了基于计算机免疫学1 2 9 j 的i d s 方法， 免疫系统最基本的能力是识别“自我非自我”，这和入侵检测系统中的异常检测 的概念类似。同年，s n o r t l 3 0 】作为第一个开放源代码的i d s 系统被提出，它使用了 一种网络误用的检测模型； 1 9 9 9 年，c h e u n g s t e v e n 等人第一次提出入侵容剁3 1 l ( i n t r u s i o ne r a n o e ) 的概念， 在i d s 中引入容错技术。同年，w e n k el e e 提出了第一个基于数据挖掘在i d s 应 用的论文【3 2 】；他随后提出了j a m 系统【3 3 】，这是第一个基于数据挖掘的误用入侵检 测系统； 2 0 0 0 年，g h o s h 提出了利用神经网络来提取特征和分类【3 4 1 。该技术提高了入 6 一 基丁报警关联分析的智能入侵检测技术 侵检测的准确度； 2 0 0 1 年，k i m 等人基于克隆选择和影j 性选择机到3 5 1 研究了网络的入侵检测问 题，并于2 0 0 2 年引入了动态克隆算子1 3 6 1 ； 2 0 0 3 年，针对现实中小样本的情况，t o m a s 等学者提出将支持向量机的分类算 法引入到入侵检测中1 3 7 l 。 1 2 2 入侵检测系统的发展现状及趋势分析 目前，s c s l 、普渡大学、加州大学戴维斯分校、洛斯阿拉莫斯国家实验室、 哥伦比亚大学、新墨西哥大学等机构代表了当前入侵检测技术研究的最高水平。 国内的入侵检测研究工作开展较晚，科研界研究工作主要集中在中科院、北京邮 电大学、北京大学、武汉大学等国家重点实验室，目前从发表的文献来看，主要 研究方法并没有超出国际上已经提出的方法范畴。 入侵检测技术的商业化从2 0 世纪9 0 年代早期开始，直到19 9 7 年获得重视和 大量使用，出现了百家争鸣的场面。目前在技术上占据领先地位的产品有 i s s ( i n t e m e ts e c u r i t ys y s t e m ) 公司的r e a i s e c u r e 【2 6 1 ，c i s c o 公司的n e t r a n g e r l 2 2 1 ， e n t e r a s y s 公司的d r a g o n l 3 引，c a 公司的e t r u s t 3 9 1 等。我们国家的i d s 厂商也在近年 获得长足发展，比较出色的有安氏中国、启明星辰、中联绿盟等公司。 目前入侵检测系统的发展主要有以下两个趋势： ( 1 ) 基于网络的入侵检测系统是目前市场的主流 就目前的实际情况而言，基于网络的误用入侵检测系统是目前入侵检测市场上 的主流产品。由于基于主机的异常检测系统通常存在三个关键问题，一是自身安 全性难以保证的问题，一是误警率过高的问题，一是对资源的过高耗费的问题。 此外，还存在着难于扩展，移植性差等方面的缺陷。而基于网络的误用检测系统 直接分析网络流量数据，可移植性好，扩展性强，逐步发展成为当前入侵检测系 统的主流。当然，这种系统仍然存在报警量过大，漏报率过高，规则维护困难等 缺陷。 ( 2 ) 报警的关联和分析己成为入侵检测领域的一个新的研究热点 近年来，在展示入侵检测技术研究最新动态的r a i d 会议上，对入侵检测系统 产生报警的关联和融合成为一个新的热门话题。报警关联和分析是通过进一步处 理入侵检测系统产生的报警以精简入侵报警数量、消除误警、提高检测率。在这 方面开展工作较早的是s r i 公司的v a l d e s 等人提出的基于概率的报警关联组件、 i b mz u r i c hr e s e a r c hl i b r a r y 的w e s p i 等人提出的基于规则的报警关联组件 a c c ( a g g r e g a t i o n a n dc o r r e l a t i o nc o m p o n e n t ) 等。而在商业系统方面，s e c u r i t yf o c u s 公司利用其多年的安全经验开发出a d s 系统，能够对从网上传送给该公司的各种 第一章绪论 7 i d s 报警信息进行关联分析，产生出安全事件分析：i s s 公司将其公司的r e a l s e c u r e 入侵检测系统的结果进行融合分析，用于降低误报率。 1 3 本文研究内容梗概及章节安排 本文针对入侵检测系统部署和工作方式上存在的问题，提出了一种智能i d s 架构。该架构的基础为一个基于状态迁移的i d s 框架，对每种入侵行为的检测方 式都围绕着一个有限状态机( 攻击场景) 来设计、表示和实施，将检测过程看作 是系统安全状态在攻击场景中的变迁，当系统安全状态随着一系列安全事件的发 生而转移到“威胁& 报警”状态时，i d s 发出报警信息。系统对这些报警信息做分 布式采集、集中存储和处理，并由一个关联分析引擎来挖掘报警信息之间存在的 关系和联系。设定一种形式化表示方式，使得原有i d s 的有限状态机可以根据分 析结果而动态地、实时地改变，从而达到改进检测方式、降低漏报率误报率、减 少报警信息数量、增加报警信息质量的目的。 本文的工作主要体现在如下方面： 1 研究并搭建基于状态迁移的入侵检测系统； 2 对入侵检测系统的报警信息进行标准格式化和集中收集、存储； 3 对采集的数据进行关联分析，得到报警信息间的内在联系； 4 设计并实现算法，根据分析结果动态改变入侵检测系统的状态机，即改变 入侵检测的方式。 根据以上工作内容，本文共分为五章。 第一章是绪论部分，介绍了入侵检测系统在网络安全防护系统中的位置和作 用，阐述了目前i d s 部署和工作方式上存在的问题，并对入侵检测技术的发展历 程和研究现状做了介绍。 第二章是本文的理论基础部分，介绍了数据挖掘领域中的关联分析方法，对使 用的术语、符号等做了规范化的定义；并对广泛使用的a p r i o r i 、f p t r e e 等算法做 了详细的描述和分析；最后将对关联分析的讨论从无序的集合扩展到有序的时间 序列上，介绍了序列频繁模式的挖掘。 第三章介绍了本文用到的关键技术基于状态迁移的入侵检测技术。在对该 项技术的基本概念和原理做出了介绍之后，还详细介绍了其经典的原型系统 加利福尼亚大学的p o r r a s 等提出的s t a t 入侵检测框架，包括其基本组成结构和工 作方式，以及形式化描述语言s n 虾l 。 第四章介绍系统的核心设计方案，阐述如何将关联分析应用到对入侵检测报警 信息的分析中，确定了对报警信息的分析目标和所使用的算法，并阐述如何利用 基丁报警关联分析的智能入侵检测技术 形式化的描述语言来动态改变攻击场景的有限状态机。 第五章是原型系统的设计与实现。设计了系统的结构框图，确定了各组件j 下常 工作所需的具体细节问题和组件间的通信接口，如报警信息格式的归一化、报警 信息的收集与存储、控制中心与远程探测器的交互方式等等。 第二二章关联分析技术 第二章关联分析技术 9 一 数据挖掘理论的成熟为入侵检测提供了许多可行的算法，其中关联规贝0 、序 列模式挖掘在入侵检测系统的应用中尤其有用。本章着重对关联分析做了详细介 绍，包括其基本概念与术语、常用算法、以及对关联成果的评价和改善。虽后， 将关联分析的思路从无序的集合扩展到了有序的序列上，对序列模式的挖掘做了 简要介绍。 2 1 基本概念与术语定义 关联分析1 4 , 4 2 的主要目标是在大量样本数据中寻找事物之间隐含的关系，查找 存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。 典型的例子是商场对客户购物记录的分析：商场中拥有大量的商品( 项目) ， 每个客户每次所购买的商品都在结账时被商场记录。商场通过对大量记录的分析， 来发现顾客购买不同商品之间的联系，掌握顾客的购买习惯，如：哪些物品经常 被顾客购买、同一次购买中，哪些商品经常会被一起购买、一般用户的购买过程 中是否存在一定的购买时间序列等等。 将以上例了抽象成数学模型，可描述为： ( 1 ) 用j = f i ，如，乙 表示项目空间，其中每个( 七= 1 ，2 ，历) 称为数据项； ( 2 ) t 为一个样本，满足丁量，每个样本具有一个唯一性标识符t i d ： ( 3 ) 所有样本构成样本集d = 乃m 。，：，k ) ； ( 4 )若数据项集合( 以下简称项集) a 满足a 冬t ，则称7 包含a ：在样本 集d 中，包含项集a 的样本的数量称为a 在d 中的支持数，用 s u p p o r t _ c o u n t ( a ) 表示；包含项集a 的样本所占的比率称为a 在d 中的 支持度，用s u p p o r t ( a ) 表示： ( 5 ) 在样本集d = ，：，) 中，存在关联规则r ：aj b ，其中 aci ，bci 且anb = o ； ( 6 ) 对于关联规则r ：a b ，s u p p o r t ( ajb ) 表示包含彳u b 的样本在总样 塑 基丁报警关联分析的锗能入侵检测技术 本集d 中所占的比率，称为尺在d 中的支持度：关于支持度存在如下公 式： s u p p o r t ( ajb ) = p ( a u b ) = s u p p o r t ( a u b ) ( 式2 1 ) ：s u p p o r t _ c o u n t ( a j b 一) ldi ( 7 )对于关联规则r ：aj b ，c o n f i d e n c e ( ajb ) 表示在所有包含彳的样本 中，也同时包含b 的样本所占的比率，称为r 在d 中的置信度；关于置 信度存在如下公式： c o n f i d e n c e ( aj召)=p(bi 彳) ：s u p p o r t ( a u b ) ( 式2 2 ) s u p p o r t ( a ) s u p p o r tc o u n t ( aub ) = ：- - - - - - 二= = - ：- 二 s u p p o r t c o u n t ( a ) ( 8 ) 对于项集a ，若s u p p o r t ( a ) 不小于最小支持度m i n _ _ s u p ，则称a 为频繁 集，如果频繁集有个k 项，则称其为k 频繁集； ( 9 ) 对于关联规则r ：ajb ，若支持度不小予最小支持度r a i ns u p ，且置信 度不小于晟小置信度r a i n ，则称r为d中的强关联规则；_conf ( 1 0 ) 支持度和置信度是衡量关联规则质量的重要指标，前者体现了关联规则 在整个样本集中的统计重要性，后者体现了关联规则的可信程度。该数 学模型的目标是在给定样本集d 中，寻找满足最小支持度和最小置信度 的所有强关联规则。 2 2 1 关联规则的挖掘步骤 2 2 关联分析方法 由式2 1 和2 2 可知，只有当aub 是频繁集的时候，关联规则r ：a b 的支 持度- a 可能满足最小支持度r a i n ，而且通过项集彳、b和u的支持度，可sup ab 以方便的计算出r ：ajb 的置信度并判断其是否属于强关联规则。因此，通常采 用如下方法，分两步来挖掘关联规则： ( 1 ) 寻找所有频繁集根据定义，找到所有包含在样本中并出现比率不少 于r a i ns u p 的项集； 第二章关联分析技术 ( 2 ) 通过频繁集来生成强关联规则根据定义，所有这些规则都要符合最 小支持度和最小置信度的要求。 相比之下，第( 2 ) 步要简单的多，因此整个挖掘过程的工作量都集中在第( 1 ) 步上，即将挖掘关联规则的工作转换成了如何快速、高效地挖掘频繁集。 挖掘频繁集最直接的方法是对每一个项集都进行检测，判断其支持度或支持数 是否满足m i ns u p 的要求。但这种方法的一个显著缺陷是将产生大量的运算，如果 一个样本中有1 0 0 个数据，那么仅这一个样本就包含+ c 孟+ + c ? 器= 2 啪一1 个项目集，大约要检测1 2 7 x 1 0 3 0 次，这对于现在计算机的处理能力来讲是难以接 受的。因此，有必要采用一些算法来简化和加速频繁集的挖掘过程，其中有代表 性的是a p r i o r i 算法和基于f p t r e e 的频繁模式增长算法。 2 2 2a p d o d 算法 a p f i o d 算法1 4 3 j 是关联规则领域里最具影响力的基础算法。它是由r a k e s h a g r a w a l 在1 9 9 4 年提出的，是一种广度优先算法，通过多次扫描样本集来获取支 持度大于最小支持度的频繁项集。 a p f i o f i 算法的理论基础是频繁集的一个反单调( a n t i m o n o t o n e ) 性质，被称为 a p f i o d 性质： 一个频繁集中任一非空子集也应是频繁集( 性质2 1 ) 从上述性质还可得到一个等效的推论： 任何非频繁集的超集也不是频繁集( 性质2 2 ) a p f i o d 的基本思想是利用上述性质，通过逐层搜索的迭代方法，用k 频繁集 探求( k + 1 ) 频繁集，对非频繁项集的超集可以不用进行测试，以减少检测次数。 算法具体步骤如下： ( 1 ) 扫描样本集，找出所有的1 频繁集，组成集合厶，令k = l ； ( 2 ) 由性质2 2 知，只有k 频繁集的超集才可能是( k + 1 ) 频繁集，因此可以 从厶中的k 频繁集生成所有可能的具有( k + 1 ) 个数据项的超集，组成候 选集g “；g + 。是厶+ 。的超集，所有( k + 1 ) - 频繁集都在g + 。中，而在g + ，中 的项集不一定是频繁集； ( 3 ) 由性质2 1 知，若a 厶+ 。，则对于任意a 。满足a ca 且ia l _ k ，均有 a 厶，据此检测候选集g + ，中的每个项集b ，如果存在b cb 且 ib 。i = k ，但b 萑厶，则将b 从g + 。中删除掉：通过一个h a s h 表就能快 速检查出某一项集的子集是否在厶中，而要通过计算支持数的方法来排 除该项集，就要对样本集中的样本做扫描，后者比前者要慢的多，因此 里 基丁报锊关联分析的智能入侵检测技术 这一步是对g + 。做剪枝，用较为快速的方法排除掉g + 。中的一些非频繁 集，以减少步骤( 4 ) 中扫描样本集的次数； ( 4 ) 扫描样本集，检查g + ，中每一个项集的支持度，若小于m i n _ s u p ，则将 其从g + 。中删除； ( 5 ) 若g + l f 2 j ，则厶+ l = q + i ，对k = 七+ 1 迭代调用步骤( 2 ) ( 5 ) ，直到 g + 。= f 2 j 为止。 尽管a p f i o f i 算法因为简单易行而得到了广泛的应用，但它在性能上仍然存在 一些不足。随着信息的爆炸式增长，a p f i o r i 算法越来越不适应大数据量处理的需 求。造成a p f i o r i 算法性能瓶颈的主要因素在于其“产生候选集检测”的工作方式， 这导致了： ( 1 ) 仍然要生成巨大的候选集，而且每一阶段的g 过大，特别是c 。在厶生 成c ，的过程中，剪枝步骤相当于没能发挥作用，所以c 中下集的个数 为i 厶i x ( i 厶| 1 ) 2 ，当厶中频繁集的个数较多时，会产生海量的组合。 此外，a p r i o r i 算法对k 频繁集的挖掘是从1 频繁集、2 频繁集逐 渐迭代得到的，那么当k 很大时，仍要找到其所有项目数小于k 的频繁 子集，这将产生大量的候选集。例如，如果存在包含1 0 0 个数据项的频 繁集，如 a i ，a 2 ，a i ，则要生成2 1 0 0 1 0 3 0 个候选集。 ( 2 ) 扫描事务数据库次数过多。a p f i o r i 算法中每次由g 得到厶都需要重新 对事务数据库进行扫描一次。在实际应用中，一般情况下事务数据库是 不能直接存放在内存中的，扫描时数据需要换进换出，因此扫描数据库 的丌销是很大的。对海量数据进行挖掘时，由于数据访问时间非常耗时， 因此a p f i o f i 算法运算时间将很长。 要对上述缺陷加以改进，就要放弃“产生候选集检测”的工作方式。为此， j i a w e ih a n 等人提出了一种基于f p t r e e 的频繁模式增长算法，理论和实践表明该 算法优于a p r i o r i 算法。 2 2 3 基于f p t r e e 的频繁模式增长算法 基于f p t r e e 的频繁模式增长算法i 删利用了模式增长的特征： 令a 为样本集d 中的一个频繁集，s 是d 中所有包含彳的样本所组成的集合， 称为a 的条件模式库，卢是s 中的一个数据项，要使彳u p ) 是d 中的频繁集，当 且仅当 p ) 是s 中的频繁集。( 性质2 3 ) 例如，若 口，b ，c ，d ，p ) 是频繁