（计算机应用技术专业论文）面向异常检测的关联模式挖掘算法研究.pdf

摘要 摘要 随着科技的进步和计算机网络的飞速发展 人们已形成这样的共识 网络和电子商 务是企业制胜的必由之路 然而 高度发达的网络也带来了高风险 网络与信息系统的 安全已成为人们高度关注的社会问题 如何预测 识别 评估这些潜在的风险 以最为 经济和有效的对策来处理这些风险 将成为现代企业管理中的一个迫切需要解决的技术 问题 在一定程度上 决定着一个企业的生存和发展 企业 尤其是电子商务企业 建立网络安全防护体系的全部意义就在于管理风险 作为网络安全防护体系的一个重要组成部分的异常检测技术已引起了许多研究人员的极 大关注 并具有广阔的市场前景 国内外研究成果表明 将数据挖掘技术应用于异常检测在理论上是可行的 在技术 上建立这样一套系统也是必要和可能的 关联模式的挖掘是面向异常检测的数据挖掘技 术中的一类基本且具有十分重要意义的研究课题 本论文研究工作的目的就是针对企业 风险管理的需求 研究如何建立面向异常检测的关联模式挖掘模型 并提出相应的解决 方案 为构建网络安全防护体系建立相应的算法基础 本论文的主要内容及创新点可以归纳为以下五个方面 1 分析了面向异常检测的关联模式挖掘算法的主要技术难点 包括数据离散化问 题 效率问题 并行挖掘问题 针对性问题 增量更新问题等 提出了面向异常检测的 关联模式挖掘模型和一种模式编码及模式比较方法 2 针对安全审计数据的特点 提出了一种面向异常检测的基于约简模式的关联模 式挖掘算法和两类关联模式的增量式更新算法 通过这些算法的实现 不仅能够高效地 发现安全审计事务数据库中的关联模式或用户行为模式 而且可以快速更新已挖掘模式 及时反映用户行为模式的改变 最终达到降低误报率和漏报率的效果 3 发现最大关联模式对关联模式或用户行为模式挖掘具有十分重要的意义 提出 了一种基于频繁模式树的最大关联模式挖掘算法 并就其增量式更新问题进行了研究 实现了一种快速的最大关联模式增量式更新算法 4 并行关联模式或用户行为模式的挖掘是面向分布式协同异常检测的数据挖掘技 术中的一项重要内容 提出了s h a r e d n o t h i n g 并行安全审计数据库中一种快速的并行关 联模式挖掘算法 并对其增量式更新问题进行了研究 进而提出了一种有效的并行关联 模式增量式更新挖掘算法 5 约束关联模式的挖掘是面向异常检测的数据挖掘技术中的一个关键技术 提出 了约束最大关联模式 约束关联模式 约束并行关联模式的挖掘算法 并对其增量式更 新问题进行了研究 设计了相应的约束关联模式增量式更新算法 关键词 风险管理 异常检测 数据挖掘 关联模式 最大关联模式 增量式更新 频 繁模式树 t 东南 人学博士学位论文 a b s t r a c t a l o n g w i t ht h ep r o g r e s so f s c i e n c e t e c h n o l o g ya n dt h er a p i dd e v e l o p m e n to fc o m p u t e r n e t w o r k n e t w o r ka n de b u s i n e s sh a v eb e c o m et h eo n l yw a yb yw h i c he n t e r p r i s e sg a i n c o m p e t i t i v ea d v a n t a g e s h o w e v e ah i g h l ya d v a n c e dn e t w o r kh a sb r o u g h tu sh i g hr i s k t h e s e c u r i t yo ft h en e t w o r ka n di n f o r m a t i o ns y s t e mh a sb e c o m eas o c i a lp r o b l e mw h i c hp e o p l e p a y m u c ha t t e n t i o nt o h o wt op r e d i c t i d e n t i f y e v a l u a t et h e s ep o t e n t i a lp r o b l e m s a n dm a n a g e t h e mw i t he c o n o m i ca n de f f e c t i v ec o u n t e r m e a s u r e sw i l lb eat e c h n i c a lp r o b l e mt ob er e s o l v e d f o rm o d e mb u s i n e s sm a n a g e m e n t w h i c hw i l ld e t e r m i n a t et h ee x i s t e n c ea n dd e v e l o p m e n to f a ne n t e r p r i s e t h em o s ti m p o r t a n ts i g n i f i c a n c eo fe s t a b l i s h i n gd e f e n s es y s t e m so fn e t w o r ks a f e t yf o r e n t e r p r i s e s e s p e c i a l l y e b u s i n e s s e n t e r p r i s e s l i e s i nr i s k m a n a g e m e n t t h ea b n o n n i t y d e t e c t i o nt e c h n o l o g y w h i c hi st h ee s s e n t i a lc o m p o n e n to ft h ed e f e n s es y s t e m so fn e t w o r k s a f e t y h a sb r o u g h tt om a n yr e s e a r c h e r s a t t e n t i o n a n dh a sw i d em a r k e tf o r e g r o u n d r e s e a r c h e sf r o mh o m ea n da b r o a ds h o wt h a ti ti sf e a s i b l ei nt h e o r yt oa p p l yd a t am i n i n g t e c t m o l o g yt oa b n o r m i t yd e t e c t i o n a n di ti sp o s s i b l et oc o n s t r u c ts u c has y s t e mi nt e c h n o l o g y t o o t h em i n i n gf o ra s s o c i a t i o np a t t e r n si sq u i t ea ni m p o r t a n tr e s e a r c ht a s ki nt h er e s e a r c ho n d a t am i n i n gt e c h n o l o g yf o ra b n o m t i t yd e t e c t i o n i nt h i s p a p e r t h em o d e lo fa s s o c i a t i o n p a t t e m sm i n i n g f o ra b n o r m i t yd e t e c t i o na n di t s a l g o r i t h m s a r ep r o p o s e d w h i c he s t a b i i s h c o r r e s p o n d i n ga l g o r i t h m se l e m e n t s f o r t h ed e f e n s es y s t e m so f n e t w o r ks a f e t y t h em a i nr e s u l t sa n dc o n t e n t so b t a i n e di nt h i sd i s s e r t a t i o na r ea sf c l l l o w s f i r s t l y t h em o d e l o fa s s o c i a t i o np a t t e r n sm i n i n gf o ra b n o r m i t yd e t e c t i o ni sp r o p o s e d t h e p r o b l e m sa n dt e c h n i c a ld i f f i c u l t yo fi t sa l g o r i t h ma r ea n a l y z e d w h i c h i n c l u d ed i s p e r s i o n e f f i c i e n c y p a r a l l e l d a t am i n i n g p e r t i n e n c e i n c r e m e n t a lu p d a t i n ga n ds oo n t h ep a t t e m c o d i n g a n dt h em e t h o dt oc o m p a r et w ok i n d so f p a t t e r n sa r ep u tf o r w a r d s e c o n d l y f o r t h ec h a r a c t e r i s t i co f s e c u r i t ya u d i td a t a a na l g o r i t h mf o rm i n i n g a s s o c i a t i o n p a t t e r n so na b n o r m i t yd e t e c t i o ni sp r o p o s e d t w ok i n d so f i n c r e m e n t a lu p d a t i n ga l g o r i t h m s a r ea l s op r e s e n t e d b yt h e s ea l g o r i t h m s w ec a nn o to n l yf i n da s s o c i a t i o np a t t e m so ru s e r b e h a v i o r sp a t t e r n se f f i c i e n t l yf r o ms e c u r i t ya u d i td a t a b u ta l s ou p d a t et h em i n e dp a t t e r n sf a s t s o t h ec h a n g i n go fu s e rb e h a v i o r sp a t t e m sw i l lb er e f l e c t e d i nt i m e a n dr a t i oo ff a l s e n e g a t i v ea n d f a l s ep o s i t i v e sw i l ld e s c e n di nt h ee n d t h i r d l y i ti sv e r yi m p o r t a n tt of i n dm a x i m u m a s s o c i a t i o np a t t e r n s an e w a l g o r i t h ma n d i t su p d a t i n ga l g o r i t h mf o rm i n i n gm a x i m u ma s s o c i a t i o np a t t e r n sa r ep r o p o s e d w h i c hi sb a s e d o nan o v e lf r e q u e n tp a t t e r nt r e e f p t r e e s t r u c t u r e a ne x t e n d e dp r e f i x t r e e s t r u c t u r ef o r s t o r i n gc o m p r e s s e d a n dc r u c i a li n f o r m a t i o na b o u t f r e q u e n tp a t t e r n s i i a b s t r a c t f o u r t h l y s e c u r i t ya u d i td a t aa r ed i s t r i b u t e di nn a t u r e s ot h ed e v e l o p m e n to fa l g o r i t h m s f o re f f i c i e n tm i n i n go fa s s o c i a t i o np a t t e r n sf r o m s h a r e d n o t h i n gp a r a l l e ls e c u r i t ya u d i td a t a h a s i t s u n i q u ei m p o r t a n c e an e wa l g o r i t l g na n di t su p d a t i n ga l g o r i t h mf o rm i n i n ga s s o c i a t i o n p a t t e r n sf r o ms h a r e d n o t h i n gp a r a l l e ls e c u r i t y a u d i td a t aa r e p r e s e n t e d f i f t h l y m o s ta l g o r i t h m sd on o tc o n s i d e ra n yd o m a i nk n o w l e d g e a sar e s u l tt h e yc a r l g e n e r a t em a n y i r r e l e v a n t i e u n i n t e r e s t i n g p a t t e r n s s o m i n i n ga l g o r i t h mf o rc o n s t r a i n e d a s s o c i a t i o np a t t e r n so na b n o r m i t yd e t e c t i o ni sak e yp r o b l e m a ne f f e c t i v ea l g o r i t h mf o r m i n i n ga s s o c i a t i o np a a e m s w i t hi t e mc o n s t r a i n t sa n di t su p d a t i n ga l g o r i t h ma r ep r e s e n t e d k e y w o r d s r i s km a n a g e m e n t a n o m a l yd e t e c t i o n d a t am i n i n g a s s o c i a t i o np a t t e m s m a x i m u m a s s o c i a t i o np a t t e r n s i n c r e m e n t a lu p d a t i n g f p t r e e i i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发表或撰写过 的研究成果 也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料 与我 一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意 研究生签名 拳址日期 丝 东南大学学位论文使用授权声明 东南大学 中国科学技术信息研究所 国家图书馆有权保留本人所送交学位论文的复印 件和电子文档 可以采用影印 缩印或其他复制手段保存论文 本人电子文档的内容和纸质 论文的内容相一致 除在保密期内的保密论文外 允许论文被查阅和借阅 可以公布 包括 刊登 论文的全部或部分内容 论文的公布 包括刊登 授权东南大学研究生院办理 研究生签名 苤堡垒导师签名 丛生兰 日期 6 弼 绪论 第一章绪论 1 1 课题研究背景 本论文的研究工作是国家自然科学基金项目 面向企业风险管理的数据挖掘技术及 其应用研究 基金立项编号 7 9 9 70 0 9 2 和国家科技型中小企业技术创新基金项目 m 天商2 0 0 0 智能商务管理软件 基金立项编号 0 0 c 2 6 2 13 2 1 i0 1 4 的一部分 主要工 作集中在企业风险管理需求中的面向异常检测的关联模式挖掘算法研究 i i 1 风险及企业风险管理 所谓风险p 1 r i s k 即是指 伤害或损失的可能性 t h ep o s s i b i l i t yo f h a r mo rl o s t 这个术语描述的是事件及其后果的不确定性 它们对企业本身和企业目标有着不可预料 的影响 风险的涵盖面很广 可以是c e o 的突然死亡 也可以是一场摧毁一个企业公司 办公大楼的地震等等 有些风险是可以预料的 有些风险是不以人的意志为转移的 我 们必须尽最大限度的努力找到它们并采取预防措施来减少其危害性 风险的核心因素是不确定性 3 棚1 即某个危险事件发生时出现损失的可能性 风险是 不确定情况中出现非预料结果的可能性 比如 当一个企业或企业的一个部门把自己的 服务器连接到因特网上的时候 它们会遭到攻击吗 它们可能会 被 黑 掉 也可能永远都没有成 为攻击的目标 结果虽然不确定 可威胁却确实存在 企业风险管理1 3 1 0 是旨在对 企业风险的不确定性及可能性等 因素进行考察 预测 收集 分 析的基础上制定出包括风险识 别 风险衡量 积极管理风险 有效处理风险及妥善处理风险所 致损失等一整套系统而科学的管 理方法 简单地讲 企业风险管 理就是对企业中有负面后果的潜 在风险或威胁进行识别 评估和 管理等的过程 如图1 1 所示 图1 1 企业风险管理的过程 1 风险识别 是指对企业所面临的尚未发生的潜在的各种风险 或威胁 进行系 统的归纳分析 从而加以认识与辨别的过程 现实社会中的风险并不都是显露在外的 东南大学博士学位论文 未加识别或错误识别的风险通常不仅是难以优化管理的风险 而且还会造成意料之外的 损失 不论整个风险管理计划的其他方面做得多么周到 科学 如在风险识别方面工作 做得不好 没有对即将发生的风险给出正确的识别 就不可能有效地控制和处置风险 企业的生产经营活动便无法正常进行 所以 风险识别在整个风险管理中具有十分重要 的作用 2 风险评估 是指用现代化定量分析的方法对特定风险发生的可能性或损失的范 围与程度进行评估与衡量 实施风险管理 仅仅能识别风险还远远不够 还必须对可能 出现的后果从数量上予以充分的估计与衡量 只有准确地衡量各种风险 刊 能决定是采 用自留风险还是通过保险转嫁风险 准确衡量各种风险还能为风险管理决策者提供科学 的依据 所以风险评估是风险管理的一个重要内容 3 风险管理 是指对风险进行具体的管理 它包括风险管理工具的选择以及风险 管理的实施与评价 在完成了以上步骤之后就要对是否需要实施风险管理 如何实施风 险管理等进行决策 比如是承接风险 还是转移风险 或采用其他方法等 1 1 2 风险管理是网络安全防护的重要技术 随着科技的进步和计算机网络的飞速发展 信息产业及其应用市场得到了巨大的发 展 政府 金融 电信等企事业单位对网络的依赖程度越来越高 网络和电子商务已经 成为企业制胜的必由之路 越来越多的企业将自己的关键业务置于网络之上 网上运营 的业务量也在不断增加 并取得了卓越的成绩 然而 高度发达的网络也带来了高风险 网络与信息系统的安全已经成为人们高度关注的社会问题 并且上升到了一个关系企业 生存和发展的焦点问题 企业网络之所以处于风险之中 是因为企业所采用的网络系统平台以及其应用中存 在许多漏洞 i h 8 如常用的微软操作系统 使用最广泛的网络t c p i p 协议等都存在着 许多漏洞 对于这些漏洞 企业必须引起高度警戒 如何预测 识别 评估这些潜在的 风险 以最为经济和有效的对策来处理这些意外的风险 己成为现代企业管理中的一个 重要的组成部分 在一定程度上 决定着一个企业的生存和发展 早期在企业风险管理 方面所做的努力大多是基于简单的直觉 由于当时企业在机构 业务以及市场竞争环境 等方面远没有现在的企业这么复杂 这种凭直觉的做法足以应付 但是 一旦企业的网 络系统连接到因特网上 企业就等于连通了整个世界 因特网的每个端点都可以被看成 一个潜在的威胁 企业里的计算机信息会被非法操纵 破坏和利用 成为伤害自身或作 为中间体伤害他人的工具 因特网时代的风险将会显得更巨大 更突然 因此 对企业 风险的管理越来越需要依赖于科学的方法 企业 尤其是电子商务企业 建立网络安全防护体系的全部意义就在于风险管理 1 安防技术应能使企业更好地确认哪些端点在访问企业的网络系统 它们的身份到底是 谁 它们访问的目的是什么 它们访问的行为是否正常 等等 安全防护体系通过相应 的技术 产品 帮助企业了解网络自身的安全性 漏洞在何处 被攻破之后破坏性有多 2 绪论 大 同时帮助企业解决那些产生风险管理的漏洞问题 也就是说 通过这类风险管理系 统的运行 企业能够发现网络安全威胁存在那里 然后采用相应的解决方案 因此 从 信息安全的角度来看 风险管理是网络安全防御中的 项重要技术 1 2 企业网络的安全防护体系结构 随着i n t e r n e t 的迅速发展和网络社会的到来 网络将会无所不在地影响企业生产 管 理和决策等业务活动的各个方面 计算机网络系统的应用在给企业带来极大方便的同时 也给企业带来了涉及安全的新的隐患 一般而言 对网络安全的威胁主要表现在 未授 权的非法访问 冒充合法用户 破坏数据的完整性 干扰系统正常运行 利用网络传播 病毒 线路侦听等 由此应运而生了许多用于网络安全的产品 如防火墙 v p n c a 及扫描器等 其产品所含组件的功能主要为 访问控制 鉴别与认证 加密等 3 1 1 1 9 它们对防止系统被非法访问都有一定的效果 但也存在许多缺陷 例如 利用防火墙技 术 经过合理配置 通常能够在内外网之间提供安全的网络保护 降低网络安全的风险 为网络服务提供较好的身份认证和访问控制技术 但防火墙技术并不是万能的 其问题 主要表现在 1 7 1 8 入侵者可以寻找防火墙背后可能敞开的后门或者通过蛮力攻击或 利用计算机软 硬件系统的缺陷闯入未授权的计算机及网络资源 防火墙完全不能阻 止内部袭击 对于企业内部员工来说防火墙形同虚设 而调查发现 8 0 以上的攻击都 来自内部 许多造成严重后果的系统入侵正是由内部攻击者发起的 由于性能的限制 防火墙通常不能提供实时的入侵检测能力 防火墙对于病毒也是束手无策的 又如 传统的身份认证技术 包括k e r b e r o s 技术 并不能抵制脆弱性口令 字典攻击 特洛伊 木马 网络窥探器以及电磁辐射等攻击手段 对于访问控制 入侵者也可以利用脆弱性 程序或系统漏洞绕过访问控制 或者提升用户权限 或者非法读写文件等等 针对原有安全模型的这些缺陷 有些学者提出企业网络的安全防护体系结构应包含 4 部分 2 1 即如图1 2 所示 此结构具有较强的可靠性 适用于实际应用 可以组成一 个 完整的 动态的 安全循环 在这个结构中 构筑一个安全防御模块只是其中的一 小部分 它还应包括入侵检测模 块 调查模块以及事后分析模块 检测模块用于发现各种违反系统 安全规则的入侵行为 调查模块 将检测模块所获得的数据加以分 析 并确认当前所发生的有关入 侵企图 事后分析模块确定将来 如何抵制类似的入侵行为 在这 以前 人们的注意力主要集中在 防御模块上 随着系统脆弱性评 估及入侵检测工作的深入 入侵 图1 2 企业网络的安全防护体系结构图 东南大学博士学位论文 检测模块也越来越受到人们的重视 而后两个模块的研究开发工作尚有待于进一步的开 展 1 3 企业网络的入侵检测系统 前已述及 随着网络技术的发展 网络环境变得越来越复杂 对于网络安全来说 防火墙 加密 身份认证等传统技术已暴露出明显的不足和弱点 因此 很多研究部门 目前正在致力于提出更多更强大的主动策略和方案来增强网络的安全性 入侵检测系统 就是其中一个有效的解决途径 入侵检测的主要目的有 1 1 1 3 1 4 2 0 2 1 识别入侵者 识别入侵行为 检测和监视已成 功的安全突破 为对抗措施及时提供重要信息 从这个角度来看待安全问题 入侵检测 是非常必要的 它可以弥补传统安全保护措施的不足 入侵检测系统将成为系统安全的 第二道防线 并已引起了许多学者的极大兴趣 成为近几年很多研究人员进行网络安全 研究的一个极其重要的课题 1 3 1 入侵检测系统 入侵检测技术是为了保证计算机系统的安全而设计与配置的一种能够及时发现并报 告系统中异常现象的技术 是一种用于检测计算机网络中违反安全策略行为的技术 它 通过对计算机网络或计算机系统中的若干关键点收集信息并进行分析 从中发现网络或 系统中是否有违反安全策略的行为和被攻击的迹象 0 0 2 2 描 进行入侵检测的软件与硬件的组合就是入侵检测系统 i d s i n t r u s i o nd e t e c t i o n s y s t e m 该系统能够识别出不希望有的活动 从而达到限制这些非法活动 以保护系统 的安全 入侵检测系统的应用 能够在入侵攻击对系统发生危害之前检测到入侵攻击 著利 用报警与防护系统驱逐入侵攻击 在入侵攻击过程中 能减少入侵攻击所造成的损失 在被入侵攻击后 收集入侵攻击的相关信息 作为防范系统的知识 以增强系统的防范 能力 由此可见 入侵检测系统可以弥补防火墙等传统安全防御措施的不足 为网络安 全提供实时的入侵检测及采取相应的防护手段 它不仅能检测来自外部的入侵行为 同 时也能指出内部用户的未授权活动 可以这样认为 入侵检测实质上是应用了 以守为 攻 的策略 它所提供的数据不仅有可能用来发现合法用户是否滥用特权 还有可能成 为追究入侵者法律责任的有效证据 1 3 2 入侵检测系统的实现 入侵检测系统的实现过程分为两步 2 0 一是信息收集 二是信号分析 1 信息收集 信息收集的内容主要包括网络 系统 数据以及用户活动的状态和行为 系统需要 在计算机网络系统中的若干关键点 不同网段和不同主机 收集信息 入侵检测系统所 利用的信息一般来自以下4 个方面 4 绪论 1 系统和网络日志文件 入侵者经常在系统目志文件中留下其踪迹 因此 充分利用系统和网络日志文件信 息是检测入侵的必要条件 曰志中包含发生在系统和网络上的不寻常和不期望活动的证 据 这些证据可以指出有入侵者正在入侵或已成功入侵系统 通过查看日志文件 能够 发现入侵企图或成功的入侵 并能快速启动相应的应急h 向应程序加以处理 2 系统目录和文件 网络环境中的文件系统包含了很多软件和数据文件 包含重要信息的文件和私有数 据文件经常是入侵者修改或破坏的目标 目录和文件中的异常改变 特别是那些正常情 况下限制访问的信息 很可能就是一种入侵产生的指示和信号 入侵者经常替换 修改 和破坏他们获得访问权的系统上的文件 同时 为了隐藏系统中他们的表现及活动痕迹 都会尽力去替换系统程序或修改系统日志文件 3 程序执行中的有关信息 网络系统上的程序执行一般包括操作系统 网络服务 用户启动的程序和特定目的 的应用 例如数据库服务器 每个系统上执行的程序由一到多个进程来实现 每个进程 执行在不同权限的环境中 这种环境控制着进程可访问的资源 程序和数据文件等 一 个进程的执行行为由它运行时所执行的操作来表现 操作执行的方式不同 它利用的系 统资源也就不同 一个进程出现了异常行为可能表明入侵者正在入侵企业的运行系统 入侵者可能会 将程序或服务器的运行分解 从而导致其失败 或者是以非用户或管理员意图的方式操 作 f 4 物理形式的入侵信息 这包括两个方面的内容 一是未授权的对网络硬件的连接 另一个是对物理资源的 未授权的访问 入侵者会想方设法地突破网络的各种防卫 如果入侵者能够在物理上访 问内部网 就能安装他们自己的设备和软件 据此 入侵者可以了解网上用户加上去的 不安全设备 然后利用这些设备访问网络 2 信号分析 信号分析是指对于上述4 类收集到的有关系统 网络 数据 用户活动状态和行为 等信息进行分析 一般通过3 种技术手段进行分析 模式匹配 统计分析和完整性分析 1 模式匹配 模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据库进行比较 从而发现违背安全策略的行为 该方法的一大优点是只需收集相关的数据集合 从而显 著减轻了系统的负担 且技术已相当成熟 它与病毒防火墙所采用的方法一样 检测准 确率和效率都相当高 但是该方法存在的弱点是需要不断地升级以应付不断出现的入侵 者攻击手法 不能检测从未出现过的入侵者攻击手段 f 2 统计分析 统计分析方法首先给系统对象创建一个统计描述 统计正常使用时的一些测量属性 5 东南人学博 一学位论文 测量属性的平均值将被用来与网络 系统的行为进行比较 当任何观察值在正常范围之 外 就认为有入侵发生 其优点是可检测到未知的入侵和更为复杂的入侵 缺点是误报 率高 也不适用于用户正常行为的突然改变 3 完整性分析 完整性方法主要关注某个文件或对象是否被修改 这经常包括文件和目录的内容及 其属性 它在发现被更改的 被特洛伊化的应用程序方面特别有效 其优点是无论模式 匹配方法和统计分析方法能否发现入侵 只要是成功的攻击导致了文件或其他对象的任 何改变 它都能被发现 缺点是一般以批处理方式实现 不能用于实时n 向应 1 3 2 入侵检测方法 根据被检测对象的不同 入侵检测系统可被分为4 类 2 基于主机的入侵检测系统 基于网络的入侵检测系统 混合入侵检测系统和基于应用软件的入侵检测系统 1 基于主机的入侵检测系统 h o s t i n t r u s i o nd e t e c t i o ns y s t e m 基于主机的入侵检测 系统 如图1 3 所示 通 常安装在权限被授予和跟 踪的主机上 主要是对该 主机的网络实时连接以及 桑 系统审计同志进行智能化 的分析和判断 如果其主霜 一 图1 3 基于主机目志的检测 体活动十分可疑 入侵检测系统就会采取相应的措施 这种检测方法首先要求系统根据配置信息中设置的需要审计事件 这些事件一旦发 生 系统就将具体参数记录在日志文件中 检测系统则依据一定算法对日志文件中的审 计数据进行分析 最后得出结果报告 2 基于网络的入侵检测系统 n e t w o r k i n t r u s i o nd e t e c t i o ns y s t e m 基于网络的入侵检测系统 如图1 4 所示 通常放置在 比较重要的网段内 不停地监 视网段内的各种数据包 对每 i t t 一个数据包或可疑的数据包进 行特征分析 如果数据包与系 统内置的某些模式吻合 入侵 检测系统就会发出警报甚至直 接切断网络连接 通常 将入侵检测系统放 置在防火墙或网关后 就像网 图1 4 基于网络数据包的检测 绪论 络探测器一样 捕获所有内传或外传的数据包 但它并不延误数据包的传送速度 因为 它对数据包来说仅仅是在进行监视 3 混合入侵检测系统 m i x i n t r u s i o nd e t e c t i o n s y s t e m 基于网络的入侵检测系统和基于主机的入侵检测系统都有不足之处 单纯使用一类 技术都会造成主动防御体系不够全面 但是 它们的缺憾是互补的 如果将这两类技术 有效地结合起来并部署在网络内 则会构架成一套完整的主动防御体系 混合入侵检测 系统 m i d s 综合了基于网络和基于主机两种系统特点的入侵检测系统 既可发现网络中 的攻击信息 也可从系统日志中发现异常情况 4 基于应用软件的入侵检测系统 a p p l i c a t i o n i n t r u s i o nd e t e c t i o ns y s t e m 基于应用软件的入侵检测系统是在应用软件级收集信息 比如各种应用程序 数据 库管理软件 w 曲服务器和防火墙都能生成自己的日志 日志信息是由放置在应用软件 中的检测感应器负责收集和分析的 对于上述任何一种被测对象 就具体的检测方法而言 进一步可分为基于知识的检 测和基于行为的检测 1 基于知识的检测 误用检测 基于知识的入侵检测也被称为误用检测 m i s u s ed e t e c t i o n 这一检测假设入侵者活 动可以用一些模式来表示 系统的目标就是检测主体活动是否符合这些模式 它可以将 已有的入侵方法检查出来 但对新的入侵方法无能为力 其难点在于如何设计模式使之 既能够表达 入侵 现象而又不会将正常的活动包含进来 2 基于行为的检测 异常检测 基于行为的入侵检测也称为异常检 狈 l j a n o m a l yd e t e c t i o n 基于异常的检测方法主要 来源于这样的思想 任何人的正常行为都是有一定的规律性 并且可以通过分析这些行 为产生的日志信息总结出这些规律 而入侵和滥用行为则通常和正常的行为存在较大的 差异 通过检查这些差异就可以检测入侵 例如 如果企业信息系统中的一个用户x 仅 仅是在某个时间段 如早上9 点到下午5 点之间 在企业某部门的办公室使用计算机 则该用户在晚上的活动是异常的 就有可能认为是入侵 这样系统就可以检测出非法的 入侵行为 此外不属于入侵的异常行为 滥用自己的权限 也能被检测到 异常检测的 难点在于如何建立 用户正常使用模式 以及如何设计统计算法 从而不把正常的操作作 为 入侵 或忽略真正的 入侵 行为 在上述两种入侵检测方法中 异常检测是一个非常活跃的入侵检测研究领域 它具 有与系统相对无关 通用性较强 可以检测出以前未出现过的攻击方法等优点 常用的 异常检测方法和技术包括 2 2 i 1 统计异常检测方法 根据异常检测器观察主体的活动 然后产生刻画这些活动行 为的轮廓 每一个轮廓保存记录主体的当前行为 并定时地将当前的轮廓与存储的轮廓 合并 通过比较当前的轮廓与已存储的轮廓来判断异常行为 从而检测出网络入侵 2 基于特征选择异常检测 通过从一组度量中挑选能检测出入侵的度量构成子集来 东南大学博士学位论文 准确地预测或分类已检测到的入侵 3 基于贝叶斯推理异常检测方法 通过在任意给定的时刻 测量a l a a n 变量值推理判断系统是否有入侵事件发生 其中每个变量a 表示系统不同的方面特征 如磁盘i o 的活动数量 或者系统中页面出错的数 4 基于贝叶斯网络异常检测方法 贝叶斯网络实现了贝叶定理所揭示的学习功能 能发现大量变量之间的关系 是进行预测 分类等数据分析的有力工具 基于贝叶斯网 络异常检测方法是通过建立起异常入侵检测贝叶斯网 然后将其用作分析异常测量工具 5 基于数据挖掘异常检测方法 计算机联网导致了大量的审计记录 对象行为日志 信息的数据量通常非常大 如何从大量的数据中 浓缩 出一个值或一组值来表示对象 行为概貌 并以此进行对象行为的异常分析和检测 就可以借用数据挖掘的方法 若单 独依靠手工方法去发现记录中异常现象是不够的 往往操作不便 不容易找出审计记录 间相互关系 除了上述5 种方法外 还有一些其他方法 如神经网络法 遗传算法 免疫系统方 法 模糊识别法等 这些方法目前大多数都停留理论研究阶段 初步的成果可以参阅有 关的参考文献 2 3 3 3 j 1 4 异常检测与数据挖掘 异常检测是目前入侵检测系统的主要研究方向 1 1 1 4 2 0 2 2 其特点是通过对系统行为的 检测 可以发现未知的攻击行为 异常检测技术实质上可归结为对安全审计数据的处理 这种处理可以针对网络数据 也可以针对主机的审计记录或应用程序的日志文件 其目 的在于正常使用模式的建立以及如何利用这些模式对当前的系统或用户行为进行比较 从而判断出与正常模式的偏离程度 应该看到 随着操作系统的日益复杂化和网络数据 流量的急剧膨胀 导致了安全审计数据同样以惊人的速度递增 激增的数据背后蕴藏着 许多重要的信息 例如用户或系统的正常使用模式等 人们希望能够对其进行更高抽象 层次的分析 以便更好地利用这些数据 目前的安全审计系统可以高效地实现安全审计 数据的输入 查询 统计等功能 但无法发现数据中存在的关联 关系 规则和用户或 系统行为模式等 无法根据现有的数据预测未来的发展趋势 缺乏挖掘数据背后蕴藏的 知识的手段 导致出现了 安全审计数据爆炸但知识贫乏 的现象 如何从大量的安全审计数据中提取具有表性的系统或用户特征模式 用于对程序或 用户行为进行描述 是实现安全事件审计系统的关键 为了对安全审计数据进行全面 高速和准确的分析 可以使用数据挖掘技术来处理这些安全审计数据 从包含大量冗余 信息的数据中提取尽可能多的蕴藏的安全信息 抽象出有利于进行判断和比较的特征模 型 这种特征模型可以是基于误用检测的特征向量模型 也可以是基于异常检测的行为 描述模型 根据这些特征向量模型和行为描述模型 可以由计算机利用相应的算法判断 出当前网络行为的性质 数据挖掘 d a t am i n i n g d m 又称为数据库中的知识发现 k n o w l e d g ed i s c o v e r y i n 8 绪论 d a t a b a s e k d d 是数据库研究和应用的前沿领域 这一领域可以定义为 从业已构 建的大型数据库中高效地提取并发现隐式的 未知的 有潜在应用价值的模式或规则 为企业进行基于知识的决策提供可靠的理论依据 数据挖掘本身是一项通用的知识发现 技术 其目的是要从海量数据中提取出我们所感兴趣的数据信息或知识 本论文的研究工作即是在企业风险管理的主题下 将数据挖掘技术中的关联模式应 用于异常检测领域 建立面向异常检测的关联模式挖掘模型 并提出相应的算法 利用 这些算法所得结果建立用户的正常行为模式 为实际检测过程中用户行为的判断提供比 较的依据 1 5 国内外研究现状 国内外的研究和实验测试结果表明 将关联模式挖掘技术应用于异常检测在理论上 是可行的 在技术上建立这样一套系统也是可能的 2 1 2 7 图1 5 建立入侵检铡模型的数据挖掘过程 目前 国际上在这个方向的研究很活跃 2 1 2 3 3 9 l 这些研究大多数得到美国国防部高 级研究计划署 d a r p a 美国国家自然科学基金 n s f 等的支持 其中 美国哥伦 比亚大学的w e n k el e e 等研究人员在这方面做了大量工作 他们提出了建立入侵检测模 型的数据挖掘过程1 2 1 2 7 1 如图1 5 所示 此过程主要包括以下4 步 1 把原始审计数据转换成a s c i i 格式的网络分组信息或主机事件数据 其中 原 始审计数据是指从网络或主机上获得的二进制的审计数据 2 把网络分组信息或主机事件数据转换成连接或主机会话记录 每条记录有多个连 9 东南大学博士学位论文 接特征组成 如连接建立的时间 连接持续的时间 连接使用的服务端口 源i p 目的 i p 连接的结束状态等 3 利用数据挖掘技术中的关联模式分析算法和序列分析算法挖掘出连接记录数据 库中的频繁模式 如关联模式和频繁序列等 4 构造入侵检测模型 即使用一个分类程序 如r i p p e r 4 0 1 程序 构造分类器 上述步骤需要不断地反复和评估 比如如果分类器的分类效果不好 就需要通过关 联模式的挖掘和比较 构造出更有助分类的特征 在图1 5 中 关联模式的挖掘是其中的一个重要组成部分 利用其所挖掘的模式 为连接记录构造附加特征 如时间统计特征 主机统计特征等 从而可以显著地降低虚 报率和漏检率 在国内 将关联模式技术运用于异常检测的研究也有报道 如清华大学的连一峰等 人提出的基于模式挖掘的用户行为异常检测模型 2 0 4 1 武汉大学的路勇等人提出的基于 数据挖掘技术的入侵检测框架 4 2 西安交通大学的张勇等人提出的基于分布式代理的网 络入侵检测技术的研究与实现删等等 4 4 0 1 这些项目或研究大多数得到了国家自然科学 基金 国家重点基金研究发展规划项目或国家8 6 3 高技术项目等的资助 文献1 2 0 4 1 1 应用 了数据挖掘中的关联分析和序列分析 提取出正常情况下用户所执行命令中所存在的相 关性 建立每个用户的历史行为模式 为实际检测过程用户行为的判断提供比较的依据 文献 4 2 提出了基于分布式数据挖掘的入侵检测系统框架 详细讨论了该系统的实现方 案 模块结构和关键技术 给出了系统训练和评价方法 此系统是以基于关联规则方法 的分布式数据挖掘技术为核心 从而实现了规则库的自动生成和更新 并能有效地检测 出大规模的协同攻击 文献 4 3 提出了一套新的基于分布协作式代理的网络入侵检测技 术 这项技术通过代理的协同工作来阻止本地主机和整个网络的入侵行为 并且能够发 现入侵者的入侵线路 这样就为彻底根除入侵提供了手段 综上所述 异常检测中的关联模式挖掘已经成为一个非常热门的话题 而且会在今 后的一段时间内持续发展 但就目前而言 这些研究总体上来说还处于理论探讨阶段 一种模型 或框架 只能解决 部分问题 离实际应用还有一定距离 仍有许多问题 有待于进一步的研究和完善 需要开发出有效的关联模式挖掘算法和相应的体系结构 1 6 本文的主要内容 本文共分为8 个部分 1 第一章绪论 说明了本文所研究课题的背景 意义 目的以及国内外的研究现 状 简单地介绍了风险 企业风险管理及数据挖掘等相关术语 2 1 第二章面向异常检测的关联模式挖掘模型 描述了异常检测中入侵者和合法用 户的行为特点 提出了面向异常检测的关联模式挖掘模型 分析了面向异常检测的关 联模式挖掘算法的主要技术难点 1 0 绪论 3 第三章面向异常检测的关联模式挖掘算法 针对安全审计数据的特点 提出了 一种面向异常