（计算机应用技术专业论文）基于数据挖掘的入侵检测研究与应用.pdf

摘要 摘要 计算机网络安全已引起了人们的广泛关注。传统的安全保护类技术采用认证、 授权、访问控制和加密等机制不能阻止利用计算机软硬件系统的缺陷闯入未授权 计算机系统的行为，而防火墙技术也不能对付层出不穷的应用设计缺陷和通过加 密通道的攻击，网络中还需要有一种能够及时发现并报告系统入侵( 攻击) 的技 术，即入侵检测。 传统的入侵检测技术在扩展性和适应性上己不能应付越来越复杂的攻击方式， 因此许多其他领域的知识被引入，数据挖掘是其中比较热门的一种技术。数据挖 掘是从大量的数据中挖掘出潜在而有价值的信息。 由此，本文利用数据挖掘技术在传统入侵检测技术基础上，给出了一+ 种基于主 机和网络的大规模协同分布式混合入侵检测系统模型，并提出了在混合模式f 数 据预处理阶段的特征创建模型，分析了入侵检测系统的实现架构，给出了数据挖 掘过程中新的关联规则和序列分析方法，并成功运用于入侵检测中。本文所给的 系统具有自适应性和可扩展能力强的特点，降低了误检率和误报率，达到了提高 入侵检测质量的目的，具有较广泛的应用价值。 关键词：入侵检测数据挖掘特征选择加权关联规则间隔序列分析 a b s t r a c t a b s t r a c t p e o p l eh a v em o r ea n dm o r ec o n c e r n e da b o u tt h en e t w o r ks e c u r i t yt r a d i t i o n a ls u f e p r o t e c t i o nt e c h n o l o g yw h i c ha d o p t si d e n t i f i c a t i o n a u t h e n t i c a t i o n ，a c c e s sc o n t r o l l i n g a n dt e c h n o l o g yo f c r y p t o g r a p h yc a n n o tp r e v e n tt h ei n t r u s i o nb e h a v i o rw h i c hi n v a d ei n t o t h eu n a u t h o r i z e db e h a v i o rc x m p u t e rs y s t e mb yu t i l i z i n gc o m p u t e rd e f e c to fs o f t w a r e a n d h a r d w a r eo fs y s t e m ，a n dt h et e c h n o l o g yo f t h ef i r ew a l lc a n 。td e a lw i t ht h ee n d l e s s d e f e c to fa p p l i c a t i o nd e s i g n i n ga n dt h ea t t a c kw h i c ha c c e s st h ee n c r y p t e dp a s s w a yt h e t e c h n o l o g yi sn e c e s s a r yt h a tc a l lf i n da n dr e p o r tt h es y s t e mi n t na s i o nb e h a v i o r ，n a m e l y i n t r u s i o nd e t e c t i o c n e v e r t h e l e s s ，t h et r a d i t i o n a li n t r u s i o nd e t e c t i o nt e c h n i q u ec a n n o td e n lw i t hm o r ea n d n l o r ec o m p l i c a t e da t t a c ko nt h ew a yo fe x p a n s i b i l i t ya n da d a p t a b i l i t yt h ek n o w l e d g eo f m a n yo t h e rf i e l d si si n t r o d u c e d ，a n dt h ed a t am i n i n gi sak i n do fh o t t e rt e c h n o l o g y a m o n gt h e m t h ed a t am i n i n gi st oe x c a v a t eo u tt h ep o t e n t i a la n dt h ev a l u a b l e i n f o r m a t i o nf r o n lal a r g en u m b e ro f d a t a t h e r e f o r e ，o nt i l eb a s eo ft h et r a d i t i o n a li n t r u s i o nd e t e c t i o nt e c h n o l o g y ，t h i st h e s i s u u l i z e sd a t a - m i n i n gt e c h n o l o g y ，a n dp r o p o s ea na d v a n c e dl a r g es c a l ec o o r d i n a t i n g d i s t r i b u t e di n t r u s i o n d e t e c t i o ns y s t e mm o d e l ，w h i c hi sb a s e do nh o s tc o m p u t e ra n d n e t w o r k ，t h e np r o p o s e dam o d e lo fs e t t i n gu pf e a t u r e ，w h i c hc o m p l e t e l ya p p l i e dd a t a m i n i n gm e t h o da n df i t sf o rs u c hm i x e dm o d e d u r i n gd a t ap r e t r e a t e dp h a s e i ta n a l y s e s t h er e a l i z a t i o nf r a m e ，p r o v i d e sn e ww e i g h t i n ga s s o c i a t i o nr u l e sa n da l t e r n a t es e r i e s a n a l y s i s a n da p p l yt h e mi nt h ec o u r s eo fi n t r u s i o nd e t e c t i o nt e c h n o l o g y ，t h i ss y s t e m h a ss e l f - a d a p t a b i l i t ya n ds t r o n ge x t e n d a b l ef e a t u r e ，a n dr e a l i z e sl o we r r o rd e t e c t i n g1 t ! a n dm i s i n f o r m a t i o nr a t et h u s ，i ta c h i e v e st h eg o a lo fi m p r o v i n gi n t r u s i o nd e t e c t i o n q u a l i t y ，a n dh a sw i d e l ya p p l i c a t i o nv a l u e k e y w o r d s ：i n t r u s i o nd e t e c t i o n d a t am i n i n gf e a t u r es e l e c t i o n w e i g h t i n ga s s o c i a t i o nr u l e s a l t e r n a t es e r i e sa n a l y s i s 独创性( 或创新性) 声明 y6 9 5 2 9 2 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文巾特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 中请学位沦文与资料若有不实之处，本人承担切相关责任。 本人签名迸h 期r 、卜妒 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 1 1 - 8 1 校攻读学位期问论文工作的知识产权单位属西安电了科技大学。本人保证毕 业离校后，发表论文或使用论文j ：作成果时署名单位仍然为两安电子科技人学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公佰沦文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论义。( 保密的论文 在解密后遵守此规定) 小学何论文属于保密在一年解密后适用本授权。伟。 本人签名 导师签锅 丝h 龇j 卫型! ：! ：竺 h 期：务帅f 。彩 第一章绪论 第一章绪论 计算机与通信技术的融合使计算机网络在信息的采集、传输、存储与处理中 处于核心地位。i n t e m e t 的飞速发展已经把人们的学习、工作和生活紧密地联系在 一起，涉及到教育、经济、政治和军事等各行业部门。随着人们对计算机网络依 赖性的增强，计算机网络逐渐成为整个社会基础设施中最重要的一部分。对计算 机和网络系统的严重依赖使得人们必须确保计算机和网络系统的安全。否则，不 仅会造成大量的人力、物力资源的浪费，竞争优势的丧失，公司商业信息或研究 技术文档的被窃，甚至会丢失有关国家的机密，进而危及国家的安全。所有这些 信息安全与网上信息对抗的需求，使得如何增强计算机和网络系统的安全性的研 究成为举世瞩目的焦点。 目前，计算机和网络系统的安全保护问题越来越突出。这是因为：网络的迅 速发展，使得网络的结构越来越复杂，维护也越来越难。其次，网络中众多的“黑 客”站点不仅提供了大量的系统缺陷及其攻击方法，而且还提供了大量易于使用 的系统漏洞扫描和攻击工具，攻击者不需要具备专门的系统知识就可以利用相应 的入侵工具轻易攻入具有安全缺陷的系统。第三，目前对系统的攻击已不仅仅是 那些年轻的“黑客”们出于好奇侵入系统的玩笑性游戏，而其入侵的背后有的甚 至得到了一些拥有足够系统资源、专业知识和入侵经验的犯罪组织、竞争列手甚 至是敌对的国家的支撑。加之，网络安全采用的技术手段与黑客的攻击方式都是 基于同样的环境，黑客的能力与网络安全方法能力在斗争中此消彼长，交替发展。 因此网络的安全防御和入侵行为的检测是一个长期的艰巨的任务。 1 1 网络入侵攻击现状 1 9 8 8 年1 1 月2r “m o r r i s w o r m ”通过自复制方式感染网络主机系统并破译系 统密码而实现恶意代码传播，给整个互联网系统造成了巨大的损失，揭开了互联 网入侵攻击的序幕。为了应对“m o r r i s w o r m ”的挑战，美国国防部高级研究计划 局( t h e d e f e n s e a d v a n c e d r e s e a r c hp r o j e c t s a g e n c y ，d a r p a ) 建立了计算机紧急 响应组( c o m p u t e r e m e r g e n c y r e s p o n s e t e a m ) ，即现在设于卡内基梅隆大学软件工 程研究所( s e i ) 的c e r t c c ( c o o r d i n a t i o nc e n t e r ) ，此机构的主要任务是报告 并统计分析互联网上发生的主要安全事件，同时开展信息安全领域的基础性研究。 美国g e n e r a la c c o u n t i n go f f i c e ( g a o ) 1 9 9 6 报告指出b j ，1 9 9 5 1 9 9 6 年度针对 美国政府计算机系统的入侵事件达2 5 0 0 0 次，至少1 0 个关系到9 8 政府预算的主 2基于数据挖掘的入侵检测研究与麻用 要部门曾受到攻击，而其中仅1 4 的入侵被检测到，甚至有的不到1 ；同时 显示，入侵攻击在过去5 年中以2 5 0 的速度增长，9 9 的大公司均发生过重大入 侵事件，而且针对政府和重要部门计算机系统的攻击变得同益频繁。网络入侵攻 击事件不断发生，事态不断扩大，其性质己超过了事件本身，丌始涉及国家政治、 经济、军事等重要敏感部门。入侵攻击频率和攻击者分布曲线从9 0 年代到2 0 0 3 年发生了重大变化，见图i t 。 1 9 9 41 9 9 51 9 9 6 1 9 9 71 9 9 82 0 0 02 0 0 12 0 0 22 0 0 3 图1 1具备网络攻击的入侵者数目 在8 0 年代，入侵者一般是信息安全领域的专家，拥有深厚的专业知识和独特 的入侵攻击手段，很少依靠专用入侵工具。他们一般手工完成入侵代码输入，对 数以千计的系统进行攻击，造成威胁，而且当时判断是否有入侵者的方式和应急 措施的采取都相对简单。而今，任何人都能进行攻击，因为通用入侵工具广为传 播，能够从因特网上轻松得到，攻击者使用这些实用工具来攻击数以万计的系统； 与此同时，有经验的入侵者正变得更加狡猾，攻击类型f i 益复杂，手段多样性趋 势更加明显，入侵和破坏在瞬间完成，一般采取隐藏行踪的手段来逃避检测系统 的跟踪，如破坏公共服务设施，重新装入预制软件系统，删除行为记录等。8 0 年 代和9 0 年代初期，拒绝服务攻击事件较少报道，并未引起重视，而现在对于从事 电子商务，在线证券交易等网络贸易，拒绝服务攻击经常造成系统停止运作。而 且，攻击频率高速增长，攻击者具备的专业知识总体在下降，攻击手段却r 益复 杂，各网络系统都面临严峻考验。与此同时，网络技术飞速发展，各种新型网络 体系结构和新型网络通信模式层出不穷，网络结构和软件平台日益复杂，更新升 级频度日益加快，而其所处的安全状况却不容乐观。据报道，世界平均每2 0 秒钟 发生一起黑客攻击入侵事件，在美国每年因此造成的经济损失高达1 0 0 多亿美元， 涉及政府机构、军事国防、科研院校、金融商业等各部门。计算机网络犯罪已严 重干扰了人们的正常生活。造成巨大的经济损失，直接或间接地威胁国家安全。 第一章绪论 1 2 计算机安全问题 针对计算机入侵攻击的严峻形势，各国均投入大量精力提升计算机的安全性 能，科研人员也纷纷进行该领域的相关研究，取得大量的研究成果。在此，首先 从整体介绍计算机安全概念及研究领域的相关问题。 1 2 1 计算机安全概念 计算机安全是指计算机系统中保密性、完整性和可用性的实现。目的是保护 系统中有价值的数据与信息。它包含以下三个特性【3 4 。5 】 保密性( c o n f i d e n t i a l i t y ) ：指系统信息仅为授权用户访问。保密性的目标是确 保计算机系统信息不能为非授权用户访问，包括网络传输保密性和数据存储保密 性。网络传输保密性主要解决数据传输的安全性问题，解决措施通常是采用保密 技术对系统信息进行加密处理，然后再进行传输。数据存储保密性主要通过访问 控制来实现，管理员将数据分类，分为敏感型、机密型、私有型和公用型，对数 据访问加以不同的访问控制权限。 完整性( i n t e g r i t y ) ：指系统信息不为突发事件和恶意攻击所改变。完整性的 目标是确保计算机系统上的数据和信息处于完整和未受损害的状念，即数据和信 息不会因人为或意外事件而被改变或丢失，完整性的丧失直接影响系统的可用性。 完整性包括软件完整性和数据完整性两个方面。 可用性( a v a i l a b i l i t y ) ：指系统能正常工作而不发生访问等级的变化，同时当 有授权用户需求时能提供相应资源。系统可用性的前提是数据和信息的完整性， 其次是要求系统f 常运转，以免授权用户请求服务时，系统不能f 常及时响应。 各类拒绝服务攻击就是针对系统的可用性进行攻击。 1 ，2 2 计算机安全防护技术 针对训算机系统存在的安全隐患。通常的主要安全手段包括： 物理安全( p h y s i c a ls e c u r i t y ) ：保证系统装置和硬设备的安全，防止非法人 员接近设备并进行破坏或直接窃取机密信息。 识别与认证( i d e n t i f i c a t i o n & a u t h e n t i c a t i o n ) ：识别是将用户的i d ( i d e n t i f i c a t i o n ) 与程序相结合的过程；认证是将实际用户与用户i d 相结合的过程 6 1 。用户i d 是识别用户的标识( 如姓名、银行帐号等) ，不能随意伪造和更改。安 全系统应尽可能地隔离认证信息与识别信息，因为识别信息是非秘密的而认证信 息是秘密的，因此认证信息的使用场合与次数越少，暴露的危险就越小。 访问控制( a c c e s sc o n t r 0 1 ) ：访问控制是根据主体的访问权限限制对对象的 4 基丁数据挖掘的入侵检测研究与应用 访问，包括已经将访问权限的规定内嵌到系统中的强制访问控制，可由对象属主 对该对象建立并控制访问权限的访问控制以及基于角色的访问控制等【7 8 】。 加密( c r y p t o g r a p h y ) ：是采用具有密钥的数学函数( 加密算法) 对原始的 消息( 明文) 进行处理，产生加密消息( 密文) 的过程；它能够按约定方式将数 据文件或传输数据的内容重新组合或变换，降低了非授权用户对信息窃取的可能 性，同时也可检测出对数据的更改和验证出文档作者t 9 1 。 防火墙( f i r e w a l l ) ：防火墙技术是一组对于进入离_ 丌计算机网络的信息传 输进行认证、授权和审计等安全机制的集合，通过增强网络层访问控制策略，在 不同的信任级别或安全级别的网络间设立安全边界，使用的机制包括代理服务器、 网络数据包过滤器和加密数据通道等。防火墙过滤网络数据包，根据设定的安全 策略决定是否让网络数据包通过，也可通过转换网络地址将内部的配置细节隐藏 起来，以防范潜在的入侵者【j 。 1 3 入侵检测研究意义 1 3 1 为什么需要入侵检测 计算机信息网络已经成为一个国家最为关键的政治、经济和军事资源，也成 为国家实力的象征。网络改变了人们的生活、工作方式，使信息的获取、传递、 处理和利用更加高效、迅捷；但是，也使“黑客”侵犯和操纵一些重要的信息和 数据成为可能，因而引发了网络信息安全与对抗问题。 网络安全涉及到网络的方方面面，是一个系统的知识结构。网络安全的复杂 性还在于网络发展本身的复杂性，可以蜕绝对安全的系统是不可能做到的。由于 各种网络技术在时间和空间上的延伸使目前的网络发展成为一个非常复杂的环 境，几乎不可能设计出一个绝对安全的系统。不可能做到统一改造庞大的网络系 统，因此各种新的技术和老的技术在很长时间黾要共存。关于网络安全问题目前 存存许多专门技术，如口令认证、安全审汁、防火墙、加密技术等等，总的来说 这些技术都属于一种静态的防御系统，如同建立了一个有各种防卫措施的银行， 而没有配旨警察等监控系统一样。对于没有一个主动监控和跟踪入侵的入侵检测 系统，这样的网络其安全性是不完整的。 入侵检测作为_ 种积极主动的安全防护技术，提供了对内部攻击、外部攻击 和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。从网络安全立 体纵深、多层次防御的角度出发，入侵检测理应受到人们的高度重视。 塑二兰堡堡 兰 1 3 2 入侵检测的研究方向 a x e l s s o ns 在技术报告中l ，针对高校和科研部i q 研制的主要入侵检测模型进 行分类并给出评价结果。他认为今后入侵检测系统的发展趋势是：1 从基于主机的 入侵检测向基于网络的入侵检测转变，在此过程中，还需处理如高速网络、网络 加密数据流的检测等问题：2 从集中式检测向分布式检测发展，特别在数据采集和 数据处理方面；3 增强检测系统间的互操作性，早期的入侵检测模型通常需要专用 的软件平台，但目前更需要加强异构环境下不同检测系统间的互操作特性；4 增强 入侵检测系统自身安全性的研究，这在以前的研究中未受到重视，而检测系统由 于担负着系统的监控任务，自身运行状况的好坏是否正常十分关键。 与此同时，通过对现有模型进行分析，他认为入侵检测领域仍存在一些问题急 待解决： 1 误用检测与异常检测的集成，由于异常检测模型和误用检测模型在检测方 式、适用对象、检测效果等诸方面均存在着较大的互补性，因此它们的集成将有 助于承担系统的复杂安全监控任务； 2 入侵检测的实时性，这在高速和安全级别要求较高的场合特别突出，要求 检测模型能够对用户行为进行及时的检测以判断其特性； 3 增强入侵事件的主动反应，这要求检测系统在发现入侵行为时，能够主动 地向系统管理人员提出建设性的建议或按照事先指定的应急措施进行安全防护： 4 系统资源的占用问题，由于计算技术和网络呈现高速化的特点，待监控的 信息爆炸性增长，检测系统应尽量在降低对计算资源要求的同时提高检测效率： 5 检测系统评价体系的研究，如何公正地评价检测模型的有效性，如何选择 评价模型的评价指标体系，是研究入侵检测的重要课题。 6基于数据挖掘的入侵检测研究与应用 1 4 本文工作 本文是以上述问题为研究背景，深入系统地研究了基于数据挖掘的入侵检测 系统及其应用。论文工作如下： 1 从入侵检测研究背景和发展历程出发，介绍了入侵、入侵检测和入侵检测 系统的基本概念和原理，分析了入侵检测的不足，比较了几种入侵检测方法的优 缺点。 2 阐述了将数据挖掘引入入侵检测领域的背景，分析其出发点、可行性以及 此领域的研究进展和存在的相关问题。并分析了数据挖掘的分类、关联、序列、 聚类等分析方法及其特点和适用范围。运用数据挖掘技术能够从大量的审计数据 中自动产生精确且适用的检测模型，使入侵检测系统适用于任何计算环境。 3 以前的入侵检测系统一般都是集中式的，但随着协同攻击以及分布式入侵 行为的出现，集中式检测系统不能够应付r 益复杂网络环境。为此，提出了一种 真正意义上大规模的分布式入侵检测系统，充分运用几种数据挖掘算法进行综合 分析，并对可疑数据进行二次挖掘，在提高检测率的同时降低了虚警率，并可检 测出协同攻击和分布式入侵行为，满足实时性的要求，具有自适应性和可扩展能 力强的特点。 4 入侵检测系统已由以前单纯的基于主机或基于网络的类型发展成为当今的 混合模型，而特征模式的创建也符合了这发展趋势。针对基于主机和基于网络 入侵检测模型各自的优缺点，提出一个完全运用数据挖掘方法且适用于这种混合 模式下的特征发掘模型。 5 由于网络是动态的，每个项目的重要性各不相同，关联规则虽然可以检测 数掘中的潜在关系，发现未知的入侵模式，但它在检测过程中假设列集中每一项 目都有同等的重要性，所以当时的关联规则不能解决这个问题。为此提出加权关 联规则并把它应用到入侵检测中，同时给出了基于加权关联规则的n 】d s 模型，提 高了挖掘入侵模式的精确度和完整性，降低了系统误报率。 6 ，序列挖掘中，目前多数基于频繁序列挖掘的算法都着重研究连续的序列挖 掘，而现实生活中，大量存在的是更松散更具实际意义的问隔序列模式，为此提 出了一种挖掘间隔序列模式，并应用于入侵检测之中，可以挖掘出较松散的用户 行为模式，比连续序列挖掘模式具有更广泛的应用价值。 翌二至笙堡三 1 5 本文结构安排 本文的主要内容安排如下： 第一章绪论，详细分析了论文研究的总体概况，包括论文研究的背景、目 的和意义、主要研究内容、技术目标以及论文研究的相关技术等。 第二章阐述了入侵检测的概念，详细分析了入侵检测模型的类型及其优缺 点以及研究现状和以后的发展方向，为后续章节做好理论铺挚。 第三章本章主要介绍了数掘挖掘技术的基本概念，分析比较了数据挖掘体 系结构、分类及特点和数据挖掘方法的优缺点。同时，探讨了数据挖掘与入侵检 测的关系。 第四章提出了一种基于数据挖掘技术的分布式混合入侵检测模型且适用于 混合模式下的特征创建模型和自适应框架，给出了加权关联规则模式和间隔序列 分析模式以及挖掘思想。 第五章提出了入侵检测模型的初步实现框架以及所用的关键数据挖掘技 术：即加权关联规则和间隔序列分析，改进了算法，并且实现了它们在入侵检测 中的应用。 第六章结束语，总结全文。 8基丁数据挖棚的入侵检测研究与应用 第二章入侵检测技术 入侵检测是一种动态的安全防护手段，它能主动寻找入侵信号，给网络系统 提供对外部攻击、内部攻击和误操作的安全保护。因此，为网络安全提供高效的 入侵检测及相应的防护手段，能弥补防火墙的不足起着主动防御的作用，是网络 安全中极其重要的部分。 本章主要阐述了入侵检测的基本概念，详细分析了入侵检测模型的类型及其 优缺点以及研究现状和以后的发展方向，为后续章节做好理论铺挚 2 ，1 入侵检测概念 入侵检测主要过程包括：数据采集、数据分析、响应过程。数据采集是从网 络系统的多个点进行，采集内容包括系统f 志、网络数据包、重要文件以及用户 活动的状态与行为等【1 ”。数据分析则通过模式匹配、异常检测和完整性检测三种 技术手段对采集的数掘进行分析。入侵检测系统一旦发现入侵行为，立即会进入 响应过程，包括日志、告警和安全控制等。 入侵检测在信息网络体系结构中能够完成以下功能( ”l ： 1 ) 整合信息安全体系结构中不同构件间的集成特性： 2 ) 增强系统监控性能； 3 ) 能全程有效监控用户行为； 4 ) 能识别并报告数据文件的修改情况； 5 ) 能确定系统中的错误配置，在一定情况下还可对其修币； 6 ) 能有效识别攻击a 侵并通知系统安全管理人员及时采取防范措施： 7 ) 促使系统管理员把握最近对程序的修改情况； 8 ) 允许非专业人士向系统提供安全策略建议； 9 ) 能提供信息安全策略的指导意见。 2 2 入侵检测分类 目前，入侵检测从数据源采集的位置可分为基于网络的和基于主机的；根据其 检测方法可分为异常检测和误用检测入侵检测；根据反应机制可分为主动性和被 动性；根据体系结构分为分布式和集中式；根据处理时间可分为事后处理和实时 性。如图2 1 所示。 第- 二章入侵检测技术 9 图2 1 入侵检测的分类 误用检测 异常检测 主机层面 闷络层面 主动型 被动型 分布式 集中式 事后处理 实时 本节重点分析入侵检测方法中的误用检测( m i s u s ed e t e c t i o n ) 、异常检测 ( a n o m a l y d e t e c t i o n ) 。 2 2 1 按检测方法分类 1 误用检测 误用检测是通过将预先设定的入侵模式与监控到的入侵发生情况进行模式匹 配来检测【l 。它假设能够精确地将入侵攻击按某种方式编码，并可以通过捕获入 侵攻击将其重新分析整理，确认该入侵行为是否为基于对同一弱点进行入侵攻击 方法的变种，入侵模式说明导致安全事件或误用事件的特征、条件、排列和关系。 误用检测模型能针对性地建立高效的t 入侵检测系统，检测精度高，误报率低， 但它对未知的入侵活动或己知入侵活动的变异检测的性能较低。根据匹配模式的 构造和表达方式的不同，形成了不同的误用检测模型【“ 。如图2 3 所示为一种典型 的误用入侵检测系统模型。 更改现存的规则 添加新规则 圈2 3一种典型的误用入侵检测系统模型 o基于数据挖捌的入侵检测研究与应川 2 异常检测 异常检测是利用已建的正常用户和系统的行为特征来检测当前行为的背离 度，以确定当前行为是否为入侵行为【】。异常检测将入侵性活动作为异常活动子 集，理想状况下的异常活动集与入侵性活动集等同，若能检测所有的异常活动， 则可检测所有入侵性活动【 】。实际中，入侵性活动并不等同异常活动，存在4 种 可能情况：1 入侵性但非异常：2 非入侵性但异常；3 ，非入侵性且非异常；4 入侵 且异常。因此，异常入侵要解决的问题就是构造异常活动集并从中发现入侵性活 动子集。此检测模型与系统相对无关，通用性较强，能够检测出新的和未知的入 侵攻击行为，但因存在对整个系统的所有用户行为描述的完备性问题，其检测的 误报率较误用检测高。 更新活动记录 动态产生新 的活动记录 图2 4 一种典型的异常入侵检测系统模型 由于异常检测和误用检测在检测方式和适用领域存在着互补性，因此许多入 侵检测系统通过集成的方式将其混合使用来承担系统安全监控任务。 2 , 22 按保护目标分类 入侵检测系统的按数据源分类主要分为：基于主机( h o s t b a s e d ) 的入侵检测 和基于网络( n e t w o r k b a s e d ) 的入侵检测。 1 基于主机的入侵检测 基于主机入侵检测系统的检测对象主要是主机系统和系统本地用户。检测原 理是根据主机的审计数据和系统的同志发现可疑事件，检测系统可运行在被检测 的主机或单独的主机上。此类系统依赖于审计数据或系统闩志的准确性、完整性 以及安全事件的定义。基于主机的入侵检测系统具有以下功能：1 监视操作系统的 日志以发现攻击的特征；2 监视代理所处主机上的所有进程和用户；3 监视暴力登 录攻击( b r u t e - f o r c el o g i n ) 4 发现试图改变或绕过安全设定的入侵；5 发现特权的 滥用：6 堵够监视特定系统中很难发现的、甚至根本没有通过网络而在本地进行的 入侵。与此同时，这类系统仍然存在着安全隐患，如入侵者设法逃避审计或进行 第二章入侵检测技术 合作入侵，特别是在网络环境下，仅依靠主机审计信息进行入侵检测难阱适应网 络安全的要求。主要表现在：1 ，主机审计信息的弱点容易受攻击，入侵者可通过 使用某些系统特权或调用比审计本身更低级的操作来逃避审计；2 不能通过分析 主机的审计记录来检测网络攻击( 域名欺骗、端口扫描等) 。其结构如下图所示： 图2 5基丁主机的入侵检测模型 2 基于网络的入侵检测 基于网络的入侵检测产品( n i d s ) ，通常也称硬件检测系统，放置在比较重要 的网段内，不停地监视网段中的各种数据包。对每一个数据包或可疑的数据包进 行特征分析。如果数据包与产品内置的某些规则吻合，入侵检测系统就会发出警 报甚至直接切断网络连接，网管可以在w i n d o w s 平台进行配置，中央管理。 基于网络的入侵检测系统使用原始网络数据包作为数据源，通常使用报文的模 式匹配或模式匹配序列来定义规则，检测时将监听到的报文与模式匹配序列进行 比较，根据比较的结果束判断是否有非f 常的网络行为。此类系统具有以下特征： 1 有较低的安装成本：2 能够检测到主机型无法检测的入侵行为，如能检查数 据包的头部而发现非法的攻击；3 入侵对象不容易销毁证据，被截取的数据不仅 包括入侵的方法，还可定位入侵对象的信息：4 能够进行实时检测和响应，一旦 发现入侵行为就立即中止攻击；5 可以检测到未成功的入侵；6 此类系统不依赖 于被保护的主机操作系统。 2 基于数据挖掘的入侵检测研究与应用 洲练阶段 测试 匝蚪斟翠二研 存线学习 i i 作阶段 图2 6基丁网络的入侵检测模型 分类l 旦查壑董 结果l 网络入侵检测系统的弱点： 1 网络入侵检测系统只检查它直接连接网段的通信，不能检测在不同网段的 网络包。在使用交换以太网的环境中就会出现监测范围的局限。而安装多台网络 入侵检测系统的传感器会使布署整个系统的成本大大增加。 2 网络入侵检测系统为了性能目标通常采用特征检测的方法，它可以检测出 普通的一些攻击，而很难实现一些复杂的需要大量计算与分析时间的攻击检测。 3 网络入侵检测系统可能会将大量的数据传回分析系统中。在一些系统中监 听特定的数据包会产生大量的分析数据流量。一些系统在实现时采用一定方法来 减少回传的数据量，对入侵判断的决策由传感器实现，而中央控制台成为状态显 示与通信中心，不再作为入侵行为分析器。这样的系统中的传感器协同工作能力 较弱。 4 基于网络的入侵检测系统通过在网段上对通信数据的侦听来采集数据。当 它同时检测许多台主机的时候，系统的性能将会下降，特别是在网速越来越快的 情况下。由于系统需要长期保留许多台主机的受攻击信息记录，所以会导致系统 资源耗竭。 2 3 入侵检测系统现状 入侵检测是网络安全领域中一个较新的课题。以往，网络安全工作者以主动 的安全机制作为研究的重点。虽然每一种安全机制或安全策略的应用都可以使系 统在某方面的安全性有较大的改善，但是网络体系结构的开放性特征和计算机软 件本身固有的特性使得网络入侵仍然非常普遍，并且在目前的条件下入侵问题很 难通过提出新的安全策略来彻底解决，因此，检测网络入侵行为就变得非常重要 和有意义了。从9 0 年代开始有了一些针对具体入侵行为或具体的入侵过程进行的 入侵检测的研究和系统，9 4 年以后逐渐出现一些入侵检测的产品，其中比较有代 表性的产品有i s s ( i n t e m e ts e c u r i t y s y s t e m ) 公司的r e a l s e c u r e ，n a i ( n e t w o r k a s s o c i a t e s ，i n c ) 公司的c y b e r c o p 和c i s c o 公司的n e t r a n g e r 。现在入侵检钡9 系统 第二章入侵检测技术 3 已经成为网络安全中一个重要的研究方向而越来越受到重视。 目前的入侵检测系统大部分是基于各自的需求和设计独立开发的，不同系统 之问缺乏互操作性和互用性这对入侵检测系统的发展造成了障碍，因此d a r p a 在1 9 9 7 年3 月丌始着手c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，公共入侵 检测框架) 标准的制定。现在加州大学d a v i s 分校的安全实验室已经完成c i d f 标准h j ，1 e t f ( i n t e m e t e n g i n e e r i n g t a s k f o r c e ，i n t e r n e t 工程任务组) 成立了i d w g ( i n t r u s i o n d e t e c t i o n w o r k i n g g r o u p ，入侵检测工作组) 负责建立i d e f i 】( i n t r u s i o n d e t e c t i o ne x c h a n g ef o r m a t ，入侵检测数据交换格式) 标准，并提供支持该标准的 工具，以更高效率地丌发入侵检测系统( i n t r u s i o nd e t e c t i v es y s t e m ，i d s ) 。 可以看出，国际上入侵检测研究已经进行了多年，各研究机构和公司研制的 检测系统针对已知入侵行为检测精度高，误报率较低：但对于未知攻击之入侵模 式其检测率和误报率的结果均不能令人满意。大部分商业检测系统考虑检测效率 问题，但具体到实际应用时，还需考虑系统成本问题，包括研发成本、使用成本 等，导致了许多商业产品集中于误用检测性能研究方面，而对于异常检测还处于 研究阶段【1 8 1 。 国内在这方面的研究刚开始起步，目前也已经开始着手入侵检测标准i d f ( i n t r u s i o nd e t e c t i o nf r a m e w o r k ，入侵检测框架) 的研究与制定。而随着上网的关 键部门、关键业务越来越多，迫切需要具有自主版权的入侵检测产品。但现状是 入侵检测仅仅停留在研究和实验样品( 缺乏升级和服务) 阶段，或者是防火墙中 集成较为初级的入侵检测模块。可见，入侵检测产品仍具有较大的发展空间。 根据入侵检测系统的性能评价指标：有效性，适应性和扩展性【1 ”，目前的i d s 总结起来存在以下几个方面的不足。 1 有效性方面。现存的规则库和知识库，以及统计的方法都是基于专家知识 的手工编码，面对复杂的网络环境，专家知识往往不全面不精确。 2 适应性方面。专家仅仅集中分析己知的攻击方法和系统漏洞，所以系统无 法检测未知的攻击，需要时蚓去学习新的攻击方法，因此，对新攻击的检测延时 太大。 3 扩展性方面。专家规则和统计方法一般都是针对特点网络环境的，因此， 很难在新的网络环境实现i d s 的再利用。同时，i d s 往往是很庞大的系统，所以 给i d s 中加入新的检测模块很困难。 因此，需要找到一种提高i d s 有效性、适应性和扩展性的方法。由此，产生 了在传统入侵检测技术基础上利用数据挖掘技术，分析多个检测引擎提交的审计 数据，以发现更为复杂的入侵行为。 i d s 通常采用中心管理控制平台和检测引擎组成的分布式体系结构。根据采集 数据源的不同，i d s 可以分为基于网络的和基于主机的两类。从工作原理看，目前 基于数据挖掘的入侵检测研究与应瑚 的i d s 存在三点不足，一是这两类i d s 采集、分析的数据不全面；二是入侵检测 由各个检测引擎独立完成，中心管理控制平台并不具备检测入侵的功能，缺乏综 合分析：三是在响应上，除了同志和告警，检测引擎只能通过发送r s t 包切断网 络连接，或向攻击源发送目标不可达信息束实现安全控制。显然，目前i d s 实现 的功能是相对初级的。就像高效防火墙需要状态检测技术一样，i d s 也需要充分利 用数据信息的相关性。i d s 作为网络安全整体解决方案的重要部分，与其他安全设 备之间应该有着紧密的联系。因此，i d s 需要一种新的系统体系来克服自身的不足， 并将i d s 的各个功能模块与其他安全产品有机地融合起来。 在本文中，采用数据挖掘技术实现一种基于主机和网络的大规模分布式混合 入侵检测，从而提高i d s 的质量。 2 4 入侵检测技术发展 可以看到，在入侵检测技术发展的同时，入侵技术也在更新，一些地下组织 已经将如何绕过i d s 或攻击i d s 系统作为研究重点。高速网络，尤其是交换技术 的发展以及通过加密信道的数据通信，使得通过共享网段侦听的网络数据采集方 法显得不足，而大量的通信量对数据分析也提出了新的要求。随着信息系统对一 个国家的社会生产与国民经济的影响越来越重要，信息战已逐步被各个国家重视， 信息战中的主要攻击“武器”之一就是网络的入侵技术，信息战的防御主要包括 “保护”、“检测”与“响应”，入侵检测则是其中“检测”与“响应”环节不可缺 少的部分。 近年对入侵检测技术有几个主要发展方向： ( 1 ) 分布式入侵检测与通用入侵检测架构 传统的i d s 般局限于单一的主机或网络架构，对异构系统及大规模的网络的 监测明显不足【2 。同时不同的i d s 系统之间不能协同工作能力，为解决这一问题， 需要分布式入侵检测技术与通用入侵检测架构。 ( 2 ) 应用层入侵检测 许多入侵的语义只有在应用层才能理解，而目前的i d s 仅能检测如w e b 之类 的通用协议，而不能处理如l o t u s n o t e s 数据库系统等其他的应用系统。许多基于 客户、服务器结构与中间件技术及对象技术的大型应用，需要应用层的入侵检测 保护。 ( 3 ) 智能的入侵检测 入侵方法越来越多样化与综合化，尽管已经有智能体、神经网络与遗传算法 在入侵检测领域应用研究，但是这只是一些尝试性的研究工作，需要对智能化的 i d s 加以进一步的研究以解决其自学习与自适应能力。 第二章入侵检测技术 ( 4 ) 入侵检测的评测方法 用户需对众多的i d s 系统进行评价，评价指标包括i d s 检测范围、系统资源 占用、i d s 系统自身的可靠性与鲁棒性。从而设计通用的入侵检测测试与评估方法 与平台，实现对多种i d s 系统的检测已成为当前i d s 的另一重要研究与发展领域。 ( 5 ) 网络安全技术相结合 结合防火墙、安全电子交易s e t 等新的网络安全与电子商务技术，提供完整 的网络安全保障。 2 5 本章小结 本章主要阐述了入侵检测的基本概念，详细分析了入侵检测模型的类型及其 优缺点以及研究现状和以后的发展方向。 基于数据挖掘的入侵检测研究与戍，【 第三章数据挖掘技术 由于网络技术、数据库技术、硬件实现技术的进步，使得大量信息能够置于 计算机中进行高效检索和查询。w e b 技术的出现促进了利用超文本格式将文字、 图像等信息汇于一体，丰富了信息资源，增强了信息产生和数据搜集能力。因此， 成千上万的数据库应用于商业管理、行政办公、科学研究和工程开发，而系统存 储的海量历史数据又引发了新问题，例如，美国零售商w a l m a r t 公司每天要处理 二千万个事务，n a s a 于1 9 9 9 年发射的地球观测系统每小时要产生5 0 g b 的图像 数据，m o b i l 石油公司正丌发能存储i o o t b 与石油勘探相关数据的数据仓库系统 等，这些庞大数据库和海量数据是极其丰富的信息源，但靠传统数据检索机制和 统计分析方法不能满足信息有效提取的需要，要使数据信息真正成为有效资源， 只有充分利用它为企业业务决策和战略发展服务，否则只能成为包袱。因而，从 数据库中发现知识( 以下简称知识发现) ( k n o w l e d g ed i s c o v e r y i nd a t a b a s e ，k d d ) 的核心技术数据挖掘( d a t am i n i n g ，d m ) 应运而生【2 1 1 。 数据挖掘是从大量的数据中抽取出潜在的、有价值的知识的过程，是个新 兴的数据分析技术，在商业、生物、决策等方面有很多的应用，并且起到了很大 的作用。 本章将主要介绍数据库、知识发现及有关数据挖掘的概念，分析几种数据挖 掘方法的优缺点及它们适用的范围，分析了数据挖掘应用到入侵检测中的可行性， 3 i 知识发现 3 1i 知识发现概述 知识发现是