（计算机应用技术专业论文）基于数据挖掘的入侵检测系统研究.pdf

基于数据挖掘的入侵检测系统研究 摘要 随着人类社会信息化程度不断提高，对网络的依赖性曰益增强，计算机网 络安全已引起人们的广泛关注。入侵检测是一种通过实时监测目标系统来发 现入侵攻击行为的安全技术，现已成为网络安全领域中的一个研究热点。 本文在对入侵检测技术和数据挖掘技术进行深入研究的基础上，针对传 统的入侵检测系统自适应能力不强、可扩展性差、不能检测未知形式的入侵 等缺陷，提出了基于数据挖掘的入侵检测模型，主要工作如下： ( 1 ) 研究了基于聚类分析的无监督异常检测方法，并改进了k 均值算法用 于聚类分析。通过实验证明，改进后的算法，提高了实时性。 ( 2 ) 采用f p g r o w t h 算法和p r e f i x s p a n 算法对网络连接记录进行关联规则挖 掘和序列模式挖掘，并与传统的算法进行比较，提高了系统的效率。 ( 3 ) 在分析了当前常用的入侵检测方法和入侵方法的基础上，提出了一种 基于数据挖掘的入侵检测系统的设计方案。该模型具有自适应性和可扩展能 力强的特点，降低了误检率和误报率，达到了提高入侵检测质量的目的，具 有较广泛的应用价值。 关键词：入侵检测，数据挖掘，聚类分析，关联规则，序列模式 t h er e s e a r c ho fi n t r u s i o nd e t e c t i o ns y s t e m b a s e do nd a t am i n i n g a b s t r a c t w i t ht h ei n c r e a s eo fi n f o r m a t i z a t i o nl e v e la n de n h a n c e m e n to fd e p e n d e n c e o nc o m p u t e rn e t w o r k sf o rh u m a ns o c i e t y ，c o m p u t e rn e t w o r k s e c u r i t yh a sa r o u s e d e x t e n s i v ea t t e n t i o n i n t r u s i o nd e t e c t i o ni sas e c u r i t yt e c h n o l o g yt od e t e c tt h e i n t r u s i o nt h r o u g hm o n i t o r i n gt h et a r g e ts y s t e mi nr u n t i m e n o wi th a sb e c o m ea h o tr e s e a r c hi naf i e l do fn e t w o r ks e c u r i t y t r a d i t i o n a li d sh a ss o m el i m i t a t i o n s ：p o o ra d a p t a b i l i t y ，l a c ko fe x t e n s i b i l i t y a n di n a b i l i t yt od e t e c tn o v e la t t a c k s b a s e do nt h et h o r o u g hr e s e a r c ho fi n t r u s i o n d e t e c t i o nt e c h n o l o g ya n dd a t am i n i n gt e c h n o l o g y ，t h er e s e a r c ho fi n t r u s i o n d e t e c t i o ns y s t e mb a s e do nd a t am i n i n gi sp u tf o r w a r di nt h i sd i s s e r t a t i o n t h e m a i nw o r kw e r ea sf o l l o w s ： f i r s t ，r e s e a r c h e dt h eu n s u p e r v i s e da n o m a l yd e t e c t i o nm e t h o d sb a s e do n c l u s t e r i n ga n a l y s i s ，i m p r o v e dt h ek m e a n sa l g o r i t h m t h ea l g o r i t h mi sp r o v e dt o h a v eg o o dp e r f o r m a n c ei nr e a l - t i m ed e t e c tw i t hs o m ee x p e r i m e n t s s e c o n d ，a n a l y z e dt h ea s s o c i a t i o nr u l em i n i n ga n dt h es e q u e n t i a lp a t t e r n m i n i n ga l g o r i t h m s f p - g r o w t ha n dp r e f i x s p a na l g o r i t h m sw e r eu s e di nn e t w o r k c o n n e c t i v i t yr e c o r d s 。c o m p a r e dw i t ht r a d i t i o n a lm e t h o d s ，a n di m p r o v e dt h e e f f i c i e n c yo ft h es y s t e m t h i r d ，b a s e d o nt h er e s e a r c ho nt h ei n t r u s i o nd e t e c t i o nt e c h n o l o g ya n d i n t r u s i o nm e t h o di nc o m m o nu s e ，as o l u t i o no fr u n t i m ei n t r u s i o nd e t e c t i o n s y s t e mb a s e do nd a t am i n i n gi sp r o p o s e di n t h ed i s s e r t a t i o n t h em o d e lh a s s e l f a d a p t a b i l i t ya n ds t r o n ge x t e n d a b l ef e a t u r e ，a n dr e a l i z e sl o we r r o rd e t e c t i n g r a r ea n dm i s i n f o r m a t i o nr a t e t h u s ，i ta c h i e v e st h eg o a lo fi m p r o v i n gi n t r u s i o n d e t e c t i o nq u a l i t y ，a n dh a sw i d e l ya p p l i c a t i o nv a l u e k e yw o r d s ：d a t am i n i n g ，i n t r u s i o nd e t e c t i o n ，c l u s t e r i n g a n a l y s i s ，a s s o c i a t i o n r u l e ，s e q u e n c ep a t t e r n 图3 1 图4 1 图4 2 图4 3 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 插图清单 k d d 的处理过程1 6 c i d f 的体系结构2 4 基于数据挖掘的入侵检测系统结构图2 4 数据包采集流程图2 7 k d d c u p 9 9 数据模式4 2 控制台主界面4 3 入侵报警4 3 网络日志文件4 3 f p g r o w t h 算法和a p r i o r i 算法对比实验4 5 g s p 算法与f r e f i x s p a n 算法对比实验4 5 表5 1 表5 2 表5 3 表5 4 表5 5 表5 6 表5 7 表格清单 单个连接的基本特征 由领域知识得到的内容特征 2 秒时间窗口的网络流量属性特征 基于主机的网络流量属性特征 k 一均值聚类结果 改进的k 一均值聚类结果 系统的测试结果 3 9 4 0 4 0 4 l - 4 4 o o 4 4 4 6 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得 盒艘王些盍堂 或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 ：茅缸霉群嗽如，年恫；。日 本学位论文作者完全了解金起王些盔堂有关保留、使用学位论文的规定，有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本 人授权盒目b 王些盔堂可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学盥砭蚓佑辫： 老托疬 签字日期：舞i 归5 。日 学位论文作者毕业后去向 工作单位： 通讯地址： 电话： 邮编： 致谢 值此论文完成之际，谨向所有给予我指导、关心和帮助的人们表 示衷心的感谢! 首先要感谢我的导师沈明玉老师。本文的研究工作是在沈老师的 指导下完成的，在研究生阶段承蒙他的关心和悉心指点，使我在学习 和生活上都收获良多。他严谨的学术作风、踏实的工作态度、高尚的 道德品格深深的影响了我，对我的学习起到了良好的鞭策作用，在此， 谨向他表示我最诚挚的谢意。 深深感谢胡学钢教授、王浩教授和侯整风教授，他们渊博的知识、 严谨的科学态度和务实的工作作风使我受益匪浅。 还要感谢计算机与信息学院的王新生老师和徐静老师l 他们工作 认真负责，对人和蔼友善，是我学习的榜样。 最后还要感谢我的父母及家人，没有他们的支持，我不可能取得 今天的成绩，感谢多年来所有关心、支持和指导过我的老师，是他们 使我不断的取得进步。 作者：朱桂宏 2 0 0 6 1 0 1 1 计算机网络安全现状 第一章绪论 近年来i n t e r n e t 的迅速发展，给人们的日常生活带来了全新的感受，人 类社会各种活动对信息网络的依赖程度已经越来越大，计算机网络己经成为 信息化社会发展的重要保证。互联网在中国的发展更是迅猛，中国互联网络 信息中心( c n n i c ) 于2 0 0 6 年1 月1 7 日在北京发布了第十七次中国互联网 络发展状况统计报告，报告显示，目前我国上网计算机约4 9 5 0 万台，比 去年同期增长1 9 o ，是1 9 9 7 年1 0 月第一次调查结果2 9 9 万台的1 6 5 6 倍。 网民总数已经达到了1 1 0 0 0 万，比去年同期增长1 8 1 ，同1 9 9 7 年1 0 月第 一次调查结果6 2 万网民人数相比，现在的网民人数已是当初的1 7 9 0 倍。我 国网站总数达到了6 9 4 ，2 0 0 个，网络国际出口带宽总量达到1 3 6 ，1 0 6 m ，我国 大陆的i p v 4 地址数达到了7 4 ，3 9 1 ，2 9 6 个，位居世界第三。互联网正在以超 出人们想象的深度和广度迅速发展，它己经发展成为中国影响最广、增长最 快、市场潜力最大的产业之一，给人们的日常生活提供了极大的便利。 计算机网络已经和人们的学习、工作紧密的联系在一起，成为许多人生 活中不可或缺的重要部分。但由于计算机网络具有联结形式多样性、终端分 布不均匀性和网络的开放性、互连性等特征，致使网络易受黑客、恶意软件 和其他不轨的攻击，网上信息的安全和保密成为一个至关重要的问题。对于 军用的自动化指挥网络和银行等传输敏感数据的计算机网络系统而言，其网 上信息的安全和保密尤为重要。因此，上述的网络必须有足够强的安全措施， 否则该网络将是个无用、甚至会危及国家安全的网络。无论是在局域网还是 在广域网中，都存在着自然和人为等诸多因素的脆弱性和潜在威胁。网络的 安全措旌应是能全方位地针对各种不同的威胁和脆弱性。3 ，这样才能确保网 络信急的保密性、完整性和可用性。 计算机网络所面临的成胁大体可分为两种：一是对网络中信息的威胁： 二是对网络中设备的威胁。影响计算机网络安全的因素很多，有些因素可能 是有意的，也可能是无意的：可能是人为的，也可能是非人为的：可能是外 来黑客对网络系统资源的非法使有，归结起来，针对网络安全的威胁主要有： ( 1 ) 人为的无意失误：如操作员安全配置不当造成的安全漏洞，用户安 全意识不强，用户口令选择不慎，用户将自己的帐号随意转借他人或与别人 共享等都会对网络安全带来威胁。 ( 2 ) 人为的恶意攻击：这是计算机网络所面临的最大威胁，敌手的攻击 和计算机犯罪就属于这一类。此类攻击又可以分为以下两种：一种是主动攻 击，它以各种方式有选择地破坏信息的有效性和完整性；另一类是被动攻击， 它是在不影响网络正常工作的情况下，进行截获、窃取、破译以获得重要机 密信息。这两种政击均可对计算机网络造成极大的危害，并导致机密数据的 泄漏。 ( 3 ) 网络软件的漏洞和“后门”：网络软件不可能是百分之百的无缺陷 和无漏洞的，然而，这些漏洞和缺陷恰恰是黑客进行攻击的首选目标，曾经 出现过的黑客攻入网络内部的事件，这些事件的大部分就是因为安全措施不 完善所招致的苦果。另外，软件的“后门”都是软件公司的设计编程人员为 了自便而设置的，一般不为外人所知，但一旦“后门”洞开，其造成的后果 将不堪设想。 1 2 常用的网络安全技术 为保护网络的安全可靠，除了运用法律和管理的手段外，还需要依靠技术 方法来实现网络安全技术”1 分为两类：静态安全技术和动态安全技术。所谓 静态安全技术，是指通过人工的方法，采用一些外围设备，主要用于保护系 统抵御外部的攻击，其代表产品是我们常见的防火墙。动态安全技术与静态 安全技术相比，最大优点在于“主动性”，通过把实时的数据捕获、实时的数 据分析和网络监视系统相结合，根据选定安全数据库中的数据，经过分析， 迅速发现危险攻击的特征，进而发出警报，同时也提供一定的保护措施。 1 2 1 数据加密技术 所谓加密是指将一个信息经过加密密钥及加密函数转换，变成无意义的 密文，接收方则将此密文经过解密函数、解密密匙还原成明文。数据加密是 保护数据的最基本方法，是一种在网络环境中对抗被动攻击的行之有效的安 全机制，但这种方法只能防止第三者获取真实数据。一般说来，数据加密技 术分为对称型加密、不对称型加密和不可逆加密3 类。 常用的加密算法有d e s 、r s a 、d s a 、m d 5 和s h a 等。 1 2 2 访问控制技术 访问控制技术按照事先确定的规则决定主体对客体的访问是否合法。它 要确定合法用户对哪些资源享有何种权限、可进行什么类型的访问操作，防 止非法用户进入计算机系统和合法用户非法使用系统资源。当一个主体试图 非法使用一个未经授权使用的客体时，访问控制将拒绝这一企图，并向审计 跟踪系统报告。 访问控制技术的实现一般有4 种策略：程序权限限制、用户权限限制、 文件属性限制和留痕技术。 1 2 3 身份认证技术 身份认证是指证实主体的真实身份与其声称的身份是否相符的过程。它 以交换信息的方式来确认实体的身份，它是进行存取控制必不可少的条件， 用于认证的技术如下： 使用实体的特征或实体所拥有的物件，如指纹、虹膜和身份证等。 使用实体所知道的，如口令。 安全协议技术：通信双方根据事先约定的协议进行鉴别交换。 1 2 4 漏洞扫描技术 漏洞扫描是自动检测远端或本地主机安全脆弱点的技术，它通过对系统 当前的状况进行扫描、分析，找出系统中存在的各种脆弱性，在此基础上进 一步考虑对脆弱性的修补与消除。利用安全漏洞扫描技术可以发现许多常见 的问题，用户可参考扫描的结果采取相应的安全措施。这项技术的具体实现 就是安全扫描程序，如s a t a n 等。 l - 2 5 防火墙技术 防火墙是一种将内部网和公众网如i n t e r n e t 分开的方法。它能限制被保 护的网络与互联网络之间，或者与其他网络之间进行的信息存取、传递操作。 防火墙可以作为不同网络或网络安全域之间信息的出入口，能根据企业的安 全策略控制出入网络的信息流，且本身具有较强的抗攻击能力。它是提供信 息安全服务，实现网络和信息安全的基础设施。在逻辑上，防火墙是一个分 离器，一个限制器，也是一个分析器，有效地监控了内部网和i n t e r n e t 之间的 任何活动，保证了内部网络的安全。 一 从层次上划分可以分为三类防火墙：报文过滤、应用层网关和代理服务， 其中报文过滤和代理服务是目前实现防火墙的两种主要技术。 防火墙存在的一些缺陷： ( 1 ) 防火墙难以抵御不经过防火墙的入侵，即系统可受到旁路攻击。 ( 2 ) 防火墙难以防范内部用户的恶意攻击或误操作。 ( 3 ) 防火墙的管理及配置复杂，容易造成安全漏洞。 ( 4 ) 防火墙难以防范如碎片式之类数据驱动式攻击。 ( 5 ) 防火墙无法有效解决自身的安全问题。 1 2 6 入侵检测技术 常见的网络安全的解决方法是利用防火墙或者代理服务器等设备进行防 护，但由于防火墙存在的一些缺陷，目前在网络安全领域更多的引入了入侵 检测技术。 入侵检测系统是防火墙的合理补充，能弥补防火墙的不足，起着主动防 御的作用，是继防火墙之后的第二道安全闸门。入侵检测技术作为一个新的 安全辅助机制，能在不影响网络性能的情况下对网络进行监测，为系统提供 对内部攻击、外部攻击和误操作的有效保护。入侵检测系统有多种分类方法。 按照系统检测的对象划分，可分为基于主机的入侵检测系统和基于网络的入 侵检测系统以及混合式入侵检测系统：按照系统体系结构划分，可分为集中式 入侵检测系统和分布式入侵检测系统：按照检测类型划分，可分为基于异常模 式的入侵检测系统和基于误用模式的入侵检测系统。 入侵检测的概念、原理及相关细节将在下一章详细阐述。 1 3 课题研究意义 随着各种网络攻击手段的多元化、复杂化、智能化，单纯依赖防火墙等 静态防御已难以胜任网络安全的需要，首先，它们都属于静态安全技术范畴， 不能主动跟踪侵入者：其次，防火墙不能阻止内部袭击，而据统计，超过一 半的攻击来自内部；第三，由于性能的限制，防火墙通常不能提供实时的入 侵检测( i n t r u s i o nd e t e c t i o n ) 能力。入侵检测技术是继“防火墙”、“数据加 密”等传统安全保护措施后新一代的安全保障技术，作为一种积极主动的安 全防护技术，它有效地补充和完善了其他安全技术和手段，提高了信息安全 基础结构的完整性。入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 是继防 火墙之后的第二道安全闸门，是防火墙等安全措施的合理补充，能够在不影 响网络性能的情况下对网络进行检测，从而有效地防止内部攻击、外部攻击 和误操作。入侵检测系统作为安全防御体系的一个重要组成部分，目前针对 i d s 方法和技术的研究工作己经引起越来越多的重视。 随着针对网络系统的攻击越来越普遍，攻击手法的日趋复杂，入侵检测 技术也随着网络技术和相关学科的发展而日趋成熟，其目前的研究热点主要 表现在：宽带高速实时的检测技术、大规模分布式的检测技术、数据挖掘技 术、神经网络技术、免疫原理等更先进的检测算法和入侵响应技术“”“”。 数据挖掘作为机器学习在数据库中的应用，已经在科学研究、市场营销、 金融投资等领域得到了广泛应用。数据挖掘研究可以在以下几方面对入侵检 测做出贡献： ( 1 ) 发现入侵的规则、模式，与模式匹配检测方法相结合； ( 2 ) 用于异常检测，找出用户正常行为，创建用户的正常行为库； ( 3 ) 识别复杂的时序模式。 通过提高方法的自动处理机制，可消除规则建立过程中的人工分析和为 入侵行为进行手工编码的需要，也不用再为确定正常用户特征行为的统计性 度量而进行各种猜测性的工作，这正是在入侵检测中引入数据挖掘方法的一 个重要原因。采用数据挖掘的方法，从历史数据中自动生成规则将比原始的 对入侵行为进行手工编码的方法具有更好的灵活性与自适应性，当前的数据 挖掘技术也在一些形式的入侵行为的检测上证明了其有效性。将数据挖掘方 法应用于入侵检测系统是必要而且可行的。 i 4 国内外研究现状 国外己经有很多研究机构从事入侵检测系统的研究”1 ，其中包括s t a n f o r d r e s e a r c hi n s t i t u t e 的c o m p u t e rs c i e n c el a b o r a t o r y ( s r i c s l ) ，p u r d u eu n i v e r s i t y 的c o a s t ( c o m p u t e ro p e r a t i o n sa u d i ta n ds e c u r i t y t e c h n c l o g y ) 研究小组，c 0 l u m b i au n i v e r s i t y 的w e n k el e e “1 研究 组u n i v e r s i t yo f n e wm e x i c o 的s t e p h a n i ef o r r e s t 研究组等。在体系结构上， p u r d u e 大学c o a s t t j 、组首先将自治a g e n t 的概念用到了入侵检测中。在检测机 理上，除专家系统、模式匹配等传统人工智能方法的研究外，还有计算机免 疫系统的研究，在入侵检测中主要集中在数据文件的完整性保护以及病毒的 有效控制方面。 现已有多种商业化入侵检测产品得到应用，它们采用不同的入侵检测技 术，在不同层次上完成检测功能，如检测漏洞的s a t a n 和i s s 扫描器产品， 系统级的s t a l l k e r 和c m d s 的i d s 产品，网络级的i b m n e tr a n g e r 的i d s 产品等。 在国内，入侵检测产品发展起步较晚，但经过多年的发展，已涌现出一批质 量较高的商业化产品，如：北京启明星辰信息技术公司的“天闻”入侵检测系 统，冠群金辰软件有限公司的e t r a s t 入侵检测系统，东软的n e t e y e n 侵检测系 统等等。 目前有一部分研究机构将数据挖掘技术应用于入侵检测中。国外 从事这方面研究的主要有c o l u m b i au n i v e r s i t y 的s a l v a t o r es t o l f o n w e n k el e e t 研究小组。国内方面近年来也有很多的高校和研究机构从事数据挖 掘在入侵检测中的应用研究。 总之，入侵检测技术作为当前网络安全研究的热点，它的快速发展和极 具潜力的应用前景需要更多的研究人员参与。只有在基础理论研究和工程项 目开发多个层面上同时发展，入侵检测系统才能全面提高整体检测效率。 1 5 论文的研究内容及组织 本文在入侵检测和数据挖掘的理论基础上，提出一种基于数据挖掘的入 侵检测模型，针对网络入侵和攻击的特点，采用无监督自学习机制，利用划 分聚类技术将系统和网络连接记录划分为正常行为库和异常行为库。再利用 关联规则挖掘和序列模式挖掘技术从划分出的正常行为库和异常行为库中挖 掘出关联模式和序列模式，形成规则集，再对外部事件进行模式匹配，最终发 现入侵，并进行报警。 论文的结构如下： 第一章主要简述了当今网络安全的现状、面临的问题及常用的网络安全 技术：分析了本研究课题的现实意义；最后简要给出了文章的研究内容和组 织结构。 第二章对入侵检测技术进行了较为全面的介绍：入侵检测的概念、历史： 入侵检测的分类，并对不同类别的系统进行比较；最后对入侵检测技术今后 的发展方向进行了展望。 第三章详细介绍了数据挖掘和知识发现的基本概念，数据挖掘的过程和 常用的数据挖掘技术，最后还重点介绍了数据挖掘在入侵检测中的应用。 第四章提出一种基于数据挖掘的入侵检测系统模型，对入侵检测系统中 的各个模块都做了介绍，其中重点介绍了数据的采集过程、改进的k 一均值聚 类算法、p f g r o w t h 关联规则挖掘算法和f r e f i x s p a n 序列模式挖掘算法。 第五章说明了实验数据的来源；用对比实验说明了第四章中所采用数据 挖掘算法的优越性；最后对整个系统做了实验测试，充分说明了本系统具有 较高的检测率和较低的误报率，有一定的应用意义。 第六章对已有的工作进行总结，并对下一步的工作进行了展望。 第二章入侵检测技术 入侵检测是一种动态的安全防护手段，它能主动寻找入侵信号，给网络 系统提供对外部攻击、内部攻击和误操作的安全保护。因此，为网络安全提 供高效的入侵检测及相应的防护手段，能弥补防火墙的不足起着主动防御的 作用，是网络安全中极其重要的部分。 2 1 入侵检测的发展历史 入侵检测的研究最早可追溯到j a m e sp a n d e r s o n 在1 9 8 0 年的工作。在 这一年的4 月，他为美国空军做了一份题为“计算机安全威胁监控与监视” ( “c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ”) 的技术报告”。， 这份报告被公认为入侵检测的开山之作。在报告中，他首次提出了入侵检测 的概念，将入侵尝试( i n t r u s i o na t e m p t ) 或威胁( t h r e a t e ) 定义为：潜在 的、有预谋的、未经授权的访问信息、操作信息，致使系统不可靠或无法使 用的企图。 1 9 8 6 年，为检测用户对数据库异常访问，w t t e n e r 在i b m 主机上用 c o b o l 开发的d i s c o v e r y 系统，成为最早的基于主机的入侵检测系统雏形之 一o 1 9 8 4 年到1 9 8 6 年乔治敦大学的d o r o t h yd e n n i n g 和s r i 公司计算机科学 实验室的p e t e rn e u m a n n 研究出一个实时入侵检测系统模型一i d e s ( i n t r u s i o n d e t e c t i o ne x p e r ts y s t e m s ，入侵检测专家系统) ，是第个在应用中运用了统 计和基于规则两种技术的系统，是入侵检测研究中最有影响的一个系统。 1 9 8 7 年，d e n n i n g 提出了入侵检测系统的抽象模型”3 ，首次将入侵检测 的概念作为一种计算机系统安全防御问题的措施提出。同一时期，大量入侵 检测原型系统出现。 1 9 8 8 年的m o r r i si n t e r n e t “蠕虫事件”使得i n t e r n e t 近5 天无法使用，该 事件促使了人们投入更多的精力于入侵检测系统的研究。一 2 0 世纪8 0 年代后期，商业化的入侵检测系统开始出现。1 9 9 8 年，为了 提高i d s 产品、组件及与其他安全产品之间的互操作性，美国国防高级研究 计划署( d a p r a ) 和互联网工程任务组( i e t f ) 的入侵检测工作组( i d w g ) 发 起制定了一系列i d s 的标准草案。d a p r a 提出的建议是c i d f ( c o m m o n i n t r u s i o nd e t e e t i o nf r a m e w o r k ) 通用入侵检测框架。 至此，入侵检测完成了从概念诞生、模型建立、产品实现、产业标准化 的过程。目前，入侵检测仍在不断发展中。 2 2 入侵检测概念 入侵( i n t r u s i o n ) 。是指任何试图危及计算机资源的完整性、机密性或 可用性的行为。而入侵检测“”是对入侵行为豹发觉，它通过从计算机网络或 系统中的若干关键点收集信息，并对这些信息进行分析，从而发现网络或系 统中是否有违反安全策略的行为和遭到攻击的迹象。进行入侵检测的软件和 硬件的组合便是入侵检i 0 1 1 【系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 。入侵 检测是防火墙的合理补充，帮助系统对付网络攻击，它扩展了系统管理员的 安全管理能力( 包括安全审计、监视、进攻识别和响应) ，提高了信息安全基 础结构的完整性。入侵检测被认为是防火墙之后的第二道安全闸门，在不影 响网络性能的情况下能对网络进行监测，从而提供对内部攻击、外部攻击和 误操作的实时保护。 网络入侵检测系统是一项较新的网络安全技术，目前已经受到各界的广 泛关注，它的出现是对原有安全系统的一个重要补充。入侵检测系统收集计 算机系统和网络的信息，并对这些信息加以分析，对保护的系统进行安全审 计、监控、攻击识别并作出实时的反应。 2 3 入侵检测的必要性 一个计算机安全系统至少应满足用户系统的保密性、完整性和可用性要 求。但是，随着网络连接的迅速扩展，特别是i n t e r n e t 大范围的开放以及金 融领域网络的接入，越来越多的系统遭到入侵攻击的威胁，这些威胁大多是 通过利用操作系统和应用服务程序的弱点或缺陷来实现的。 目前，对应破坏系统企图的理想方法是建立一个完全安全的系统。但这 样的话，就要求所有的用户能识别和认证自己，还要采用各种各样的加密技 术和强访问控制策略来保护数据。而从实际上看，这根本是不可能的，原因 如下： ( 1 ) 要将所有已安装的带有安全缺陷的系统转换成安全系统是不现实的， 即使真正付诸于实践，也需要相当长的时间。 ( 2 ) 加密技术方法本身也存在一定的问题，如密钥的生成、传输、分配和 保存，加密算法的安全性等。 ( 3 ) 访问控制和保护模型本身存在一定的问题。 ( 4 ) 静态的安全控制措施不足以保护安全对象属性。 ( 5 ) 安全系统易受到内部用户滥用特权的攻击。一些安全技术( 如防火 墙) ，能够防止一些外部攻击，但对来自于内部的攻击就无能为力了。 ( 6 ) 在实践当中，建立完全安全的系统是不可能的。现在的操作系统和应 用程序中不可能没有缺陷。在软件工程中也存在着软件测试不充足、软件生 命周期缩短等问题。 基于上述几类问题的解决难度，一个实用的方法就是建立比较容易实现 的安全系统，同时按照一定的安全策略建立相应的安全辅助系统，入侵检测 系统就是这样一类系统。现在的安全软件的开发方式基本上就是按照这个思 路进行的。就目前的系统安全状况而言，系统存在被攻击的可能性。如果系 统遭到攻击，只要尽可能地检测到，甚至是实时的检测到，然后采取适当的 处理措施，就可以避免造成更大的损失。 入侵检测系统一般不是以采取预防的措施来防止入侵事件的发生，入侵 检测作为安全技术，其主要目的在于：第一，识别入侵者：第二，识别入侵 行为；第三，检测和监视已成功的安全突破；第四，为对抗入侵及时提供重 要信息，阻止事件的发生和事态的扩大。从这个角度看安全问题，入侵检测 对于建立一个安全系统来说是非常必要的，它可以弥补传统安全保护措施的 不足。 2 4 入侵检测的分类 随着入侵检测技术的发展，到目前为止已出现了很多入侵检测系统，不 同的入侵检测系统具有不同的特征。根据不同的分类标准，入侵检测系统可 分为不同的类别“。 2 4 1 按照信息源分类 从数据来源上看，入侵检测通常可以分为两类：基于主机的入侵检测和 基于网络的入侵检测。 基于主机的入侵检测通常从主机的审计记录和日志文件中获得所需的主 要数据源，并辅之以主机上的其他信息，例如文件系统属性、进程状态等， 在此基础上完成检测攻击行为的任务。从技术发展的历程来看，入侵检测是 从主机审计的基础上开始发展的，因而早期的入侵检测系统都是基于主机的 入检测技术。 特别的，从主机入侵检测技术中还可以单独分离出基于应用的入侵检测 类型，这是特别针对于某个特定任务的应用程序而设计的入侵检测技术，采 用的输入数据源是应用程序的日志文件。 基于网络的入侵检测主要用于实时监控网络关键路径的信息，侦听网络 上的所有分组来采集数据，分析可疑对象。基于网络的入侵检测使用原始数 据包作为数据源。该系统通常利用一个运行在混杂模式下的网络适配器来实 时监视并分析通过网络的所有通信业务。 以上两种方法由于采用的数据源不同，所以呈现出不同的特点。基于主 机的入侵检测能够较为准确的监测到发生在主机系统高层的复杂的攻击行 为。但基于主机的入侵检测系统也有显而易见的缺点：首先，它依赖于特定 的操作系统；其次，它在所保护的主机上运行，将会影响到宿主机的运行性 能，特别是当宿主机是服务器的情况。而基于网络的入侵检测系统具有监测 速度快、操作系统无关性、不影响系统性能等优点。基于网络的入侵检测系 统的主要缺点是：只能监视本网段的活动，精确度不高；在交换环境下难以 配置；防入侵欺骗的能力较差；难以定位入侵者。实际应用的系统大多是这 两种方式的混合体。 2 4 2 按照检测方法分类 从数据分析手段来看，入侵检测通常可以分为两类：误用检测( m i s u s e d e t e c t i o n ) 和异常检测( a n o m a l yd e t e c t i o n ) 。 误用检测的技术基础是分析各种类型的攻击手段，并找出可能的“攻击 特征”集合。误用检测利用这些特征集合或者对应的规则集合，对当前的数 据来源进行各种处理后，再进行特征匹配或者规则匹配工作，如果发现满足 条件的匹配，则指示发生了一次攻击行为。 异常检测的假设条件是对攻击行为和检测可以通过观察当前活动与系统 历史正常活动情况之间的差异来实现。异常检测通常都会建立一个关于系统 正常活动的状态模型并不断更新，然后将用户当前的活动情况与这个正常模 型相比较，如果发现了超过设定阈值的差异程度，则指示发现了非法攻击行 为。 误用检测比异常检测具备更好的确定解释能力，即明确指示当前发生的 攻击手段类型，因而在很多商用系统中得到了广泛应用。另一方面，误用检 测具备较高的检测率和较低的虚警率，开发规则库和特征集合相对于建立系 统正常模型而言，也要更方便、更容易。误用检测的缺点在于只能检测已知 的攻击模式，模式库必须不断进行更新。而异常检测的优点是可以检测到未 知的入侵行为，尽管可能无法明确指定是何种攻击。 从现有的实际商用系统看，大多数是基于误用检测技术，这也反应了市 场和用户的某种对确定性功能的心理需求。不过，在很多优秀的入侵检测系 统中，也采用了不同形式的异常检测技术和对应的检测模块。 2 4 3 按照体系结构分类 按照体系结构，i d s 可分为集中式、等级式和协作式3 种”： ( 1 )集中式入侵检测系统 集中式i d s 可能有多个分布于不同主机上的审计程序，但只有一个中央 入侵检测服务器。审计程序将当地收集到的数据踪迹发送给中央服务器进行 统一的分析处理。集中式i d s 在可伸缩性、可配置性方面存在致命缺陷。随 着网络规模的增大，主机审计程序和服务器之间传送的数据量就会骤增，导 致网络性能大大降低。并且，一旦中央服务器发生故障，整个系统就会瘫痪。 根据各个主机不同需求配置服务器也非常复杂。 ( 2 )等级式( 部分分布式) 入侵检测系统 等级式i d s 中，定义了若干分等级的监控区域，每个i d s 负责一外区域， 每一级i d s 只负责所监控区的分析，然后将当地的分析结果传送给上一级 i d s 。等级式也存在一些问题：首先，当网络拓扑结构改变时，区域分析结果 的汇总机制也需要做相应的调整；第二，这种结构的i d s 最后还是要将各地 收集到的结果传送到最高级的检测服务器进行全局分析，所以系统的安全性 并没有实质性的改进。 ( 3 )协作式( 全部分布式) 入侵检测系统 协作式i d s 将中央检测服务器的任务分配给多个基于主机的i d s ，这些 i d s 不分等级，各司其职，负责监控当地主机的某些活动。所以，其可伸缩 性、安全性都得到了显著的提高，但维护成本却高了很多，并且增加了所监 控主机的工作负荷，如：通信机制、审计开销、踪迹分析等。 2 5 目前入侵检测系统存在的问题 入侵检测技术发展到今天己经取得了巨大的进展，现有的入侵检测系统 己经能够在很大程度上抵御对系统的攻击，但不可否认现有的入侵检测系统 还存在着很多不足之处。 入侵检测系统的误报警是一个严重的问题，误报警是指被入侵检测系统 测出但其实是正常及合法使用受保护网络和计算机的警报。一个有效的入侵 检测系统应限制误报出现的次数，但同时又能有效截击入侵。假警报不但令 人讨厌，并且会减低i d s 的效率。误报是入侵检测系统最头疼的问题。攻击者 可以而且往往是利用包的结构伪造无威胁的“正常”假警报，而诱使没有警 觉性的收受人把入侵检测系统关掉。 入侵检测系统的速度问题：入侵检测系统不能很好的检测所有的数据包， 基于网络的入侵检测系统难以跟上网络速度的发展。截获网络的每一个数据 包，并分析、匹配其中是否具有某种攻击的特征需要花费时间和系统资源。 从现有的入侵检测产品看，国外产品在百兆网满负荷运行时将会产生较为严 重的时延，而国内的产品将会产生一定程度的失效( 尤其是在小数据包多时) ， 而千兆位则还是个不可企及的目标。 自适应性差：目前，大部分的入侵检测产品都采用误用检测的方法。网 络上的数据是随着网络应用的变化而改变的，而误用检测是基于预先定义好 的模式，这就意味着它不可能根据网络数据的变化自适应的修改检测模式。 因此，对于未知的入侵或已知入侵的变种，误用检测是无能为力的。 缺乏有效跟踪分析：追踪某个攻击的最终目标地址是保护计算机及网络 系统最有力的方法。但实现这方法有多个难点，即：“最终来源”其实是己被 攻击者攻破的计算机，只不过是由另一个受害主机拥有及操作。攻击者己知 道自己会被跟踪，所以只会在一段很短的时间内进行攻击，使跟踪者没有足 够的时间来跟踪他们。沟通问题会减慢跟踪过程。通常有一个或多个网络操 作员可能表示没有称职的专业网管人员在场。行政及法律的问题未清楚，即 使找到黑客，也难于将黑客绳之以法。 当然，不足就意味着有大量的工作可以做，说明入侵检测技术还有很大 的发展空间，在这个领域内作一些开创性的工作将是十分有意义的。 2 6 入侵检测的发展方向 i d s 随着网络技术和相关学科的发展而日趋成熟，但它并未达到完善的地 步，对它的研究也不会停止，它在未来发展的趋势主要表现在以下方面 i t l 】 12 】 1 町 ( 1 ) 适应高速网络的实时入侵检测技术研究 大量的高速网络技术如a t m 、千兆以太网等相继出现，如何实现高速网络 下的实时入侵检测，并适应和利用未来的新网络协议将成为今后研究的全新 问题。 ( 2 ) 分布式入侵检测系统的研究 随着网络速度的提高，网络流量也随之增加，此时，传统的集中式i d s 采集网络数据就会出现速度变慢的问题。因此如何解决集中式数据采集和处 理的速度问题，成为需要研究的一个方向，解决办法如使用分布式结构等。 ( 3 ) 基于数据挖掘技术的入侵检测研究 利用数据挖掘的多种分析方法提取相关的用户行为特征，并根据这些特 征生成安全事件的分类模型，应用于安全事件的自动鉴别。目前，国内外在 这个方向上的研究很活跃，并取得了一些成果。 ( 4 ) 研究更先进的检测算法 在入侵检测技术的发展过程中，新算法的出现可以有效提高检测的效率。 目前免疫技术、神经网络和遗传算法等机器学习算法为当前检测算法饷改进 注入新的活力。 ( 5 ) 入侵检测与其它安全技术的协作研究 某种单一的安全技术已不足以完全保护网络的安全，因此各种安全技术 之间充分协作，在各自的领域发挥优势，将最大限度的保护网络安全。在建 立入侵检测标准和接口的同时，可以利用多点分析和关联技术提高检测的精 确度，并制定出与其它安全设备的互动机制，构建一个全面的、实时的、动 态的安全系统。 ( 6 ) 入侵响应技术研究 当i d s 分析出入侵行为或可疑现象后，系统需要采取相应手段，将入侵 造成的损失降到最小程度。一般可以通过生成事件告警、e - m a i l 或短信息来 通知管理员。随着网络日益复杂和安全要求的提高，更加实时和系统自动响 应入侵的方法正逐渐被研究和应用。这类入侵响应大致分为三类：系统保护、 动态策略和攻击对抗。这三方面都属于网络对抗的范畴，系统保护以减少入 侵损失为目的，动态策略以提高系统安全性为职责，而入侵对抗则不仅可以 实时保护系统，还可以实现入侵跟踪和反入侵的主动防御策略。 2 7 本章小结 本章主要阐述了入侵检测的历史、基本概念，详细介绍了入侵检测的分 类，分析了目前入侵检测系统的不足，最后对入侵检测今后的发展方向进行了 简要的说明。 第三章数据挖掘技术 3 1 知识发现与数据挖掘 随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累 的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对 其进行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以 高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系 和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏 的知识的手段，导致了“数据爆炸但知识贫乏”的现象。 计算机技术的另一领域一一人工智能自1 9 5 6 年诞生之后取得了重大进 展。经历了博弈