（计算机应用技术专业论文）决策树在入侵检测中的应用研究.pdf

哈尔滨理工大学工学硕士学位论文 决策树在入侵检测中的应用研究 摘要 随着计算机和i n t e r n e t 技术的迅猛发展和广泛应用，人们在受益于信息 革命所带来的巨大利益的同时，也不得不面对信息安全的严峻挑战。网络的 大规模使用产生了海量的安全审计数据，怎样收集和处理这些数据，并从中 识别出入侵行为是网络安全研究的核心问题。而数据挖掘技术能发现隐藏在 大量数据中的潜在知识。数据挖掘技术应用于入侵检测，提高了系统的智能 性、准确性和扩展性。 在大规模网络入侵检测系统中，由于巨大的网络流量，传统的决策树分 类方法就显得效率不高，容易造成高误报率和检测响应的低效。因此，本文 提出一种基于属性重要度的多决策树生成算法和训练算法，在数据预处理阶 段根据数据包的不同属性生成多棵决策树，在检测阶段可以通过并行检测数 据包，提高检测速度，降低误报率。 本文还提出了一种多决策树的分类算法，可以根据数据属于各类的不同 可能性的大小，最终确定该数据包是攻击包还是正常数据包，可以提高入侵 检测的准确率，降低误报率。 最后设计了一个基于多决策树算法的入侵检测模型，阐述了模型的工作 原理，并利用k d dc u p 9 9 的专门用于入侵检测的测试数据对检测准确率、 效率进行了测试，记录了测试结果。 关键词入侵检测；数据挖掘；决策树；分类算法 哈尔滨理t 大学工学硕士学位论文 r e s e a r c ho ni n t r u s i o n d e t e c t i o ns y s t e mb a s e do n de c i s i o nt r e e a b s t r a c t w i mt h er a p i dd e v e l o p m e n ta n dw i d ea p p l i c a t i o no ft h ec o m p u t e ra n di n t e r n e t t e c h n o l o g y , g e t t i n gt h et r e m e n d o u sb e n e f i tf r o mt h ei n f o r m a t i o nr e v o l u t i o n ，p e o p l e a l s oh a st of a c et h ec h a l l e n g e so fi n f o r m a t i o ns e c u r i t y n o wt h en e t w o r k sh a v eh a da m a s s i v el a r g e - s c a l eu s eo fs e c u r i t ya u d i td a t a , h o wt oc o l l e c ta n dp r o c e s st h ed a t aa n d l e a r nt oi d e n t i f yn e t w o r ki n t r u s i o n sa r et h ec o r ei s s u eo fs e c u r i t ys t u d i e s a n dd a t a m i n i n gt e c h n o l o g yc a l lf o u n dh i d d e nk n o w l e d g ei nal a r g ea n a o u n to fd a t a d a t a m i r i n gt e c h n o l o g ya p p l i e dt oi n t r u s i o nd e t e c t i o ns y s t e m ，s y s t e m 证t h ei n t e l l i g e n c e ， a c c u r a c ya n ds c a l a b i l i t yh a sg r e a t l yi m p r o v e d i nt h el a r g e s c a l en e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ，b e c a u s eo fe n o r m o u s n e t w o r kt r a f f i c ，t h et r a d i t i o n a lm e t h o do fd e c i s i o nt r e ec l a s s i f i c a t i o ni si n e f f i c i e n ta n d t h i sm e t h o de a s i l yl e a dt oh i 曲f a l s ea l a r mr a t ea n dr e s p o n s et od e t e c ti n e f f i c i e n c i e s t h e r e f o r e ，t h i st h e s i sp r o p o s e dad e c i s i o n - t r e eg e n e r a t i o na l g o r i t h mb a s e do nt h e d e g r e eo fi m p o r t a n to fp r o p e r t y , d a t ap r e - p r o c e s s i n gs t a g ei na c c o r d a l i c ew i t ht h e d i f f e r e n tp a c k e tg e n e r a t i o no fp r o p e r t yd e c i s i o nt r e em a n yt r e e si nt h ed e t e c t i o ns t a g e ， w ec a nd e t e c tap a c k e ti np a r a l l e l ，n o to m yi m p r o v et h ed e t e c t i o ns p e e d ，b u ta l s o r e d u c et h ef a l s ea l a r mr a t e t h i st h e s i sa l s op r o p o s e sam u l t i d e c i s i o nt r e ec l a s s i f i c a t i o na l g o r i t h mb a s e do n t h ed a t at h eb e l o n gt oa l lk i n d so fd i f f e r e n tp o s s i b i l i t i e s w ef i n a l l yd e t e r m i n et h e p a c k e t st h a ta r en o r m a lp a c k e t so ra t t a c kp a c k e t s ，i m p r o v i n gi n t r u s i o nd e t e c t i o n a c c u r a c ya n dr e d u c i n gt h ef a l s ea l a r mr a t e f i n a l l yw ed e s i g n e dai n t r u s i o nd e t e c t i o nm o d e lb a s e do nm u l t i - d e c i s i o nt r e e a l g o r i t h m ，a n da l s od e s c r i b e dt h ew o r k i n gp r i n c i p l eo fm o d e l a n dw eu s ek d d c u p 9 9d a t a s e t st h a ts p e c i a l i z e di ni n t r u s i o nd e t e c t i o nt ot e s td a t ao nt h ed e t e c t i o n a c c u r a c y ，d e t e c t i o ne f f i c i e n c y w er e c o r dt h et e s tr e s u l t s k e y w o r d s i n t r u s i o nd e t e c t i o n ，d a t am i n i n g ，d e c i s i o nt r e e ，c l a s s i f i c a t i o na l g o r i t h m 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文决策树在入侵检测中的应用 研究，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间独立进行研 究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人已发表 或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均已在文中以 明确方式注明。本声明的法律结果将完全由本人承担。 作者签名：向9 f i 穆 日期= 洳? 年弓月2 0 e l 哈尔滨理工大学硕士学位论文使用授权书 决策树在入侵检测中的应用研究系本人在哈尔滨理工大学攻读硕士学 位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨理工大 学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解哈尔滨 理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部门提交论 文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可以采用影 印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。 本学位论文属于 保密口，在年解密后适用授权书。 不保密团。 ( 请在以上相应方框内打4 ) 日期：& 埘年 f 日期：洲年 弓月2 - oe 1 弓月2 , of 1 磊翁弋 _玎l卜 听 睁 固晦 名 名 奎 签 者 师 作 导 哈尔滨理工大学工学硕上学位论文 第1 章绪论 1 1 论文研究的背景与意义 随着计算机技术和通信技术的迅猛发展，计算机应用日趋广泛与深入，同 时也使计算机安全问题更加突出和复杂。特别是九十年代，i n t e m e t 持续高速 的发展，极大的加快了社会信息化的步伐。借助于计算机网络环境，实现了跨 地区的电子银行、电子商务、电子政务、金融网络、制造资源管理和网络虚拟 社区等多种应用。但是，网络的开放性也为信息的窃取、盗用、非法修改以及 各种扰乱破坏提供了可乘之机，使得信息在存储、处理和传输等各个环节，都 有可能遭到入侵者的攻击或病毒的危害，造成系统的瘫痪或重要数据的丢失。 因此，信息安全和网络安全的问题已经引起了各国、各部门、各行业以及每个 计算机用户的充分重视。网络入侵检测( n e t w o r ki n t r u s i o nd e t e c t i o n ，n i d ) ， 作为新一代的主动网络安全防护技术，实时地全面监控网络和应用程序的运行 状态，检测来自外部的入侵行为和内部用户的未授权活动n 。 国际标准委员会对计算机安全的定义是：为信息处理系统建立和采取的技 术和管理的安全保护措施，以保护系统中硬件、软件及数据不因偶然或恶意的 原因而遭受破坏、更改或泄露。一个安全系统至少应该满足用户系统的保密 性、完整性和可用性要求翻。 1 保密性( c o n f i d e n t i a l i t y )保密性主要指信息在存储和传输过程中不 让未授权的人看到。对于计算机和网络系统，保密性指系统的存在性、内部结 构等属性不让未授权的实体获得。保密性是最重要的安全问题。 2 完整性( i n t e g r i t y )完整性指数据在存储和传输过程中不会被未授权 的人修改、插入、删除、重发等。完整性威胁直接影响数据本身的有效性，所 以它也是一个需要重视的安全问题。 3 可用性( a v a i l a b i l i t y )可用性指系统不应拒绝合法的使用。可用性安 全威胁影响用户的工作效率。 第一代解决网络安全采取的主要技术有认证、授权、访问控制、防火墙和 加密等外围防卫机制，但对于日渐复杂的网络系统，这些被动的防御措施已经 力不从心。以防火墙技术为例，它是一种应用层网关，按照设定的规则对进入 网络的口分组进行过滤，同时也能针对各种网络应用提供相应的安全服务。 哈尔滨理工大学工学硕士学位论文 利用防火墙技术，经过仔细的配置，通常能在内外网之间实施安全的网络保护 机制，降低风险。然而仅仅依赖防火墙并不能足够保证网络安全，首先防火墙 本身有漏洞，可能被攻破；其次防火墙不能阻止内部攻击，对内部入侵者来说 毫无用处；第三有些外部访问有可能绕过防火墙。 入侵检测作为第二代网络安全技术，目前受到了国内外的广泛重视。入侵 检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 是一种重要的安全部件，是网络 与信息安全防护体系的重要组成部分，i d s 作为一种积极主动的安全防护技术 可以对计算机网络进行自主地，实时地攻击检测与响应。对网络进行主动检 测，使用户可以在系统被破坏之前自主地中止入侵行为，并响应安全漏洞和误 操作。i d s 可以实时检测分析可疑的数据而不明显的影响数据在网络上的传 输。它对安全威胁的自主响应为用户提供了最大限度的安全保障。这些特点也 恰好弥补了防火墙的不足，被看作是防火墙之后的第二道安全防线n 1 。 由于入侵检测系统在网络安全体系结构中的重要性以及它将带来的巨大商 业价值的吸引，使得这二十多年来研制了许多入侵检测系统，但根据1 9 9 8 年 和1 9 9 9 年美国m i tl i n c o l n 实验室对入侵检测系统的评估结果“1 ，以及当前 商用入侵检测系统的使用情况调查瞄，可以了解到当前的入侵检测系统在检测 性能( 如检测新型攻击能力) 、自适应性、灵活性等多方面远远不能满足当前 社会的需要。 在安全领域，入侵检测是一个被动的方法，必须靠入侵侦测才能发现违反 安全的事件，当违反安全的事件发生时，通过发出警报提示管理员处理，比如 说违反安全的事件包括盗用权限、使用软件或者协议攻击等。许多当前的入侵 检测系统是复杂和庞大的。而且传统的基于知识的入侵检测系统对安全领域专 家依赖性比较大，相对于复杂的网络系统和层出不穷的攻击技术，领域专家的 知识有着明显的时间和空间上的局限性，在发现了新的攻击行为后，领域专家 要人工对攻击行为的数据进行事后分析，人工分析的时间长、精度差，而且在 把提取的特征加入到入侵检测系统的特征数据库中之前，这种攻击行为可能己 经造成了巨大的损失，因此传统的基于特征的检测技术在保护时间上存在盲 区，极易造成漏报和误报。 为了解决以上问题，本文把数据挖掘引入到网络入侵检测系统。研究基于 数据挖掘技术的入侵检测系统，对于推动网络信息安全技术和国家的信息安全 检测工作等都是有意义的。 在入侵检测系统的发展过程中，从基于单机日志分析向基于网络的嗅探分 析发展，之后为了适应网络规模的伸缩性逐渐向分布式入侵检测发展，人们在 哈尔滨理工大学工学硕士学位论文 不断的尝试将各种技术用到入侵检测当中，如将免疫原理应用到分布式入侵检 测领域以提高入侵检测系统的适应能力；将信息检索技术引入到入侵检测系统 中提高数据分析能力；近年来的很多技术如智能代理、数据挖掘、机器学习等 技术都在入侵检测中得到了很好的应用，大大推动了对入侵检测系统的研究。 1 2 入侵检测系统概要 1 2 1 入侵检测的定义 入侵的经典定义是：一系列试图去破坏一个计算机系统资源的完整性、机 密性和可用性的行为。入侵的类型和方法有多种多样，根据其行为的后果，大 致可以分为：非授权访问、信息的泄漏或丢失、破坏数据的完整性和拒绝服务 攻击嘲。 入侵检测是检测和识别针对计算机系统和网络系统，或者更广泛意义上的 信息系统的非法攻击，或者违反安全策略事件的过程。它从计算机系统或者网 络环境中采集数据，分析数据，发现可疑攻击行为或者异常时间，并采取一定 的响应措施拦截攻击行为，降低可能的损失。 入侵检测技术是一种非常重要的动态安全技术，是安全体系的一种防范措 施。它试图检测、识别和隔离入侵企图或者计算机的未授权使用。它不仅能监 视网上的访问活动，还能针对正在发生的入侵行为进行报警，甚至采取相应的 阻断和关闭设备等措施。 和其他安全产品不同的是入侵检测系统需要更多的智能。它必须对得到的 数据进行分析，并得到有用的结果。具体来说，i d s 系统的主要任务： 1 监测并分析用户和系统的活动。 2 检查系统配置和漏洞。 3 评估系统关键资源和文件的完整性。 4 识别已知的入侵行为。 5 对操作系统进行日志管理，并识别违反安全策略的用户活动。 6 统计分析异常行为，从而识别未知的入侵行为。 7 针对已经发生的攻击行为做出适当的反应，如报警、中止进程等。 入侵检测系统是对防火墙的非常有益的补充，能够帮助网络系统快速发现 网络攻击的发生，扩展了系统管理员的安全管理能力( 包括安全审计、监视、 攻击识别和响应) ，提高了信息安全基础结构的完整性。它从计算机网络系统 哈尔滨理工大学工学硕t 学位论文 中的若干关键点收集信息，并分析这些信息以确定网络中是否有违反安全策略 的行为或遭到攻击的迹象。入侵检测系统被认为是防火墙之后的第二道安全闸 门，在不影响网络性能的情况下能对网络进行监听，从而提供对内部攻击、外 部攻击和误操作的实时保护。 1 2 2 入侵检测系统的功能和作用 入侵检测技术是主动保护自己免受攻击的一种网络安全技术。作为防火墙 的合理补充，入侵检测系统( i d s ) 能够帮助系统对付网络攻击，扩展了系统 管理员的安全管理能力( 包括安全审计、监视、攻击识别和响应) ，提高了信 自、安全基础结构的完整性。 入侵检测系统功能主要有： 1 检测并分析用户和系统的活入侵检测技术通过分析各种攻击的特征， 可以全面快速地识别探测攻击、拒绝服务攻击、缓冲区溢出攻击、电子邮件攻 击、浏览器攻击等各种常用攻击手段，并做相应的防范。一般来说，黑客在进 行入侵的第一步探测、收集网络及系统信息时，就会被i d s 捕获，向管理员发 出警告。 ， 2 监控网络异常通信i d s 会对网络中不正常的通信连接做出反应，保证 网络通信的合法性；任何不符合网络安全策略的网络数据都会被i d s 侦测到并 錾出 曹口6 3 。对操作系统进行日志管理i d s 一般带有系统漏洞及后门的详细信息， 通过对网络数据包连接的方式、连接端口以及连接中特定的内容等特征分析， 可以有效地发现网络通信中针对系统漏洞进行的非法行为。 4 完善网络安全管理i d s 通过对攻击或入侵的检测及反应，可以有效地 发现和防止大部分的网络犯罪行为，给网络安全管理提供了一个集中、方便、 有效的工具。使用i d s 系统的监测、统计分析、报表功能，可以进一步完善网 络管理。 1 2 3 入侵检测的分类和比较 入侵检测技术的研究已经开展了近二十年，作为网络安全领域的热点问 题，研究者对入侵检测的各个研究进行了全面而深入的研究。 1 按照数据来源分类入侵检测技术通常可以分为基于主机的入侵检测 技术和基于网络的入侵检测技术 1 。基于主机的入侵检测通常从主机的审计记 哈尔滨理工大学工学硕士学位论文 录和曰志文件中获得所需的主要数据源，并辅之以主机上的其他信息，例如文 件系统属性、进程状态等，在此基础上完成检测攻击行为的任务。从技术发展 的历程来看，入侵检测是从主机审计的基础之上开始发展的，因而早期的入侵 检测系统都是基于主机的入侵检测技术。基于网络的入侵检测技术通过监听网 络中的数据包来获得必要的数据来源，并通过协议分析、特征匹配、统计分析 等手段发现当前发生的攻击行为阳。 两种基本的入侵检测方法由于采用的数据来源不同，而呈现不同的特点。 基于主机入侵检测技术能够较为准确的监听到发生在主机系统高层的复杂攻击 行为。并且其中许多发生在应用进程级别的攻击行为是无法依靠基于网络的入 侵检测技术来完成的。然而其缺点也是显而易见的：首先，由于它严重依赖于 特定的操作系统平台，可移植性差；其次，它在所保护的主机上运行，将影响 主机的运行性能。另外，基于主机的入侵检测技术通常无法对网络环境下发生 的大量攻击行为，做出及时的反应。而基于网络的入侵检测技术能够实时监控 网络中的数据流量，并发现潜在的攻击行为和做出迅速的响应。另外，基于网 络的入侵检测技术的分析对象是网络协议，通常而言是标准化的，独立于主机 的操作系统类型，因此，有较好的可移植性。 2 按照检测方法分类入侵检测技术可以分为基于误用( 特征) 的入侵 检测技术和基于异常的入侵检测技术西1 。误用入侵检测的技术基础是分析各种 类型的攻击手段，并找出可能的“攻击特征”集合。误用入侵检测技术利用这 些特征集合或者对应的规则集合，对当前的数据来源进行各种处理后，再进行 特征匹配或者规则匹配工作，如果发现满足条件的匹配，则指示发生了一次攻 击行为。异常入侵检测技术的假设条件是对攻击行为的检测可以通过观察当前 活动与系统历史正常活动情况之间的差异来实现。异常入侵检测通常会建立一 个关于系统正常活动的状态模型并不断进行更新，然后将用户当前的活动情况 与这个正常模型进行对比，如果发现了超过设定阈值的差异程度，则指示发生 了非法攻击行为n 0 1 。 比较而言，误用入侵检测技术比异常入侵检测技术具备更好的确定解释能 力，即明确只是当前发生的攻击手段类型。另一方面，误用入侵检测具备较高 的检测率和较低的误报率，开发规则库和特征集合相对于建立系统正常模型而 言，也更要方便、更容易。误用检测的主要缺点在于一般只能检测到已知的攻 击模型，模式库只有不断更新才能检测到新的攻击行为。而异常检测的优点就 是可以检测到未知的攻击，尽管可能无法明确指示是何种攻击类型。 哈尔滨理工大学t 学硕士学位论文 1 3 入侵检测技术研究现状 现已有多种商业化入侵检测产品得到应用，它们采用不同的入侵检测技 术，在不同层次上完成检测功能，如检测漏洞的s a t a n 和i s s 扫描器产品， 系统级的s t a l l k e r 和c m d s 的i d s 产品，网络级的i b m n e t r a n g e r 的i d s 产品 由莹 1 i 】 守。 入侵检测系统通过检查特定攻击模式、独立事件、配置问题以及存在缺陷 的程序等漏洞，监控与安全有关的各种非法活动。有两种基本的入侵检测技 术：误用入侵检测系统( m i s u s ei n t r u s i o nd e t e c t i o ns y s t e m ) 和异常入侵检测系 统( a b n o r m a li n t r u s i o nd e t e c t i o ns y s t e m ) 。误用i d s 是用已知入侵特征来检测 发生的入侵。而对于异常i d s ，入侵的特征是未知的，只是发生入侵时系统行 为不同于其正常运行时的行为，异常i d s 通过异常行为来检测入侵。下面是几 种目前常用的入侵检测技术n 2 h 引。 下面是几种目前常用的入侵检测技术。 1 基于统计分析的入侵检测技术异常检测的思想在d e n n i n g 提出的系统 中得到应用，即通过监视系统审计记录中系统使用的异常情况，可以检测出违 反安全策略的事件此方法的提出奠定了异常检测的基础，以后发展的许多异常 检测方法和系统都是以此基础而发展起来的。此方法通过对系统的审计数据的 分析，建立起系统主体( 单个用户、一组用户、主机甚至是系统中某个关键程 序和文件等) 的基于统计的正常行为特征描述；进行检测时，检测模型将系统 中的审计数据与已建立的主体正常行为特征比较，如果相异度大于设定的阈 值，则判断该行为是入侵行为。对于主体的特征描述包括登陆时间、登陆位 置、c p u 的使用时间以及文件存取属性等。当主体的行为特征改变时对应的特 征表述也相应改变。 此外，该技术可以成功地检测出渗入和冒名顶替，但对滥用权利的合法用 户无能为力。这些用户可以随着时间的推移逐渐改变其行为，当新的工作模式 建立起来后，便可安全地进行入侵活动。 2 基于遗传算法的入侵检测技术t e x a s 大学的n e d d a a 应用遗传算法来 为网络流量的监视获得规则。这些规则能将正常网络连接和异常网络连接区分 开来。最初通过随机生成的种群来表示异常检测规则，规则中包含的每条染色 体上的基因可以由数字或统配符表示；当规则中所有非统配符基因与连接中相 应的域匹配时，则规则与当前的连接匹配。通过规则的不断进化，最后获得与 哈尔滨理t 大学t 学硕士学位论文 异常连接匹配的规则。 3 基于专家系统的入侵检测技术将入侵或攻击行为编码成专家系统规 则，使得规则库中的每一条规则都是一个入侵场景的编码。一个规则以“i f 条 件t h e n 动作”的形式表示，其中条件描述了对审计记录中每个域的约束，动作 描述了当规则被触发时应采取的措施。依据这些规则，通过模式匹配在审计跟 踪中进行检测。这种入侵检测技术弥补了基于统计分析入侵检测技术的不足， 但也存在局限性：一是规则只能包含已知的攻击行为，却不包含未知的攻击行 为；二是未触发规则的行为将躲过检测。因此，只有当规则库庞大到足以检测 绝大部分的非法攻击时，基于专家系统的入侵检测技术才是有效的。同时，专 家提供的知识带有模糊性、随机性和不确定性等因素。 4 基于神经网络的入侵检测技术人工神经网络具有许多优良的特征，这 些特征对入侵检测研究十分重要：具有较强的容错性，能够识别带有噪声的输 入模式；具有较强的自适应学习能力；能够把识别和预处理融为一体；采用并 行工作方式，识别速度快；对信息采用分布式记忆方式，信息不易丢失。有鲁 棒性。神经网络的容错性便于分析各种日志和网络数据，因为这些数据常常是 不完整或有一定的失真；其较高的处理速度有利于实时地保护计算资源，检测 入侵攻击并完成快速响应。神经网络的输出是以概率形式表示，它给出的是对 入侵的预测，因此基于神经网络所确定的特定事件或事件序列是攻击的可能 性。此外，神经网络可以通过学习获得检测经验，以提高辨认攻击过程的事件 可能发生的位置的能力，如果这的确是入侵企图，则该信息可以引发一系列相 应的处理事件。通过跟踪这些事件的后继事件，系统能够提高分析事件的能力 并能在攻击完成前采取相应的防护措施。除此之外，神经网络还可以学习误用 攻击的特性并确定以前未观察到的行为实例，通过训练系统以具有较高的检测 率。 5 基于数据挖掘的入侵检测技术为了建立有效、自适应、可扩展性的 入侵检测模型，哥仑比亚大学的w e n k el e e 等人提出了以数据为中心，利用数 据挖掘在有效利用信息方面的优势，将入侵检测视为一类数据分析过程，研究 审计数据建模的可行性和有效性，并构造出检测模型。基于数据挖掘的入侵检 测系统的关键问题在于检测模型的生成，目前数据挖掘中最常见的分析技术包 括诸如分类分析、聚类分析、关联分析和序列分析等技术。由于入侵检测的主 要目标是区分正常行为和异常行为，因此构造适合入侵检测的分类和聚类算法 则更受研究者的关注。 哈尔滨理工大学工学硕士学位论文 1 4 入侵检测存在的问题和发展趋势 1 4 1 入侵检测系统存在的问题 目前已有许多的入侵检测系统，但是从技术实现和体系结构等方面的分析 中可以看出，现今的入侵检测系统都还存在许多局限性。 1 可扩展性一个好的入侵检测系统应该能够根据其应用环境进行灵活配 置，检测方法不应该对检测系统的环境做出假设，否则将会影响检测系统的可 扩展性。但当前的入侵检测系统都依赖于操作系统、网络结构等外部环境，因 此扩展性不好。 2 可维护性维护一个i d s 所需要的技能远远超过专门的安全知识，更新 规则集需要了解专家系统规则语言，并理解系统如何处理这些规则，如此才能 够避免系统中己有规则和新增规则之间不必要的关联。为统计检测模块增加新 的统计变量时也存在同样的问题。同时系统的自适应能力差，软件的配置和使 用复杂，不能自动地适应环境。 3 可移植性入侵检测技术及相关标准化仍处于研究与开发阶段，各个标 准没有类似的机制，限制了攻击的检测能力；入侵检测系统之间难于协同和交 换信息，因此要建立一种大型网络的安全预告系统是很难的。如果一开始就设 计成一种通用模式，又可能遇到通用模式下的系统效率较低、功能受限的问 题。 4 自适应性中心控制台对攻击数据的关联和分析能力不足，人工参与过 多。系统的自适应能力差，软件的配置和使用复杂，不能自动地适应环境，需 要安全管理员根据具体的环境对软件进行复杂的配置。 5 检测效率低实际的i d s 通常很难检测出具有欺骗性的入侵。异常检 测的计算代价非常大，因为系统维护的活动记录要随着每个事件更新。误用检 测一般都采取专家系统来编码和匹配攻击特征，需要解释规则集，因而运行时 刻费用很高。同时现有i d s 的性能也不能够适应高速网络发展。在安全策略和 安全目标方面，入侵检测系统的内部各部件缺乏有效的信息共享和协同n 引。 1 4 2 入侵检测系统的发展趋势 目前，入侵检测研究取得了长足的进展，但在i d s 的体系结构、检测方法 哈尔滨理工大学工学硕士学位论文 和测评方面均存在尚未解决的问题。同时，网络技术的发展和攻击方法的复杂 化、多样化，对入侵检测技术提出更高的要求。入侵检测将呈现以下发展趋 势： 1 智能化检测方法是入侵检测研究的重点。由于网络攻击方法的多变性 和复杂性，导致现有检测方法存在较高的误报率和漏报率。为克服现有系统的 缺陷，数据挖掘、神经网络、支持向量机、智能体等各种智能化方法广泛应用 到入侵检测研究中。 2 分布式入侵检测与通用入侵检测架构是i d s 体系结构的发展方向n 引。围 绕分布式结构，重点解决数据标准、通信协议、数据分析技术等关键技术。 3 入侵事件关联分析与报警信息融合成为入侵检测技术研究的一个新的 重要领域“6 1 。传统i d s 根据单一检测手段常常得到的是不完善的信息，而入侵 行为是一个非常复杂且具有个性化的行为，仅仅依据某一方面的检测信息得出 的结论，其可靠性、准确性都无法得到保证。利用入侵事件关联分析与报警信 息融合，可以将多个入侵检测器的检测结果进行组合和相互验证，达到精简入 侵事件报告、消除误报、提高检测率的作用。 4 性能测评方法逐渐成为入侵检测研究的一个重要内容。用户需要对众 多的i d s 进行评价，研究人员也希望对自己设计和开发的i d s 性能进行测试，设 计出通用的测试与评估方法，实现对多种i d s 的测评成为当前入侵检测研究的 另一个重要研究与发展领域。 5 入侵容忍技术的研究和应用是入侵检测研究的一个新方向n 。目前， 入侵检测技术大多针对已知的攻击类型，对于未知的攻击无法全部发现，同时 入侵检测系统的性能仍然有待提高。如何保持系统在遭受入侵或攻击时依然能 够提供服务就显得相当重要。 1 5 基于数据挖掘的入侵检测研究现状 当前的入侵检测系统普遍存在的共性问题是不具备检测新攻击类型的能力 以及误报率高n 引。出现这种状况的原因主要有： 1 现存的规则库和知识库，以及统计的方法都是基于专家知识的手工编码， 面对复杂的网络环境，专家知识往往不全面不精确。 2 专家仅仅集中分析已知的攻击方法和系统漏洞，所以系统无法检测未知 的攻击。专家规则和统计方法一般都是针对特定网络环境的，很难在新的网络 环境实现i d s 的再利用。 哈尔滨理工大学工学硕士学位论文 数据挖掘是一门交叉学科，涉及到机器学习、模式识别、知识获取等多个 领域，把数据的应用从低层次的简单查询，提升到从数据中挖掘知识，它是一 项通用的技术，其本身的技术含量完全体现在算法上。最早由c o l u m b i a u n i v e r s i t y 的w e n k el e e 提出了将数据挖掘技术应用到入侵检测中，通过对网络 数据和主机系统调用数据的分析挖掘，发现误用检测规则和异常检测模型n 9 1 。 具体的工作包括利用数据挖掘中的关联算法和序列挖掘算法提取用户的行为模 式，利用分类算法对用户行为和特权程序的系统调用进行分类预测。实验结果 表明，这种方法在入侵检测领域有很好的应用前景。目前应用数据挖掘的误用 检测系统有：j a m 、m a d a m i d 等；基于数据挖掘的异常检测系统主要 有：a d a m 、i d d m 等。这些系统中大多应用关联规则、序列规则和分类算法。 基于数据挖掘的入侵检测的研究己有不少，美国c o l u m b i au n i v e r s i t y 的 w e n k el e e 提出了一个基于数据挖掘的自适应的入侵检测模型框架，通过提取 审计数据中描述的网络连接或主机会话特征，应用数据挖掘方法来学习规则， 从而识别异常行为和正常行为。文中提出对不同攻击类型采用不同构造特征集 进行检测。因为采用频繁模式挖掘并不能发现r 2 l 和u 2 r 攻击。 目前有许多用于入侵测的聚类算法，但这些算法有其不足之处。例如k - m e a n s ，k - m o d i o d s 等方法只能聚类球状数据及无法有效地聚类高维数据； c l a r n ，d b s c a n ，s t i n g 等方法无法自适应地确定参数；c l q u e 、神经网 络、模拟退火等方法对输入顺序敏感并需要大量的训练数据等。罗敏等人提出 了一种无监督的聚类方法，缺点是需要大量的训练数据以及要进行事先的标 类，这在入侵检测的实际中是无法保证实现的，并且在参数设定不合适时具有 较高的漏检率。 s h e n g j l 埘g 提出了一种基于无监督指导的聚类入侵检测方法，该方 法考虑了测量簇的偏离程度的异常因子，并提出了一种计算簇的半径门限值的 新方法乜们。蒋盛益等提出了一种基于新的距离定义和基于聚类的有指导的入侵 检测方法口，该方法在带标记的训练集上进行聚类，以聚类结果作为分类模型 对未建数据进行分类，文中提出的距离定义比较简单易懂，而且减少了计算 量，但须对数值属性不同度量单位做规范化处理。 利用关联规则和序列分析的方法对用户行为进行异常检测也提供了一种研 究入侵的方法，从关联规则和序列模式中总结出历史正常行为模式，然后用相 关模式比较算法将用户当前行为模式与历史行为模式进行比较，能较好地对用 户行为进行异常检测。 杨萃等人针对通用的数据挖掘模型没有考虑特定领域知识，导致算法会产 哈尔滨理工大学工学硕士学位论文 生许多无意义的结果的问题做了探讨，对算法进行扩展，通过控制支持度和置 信度来控制算法执行过程。方金和等针对入侵检测系统的缺陷，提出了一种自 适应入侵检测系统必须考虑的两个问题：正常行为简档更新时间的选择和更新 机制的选择幢引。对于第一个问题，通过计算增量审计数据与正常行为模式之间 相似度，决定是否更新以及何时更新简档；对于第二个问题，采用滑动窗口， 只使用当前窗口内的增量审计数据更新正常行为简档，过滤掉过时的数据，保 证简档能够反映最新的系统行为变化。 由于数据记录庞大，为了提高挖掘的效率，陈伟统等首先利用粗糙集理论 对数据集属性约简，并结合遗传算法求解粗糙集的约简，再利用关联规则进行 挖掘实现网络入侵检测，提高了对四种攻击的检测效率，并降低了误警率。 高能等人提出首先用关联算法从原始网络数据中提取流量特征，然后利用 k - m e a n s 聚类算法自适应地产生检测模型，这两种算法的结合能够实时地、自 动地、有效地检测d o s 攻击嘲1 。 构建好的入侵检测模型对检测也有着重要意义，徐箐等人提出了基于数据 挖掘的入侵检测系统设计的一般框架和实现过程晗引，并没有进行详细的研究， 其设计思想还有待完善，如何使系统能更好的发现入侵，提高检测效率须进一 步改进。 由于异常检测和误用检测各有优缺点，因此也有研究者提出将这两种方法 结合来提高检测效率，s u s a nm b r i d g e s 等人提出了一种智能入侵检测系统原 型，将模糊逻辑理论和遗传算法应用于入侵检测，该系统将异常检测和误用检 测结合起来，使用模糊数据挖掘技术进行异常检测，而误用检测则是使用传统 的基于规则的专家系统。文中用遗传算法来调整模糊成员函数以改进性能，同 时从数据挖掘组件选择最能反映审计数据的特征集。a l e x a n d rs e l e z n y o v 也将 这两种检测方法相结合，提出了一个实时混合入侵检测系统，该系统由检测服 务器，控制中心和主机a g e n t 组成。作者给出了系统的体系结构，并对每部分 做了详细的说明，周全地考虑了系统可能遇到的问题并相应进行了设计。 目前，将数据挖掘应用于入侵检钡8 已经成为一个研究热点。在这个研究领 域，影响比较大的主要是c o l u m b i au n i v e r s i t y 的w e n k el e e 研究小组汹1 。w e n k e l e e 研究小组分别从网络和主机两方面进行了审计数据的挖掘处理。针对网络 数据，w e n k el e e 的主要做法是使用网络服务端口作为网络连接记录的类型标 识，根据大量的正常记录生成各个服务类型的分类模型，在测试过程中，根据 分类模型对当前的连接记录进行分类，并与实际服务类型进行比较，判断出该 分类模型的准确性，从而得出结论：好的特征的选择有助于建立精确的分类 哈尔滨理工大学t 学硕士学位论文 器。因此他采用了关联规则与序列模式从审计数据中挖掘能体现入侵特征的模 式，在此基础上选择合适的特征属性，建立分类器。针对主机数据，w e n k el e e 则使用了一种快速的规则学习算法r i p p e r ，通过对正常调用序列的学习来预 测随后发生的系统调用序列，并对结果进行了进一步的抽象分析，以降低算法 的预测误差。 2 0 0 1 年，p o r t n o y ：i ! e 基于正常行为远远超过入侵行为、入侵行为与正常行为 存在本质不同的假设上，提出了基于聚类分析的入侵检测算法，通过对未标识 数据进行训练检测入侵。后继的研究者大多沿袭了w e n k el e e 和p o r t n o y 的研究 路线，并在此基础上作了相应改进或者采用数据挖掘与其它智能技术( 如遗传 算法、神经网络、模糊技术) 证l 矧相结合的方法。 决策树方法是数据挖掘中分类方法的一种。决策树方法以其易被人理解、 需要信息量少、准确率较高等优点在分类挖掘中占据着重要地位，另外根据决 策树的树形特点，用生成的决策树模型进行分类预测的过程就是对决策树中一 条从根到叶节点的匹配过程，相对于对每条规则逐一进行搜索的规则匹配，减 少了运算量，提高了效率。 根据数据挖掘技术的特点，针对入侵检测系统的特点及缺陷，利用决策树 算法设计一种入侵检测系统使系统检测效率高、提高系统检测正确率是本文研 。究目的所在。 1 6 论文研究的内容与组织结构 1 6 1 论文研究的内容 本文通过广泛调研和对大量国内外文献的分析，结合当前数据挖掘在入侵 检测技术发展的前沿工作，针对提高入侵检测系统对网络海量数据的检测处理 方面，完成了以下几方面的研究工作： 首先，总结了入侵检测的研究现状及发展趋势，并阐述了入侵检测技术研 究的重要意义。 其次，对入侵检测技术和入侵检测中常用的数据挖掘算法进行了研究。分 析了入侵检测数据包截获技术，研究了洛仑兹伯克利国家实验室所编写的专用 于数据包截获功能的a p i 函数库“l i b p c a p ”，说明了本文后面实现网络数据包 截获时为什么要利用w i n p c a p 库。 再次，传统的决策树因构造树的过程中需对数据集进行多次的扫描和排序 哈尔滨理工大学工学硕士学位论文 而导致算法的低效，而在大规模网络入侵检测系统中，由于巨大的网络流量， 传统的决策树分类方法就显得效率不高，容易造成高误报率和检测响应的低 效。因此，提出一种基于属性重要度的多决策树生成算法，在数据预处理阶段 根据数据包的不同属性生成多棵决策树，在检测阶段可以通过并行检测数据 包，提高检测速度，降低误报率。 最后，利用w i n p c a p 进行网络数据包的捕获，然后进行数据预处理，详细 给出了入侵检测多决策树的生成和分类、多决策树的工作流程以及用多决策树 进行入侵检测的过程。最后利用k d dc u p 9 9 的专门用于入侵检测的测试数据对 检测准确率、检测效率进行了测试，并记录了测试结果。 1 6 2 论文的组织结构 本文的组织结构如下： 第1 章对网络安全现状和入侵检测做了简单的介绍，分析了国内外入侵检 测研究的主要内容和基于数据挖掘的入侵检测现状，提出了本文的研究思路和 内容安排。 第2 章主要描述了决策树算法，以及在本文中的部分应用。并给出t c 4 5 决策树算法的工作流程和实现代码，并且描述了根据该算法所产生的入侵检测 树进行入侵检测的过程。 第3 章提出了一个加权的多决策树生成和训练算法和一个基于多决策树的 分类算法，用于快速生成一个入侵检测多决策树。 第4 章提出了一个完整的基于加权多决策树生成算法的入侵检测模型，以 及给出了它的各个功能模块所包括的具体内容。 第5 章利用k d dc u p 9 9 的专门用于入侵检测的测试数据对检测准确率、效 率进行了测试，通过实验证明该系统具有较高的检测准确率和检测效率。 结论，在最后，对本文的工作进行总结，并对进一步的研究工作进行了分 析和展望。 哈尔滨理工大学工学硕士学位论文 第2 章决策树在入侵检测中的应用 随着网络流量的增大和入侵种类的增多，数据挖掘被引入入侵检测中啪1 。 决策树方法作为数据挖掘中分类算法的一种，通过大量样本数据的训练提取对 入侵行为最具概括性的描述，加上算法生成的决策树模型简单优化，使得对大 量数据的预测过程中总的匹配次数减少，检测结果更加准确、高效。决策树方 法被用于对现有的入侵检测系统检测规则进行优化啪1 ，目的是建立属性与类别 之间的关系，从而有效减少手工分析入侵行为和入侵模型编码的工作量，提高 了入侵检测的效率。 2 1 数据挖掘概述 现在随着人工智能技术的发展，知识发现开始越来越多的被应用于入侵检 测系统中，希望可以利用它从大量的数据中发觉出有用的知识，减少人工的工 作量。数据挖掘是从大量数据中提取或“挖掘”知识，旨在从大量的数据中提 取隐藏的预测性信息，发掘数据间潜在的模式，找出某些常常被忽略的信息， 用便于理解和观察的方式反映给用户，作为决策的依据。 数据挖掘( d a t am i n i n g ，d m ) 是所谓“数据库知识发现”( k n o w l