（计算机应用技术专业论文）基于数据挖掘的入侵检测算法研究.pdf

螂删 捅雯 信息化程度不断提高，人们对网络地依赖日益增强，计算机网络 人们的广泛关注。入侵检测技术作为一种重要的安全防护技术， 访问控制、身份认证等传统机制所不能解决的问题，对计算机和 访问行为进行识别和响应。由于新的攻击方法的不断出现，尤其 的入侵方式的出现，给入侵检测领域的研究带来了新的课题。 侵检测系统在有效性、适应性和可扩展性等方面都存在不足。其 引入，将进一步提高入侵检测效果，数据挖掘能够从海量数据集 感兴趣的特定模式，将数据挖掘技术运用到入侵检测中，能够推 动了入侵检测研究领域的快速发展。 本文首先对入侵检测技术的背景进行了简要的探讨，其次，对入侵检测的 技术进行了深入的分析，并详细介绍了数据挖掘技术，将数据挖掘技术应用于 入侵检测系统中，能够优化检测模型，提高整个系统的检测性能，有效的减少 整个系统的虚假报警率和误警率。最后，本文着重对数据挖掘算法中的a p f i o f i 算法和k - m e a n s 算法进行分析并提出改进，取得一定的成果。并对未能解决的 问题进行说明，有待于今后进一步的研究。 关键词：入侵检测，数据挖掘，a p f i o f i 算法，k m e a l l s 算法 a b s t r a c t w i mt h ed e v e l o p m e n to fi n f o r m a t i o ns o c i e t y o nt h en e t w o r k , t h ei s s u e so f n e t w o r k s e c u r i t yh a v e b e e nw i l d l yc o n c e r n e d i n t r u s i o nd e t e c t i o nt e c h n o l o g y i sa l l i m p o r t m e n ts e c u r i t yp r o t e c t i o nt e c h n o l o g y w h i c hc a l ls o l v et h e p r o b l e m s a s t l l ea c c e s sc o n 缸o l ，a u t h e n t i c a t i o na n dt h o s et h a t c a l l tb es o l v e db yt r a d i t i o n a l m e c h a n i s m s ，a n da l s oc a l li d e n t i f ya n dr e s p o n s em a l i c i o u sb e h a v i o ro nc o m p u t e r a sn e we m e r g i n ga t t a c km e t h o d s ，e s p e c i a l l yt h ee m e r g e n c eo fd i s t r i u t e di n t r u s i o n , i n t r u s i o nd e t e c t i o nr e s e a r c hi nt h ef i e l dh a v em a n y n e wi s s u e s t r a d i t i o n a li n t r u s i o nd e t e c t i o ns y s t e mh a ss o m es h o r t c o m i n g si nt h ep a r to f e f i e c t i v e n e s s 。f l e x i b i l i t ya n ds c a l a b i l i t ya s p e c t s k n o w l e d g eo f o t h e r a r e a sh a sb e e n i n t r o d u c e dt of u r t h e re n h a n c et h ee f f e c to fi n t r u s i o nd e t e c t i o n ，d a t am i n i n g c a nd i g o u tt h ei i i t e r e s t e dm o d e lf r o ma m a s s i v ed a t a , t h eu s eo fd a t am i n i n gi ni n t r u s i o n d e t e c t i o nc a np r o m o t et h er a p i dd e v e l o p m e n to f t h ef i e l d f i r s t l y ，t h eb a c k g r o u n do fi n t r u s i o nd e t e c t i o nt e c h n o l o g i e sa r eb r i e f l yd i s c u s s e d ， a n dj n 伽l s i o nd e t e c t i o nt e c h n o l o g i e sa r ei n - d e p t ha n a l y s i s d a t am i n i n gt e c h n o l o g yi s ap o w e r f u ld a t a - p r o c e s s i n gt o o l ，w h i c hh a sb e e nu s e di ni n t r u s i o nd e t e c t i o ns y s t e m s c a ni m p r o v et h ed e t e c t i o np e r f o r m a n c eo ft h ee n t i r es y s t e m ，a n de f f e c t i v e l yr e d u c e n l ef 甜s ea l 剐口nr a t ea n df a l s ea l a r mr a t e t h ef o c u so ft h i sp a p e ra r es o m ea n a l y s i s a n di m p r o v e m e n ti na p r i o r ia l g o r i t h ma n dk - m e a n sa l g o r i t h m ，a n dc e r t a i nr e s u l t s h a v eb e e ng i v e n a tl a s tt h ep a p e ri l l u s t r a t e ss o m eu n r e s o l v e di s s u e sa n dm o r ew o r k i sn e e d e df o rt h ef r r t h e rr e s e a r c h k e y w o r d ：i n t r u s i o nd e t e c t i o n , d a t am i n i n g ，a p r i o r ia l g o r i t h m ，k - m e a n sa l g o r i t h m 第一章引言 目录 l 1 1 研究背景和意义。l 1 2 入侵检测国内外发展现状一2 1 3 本文的组织结构。3 第二章入侵检测技术概述4 2 1 入侵检测技术现状4 2 2 网络入侵行为4 2 3 入侵检测存在的问题和发展方向。6 2 4 入侵检测技术流程。7 2 5 入侵检测系统具有的主要功能8 2 6 入侵检测技术分类。9 2 6 1 异常检测9 2 6 2 误用检测1 0 2 7 入侵检测技术的发展趋势1 l 2 8 本章小结1 3 第三章数据挖掘技术1 4 3 1 数据挖掘定义1 4 3 2 常用的数据挖掘算法1 5 3 2 1 关联分析算法1 5 3 2 2 序列分析算法1 7 3 2 3 分类分析算法1 9 3 2 3 聚类分析算法2 0 3 3 本章小结2 4 第四章基于数据挖掘的入侵检测系统 4 1 数据挖掘在入侵检测中应用的必要性2 5 4 2 入侵检测系统体系结构分类2 6 4 2 1 基于主机的入侵检测系统( h i d s ) 2 6 4 2 2 基于网络的入侵检测系统( n i d s ) 2 7 4 2 3 混合分布式的入侵检测系统( d i d s ) 2 8 4 3 入侵检测模型的数据挖掘过程2 9 4 4 国内外入侵检测系统发展方向3 l 4 5 本章小结3 2 第五章基于数据挖掘的入侵检测算法改进 5 1 实验数据来源分析3 4 5 2a p r i o r i 算法研究3 9 5 2 1a p d o d 算法分析4 0 5 2 2a p n o d 算法的改进4 2 5 3k - m e a n s 算法4 9 5 3 1k - m e a n s 算法4 9 5 3 2k - m e a n s 算法的改进一5 l 5 4 实验结果和分析5 3 5 5 本章小结5 6 第六章总结与展望 参考文献 作者简介 致谢 n 5 7 5 8 6 2 6 3 第一章引言 1 1 研究背景和意义 第一章引言 随着i n t e r n e t 的迅速发展，越来越多的计算机用户通过网络就可以享受到 丰富的信息资源、方便快捷进行各种网络活动。计算机网络已经与人们的学习、 工作紧密相关，成为人们生活中不可或缺的部分。 2 0 1 1 年1 月1 9 日，中国互联网络信息中，i 二, ( c n n i c ) 在京发布了第2 7 次 中国互联网络发展状况统计报告f l j 。报告指出，截至2 0 1 0 年1 2 月底，我国 网民规模突破4 5 亿大关，达到4 5 7 亿，较2 0 0 9 年底增加7 3 3 0 万人；互联网 普及率攀升至3 4 3 ，较2 0 0 9 年提高5 4 个百分点。互联网正在以超出人们想 象的深度和广度迅速发展，已经发展成为中国影响最广、增长最快、市场潜力 最大的产业之一，给人们的日常生活提供了极大的便利。随着各国政府对网络 安全问题的不断重视，网络安全问题有了明显的改善，但形势依1 日严峻，问题 仍不容忽视。报告显示，2 0 1 0 年，遇到过病毒或木马攻击的网民比例为4 5 8 ； 有过账号或密码被盗经历的网民占2 1 8 。因此，网络安全已经成为国家安全 的重要组成部分，同时也是国家经济发展的关键。 入侵检测技术是帮助系统对付内部攻击与外部网络攻击的一种有效地解决 方案。它扩展了系统管理员的安全管理能力( 包括安全审计、监视、进攻识别与 响应) ，提高了信息安全架构的完整性。目前，由于很多的安全机制都是从的主 观的角度出发设计的，这些机制并没有根据网络攻击的具体情况来设定安全策 略。对于入侵行为的反应通常很迟钝，也很难找出未知的入侵行为，并且对于 千变万化的网络行为，入侵检测系统也不能及时提供安全的策略。 入侵检测技术作为一种主动防御技术，是通过监控系统的状态、网络行为 等情况来检测系统用户违规操作以及来自系统外部的入侵行为。相比以往的预 防性安全机制，入侵检测技术具有实时检测、动态响应、智能监控、自适应强 等特点。作为传统计算机安全机制的补充，入侵检测的研究与应用使得网络与 系统更加安全，逐步成为目前检测动态安全的重要研究方向。 南京信息工程大学硕士学位论文 1 2 入侵检测国内外发展现状 1 9 8 0 年j a m e sp a n d e r s o n 【2 】在为美国军方做的一份题关于“计算机安全威 胁监控与监视”的技术报告中首次提出了入侵检测的概念，当时对入侵检测的 定义是潜在的有预谋未经授权访问信息、操作信息、致使系统不可靠或无法使 用的企图。j a m e s 还提出了用审计追踪监视入侵行为。1 9 8 6 年，d e n n i n g 提出了 一个经典的异常检测抽象模型【3 】，首次提出入侵检测是一种计算机系统的重要 安全防御措施，这在入侵检测的发展历史中具有非常重要的意义。1 9 9 0 年， h e h e r l e i n 提出了第一个基于网络的入侵检测系统- n s m ( n e t w o r ks e c u r i t y m o n i t o r ) ，通过在局域网上主动的监视网络来检测入侵，此后入侵检测系统被分 为基于主机和基于网络两种方式。1 9 9 4 年，g e n es p a f o r d 和m a r kc r o s b i e 提出 了一种基于自治代理的入侵检测系统框架a a f i d 4 1 ，这个系统框架使得i d s 的 容错性、可维护性和可伸缩性都得到很大的提高。1 9 9 6 年，s sc h e n 等人又提 出了一种基于图的入侵检测系统g r i d s ( g r a p h - b a s e di n t r u s i o nd e t e c t i o n s y s t e m ) ，解决了部分入侵检测系统中存在的自适应性不强等问题，使得更方便 有效的对大规模自动或协同攻击进行检测。pp o r r a s 于1 9 9 7 年提出了入侵检测 系统e m e r l d 5 1 。1 9 9 8 年，f o 仃e s t 等将生物免疫原理应用到分布式入侵检测领域， 提出了基于计算机免疫学的入侵检测系统1 6 ，j a k er y a n 提出了基于神经网络的 入侵检测系统n n i d ； l e e 等人首次将数据挖掘引入入侵检测【7 j ，运用数据挖 掘的方法对审计数据进行处理，提高了检测系统的准确性和可扩展性，此后基 于数据挖掘的入侵检测技术得到了深远的发展。许多入侵检测系统在应用上已 取得重要成果，如h a y s t a c kl a b o r a t o r 的h a y s t a c k 系统，规划研究组织的信息安 全指挥助理( i s o a ) ，美国a t & t 的c o m p u t e rw a t c h 涮的d i s c o v e r y 系统卧l n l 等，其中s r i 的一系列i d e s 系统成为最为成功的应用系统。 目前，入侵检测的产品中大多都是采用单一检测技术的方式来检测入侵行 为，而入侵或攻击行为在日新月异的网络环境下正趋于复杂化和多变化，入侵 者通常在实施入侵或攻击时往往同时采取多种入侵手段，以保证入侵攻击的成 功率，多种入侵手段可在攻击实施的初期掩盖攻击或入侵的真实目的。另一方 面，由于目前的入侵检测技术本身还存在许多不足，一些技术上的难题还有待 于突破。虽然有众多相关商业产品的出现，但是入侵检测系统仍存在一些不足 【1 2 】： ( 1 ) 异常检测技术的实现普遍存在误警率较高和效率较低的问题，导致绝大 2 第一章引言 多数系统都是采用专家系统方法构建基于特征的入侵检测系统，而很少有系统 采用异常检测技术。 ( 2 ) 网络流量的不断增大，对入侵检测系统提出了更大的挑战，用户通常要 求入侵检测系统及时响应，对获得的检测数据进行实时分析，对所在系统的及 时性要求也就越来越高。 ( 3 ) 入侵行为的复杂性不断增加。随着入侵方式日趋多样化和复杂化，对于 入侵检测系统适应性和准确性都是很大的挑战，只有不断对入侵检测技术进行 不断的深入研究，才能及时的应对各种未知入侵。 1 3 本文的组织结构 本文第一章简要描述了入侵检测技术的研究背景和研究意义，第二章描述 了入侵检测技术的概况和相关基础知识，第三章重点介绍了数据挖掘技术，包 括了关联规则分析，序列分析，分类分析和聚类分析，第四章介绍了基于数据 挖掘的入侵检测系统的必要性和系统的体系结构，第五章详细分析了数据挖掘 算法中的a p f i o f i 算法和k - m e a n s 算法，并提出一些改进，通过实验证明改进的 算法的有效性，第六章对本文未能解决的问题提出说明，明确今后研究方向。 南京信息工程大学硕士学位论文 j 第二章入侵检测技术概述 2 1 入侵检测技术现状 目前，入侵检测系统分为是基于主机和与网络两种i l 引。由于网络具有复杂 性，很多时候用户行为特征和入侵行为模式不能很好地得到提取，建立的入侵 检测系统结构不够完善，误报率较大和检测率低，对于很多未知入侵束手无策。 入侵检测系统的有效性、可扩展性和可适应性成为衡量一个检测系统优良的重 要标准【1 4 1 。 近年来，网络入侵方式逐步变得复杂化，如分布式拒绝服务攻击技术d d o s 【”】，它是以分布在整个网络上的主机系统互为基点协同工作，来达到入侵的目 的，且入侵行为在用户主机上很难被发现。新墨西哥大学的f o r r e s t 在生物免疫 系统和计算机系统的保护机制之间发现了某种相似性特础1 6 j ，识别“自我与非 自我”是免疫系统最基本的功能，经过大量的实验提出了短序列匹配算法。为 了防范大型的网络协同攻击，基于网络的入侵检测系统得到迅速的发展，目前 基于网络的i d s 系统有r e a ls e c u r e ，n e t r a n g e r 和e m e r l d 等【l7 。还有一些是 基于主机的入侵检测系统，如由美国l o sa l a m o s 国家教研室开发的w & s ，它 通过统计用户异常行为的进行异常检测【l 引。入侵检测技术的研究在国内开展时 间相对较晚，主要由中科院和北京大学等一些设有国家信息安全重点实验室来 进行研发工作，并且主要的工作是以研究理论、模块和框架等为主，对于应用 性研究并没有取得的实质性突破。 2 2 网络入侵行为 网络安全的目标是保证网络中计算机系统的信息安全，信息的传输安全和 信息的存储安全网络信息安全的两个重要方面。信息的传输安全是指信息在动 态传输过程中安全，信息的存储安全是指信息在静态时存放的安全。目前网络 信息安全有以下几个不足： ( 1 ) 对传输的信息予以否认； ( 2 ) 对传输的信息进行重发； ( 3 ) 对网络上信息进行篡改； 4 第二章入侵检测技术概述 ( 4 ) 对网络上信息进行监听； ( 5 ) 对用户身份进行仿冒。 入侵者的来源有两种，一种是内部人员利用自己的工作机会和权限来获取 不正当的权限来进行的入侵；另一种是外部人员入侵，包括网络节点接入入侵 和远程控制入侵等。一般来说入侵的手段有：口令入侵、特洛伊木马、监听以 及隐藏等技术。下面是入侵者实现侵入目标计算机的几个步骤： ( 1 ) 确定入侵的目标。在进行入侵前作的一些准备，比如要确定入侵要达到 的目标，就是给被入侵主机带来的伤害。破坏型和入侵型是目前两种主要的攻 击类型。入侵型的攻击更为普遍，威胁性更大。因为入侵者一旦获取攻击目标 的管理员权限就可以对计算机系统做任意操作，再进行进一步的破坏性攻击。 ( 2 ) 对被入侵目标的信息采集。收集尽量多的关于被入侵目标的信息是实施 入侵前的最重要的准备工作。所收集的信息主要包括被入侵者计算机操作系统 类型、所用服务器的版本与类型等计算机及网络安全信息。确定该计算机所用 的操作系统后，就可以利用其安全漏洞的不同而采取不同的入侵手段。 ( 3 ) 扩大对目标的访问和控制权限。系统安全漏洞分为本地漏洞和远程漏洞 两种。远程漏洞是指入侵者可以在其他计算机系统上利用该安全漏洞直接进行 入侵并获得管理权限，是一种威胁性很的大的安全漏洞，入侵者通常都是由远 程漏洞开始实施的入侵，但是经常遇到一个常见的问题，就是获取的访问权限 都不是最高的，这样是达不到入侵目标的。此时就得利用本地计算机的安全漏 洞来进行入侵，尽量扩大已获得的权限，一般是扩大到计算机操作系统的管理 员权限为止。 ( 4 ) 采取实质性操作来实施入侵。获得访问权限，进入并且操控目标计算机， 此时，入侵者登录目标机器后要实施进一步的入侵，一种是利用网络监听技术， 将混杂模式截取用户所在网段的全部数据包作为以太网接口设置方式。另一个 方式是利用口欺骗技术手段，利用计算机间的信赖关系获得对被入侵主机的非 法访问权限。 ( 5 ) 清除日志记录，隐藏入侵痕迹。在入侵者真正控制目标主机后，便可以 达到入侵目标，进行某些敏感数据信息盗取甚至篡改，删除系统的日志文件， 并且对某些系统设置进行修改，在系统中植入特洛伊木马或病毒软件，以此来 消除自己的操作痕迹和到达入侵目的。 南京信息工程大学硕士学位论文 2 3 入侵检测存在的问题和发展方向 评价入侵检测系统的主要指标包括适应性、可扩展性和有效性 适应性指入侵检测系统在已知入侵行为发生任意改变后，也可进行相应的自我 改进，及时发现新的入侵行为，且能防御该入侵行为；可扩展性指入侵检测系 统能够适应复杂的任何新环境，并能根据用户的要求定制网络配置。有效性指 入侵检测系统要具有较低误报率和较高的检测正确预报率；但是，在这三个方 面入侵检测系统仍有一些问题【l 川： ( 1 ) 在适应性方面存在的不足。目前的大多入侵检测系统本身就不够完善， 而研发人员的注意力主要集中在对已知的入侵方式的研究以及系统自身的不 足，这使得入侵检测系统无法有效的检测出未知的攻击，并且延缓对新的入侵 检测模块的升级。 ( 2 ) 在可扩展性方面存在的不足。对于己制订的规则和系统的特征属性的描 述都是跟相应的具体环境相关的，因此，在其他新的环境下对入侵检测系统进 行植入或者定制都是很难实现的。并且由于当前大多数入侵检测系统都采用集 中的方式，新的检测模块的升级更加变得艰难。 ( 3 ) 在有效性方面存在的不足。关于入侵检测技术的大多知识都是安全专家 提供的，比如人工书写的模式、入侵规则以及静态选取的关于系统特征属性， 并且由于网络数据流量的迅速扩大以及计算机操作系统日趋复杂化，入侵手段 的多样化和复杂化，使得安全检测数据量也越来越大，入侵检测系统的更新也 很难做到同步，最后得到的信息很有可能是不精确和不全面的，影响入侵检测 系统的有效性。 目前，入侵检测系统已经在其适应性和可扩展性都做了一些改进工作，如 n f r 和b r o 2 0 1 ，其将网络业务流看做成为相应的事件，并利用特定的脚本语言 来分析处理这些事件，代表的脚本有n f r 的n c o d e 以及b r o 的策略脚本，都 使用了相应的事件处理机制。可是问题是系统管理人员既要进行系统构建的工 作，也要做网络安全研究者的工作，同时就会产生一些问题，如规则书写的正 确性以及是由于没有进行周密的思考而使得系统性能降低等。一般入侵密切关 联的信息都来自于异常的信息中，这就需要更深层次的分析和挖掘，得到这些 信息的有价值的内容。这就要求入侵检测系统的构建要更加的智能化和系统化。 构建入侵检测系统的关键是从大量的网络数据中挖掘出的有价值的数据特征， 描述出用户的各项活动信息。利用机器学习( m a c h i n el e a r n i n g ) 、数据挖掘( c l a m 6 第二章入侵检测技术概述 m i n i n g ) 等这些智能技术来帮助分析需要检测的相关数据，一定程度上可以达到 高效、全面和精确的解析，其实质是从含有大量信息的数据集中挖掘出有价值 的、事先未知的、潜在的知识，被挖掘出的知识的形式有模式、规则、概念等， 并且可以用来进行检测已知入侵和异常入侵【2 。引入数据挖掘技术对异常检测 和误用检测进行分析处理，有助于构建一个智能的、有良好适应性、可扩展性 和高效的入侵检测系统。目前，入侵检测技术的发展方向有： ( 1 ) 入侵检测的智能化。目前已经有智能化、遗传算法与神经网络在入侵检 测领域的应用研究，但是这些只是一些尝试性的研究工作，今后还要进一步增 强入侵检测系统自适应能力与自我学习能力。在入侵检测系统中应用数据挖掘 技术，可以分辨入侵检测系统开发人员写入的入侵模式和知识规则，可以智能 地在数据中建立新的规则，建立一个易扩展的、适应性强、智能的、检测性高 的( 高检测率和低误报率) 入侵检测系统。将数据挖掘技术引入到入侵检测中已成 为研究热点。 ( 2 ) 入侵检测系统架构的分布式化。传统的入侵检测系统通常仅限于单一的 网络或主机，当面对高速发展的网络和用户系统的多样化进行检测时，其功能 将大打折扣，并且不同的入侵检测系统之间不能进行协同操作。引入分布式入 侵检测技术将在一定程度上解决这一问题。 ( 3 ) 入侵检测评价方法的多样化。用户通常会对使用过的入侵检测系统进行 评价，用户将通过系统资源占用、入侵检测系统自身的健壮性与可靠性、入侵 检测系统检测范围等因素来作为评价依据。建立一个对入侵检测系统的检测评 价平台已成为入侵检测系统的一个重要开发与研究方向。 ( 4 ) 入侵检测结合网络安全技术。一种网络安全技术很难解决现实中用到的 安全问题，并且这些技术都有自己的局限性和缺陷。因此，要为用户提供安全 的、完整的、有效的网络安全保障就需要结合公钥基础设施( p k i ，p u b l i ck e y i n f r a s t r u c t u r e ) 、系统防火墙、安全电子交易( s e t ，s e c u r ee l e c t r o n i ct r a n s a c t i o n ) 等多种网络安全技术。 2 4 入侵检测技术流程 入侵检测系统( i n s t r u s i o nd e t e c t i v es y s t e m ) 在国际计算机安全协会( i c s a ， i n t e r n a t i o n a lc o m p u t e r s e c u r i t ya s s o c i a t i o n ) 的定义是通过从计算机系统或计算机 网络中的若干关键点收集信息并对其进行分析，从中发现系统或网络中是否有 7 南京信息工程大学硕士学位论文 违反安全策略的行为和遭到袭击的迹象的一种安全技术1 2 2 j 。入侵检测系统即入 侵检测的硬件与软件的组合。相比其他的安全技术，入侵检测系统更加的智能 化和系统化，它分析和处理网络中数据，来获取有价值的信息。一个健全的入 侵检测系统可以的优化用户和管理员的操作步骤，并且能够确保在网络环境下 安全运行。一般的入侵检测系统流程如图2 1 所示。 图2 - 1 入侵检测的系统流程图 2 5 入侵检测系统具有的主要功能 入侵检测系统的功能分为以下几种： ( 1 ) 检查系统中程序和检测数据的正确性与精确性； ( 2 ) 操作系统的管理和操作记录； ( 3 ) 对异常活动行为进行分析和给出结论； ( 4 ) 监视并处理分析系统和用户的操作，查找出用户是否有违规操作； ( 5 ) 检查系统配置是否正确并检测存在的漏洞； ( 6 k 一够实时准确的对检测到的攻击行为作出响应。 将这六个功能结合到入侵检测系统中，系统可以正确分辨正常行为和异常 行为，可以根据不同的分析模型和特征集来进行改进升级，有助于系统管理员 对用户和系统进行监视、分析和响应。 8 ( a n o m a l y 检测和事 者的行为 检测中， 种异常的 质上是构 建异常活动集，再从异常活动集中发现入侵活动子集。异常检测需要构建一个 异常检测模型，每一个异常检测模型都有一个独立的入侵检测方法。异常检测 根据制定的测量值偏离度来分析用户活动的变化情况，来判断有否有入侵行为。 图2 2 给出了异常检测的结构图： 图2 - 2 异常检测结构图 目前，异常检测技术有以下几种【2 4 】： ( 1 ) 基于统计分析的入侵检测技术。 最初的异常检测是基于统计分析的，主要是生成主体活动的行为轮廓，这 些行为轮廓由观察器生成，定时地将已存储的轮廓与当前的轮廓合并，并且保 存记录主体当前活动。通过比较已存储的轮廓与当前的轮廓来判断是否有入侵 行为。经典的入侵检测专家系统( i d e s ，i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) 和由 它衍生出的入侵检测专家系统( n i d e s ，n e x t g e n e r a t i o ni n t r u s i o nd e t e c t i o n e x p e r ts y s t e m ) 都采用了基于统计分析的入侵检测技术。 9 南京信息工程大学硕士学位论文 ( 2 ) 基于规则的入侵检测技术。 如基于时间规则的推理库以及树形规则库等，基于规则的入侵检测技术要 求构建一个动态规则库，通过规则判别任何已发生的事件，基于规则的检测模 型不是统计出的系统度量来表示系统的使用模式，而是使用一系列的规则。具 有代表性的基于规则的系统有w i s d o ma n ds e n s e ( w & s ) ，它是由美国o a kr i d g e 和l o sa l a m o s 国家实验室共同开发的，还有t t m e b a s e di n d u c t i v em a c h i n e ( t i m ) ，由数字设备公司( d e c ) 的l u 和c h e n 提出。t i m 判别行为模式是否偏离 正常活动模式是由事件序列的角度出发，而不是从单个的事件来检查用户和系 统的出发的，这是t i m 系统所具有的主要特性。 ( 3 ) 基于神经网络的入侵检测技术。 由于神经网络具有自适应性和自主学习的特点，将其运用到入侵检测系统 中，这种基于神经网络的入侵检测技术逐渐成为分析特征数据的主流方法。它 可以通过训练，不断地学习和调整主体的特征模式，从而构建一种具有自适应 特点的特征数据集。它的实验训练的数据集假定是纯净的，即数据集里没有异 常行为。应用神经网络的入侵检测系统包括以下步骤：首先是入侵行为分析的 检测器的构造，训练那些主要用户活动的相关数据集，构建和组装网络配置； 接下来是检测器的实际操作，通过网络将事件数据集接收输入系统，通过比较 已存储的行为活动，由得到的偏离度来检测是否有入侵行为。 基于神经网络的入侵检测技术目前已被广泛应用，它具有以下几个优点： 不依赖于任何相关数据种类的统计假设；能智能化地反映出影响最终检测结果 的各种因素；能较好的分析和处理噪声数据。但是它也存在一些不足：神经网 络需要有一定的训练数据集，当面对庞大的检测数据时，系统建模的代价往往 很高；神经网络在一定程度上不能满足系统安全管理的要求，由于它不能提供 任何已发生入侵行为的有价值的信息，使得寻求入侵安全问题根源和用户获得 说明性资料的性能大大降低；基于神经网络的检测系统趋向于那些不稳定的网 络结构，且很难从训练数据中学习到主体行为特征集。 2 6 2 误用检测 误用检测( m i s u s ed e t e c t i o n ) 也称为基于特征检测( s i g n a t u r e b a s e d d e t e c t i o n ) 或基于知识的检测( k n o w l e d g e b a s e dd e t e c t i o n ) 2 5 1 。它根据对入侵行 为的条件、特征、排列以及行为之间的关系来描述已发生的入侵行为。和异常 检测不同的是，误用检测根据事先定义好的入侵模式与主体活动进行模式匹配， 1 0 第二章入侵检测技术概述 来检测是否有入侵行为。误用检测的过程可以利用完整的数学表达式来描述安 全状态的变化，也可以通过字符串匹配来检索一个单独的指令或者条目。误用 检测可以直接检测出那些违规的异常行为，而异常检测则是检测出那些与正常 行为不同的异常行为。要准确发现违反安全策略的行为即要达到的条件就是入 侵者攻击方式与误用检测系统中的相关模式库匹配相同。图2 3 给出了误用检 测的结构图： 图2 - 3 误用检测结构图 误用检测根据具体模式库进行判断，能够有一个完整的模型对检测的准确 度可以有很大的提升，并且可以参照已检测到的结果，系统管理员可以做出及 时正确改进，有利于建立一个高效精确度高的入侵检测系统。当然，误用检测 也有一些不足：对检测系统依赖性太强、系统维护工作量大、系统移植性差、 检测范围受已知的知识有一定的局限性、很难将具体入侵手段抽象成模式匹配 库、难以防止来自内部的入侵行为( 如管理员的违规操作) 、检测模式不能得到及 时更新从而影响检测性能。 2 7 入侵检测技术的发展趋势 随着网络和信息安全技术的不断完善和发展，入侵检测技术也在不断的完 善和改进。但是为了满足用户网络信息安全的需求，入侵检测技术还有待于进 一步的发展，目前，入侵检测技术有如下几个发展趋势【2 6 】： ( 1 ) 高效智能的入侵检测技术 入侵检测的技术基础是人工智能，利用人工智能中一些经典的技术和算 法，如模糊技术、神经网络、遗传算法、免疫原理，利用数据挖掘、专家系统 以及数据融合等技术构建入侵检测技术，人工智能的引入可以较好地解决目前 入侵检测技术自身存在的漏报和误报的等不足，适应信息加密后带来的和高速 南京信息工程大学硕士学位论文 网络环境下攻击方式的变化多端的检测困难，解决中心控制台对攻击数据的分 析和关联能力不足，人工处理大量数据的所产生错误等问题。相信在不久的将 来，人工智能的引入，必会成为入侵检测技术研究的方向和热点，也必将对入 侵检测的发展产生深远的影响。 ( 2 ) 宽带高速实时的入侵检测技术 随着高速网络技术的高速发展，网络产品如千兆以太网和异步传输模式的 出现，传统的的入侵检测性能已不能满足目前网络安全检测的要求，迫切的发 展宽带高速实时的入侵检测技术已成为其发展趋势，但是需要做好准备工作， 事先要重新设计算法和结构，随后需要设计新的高速网络协议，来满足高速网 络的需求。 ( 3 ) 大规模分布式的入侵检测技术 为适应异构和大规模网络环境的需要，入侵检测系统需要处理自动的、大 规模攻击活动，这就要求入侵检测系统面对多种攻击方法和来自内部、外部多 种攻击时，它的数据来源和分析方法都不能是单一的，并且要求能够分解成易 于管理的功能部件，可以分布在任意地理范围和拓扑结构的网络中，但传统的 入侵检测的基本模型是在网络不同位置多个探测器来收集网络状态的信息，然 后将这些信息传送到中央控制台进行处理分析，这种处理方式不够能适应异构、 大规模网络环境下的检测需要，因此分布式的入侵检测已成为主要的发展趋势。 目前，相关的产品有a a f i d 和e m e r a l d 等，这些产品虽然实现了分布式的 数据分析，但却不能解决如检测代理间的、协作间的通信等问题。因此，大规 模的分布式入侵检测仍有待于进一步的研究。 ( 4 ) 先进检测算法在入侵检测中的应用 在入侵检测系统中，先进的算法能有效提高检测的效率，计算机免疫技术、 遗传算法和神经网络技术为目前的检测算法改进提供了很大的帮助，检测算法 的有效性与实用性也决定了以后的入侵检测产品在信息安全技术产品的地位和 作用，因此，完善当前不成熟的检测算法或寻找更加先进的检测算法成为入侵 检测技术研究工作的方向和重点。 ( 5 ) 标准统一的入侵检测技术 现在，国内外对入侵检测研究的部门和机构越来越多，但到目前为止，这 一领域仍未形成统一的标准，但入侵检测与其它安全产品之间的互操作不能实 现。虽然d a r p a 和i e t f 在入侵检测技术的标准化方面做了一些工作，不同的 入侵检测技术之间的数据交换和信息通信几乎不可能，但至今仍没有形成统一 1 2 第二章入侵检测技术概述 的标准和规范，因此，统一标准的入侵检测技术也将是未来发展的方向。 2 8 本章小结 入侵检测技术自诞生以来，作为一种主动的安全防护技术，提供了对内部 攻击、外部攻击和误操作的实时保护，使网络安全有了更好的保障，本章从入 侵检测技术的现状和现有问题谈谈起，然后介绍了入侵检测的基本概念和功能， 进一步分析了当前入侵检测系统结构分类和检测技术分类，预测了今后入侵检 测的发展趋势。我们相信，经过不断发展的入侵检测产品必将得到不断完善。 1 3 南京信息工程大学硕士学位论文 3 1 数据挖掘定义 第三章数据挖掘技术 数据挖掘是从数据库中发现知识( k d d ，k n o w l e d g ed i s c o v e r yi nd a t a b a s e s ) ， 能够按照既定目标，从大量的、不完全的、有噪声的、模糊的、随机的数据中， 提取隐含其中的、人们事先未知的、潜在的信息和知识的过程口7 1 。它是一门交 叉学科，涉及到机器学习、模式识别、数据可视化、智能数据库、专家系统、 统计学、知识获取等多个领域，是一项新兴的数据分析技术。由于具有很强的 应用潜力以及可广泛用于处理分析各种数据，因此数据挖掘技术得到了广泛的 应用。其系统结构如图3 1 所示： 第三章数据挖掘技术 数据库和数据仓库：是一个或一组数据库、数据仓库、电子数据表格或其 它类型的信息库，可以对其进行数据处理和分析。 3 2 常用的数据挖掘算法 数据挖掘算法是为了创建挖掘模型，实现数据分析，查找特定模式，并根 据分析结构，定义模型的相关细节。目前数据挖掘分析方法中常用的有：关联 分析、序列分析、分类分析、聚类分析。 3 2 1 关联分析算法 3 2 1 1 关联规则概念 1 9 9 3 年a g r a w a l 等人首次提出了关联规则挖掘问题，其最初的研究是从事 务数据库中发现有关顾客购买行为方面的知识，并用关联规则的形式来表达所 发现的知识【2 引。实质上，关联分析就是找出给定数据集中数据项之间的联系， 发现关联规则，考虑一些涉及物品的事务。假设事务a 中含有物品l ，事务b 中含有物品2 ，事务c 中含有物品1 和2 ，那么，关联规则就是在数据库的知识 发现中描述一个事务中物品之间同时出现的规律的知识模式，即关联规则通过 量化的数字描述物品1 的出现对物品2 的出现有多大的影响。 关联规则表示数据库中一组对象之间某种关联关系的规则，对记录进行关 联规则挖掘目的是发现每条记录内部不同属性之间的相互影响的模式。设 d - - - r i ，r 2 ，r i ， 是事务集合，i = i 1 ，i 2 ，i m ) 是数据属性的集合，r i ( i = l ， 2 ，) 是一条由属性子集表示的记录，即r i c i ，设x 是i 的一个子集，若x c r ，记录r i 包含x 。 关联规则是形如怜b 的蕴涵式，其中a c i ，b c i 并且a nb - - - 幼。规则a = b 在事务集d 中成立，具有支持度s 和置信度c ，其中 s = s u p p o r t ( a = b ) = t ：aub st t d i i d i( 3 - 1 ) 表示包含a 和b 的事务与所有事务的百分比； c = c o n f i d e n c e ( a = b ) = l t ：a u b t t d ) l i t ：a t t d l( 3 - 2 ) 表示包含a 和b 的事务与包含a 事务的百分比【2 9 】。 目的是从已知的事务集t 中，生成数据项集之间的关联规则，保证其支持 度和置信度大于用户事先预定的最小支持度和最小置信度。它首先识别所有支 持度不低于用户规定的最小支持度的项目集，即称为频繁项目集；然后从得到 1 5 南京信息工程大学硕士学位论文 的频繁项目集中构造出强关联规则。关联规则挖掘过程主要包含两个阶段：第 一阶段必须先从资料集合中找出所有的频繁项目集( f r e q u e n ti t e m s e t s ) ；第二阶 段再由这些频繁项目集中产生关联规则( a s s o c i a t i o nr u l e s ) 。 关联规则算法挖掘数据，就是把审计数据按格式编排成数据库表，其中每 一行表示一条审计记录，每一列表示审计记录的系统特征，证实程序执行和用 户行为显示出了系统特征之间常见的相互影响的关系。 最早进行关联规则挖掘的a p f i o d 算法，是r a g r a w a l 3 0 】等人在1 9 9 4 年提出 的，也是目前最典型的关联规则算法，其基本思想是：首先找出所有的频繁 项目集，这些项目集出现的频繁性至少和预定义的最小支持度一样。然后 由频繁项目集产生强关联规则，这些规则必须满足最小支持度和最小可信 度