（计算机应用技术专业论文）基于聚类的网络入侵检测的研究.pdf

太原理工大学硕士研究生学位论文 基于聚类的网络入侵检测的研究 摘要 随着计算机和通信技术的发展，网络已经成为全球信息基础设施的主 要组成部分，但是网络安全问题也日益突出。入侵检测技术是继防火墙、 数据加密等传统安全保护措施后的一种新的安全保障技术。它是对网络数 据或者主机数据的数据分析过程，从中实时检测出基于网络或主机的入侵 行为。相对于传统的安全保护措施，入侵检测不是处于被动激发，而是主 动的检测，在网络系统受到危害之前拦截和响应入侵，有效的弥补了传统 网络安全防护技术的缺陷，已经成为网络信息安全的一个重要研究领域。 但是，计算机系统的复杂和网络数据的海量化，为入侵检测带来了极大的 困难。数据挖掘技术的出现提供了解决这一问题的有效手段，利用数据挖 掘方法作为入侵检测的数据分析技术，可从海量的安全事件中提取尽可能 多的隐藏安全信息，从而发现入侵行为。将数据挖掘技术与入侵检测技术 相结合，增加了入侵检测系统对海量数据的处理能力，可见，数据挖掘技 术在入侵检测中的应用研究具有重大的理论意义和实用价值。数据挖掘中 的聚类分析方法是一种典型的无监督学习技术，可以在未标记数据集上直 接建立入侵检测模型或者发现异常数据，对于提高入侵检测系统的效率有 着重大的研究价值。 本文以基于聚类的入侵检测技术研究为核心，首先对入侵检测技术和 数据挖掘中的聚类分析方法进行了研究和分析，探讨了聚类算法在入侵检 l 太原理工大学硕士研究生学位论文 测中的应用，在传统k m e a n s 算法的基础上，引入遗传算法对聚类进行优化， 提出了一种应用于入侵检测的改进的k m e a n s 算法，该方法克服了传统 k m e a n s 算法需要人为确定k 值的问题，得到了更好的聚类结果，并采用k d d c u p1 9 9 9 数据集中的数据对改进后的算法的聚类效果进行了检测，根据改 进后的算法，设计了一个基于该算法的入侵检测模型。算法分析与实验结 果表明所改进后的算法具有较好的检测性能，可以获得较高的检测率和较 低的误报率。 关键词入侵检测，数据挖掘，聚类算法，遗传算法 太原理工大学硕士研究生学位论文 n e t w o r ki n t r u s l 0 nd e t e c t i o n b a s e do nc l u s t r e i n g a bs t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rc o m m u n i c a t i o nt e c h n o l o g i e s ，t h e n e t w o r k sh a v eb e c o m et h em a i np a r to ft h eb a s i ce s t a b l i s h m e n t si ng l o b a l i n f o r m a t i o n ，w h i l en e t w o r ks e c u r i t yh a sb e c o m em o r ea n dm o r ei m p o r t a n t i n t r u s i o nd e t e c t i o ni sad a t aa n a l y s i sp r o c e s sa b o u tt h en e t w o r k b a s e dd a t ao r t h eh o s t c o m p u t e r - b a s e dd a t ai nf a c t i n t r u s i o nd e t e c t i o ns y s t e m ，w h i c hc a n s o l v ep r o b l e m st h a tt h et r a d i t i o n a lp r o t e c t i o nm e c h a n i s ms y s t e mc a n n o ts o l v e ， i st h em a i nc o m p o n e n to ft h ec o m p u t e rs e c u r i t ya r c h i t e c t u r e ，a n dh a sb e c o m e a ni m p o r t a n tp a r to ft h ec o m p u t e rs e c u r i t yr e s e a r c h b u tt h ec o m p l i c a t i o no f c o m p u t e rs y s t e ma n dh u g eq u a n t i t yo fn e t w o r kd a t aw h i c hg i v ep e o p l et h e g r e a tt r o u b l ef o ri n t r u s i o nd e t e c t i o n d a t am i n i n gt e c h n i q u eo f f e r sa ne f f i c i e n t w a yt or e s o l v et h i sk i n do fp r o b l e m s a sad a t aa n a l y s i st e c h n o l o g yo f i n t r u s i o nd e t e c t i o n ，d a t am i n i n gh a st h ec a p a b i l i t yo fa b s t r a c t i o no fv a l u a b l e i n f o r m a t i o nf r o mg r e a tm o u n t so fn e t w o r kd a t a t h ec o m b i n a t i o no fd a t a 1 1 1 i n i n ga n di n t r u s i o nd e t e c t i o ne n a b l e si n t r u s i o nd e t e c t i o ns y s t e mt oh a v et h e a b i l i t yo fs e l f - s t u d y , t ob e t t e rd e a lw i t hav a s ta m o u n to fd a t a ，t oe n h a n c et h e u i 太原理工大学硕士研究生学位论文 d e t e c t i n ga b i l i t y , a n dt ol i g h t e ns e c u r i t ym a n a g e r s w o r k c l u s t e r i n gi sat y p i c a l u n s u p e r v i s e dl e a r n i n gt e c h n i q u et h a tc a l lb u i l di n t r u s i o nd e t e c t i o nm o d e la n d d e t e c ta n o m a l yr e c o r d si nu n l a b e l e dd a t a s e t t h e r e f o r ec l u s t e r i n gh a sp r a c t i c a l m e a n i n gi na n o m a l yd e t e c t i o n f i e l da n di so f g r e a t v a l u ei np r o m o t i n g i n t r u s i o n d e t e c t i o ns y s t e m s t h i st h e s i si sa b o u tt h er e s e a r c ha n da p p l i c a t i o no fi n t r u s i o nd e t e c t i o n b a s e do nc l u s t e r i n g t h ee x i s t i n gc l u s t e r i n gi nd a t am i n i n gt e c h n o l o g ya n d i n t r u s i o nd e t e c t i o n s y s t e mt e c h n o l o g y a r e a n a l y z e d r e v i e w e dw i t ht h e d i s c u s s i n gc l u s t e r i n ga l g o r i t h m s w ed i s c u s st h et r a d i t i o n a lk m e a n sa l g o r i t h m a n dp o i n to u ti t ss h o r t c o m i n g s a na d v a n c e dk m e a n sc l u s t e r i n ga l g o r i t h m b a s e do ng e n e t i ca l g o r i t h mi sp r o p o s e dw h i c ho v e r c o m e st h es h o r t c o m i n g so f k m e a n sa l g o r i t h m t e s tw i t ht h ed a t ak d dc u p19 9 9i sc o n d u c t e da n dt h e e x p e r i m e n t ss h o wt h a t ，t h ea d v a n c e dc l u s t e r i n ga l g o r i t h mc a ni m p r o v et h e e f f i c i e n c yo fd a t ac l u s t e r i n gc o m p a r e dw i t ht r a d i t i o n a lk m e a n s k e yw o r d si n t r u s i o nd e t e c t i o n ，d a t am i n i n g ，c l u s t e r i n ga l g o r i t h m , g e n e t i ca l g o r i t h m i v 声明尸明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名： 鱼! 整 日期：塑墨：堡 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；。学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 。 签名： 导师签名： 日期：竺墨：6 ：! 日期：坐墨：量：生 太原理工大学硕士研究生学位论文 1 1 研究的背景及意义 第一章绪论 计算机网络的发展和各种技术的应用，使得计算机网络本身已经成为了信息社会 最重要的基础设施之一，它渗透到了社会生产和生活的各个领域，广泛应用于商业、 教育、军事、科研、政府部门。可是，随着网络上需要进行存储和处理的敏感信息的 日益增多，安全问题逐渐成为网络和系统中的首要问题。与传统的破坏手段相比，网 络入侵具有以下特点：1 、没有时间地域限制；2 、隐蔽性强，往往混于正常的网络活动 中：3 、破坏手段隐蔽、复杂。在全球范围内的每年入侵事件不计其数，由于网络安全 问题造成的损失非常巨大。因此，网络安全是国家与国防安全的重要组成部分，对于 入侵攻击的检测、防范，保障计算机信息系统的安全就成为当前重要的课题。 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 是近年出现的一种重要的安全防 范技术，它通过从系统内部和网络中收集信息，分析计算机是否有安全问题并采取相 应的措施，是能够检测到网络上不正常、不合法活动的网络技术，它是一种动态的安 全防护手段，能主动寻找入侵信号，给网络系统提供对外部攻击、内部攻击和误操作 的安全保护，能够弥补防火墙的不足，起着主动防御的作用，是网络安全中极其重要 的部分。如何建立入侵检测模型，快速检测入侵行为，从大量的审计数据中有效区分 正常行为和异常行为是当前入侵检测领域的研究重点。 数据挖掘( d a t am i n i n g ，d m ) 是一种新的信息处理技术，它融合了数据库技术、 人工智能、统计学、信息检索、面向对象方法等最新技术的研究成果，是从大量的数 据中，抽取出潜在的、有价值的知识的过程。利用数据挖掘方法作为入侵检测的数据 分析技术，可从海量的安全事件中提取出尽可能多的隐藏安全信息，抽象出有利于进 行判断和比较的与安全相关的普遍特征，从而发现未知的入侵行为。通过研究数据挖 掘的相关理论并将其运用到入侵检测系统的设计中，选择合理的数据挖掘算法，设计 相关的系统原型，将数据挖掘技术与入侵检测技术相结合，增强了入侵检测系统对海 量数据的处理能力和检测功能，减轻管理人员的负担，具有较高的实用意义。 1 太原理工大学硕士研究生学位论文 传统的基于数据挖掘的入侵检测模型完全依赖于数据挖掘算法对己标记的训练数 据集中数据样本的学习，要想建立一个有效的入侵检测系统必须要保证数据样本的纯 净性和标记的正确性。但是在实际应用中，收集纯净的数据集往往不太容易，而且由 于一般处理的数据的庞大，人工对其标记代价也非常高。 聚类( c l u s t e r i n g ) 分析方法是数据挖掘中一种常用的、经典的分析方法，以聚类 为代表的无监督异常检测( u n s u p e r v i s e da n o m a l yd e t e c t i o n ) 方法的提出解决了传统 方法存在的问题。在入侵检测中使用无监督异常检测方法时，与其他数据挖掘方法不 同，无监督检测方法不依靠事先确定的数据类别以及标有数据类别的学习训练样本集 合，可以在未经标记的数据集上使用。如果正常行为数据数量远远多于异常数据，并 且异常数据和正常数据之间相似性不大，可以提供进行过简单数据预处理的网络原始 数据或系统审计数据，用聚类把一组不知道什么是正常，什么是异常的数据集自动划 分成正常和异常数据；如果输入纯净正常数据或者异常数据，聚类分析可以学习正常 或者异常模式，总结以发现其共通点。聚类算法正是这样一种典型的无监督异常检测 算法。因此，无监督聚类在异常检测领域有着广泛的应用前景，对于提高入侵检测系 统的效率有着重大的研究价值。 1 2 国内外研究现状 1 2 1 入侵检测国内外研究现状 1 9 8 0 年美国人a n d e r s o n 首先提出入侵检测概念i l 】，他将入侵行为划分为外部闯 入、内部授权用户的越权使用和误用等三种类型，并提出用审计追踪监视入侵威胁。 1 9 8 7 年d e n n i n g 提出了一个经典的异常检测抽象模型【2 】，首次将入侵检测作为一种计 算机系统安全的防御措施提出。1 9 9 4 年，m a r kc m s b i e 和g e n es p a f f o r d 提出基于自治 代理的入侵检测系统【3 】。1 9 9 6 年提出的面向大型可扩展网络的基于图的入侵检测系统 g r i d s ( q l a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) ，致力于解决当时绝大多数入侵检测 系统的伸缩性不足问题1 4 ；g r o s b i e 提出运用着色p e t r i 网的方法来检测入侵【5 】。1 9 9 7 年出现了基于神经网络的入侵检测系纠州。1 9 9 8 年，u n i v e r s i t yo fn e wm e x i c o 的 s t e p h a n i ef o r r e s t 研究组提出将免疫原理运用到分布式入侵检测领域p 】。1 9 9 9 年，w e n k e 2 太原理工大学硕士研究生学位论文 l e e 首次提出将数据挖掘技术应用于入侵检测【8 1 ，并于2 0 0 0 年提出了第一个基于数据 挖掘的误用入侵检测系统，a m 系统。 国内也产生了一股入侵检测技术研究的热潮，许多大学院校和科研单位成立专门 的研究小组从事入侵检测的研究，并提出了许多入侵检测技术的新的方法，但主要是 对国际上的一些入侵检测方法的改进和扩展。中科院高能物理研究所计算中心许榕生 研究员领导的课题组对这方面的课题进行过研究，提出了基于数据挖掘的入侵检测系 统原型，对其进行了分析和论证。同时，市场上也出现了一些国内开发的入侵检测产 品，主要有北京启明星辰公司的“天阗”入侵检测与预警系统、北京中洲基业软件技 术有限公司的网警入侵检测系统、北京中科网威的“天眼 入侵检测系统、西安信利 网络科技公司的“网际巡警”解决方案等。此外，中国科学院软件所在入侵检测关键 技术研究上，提出了一种基于a g e n t 的分布式异常检测系统。远东安全产品系列中的 安全审计数据挖掘分析系统使用数据挖掘算法对安全审计数据进行处理，提出数据中 隐藏的知识，所涉及的算法包括数据分类、关联分析、序列挖掘等。 当前国内外都已有研究机构及大学在从事数据挖掘在入侵检测方面的研究工作， 而且国外的实验研究证明，该方法能够有效地提高入侵检测的自适应性、有效性和可 扩展性。但从研究成果来看，大多处于初始阶段，还没有系统的理论提出。因此本课 题对数据挖掘应用于入侵检测的研究，具有一定的基础理论价值。 1 2 2 基于聚类的入侵检测的研究进展 把数据挖掘技术应用到入侵检测系统的思想是针对安全信息数据量日益增加的问 题而提出的。作为一种混合了误用检测技术和异常检测技术的检测方法，基于数据挖 掘的入侵检测方法是人们研究的热点之一。以数据为中心，把入侵检测看作一个数据 分析的过程，利用数据挖掘的方法从审计数据或数据流中提取感兴趣的知识，这些知 识是隐含的、事先未知的潜在的有用的信息，提取的知识表示为概念、规则、规律、 模式等形式，并用这些知识去检测异常和已知的入侵。数据挖掘从存储的大量数据中 识别出有效的、新的、具有潜在用途以及最终可以理解的知识。数据挖掘算法多种多 样，来自统计、模式识别、机器学习和数据库等多个领域。在入侵检测中应用数据挖 掘中分类、关联、序列、聚类等分析方法已经得到验证，数据挖掘的方法有效地提高 了入侵检测的精确度。 3 太原理工大学硕士研究生学位论文 聚类分析是数据挖掘的一个重要技术。聚类就是一个将数据划分为多个类或簇的 过程，并使得同一个簇内的数据对象具有较高的相似度，而不同簇中的数据差别很大。 聚类分析解决的主要问题是如何在没有先验知识的前提下，实现满足簇的要求的聚合。 基于聚类的入侵检测方法的最重要的特点就是无监督性，它可以在未标记的审计 数据上进行，将相似的数据划分到同一个簇，不相似的数据划分到不同的簇，这方面 它比有监督的检测方法优越。 基于聚类的入侵检测方法已经成为现阶段入侵检测主要的研究方法之一。2 0 0 1 年，p o r t n o y l 9 提出了一种基于距离度量的无监督聚类算法来解决无监督条件下的异常 检测问题，该方法设置一个簇半径参数，通过比较样本到簇心距离和簇半径的大小来 划分样本。这一算法具有较好的时间复杂性，能够在未标记数据上检测出已知或者未 知的异常，但是它必须预先定义聚类的半径。簇半径参数直接影响到最终的聚类结果， 不合适的参数会造成高的误报率。p r e r a u 1 0 】把优化的k - n n 聚类算法应用到网络入侵 检测，但其中的k 参数很难确定。m i n n e s o t a 大学的k a r e v i c 【l l 】等人提出了使用孤立 点分析来检测入侵的方法，该方法通过检查样本点的点间距离来决定哪些点属于孤立 点。文献【1 2 】提出了一种用于入侵检测的聚类启发式y - m e a n s 算法，这种启发式的算 法是基于k m e a n s 算法和其他相关联的算法的，它克服了k - m e a n s 算法的两个缺点： 聚类个数的依赖性和退化。该算法可以使数据集被划分为合适的聚类个数，并且可以 直接用作训练数据而不需要手动标记。但是像其他的中心聚类算法一样，它只能处理 球形聚类，另外还要预先定义置信区域的阈值。w a n 9 1 1 3 等人提出f c c 算法来解决上 述问题。f c c 算法首先将特征数据映射到高维空间，进而进行相应操作。e l i z a b e t h 【1 4 】 提出了一个基于无监督的小生境聚类算法，该算法可以有效地消除噪声影响并自动确 定聚类个数。文献 1 5 1 提出了一种应用于入侵检测的改进的有监督的聚类方法，加入 了数据重新分配方法，有效增强了算法在训练数据和去除噪音方面的鲁棒性。文献 1 6 】 通过规范化数据集和建立数据的模糊相似矩阵，把数据进行聚类，提出了一种应用于 入侵检测的模糊聚类方法。文献 1 7 】提出了一种新的距离定义和基于聚类的有监督入 侵检测方法c b s i d ，该方法在带标记的训练集上进行聚类，以聚类结果作为分类模型 对未知数据进行分类，此方法对于参数和数据输入顺序具有稳健性。 4 太原理工大学硕士研究生学位论文 1 3 本论文研究的主要内容 全文共分六章，结构安排如下： 第一章为绪论，主要介绍了本论文研究的背景和意义、入侵检测及基于聚类的入 侵检测研究的发展现状以及论文所研究的主要内容。 第二章为相关的技术简介，主要介绍了入侵检测和聚类分析的相关技术，包括入 侵检测的基本概念、入侵检测系统的分类、入侵检测的基本方法以及常用的入侵检测 技术；聚类算法的基本要素、常用的聚类算法以及网络入侵检测对聚类算法的要求。 第三章为聚类算法在网络入侵检测中应用的研究，主要介绍了聚类算法在入侵检 测中应用的四个阶段，探讨了传统k - m e a n s 算法存在的问题。 第四章为改进的聚类算法的设计与实现，本章中通过引入遗传算法自动确定k 值， 设计了一种改进的k m e a n s 算法，并对算法的每一步作了具体说明，理论上阐述了改 进算法的可行性和有效性。在经典网络入侵数据集k d dc u p1 9 9 9 上对改进后的 k - m e a n s 算法进行了性能分析，结果表明改进后的算法在聚类效果上比原算法有了很 大改进。 第五章为入侵检测系统的设计，主要介绍了在改进k m e a n s 算法的基础上提出了 一种基于网络的入侵检测的模型，并对模型的性能进行了分析。 第六章为总结和展望，在总结本文的基础上指出了课题以后研究的方向及工作展 望。 5 太原理工大学硕士研究生学位论文 第二章网络入侵检测与聚类分析相关技术 2 1 入侵检测功能 入侵( i n t r u s i o n ) 是指有关试图破坏资源的完整性、机密性及可用性的活动集合。 从分类角度来看入侵包括尝试性闯入、伪装攻击、安全控制系统渗透、泄露、拒绝服 务、恶意使用等类型。 入侵检测( i n t r u s i o nd e t e c t i o n ，d ) 是指通过从计算机网络或计算机系统中的若 干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行 为和遭到攻击的迹象，同时做出反应的过程。即采用预先主动的方式，对客户端和网 络各层进行全面而有效的自动检测，以发现和避免被保护系统可能遭受的攻击，它不 仅能检测来自外部的入侵行为，同时也检测内部用户的未授权活动。 入侵检测系统是实现入侵检测功能的一系列的软件、硬件的组合。作为一种安全 管理工具，它从不同的系统资源收集信息，分析反映误用或异常行为模式的信息，对 检测的行为做出自动的反应，并报告检测过程的结果。入侵检测系统从其最基本的形 式的角度来看就是一个分类器，它根据系统的安全策略来对收集到的事件、状态信息 进行分类处理，从而判断出入侵和非入侵行为。下面是入侵检测的一些概念： 1 、警报( a l e r t ) ：当入侵正在发生或者正在尝试进行时，i d s 向系统操作员发出 的消息。 2 、漏报( f a l s en e g a t i v e s ) ：指入侵事件没有被i d s 系统检测到或者检测到的入侵 事件未被分析员重视。 3 、误报( f a l s ep o s i t i v e s ) ：i d s 将正常事件识别为入侵事件并进行报警。 漏报和误报是i d s 研究的一个重要内容，降低漏报率和误报率对提高i d s 安全性 和准确性有着重要的作用。 入侵检测基于一个重要的前提是：入侵行为和合法行为是可以区分的，也就是说 可以通过提取行为模式的特征来判断该行为的性质。一个基本的入侵检测系统通常需 要解决两个问题：一是如何充分并且可靠地提取描述行为特征的数据；二是如何根据 6 太原理工大学硕士研究生学位论文 特征数据，高效并准确地判断行为的性质。 一个成功的入侵检测系统，不仅可使系统管理员时刻了解网络系统的任何变更， 还能给网络安全策略的制定提供指南。更为重要的一点是，它应该易于管理、配置简 单，从而使专业人员也能非常容易地获得网络安全。入侵检测系统在发现入侵后，还 必须能够及时响应。因此，入侵检测系统的主要功能可以概括为1 8 1 ： 1 、识别黑客常用入侵的攻击手段 入侵检测技术通过分析各种攻击的特征，可以全面快速地识别探测攻击、拒绝服 务攻击、缓冲区溢出攻击、电子邮件攻击、浏览器攻击等各种常用攻击手段，并做出 相应的防范。一般来说，黑客在进行入侵的第一步探测、收集网络及系统信息时，就 会被i d s 捕获，向管理员发出警告。 2 、监控网络异常通信 i d s 系统会对网络中不正常的通信连接做出反应，保证网络通信的合法性。任何 不符合网络安全策略的网络数据都会被i d s 侦测到并警告。 3 、鉴别对系统漏洞及后门的利用 i d s 系统一般带有系统漏洞及后门的详细信息，通过对网络数据包的连接方式、 连接端口以及连接中特定的内容等特征分析，可以有效地发现网络通信中针对系统漏 洞进行的非法行为： 4 、完善网络安全管理 i d s 通过对攻击或入侵的检测及反应，可以有效地发现和防止大部分的网络犯罪 行为，给网络安全管理提供里一个集中、方便、有效的工具。使用i d s 系统的监测、 统计分析、报表功能，可以进一步完善网络管理。 2 2 入侵检测系统的分类 2 2 1 入侵检测系统的组成 典型的入侵检测系统包括四个基本部分：探测器、模式信息数据库、分析与响应 器、用户界面( 控制台) ： 1 、探测器：分布在若干个计算机系统或网络设备上，负责按照一定的要求收集用 7 太原理工大学硕士研究生学位论文 户 、服务、系统或网络数据流信息，并把它们组织成适当的审计数据发送到分析器进 行处理。 2 、模式信息数据库：负责存储并维护分析器所需的各种标准信息，如正常的对象 模型或者攻击者的特征编码等。 3 、分析与响应器：又称为检测引擎。以模式信息数据库中的信息为基准，对从一 个或多个探测器发过来的审计数据进行分析比较来确定是否发生了非法入侵行为，输 出的是标识入侵行为是否发生的指示信号，例如一个报警信息和其他相关的证据信息， 或者还可以提供关于可能的反应措施的相关信息。 4 、用户界面：用户与入侵检测系统进行交互的界面，可以通过它对系统进行配置， 控制系统行为，查看系统报告或者报警消息。 d e n n i n g 于1 9 8 7 年提出了一个通用的入侵检测模型1 9 1 ，开创了入侵检测系统这个 网络安全领域的一个重要分支。如图2 1 所示： 图2 - 1 通用的入侵检测模型 f i g u r e 2 - 1a nu n i v e r s a li n t r u s i o nd e t e c t i o nm o d e l 1 、主体活动( a c t i o n ) 主体( s u b j e c t ) 在目标系统上的活动。与主体相关的活动对象( o b j e c 0 包括系统资 源，如文件、设备等。 2 、审计记录( a u d i tr e c o r d s ) 由 构成 六元组。s u b j e c t 是指主体；o b j e c t 是主体的活动对象；a c t i o n 是主体对对象的操作； 8 太原理工大学硕士研究生学位论文 e x c e p t i o n _ c o n d i t i o n 是系统对主体该活动产生的异常报告；r e s o u r c e - u s a g e 是指系统 的资源消耗情况；t i m e _ s t a m p 是指活动发生的时间。 3 、活动简档( a c t i v ep f o f n e ) 用以保存主体正常活动的有关信息，具体实现依赖于检测方法。在统计方法中可 以从事件数量，频度，资源消耗等方面考查。 4 、异常记录( a n o m a l yr e c o r d ) i 由 组成，用以表示异常事件发生的情况。 5 、规则集处理引擎 检测入侵是否发生的处理引擎。结合活动简档用专家系统或统计方法等分析接收 到的审计记录。调整内部规则或统计信息，在有入侵发生时，采取相应措施。 一个完善的入侵检测系统必须具有下列特点： 1 、准确性：指入侵检测系统能正确地检测出系统入侵活动。一般用检测率、误报 率和漏报率作为衡量系统准确性的标准。 ( 1 ) 检测率：指被监控系统受到入侵攻击时，检测系统能正确报警的概率。 ( 2 ) 误报率：指检测系统将正常行为误认为入侵行为的概率。 ( 3 ) 漏报率：指检测系统将入侵行为误认为正常行为的概率。 2 、时效性：要求入侵检测系统必须尽快地分析数据并把分析结果传播出去，以 使系统安全管理人员能能够在入侵攻击尚未造成更大危害以前做出反应。 3 、完备性：指入侵检测系统能够检测出所有攻击行为的能力。 4 、容错性：入侵检测系统本身必须具有抵御攻击的能力。 2 2 2 入侵检测系统的分类 入侵检测系统有多种分类方法，按照分析和检测方法，可以分为刚： 1 、异常检测( a n o m a l yd e t e c t i o n ) 异常检测方法假定所有入侵行为都是与正常行为不同的。它的原理是，假设可以 建立系统正常行为的轨迹，所有与正常轨迹不同的系统状态则视为可疑企图。异常阈 值与特征的选择是其成败的关键。其局限在于，并非所有的入侵都表现为异常，而且 系统的轨迹难于计算和更新。 2 、误用检测( m i s u s ed e t e c t i o n ) 9 太原理工大学硕士研究生学位论文 它是假定所有入侵行为和手段都能够表达为一种模式或特征，所有已知的入侵方 法都可以用匹配的方法发现。模式发现技术的关键是如何表达入侵的模式，以正确区 分真正的入侵与正常行为。模式发现的优点是误报少，局限是只能发现已知的攻击， 对未知的攻击无能为力。 按照数据来源可以分为： 1 、基于主机的入侵检测系统( h d s ) 基于主机的入侵检测系统将检测模块驻留在被保护系统上，通过提取被保护系统 的运行数据并进行入侵分析来实现入侵检测功能。 基于主机的入侵检测系统可以有若干种实现方法： j( 1 ) 检测系统设置以发现不正当的系统设置和系统设置的不正当更改，例如 c o p s 系统。 ( 2 ) 对系统安全状态进行定期检查以发现不正常的安全状态，例如t r i p w i r e 系统。 ( 3 ) 通过替换服务器程序，在服务器程序与远程用户之间增加一个中间层，在该 中间层中实现跟踪和记录远程用户的请求和操作，例如t c p w r a p p e r o 。 基于主机的入侵检测系统具有检测效率高、分析代价小、分析速度快的特点，能 够迅速并准确定位入侵者，并可结合操作系统和应用程序的行为特征对入侵进行详细 分析。而基于主机的入侵检测系统存在的问题是： ( 1 ) 它在一定程度上依赖于系统的可靠性，要求系统本身应该具备基本的安全功 能并具有合理的设置，然后才能提取入侵信息。 ( 2 ) 即使进行了正确的设置，对操作系统熟悉的攻击者仍然有可能在入侵行为完 成后及时地将系统日志抹去，从而不被发觉。 ( 3 ) 主机的日志能够提供的信息有限，有的入侵手段和途径不会在日志中有所反 映，日志系统对有的入侵行为不能做出正确的响应。 ( 4 ) 在数据提取的实时性、充分性、可靠性方面，基于主机日志的入侵检测系统 不如基于网络的入侵检测系统。 2 、基于网络的入侵检测系统( n d s ) 系统获取的数据是网络传输的数据包，保护的目标是网络的运行。通过对数据包 的截获和分析，判断是否为入侵行为，在目前网络广泛互联使用的今天，它已经成为 主流的检测方式。基于网络的入侵检测系统有许多优点： 1 0 太原理工大学硕士研究生学位论文 ( 1 ) 基于网络的入侵检测系统检查所有数据包的头部从而发现恶意的和可疑的行 动迹象。基于主机的入侵检测系统无法查看数据包的头部，所以它无法检测到这一类 型的攻击。 ( 2 ) 攻击者不易转移证据。基于网络的入侵检测系统实时地检测网络通信，所以 攻击者无法转移证据。 ( 3 ) 实时检测和响应。基于网络的入侵检测系统可以在恶意及可疑的攻击发生的 同时将其检测出来，并做出更快的通知和响应。 ( 4 ) 检测未成功的攻击和不良意图。基于网络的入侵检测系统增加了许多有价值 的数据，以判别不良意图。 按系统各模块的运行方式可以分为： 1 、集中式：系统的各个模式包括数据的收集分析都集中在一台主机上进行。 2 、分布式：系统的各个模块分布在不同的计算机和设备上。 根据实效性可以分为： 1 、离线分析：入侵行为发生后，对产生的数据进行分析。 2 、实时分析：在数据产生的同时或者发生异常时进行分析。 2 3 入侵检测方法 根据采用的检测方法，可将入侵检测技术分为异常入侵检测( a n o m a l yd e t e c t i o n ) 和误用入侵检测( m i s u s ed e t e c t i o n ) 。 1 、异常入侵检测 异常检测根据使用者的行为或资源使用状况是否偏离正常的情况来判断入侵是否 发生。在异常检测中，观察到的不是已知的入侵行为，而是通信过程中的异常现象。 这种不正常行为可以分为外部闯入、内部渗透和不恰当使用资源2 1 】【2 2 1 。其结构如图2 2 所示： 太原理工大学硕士研究生学位论文 图2 - 2 异常检测 f i g u r e2 - 2a n o m a l yd e t e c t i o n 异常检测的基本前提是：假定所有的入侵行为都是异常的。首先建立系统或用户 的“正常 行为特征轮廓，通过比较当前系统或用户的行为是否偏离正常的行为特征 轮廓来判断是否发生了入侵，而不是依赖于具体行为是否出现来进行检测的。从这个 意义上来讲，异常检测是一种间接的方法。用户轮廓通常定义为各种行为参数及其阈 值的集合，用于描述正常行为范围。当用户活动与正常行为有重大偏离时，即被认为 是入侵。如果系统错误地将正常活动定义为入侵，称为虚警。如果系统未能将检测出 真正的入侵行为则称为漏警。这是衡量入侵检测系统性能很重要的两个指标。 异常入侵检测系统的效率取决于用户轮廓的完备性和监控的频率。因为不需要对 每种入侵行为进行定义，因此能有效检测未知的入侵。同时，系统能针对用户的改变 进行自我调整和优化，随着检测模型的逐步精准，异常检测会消耗更多的系统资源。 异常检测的关键问题： ( 1 ) 特征量的选择。 异常检测首先是要建立系统或用户的“正常”行为特征轮廓，这就要求在建立正 常模型时，选取的特征量既要能准确地体现系统或用户的行为特征，又能使模型最优 化，即以最少的特征量来涵盖系统或用户的行为特征。 ( 2 ) 参考阈值的选定。 因为在实际的网络环境下，入侵行为和异常行为往往不是一对一的等价关系，这 样的情况是经常会有的：某一行为是异常行为，而它并不是入侵行为；同样存在某一 行为是入侵行为，而它却并不是异常行为的情况。这样就会导致检测结果的虚警和漏 1 2 太原理工大学硕士研究生学位论文 警的产生。由于异常检测是先建立正常的特征轮廓作为比较的参考基准，这个参考基 准即参考阈值的选定是非常关键的，阈值定的过大，那漏警率会很高；阈值定的过小， 则虚警率就会提高。合适的参考阈值的选定是影响这一检测方法准确率的至关重要的 因素。 从异常检测的原理我们可以看出，该方法的技术难点在于：“正常”行为特征轮廓 的确定；特征量的选取；特征轮廓的更新。由于这几个因素的制约，异常检测的虚警 率很高，但对于未知的入侵行为的检测非常有效。此外，由于需要实时地建立和更新 系统或用户的特征轮廓，这样所需的计算量很大，对系统的处理性能要求会很高。 2 、误用入侵检测 误用检测通过分析入侵过程的特征、条件、排列以及事件间的关系来描述入侵行 为的迹象。误用入侵检测主要是按预先定义好的入侵模式对用户活动行为进行模式匹 配来检测入侵行为。如果入侵者攻击方式恰好匹配检测系统中的模式库，就能准确发 现违背安全策略的行为。相对与异常入侵检测检测出的是与正常行为相违背的行为， 误用入侵检测能够直接检测不利的或者不可接受的行为。其结构如图2 3 所示： 图2 - 3 误用检测 f i g u r e2 - 3m i s u s ed d t e c t i o n 误用检测的基本前提是：假定所有可能的入侵行为都能被识别和表示。首先对已 知的攻击方法进行攻击签名( 攻击签名是指用一种特定的方式来表示已知的攻击模式) 表示，然后根据已经定义好的攻击签名，通过判断这些攻击签名是否出现来判断入侵 行为的发生与否。这种方法是直接判断攻击签名的出现与否来判断入侵的，从这一点 来看，它是一种直接的方法。 13 太原理工大学硕士研究生学位论文 误用检测的关键问题：攻击签名的正确表示。误用检测是根据攻击签名来判断入 侵的，那如何有效地根据对已知的攻击方法的了解用特定的模式语言来表示这种攻击， 即攻击签名的表示，将是该方法的关键所在，尤其攻击签名必须能够准确地表示入侵 行为及其所有可能的变种，同时又不会把非入侵行为包含进来。由于很大一部分的入 侵行为是利用系统的漏洞和应用程序的缺陷，那么通过分析攻击过程的特征、条件、 排列以及事件间的关系，就可具体描述入侵行为的迹象。这些迹象不仅对分析已经发 生的入侵行为有帮助，而且对即将发生的入侵也有预警作用，因为只要部分满足这些 入侵迹象就意味着可能发生入侵行为。 误用检测是通过将收集到的信息与已知的攻击签名模式库进行比较，从而发现违 背安全策略的行为。那么它就只需收集相关的数据，这样系统的负担明显减少。该方 法类似于病毒检测系统，其检测的准确率和效率都比较高，而且这种技术比较成熟， 国际上一些顶尖的入侵检测系统都采用的是该方法，但是它也存在一些缺点： ( 1 ) 不能检测未知的入侵行为。由于其检测机理是对已知的入侵方法进行模式提 取，对于未知的入侵方法由于缺乏知识就不能进行有效的检测，也就是漏警率比较高。 ( 2 ) 系统的相关性很强。对于不同的操作系统由于其实现机制不同，对其攻击的 方法也不尽相同，很难定义出统一的模式库。另外由于已知知识的局限，难以检测出 内部人员的入侵行为，如合法用户的泄漏。 2 4 入侵检测技术 入侵检测技术实际上是一种信息识别与检测技术。因此，传统的信息识别技术也 可以用到入侵检测中来。入侵分析是入侵检测的核心，入侵检测技术主要研究的就是 对入侵行为分析和判定，即入侵分析技术。目前主要的入侵检测技术 2 3 1 有： 1 、基于统计方法的入侵检测技术 基于统计方法的入侵检测技术，就是入侵分析采用基于统计的检测规则的方法的 一种检测技术。它基于对用户历史行为的建模，以及先验的证据或模型的基础，实时 地检测用户对系统的使用情况，根据系统内部保存的用户行为的概率统计模型进行检 测，实时检测系统是否有异常的用户行为，以此来判断系统是否遭到入侵。也就是说， 系统根据用户以前的历史行为记录来决定用户当前的行为是否合法。系统根据用户的 历史行为，生成每个用户的统计行为模型( 即行为习惯) 。当用户改变他的行为习惯时， 1 4 太原理工大学硕士研究生学位论文 这种“异常”就会被检测出来。 2 、基于神经网络的入侵检测技术 由于用户行为的复杂性，要想准确地把当前用户行为和用户行为概率统计模型进 行匹配是相当困难的，因而基于统计方法的入侵检测技术存在着一些天生的弱点。错 发的警报往往来自对统计数据的统计算法所基于的不准确的假设。因此人们利用和发 展神经网络技术来进行入侵检测。 目前，神经网络技术提出了对于基于传统统计的入侵检测技术的改进方向，但尚 不十分成熟，所以传统的统计方法仍将继续发挥作用，也仍然能为发现用户的异常行 为提供相当有参考价值的信息。 3 、基于专家系统的入侵检测技术 基于专家系统的入侵检测技术，就是根据网络安全专家对可疑行为的分析经验而 形成一套推理规则，然后在此基础之上构建入侵检测专家系统，由此专家系统自动进 行对所涉及的入侵行为进行分析工作。 所谓专家系统是基于一套有专家经验事先定义的规则的推理系统，例如，在数分 钟之内某个用户连续进行登录，失败超过规定次数可以被认为是一次入侵行为。实现 一个基于规则的专家系统是一个知识工程问题，而且其功能应当能够随着经验的积累 而利用其自学能力进行规则的扩充与修正。 专家系统对历史数据的依赖性总的来说比基于统计的检测系统较少，因此系统适 应性比较强，可以较灵活地适应不同的安全策略和检测需求。 4 、基于模型推理的入侵检测技术 入侵者在入侵一个系统时往往具有一定的行为程序，如猜测口令的程序，这种行 为程序构成了某种具有一定行为特征的入侵行为模型。根据这种模型所代表的入侵意 图的行为特征，可以实时地检测出恶意的入侵企图。用基于模型推理的方法人们能够 为某些行为建立特定的模型，从而能够检测具有特定行为的某些入侵活动。根据假设 的入侵脚本，这种系统就