（计算机软件与理论专业论文）基于数据挖掘的入侵检测系统研究(2).pdf

摘要 摘要 伴随着网络的发展，产生了各种各样的问题，其中安全问题尤为突出。入侵 检测系统 ( i d s , i n t r u s i o n d e t e c t i o n s y s t e m )是保护网络女全的关键技术和重要手 段。操作系统的日益复杂和网络数据流量的急剧增加，导致了审计数据以惊人速 度剧增，如何在海量的审计数据中提取出具有代表性的系统特征模式，以对程序 和用户行为作出更精确的描述， 是实现入侵检测的关键。将数据挖掘技术用于入 侵检测领域，是实现i d s智能化的重要手段，其主要思想是利用数据挖掘中的关 联分析、序列模式分析、聚类分析、分类分析等算法提取相关的用户行为特征， 并根据这些特征生成安全事件的分类模型，应用于安全事件的自动鉴别。 本文首先介绍了数据挖掘技术的热点和入侵检测系统发展状况。阐述了入侵 检测的分类，入侵检测方法，入侵检测模型，对入侵检测的异常检测和误用检测 进行了对比，给出两类方法的优点和缺点。然后简介了 c i d f提出的一个入侵检 测系统的通用模型。 然后，介绍了数据挖掘研究的内容，数据挖掘的功能，数据挖掘常用技术， 数据挖掘工具，数据挖掘的步骤和流程，使用数据挖掘的入侵检测技术，提出了 一种可能的基于网络的数据挖掘入侵检测系统模型。 其次，也是本文的重点，对基于数据挖掘的入侵检测系统的相似度聚类分析 方法，序列模式分析，分类算法分析。提出相似度聚类分析算法的改进和实验; 实验了序列模式挖掘算法 ( s p m- i d ) , g s p算法、 a p r i o r 算法。改进了序列模式 挖掘算法 ( s p m- i d)的性能、适应性、可扩展性;提出了一种新的挖掘松散的间 断序列模式的算法，使用网络包进行实验和分析;分类算法在入侵检测系统的应 用，使用决策树对分类算法进行了实验和分析。 最后，提出了一种新的i d d m入侵检测系统。一种网络型的数据挖掘检测系 统，使用c i d f模型，整个系统由监控系统 ( ms ) 、数据处理子系统 ( d p s ) 、决 策子系统 ( d s ) 偏差分析引擎和决策引擎组成。数据处理子系统中，将收集到的 网络包进行预处理，再用相似度聚类算法、序列模式算法、分类算法找到异常规 则集， 使用规则集来检测常用入侵， 从而确定是否为入侵。 本文只实验检测d o s , p r o b e , r 2 1 , u 2 : 这四种入侵，将找到的新入侵异常记录加到合并集中，以后做 为检测新的入侵。 关键字:数据挖掘;相似度聚类分析;序列模式分析;分类算法分析;i d d m; 华南理 _ 人学硕十学位论文 ab s t r a c t wi t h t h e d e v e l o p m e n t o f c o m p u t e r n e t w o r k , w h i c h b r i n g u p v a r i o u s p r o b l e m , e s p e c i a l l y t h e s e c u r i t y p r o b l e m . i n t r u s i o n d e t e c t i o n s y s t e m ( i d s ) c a n p r o t e c t t h e n e t w o r k s e c u r i t y , w h i c h i s a n i m p o r t a n t t e c h n o l o g y a n d m e t h o d . wi t h t h e c o m p l e x o p e r a t i n g s y s t e m a n d t h e r a p i d i n c r e a s e o f n e t w o r k d a t a f l o w , w h i c h l e a d t o r a p i d i n c r e a s e o f a u d i t d a t a . h o w t o d i s t i l l t h e r e p r e s e n t a t i v e c h a r a c t e r i s t i c m o d e l o f s y s t e m f r o m g r e a t a u d i t d a t a , s o t o d e s c r i b e a p r o g r a m a n d a u s e r b e h - a v i o r a c c u r a t e l y , w h i c h i s c r i t i c a l s e g m e n t f o r a c h i e v i n g a i n t r u s i o n d e t e c t i o n s y s t e m.d a t a m i n i n g t e c h n o l o g y u s e d i n t h e i n t r u s i o n d e t e c t i o n r e a l m i s a i m p o r t a n t m e t h o d t o a c h i e v e i n t e l l i g e n t i z e i d s , t h e m a i n i d e a i n w h i c h i s t h a t u s i n g a s s o c i a t e a n a l y s e , s e q u e n c e p a t t e r n a n a l y s e , c l u s t e r a n a l y s e a n d c l a s s i f y a n a l y s e a r i t h m e t i c t o d i s t i l l r e l a t e d u s e r b e h a v i o r , a n d b y t h i s c h a r a c t e r p r o d u c e d s e c u r i t y e v e n t m o d e l , a n d a p p l y i n g t o s e c u r i t y e v e n t o f a u t o m a t i c d i s t i n g u i s h i n g . i n t h i s p a p e r , f i r s t l y w e i n t r o d u c e d t h e d a t a m i n i n g t e c h n i q u e h e a t a n d t h e d e v e l o p m e n t o f i n t r u s i o n d e t e c t i n g s y s t e m . t h a n w e s e t f o r t h t h e c l a s s i f y o f i n t r u s i o n d e t e c t i n g ,t h e i n t r u s i o n d e t e c t i n g m e t h o d , a n d t h e i n t r u s i o n d e t e c t i n g m o d e l . , t h e n w e c o n t r a s t w i t h t h e a b n o r m a l d e t e c t i n g m e t h o d a n d t h e m i s u s e d e t e c t i n g m e t h o d o f i n t r u s i o n d e t e c t i n g， g i v i n g t h e m e r i t a n d f l a w o f t h o s e m e t h o d , t h e n w e i n t r o d u c e d c i d f ,w h i c h p u t f o r w a r d a c o m m o n m o d e l o f i n t r u s i o n d e t e c t i n g s y s t e m . s e c o n d l y , w e i n t r o d u c e d t h e c o n t e n t o f t h e d a t a m i n i n g , t h e f u n c t i o n o f t h e d a t a m i n i n g , t h e t e c h n o l o g y o f d a t a m i n i n g ,t h e t o o l s o f t h e d a t a m i n i n g , t h e s t e p a n d f l o w o f t h e d a t a m i n i n g ,t h e n w e u s e d i n t r u s i o n d e t e c t i n g o f d a t a mi n i n g t e c h n o l o g y a n d b r i n g f o r w a r d a p o s s i b l e n e t w o r k b a s e d i n t r u s i o n d e t e c t i n g o f d a t a mi n i n g m o d e l . t h i r d l y , w e e m p h a s e d o n t h e s e q u e n c e p a t t e r n a n a l y s e , c l u s t e r a n a l y s e a n d c l a s s i f y a n a l y s e a r i t h m e t i c i n t h e i n t r u s i o n d e t e c t i n g o f d a t a mi n i n g we p r o p o s e d t h e i m p r o v e d a n d e x p e r i m e n t o f t h e s i m i l a r i t y c l u s t e r a n a l y s i s ; t h e e x p e r i m e n t o f s e q u e n c e p a t t e r n a n a l y s e a r i t h m e t i c ( s p m- i d ) ， g s p a r i t h m e t i c , a p r i o r a r i t h m e t i c ; a n d w e i m p r o v e d o n t h e c a p a b i l i t y , a d a p t a b i l i t y , e x t e n s i b l e o f s e q u e n c e p a t t e r n a n a l y s e a r i t h m e t i c ( s p m- i d ) a r i t h m e t i c ; t h e n w e p r o p o s e d a n e w l o o s e m i n i n g i n t e r r u p t e d s e q u e n c e p a t t e r n a r i t h m e t i c , a n d u s e d d e c i s i o n t r e e b y c l a s s i f y a r i t h m e t i c t o d o e x p e r i m e n t a n d a n a l y s e . ab s t r a c t f i n a l l y , w e p r o p o s e d a n e w i d d m i n t r u s i o n d e t e c t i n g s y s t e m. i t i s a b a s e d n e t w o r k i n t r u s i o n d e t e c t i o n o f d a t a m i n i n g s y s t e m , w h i c h u s e d c i d f m o d e l , t h e w h o l e s y s t e m i n c l u d e d mo n i t o r s u b s y s t e m , ( ms ) , d a t a p r o c e s s s u b s y s t e m ( d p s ) a n d d e c i s i o n s u b s y s t e m ( d s ) . i n t h e d a t a p r o c e s s s u b s y s t e m , i t c o l l e c t e d t h e n e t w o r d p a c k e t a n d d o p r e t r e a t m e n t , t h e n u s e d t h e s e q u e n c e p a t t e r n a n a l y s e , c l u s t e r a n a l y s e a n d c l a s s i f y a n a l y s e a r i t h m e t i c t o f i n d a b n o r m a l r u l e c o l l e c t i o n , u s e d t h i s r u l e c o l l e c t i o n t o i n t e c t i n g t h e n o r m a l a b n o r m a l i n t r u s i o n , s o c o n f i r m e d i f t h e p a c k e t i s a i n t r u s i o n . t h i s p a p e r c a n d e t e c t e d t h e i n t r u s i o n o f d o s , p r o b e , r 2 1 , u 2 r ,t h e n a d d e d f i n d i n g n e w i n t r u s i o n a b n o r m a l r e c o r d i n t o t h e c o m b i n e d c o l l e c t i o n , t h a t w i l l b e u s e d t o d e t e c t i n g n e w i n t r u s i o n . k e y w o r d s : d a t a mi n i n g ; s i m i l i r i t y c l u s t e r a n a l y s i s ; s e q u e n c e p a t t e r n a n a l y s e ; c l a s s i f y a r i t h m e t i c a n a l y s e ; i d d m i i i 华南理工大学 学位论文原创性声明 本人郑重声明:所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体己经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作 者 签 名 : 律褥 今日 期 : 7, 0 产 /; fl ;口 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理上大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在 一 一 乡 三 解密后适用本授权书。 期期 ，)日日 了 本学位论文属于 不保密口。 ( 请在以上相应方框内打 “ 作 者 签 名 :*t a , 导师签名 : -2 0 0 阵 卜 月多 日 : uv k 年 八 月 多 日 第一章 绪论 第一章 绪论 1 . 1 1 . 1 . 1 课题的背景 数据挖掘技术 随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数 据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更 高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数 据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据 现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了 “ 数据爆炸但知识贫乏” 的现象。 数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商 业数据是存储在计算机的数据库中的，然后发展到可对数据库进行查询和访问， 进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶 段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在 联系，从而促进信息的传递。现在数据挖掘技术在商业应用中己经可以马上投入 使用，因为对这种技术进行支持的三种基础技术己经发展成熟，他们是: ( 1 ) 海量数据搜索。 ( 2 ) 强大的多处理器计算机。 ( 3 ) 数据挖掘算法。 数据挖掘过程， 如图1 - 1 : 图 1 - 1数据挖掘的发展 f i g u r e l 一 i d e v e l o p o f d a t a mi n i n g 第一章 绪论 第一章 绪论 1 . 1 1 . 1 . 1 课题的背景 数据挖掘技术 随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数 据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更 高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数 据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据 现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了 “ 数据爆炸但知识贫乏” 的现象。 数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商 业数据是存储在计算机的数据库中的，然后发展到可对数据库进行查询和访问， 进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶 段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在 联系，从而促进信息的传递。现在数据挖掘技术在商业应用中己经可以马上投入 使用，因为对这种技术进行支持的三种基础技术己经发展成熟，他们是: ( 1 ) 海量数据搜索。 ( 2 ) 强大的多处理器计算机。 ( 3 ) 数据挖掘算法。 数据挖掘过程， 如图1 - 1 : 图 1 - 1数据挖掘的发展 f i g u r e l 一 i d e v e l o p o f d a t a mi n i n g 华南理 t _ 大学硕士学位论文 数据挖掘 ( d a t a m i n i n g )的涵义，从技术上说就是从大量的 噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、 、不完全的、有 人们事先不知道 的、但又是潜在有用的信息和知识的过程，这个定义包括儿层含义: ( 1 )数据源必须是真实的、大量的、含噪声的; ( 2 )发现的是用户感兴趣的知识; ( 3 )发现的知识要可接受、可理解 、可运用: ( 4 )并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 下面介绍了几个概念: 1 )o l a p( o n l i n e a n a l y t i c a l p r o c e s s ) 与数据挖掘相比，它意指由数据库所连结出来的在线查询分析程序。有些人 会说: 我已经有o l a p的工具了， 所以我不需要d a t a m i n i n g 。 事实上两者间是截 然不同的， 主要差异在于d a t a m i n i n g 用在产生假设， o l a p 则用于查证假设。 简 单来说，o l a p是由使用者所主导，使用者先有一些假设，然后利用 o l a p来查 证假设是否成立;而 d a t a m i n i n g则是用来帮助使用者产生假设。所以在使用 o l a p或其它 q u e r y的 t具时， 使用者是自 己 在做探索 ( e x p l o r a t i o n ) ， 但 d a t a m i n i n g 是用工具在帮助做探索。 2 ) k d d ( k n o w l e d g e d i s c o v e r y a n d d a t a m i n i n g ) 目前 k d d的主要研究内容包括基础理论、发现算法、数据仓库 术、定性定量互换模型、知识表示方法、发现知识的维护和再利用、 、可视化技 半结构化和 非结构化数据中的知识发现以及网上数据挖掘等。数据挖掘所发现的知识最常见 的有以一 四类: 广义知识 ( g e n e r a l i z a t i o n ): 广义知识指类m特征的概括性描述知识。 分类知识 ( c l a s s i f i c a t i o n ( 2 )预处理; ( 3 )聚焦; ( 4 )选取算法; ( 5 )挖掘假设 规则与模式; ( 6 )知识评价; ( 7 )入库。 3 )kdd* k d d * = k d d 十 双库协同机制，即用基础知识库制约并驱动k d d，改进与 优化 了原来k d d的结构、 进程与运行机制，形成一个开放系统。在图 1 - 3中可以看到 包含双库协同机制的k d d * 的结构。如图 1 - 3 : 华南理工大学硕十学位论文 图 1 - 3 k d d * 体系结构 f i g u r e l - 3 k d d * s y s t e m s t r u c t u r e 4 . we b挖掘 整体而言，we b m i n i n g具有以下特性:1 . 资料收集容易且不引人注意，所 谓凡走过必留一 痕迹，当访客进入网站后的一切浏览行为与历程都是可以立即被 记录的; 2 .以交互式个人化服务为终极目标， 除了因应不同访客呈现专属设计的 网页之外，不同的访客也会有不同的服务: 3 . 可整合外部来源数据让分析功能发 挥地更深更广， 除了l o g f i l e , c o o k i e s 、 会员填表数据、 在线调查数据、 在线交易 数据等由网络直接取得的资源外， 结合实体世界累积时间更久、 范围更厂 的资源， 将使分析的结果更准确也更深入。 利用d a t a m i n i n g 技术建立更深入的访客数据 音 析，并赖以架构精准的预测模式，以期呈现真正智能型个人化的网络服务，是 w e b m i n i n g 努力的 方向。 第一章 绪论 1 . 1 .2入侵检测系统发展状况 目前国内外的 一 些研究机构己经开发出了应用于不同操作系统的几种典型的 入侵监测系统( i d s ) ， 它们通常采用静态异常模型和规则的误用模型来检测入侵。 而这些入侵检测系统的检测基本上 是基于主机或基于网络的。基于主机的入侵检 测系统采用服务器操作系统把检测序列作为主要输入源来检测入侵行为，而大多 数基于网络的入侵检测则以监控网络故障作为检测机制，但有些则用基于服务器 的检测模式和典型的入侵检测系统静态异常算法。早期的入侵检测系统模型设计 用来监控单一的服务器，是基于主机的入侵检测系统;而近期的更多模型则集中 用于监控通过网络互连的多服务器，是基于网络的入侵检测系统。 入侵检测系统的发展，如图 1 - 4: 不 1efson 提 灯 w m -;,1, , ; iii, j、 全 监 。 的 研 立 二 d o r o t h y d e n n i n i n g的论文 ? a n : 1 ,n i i wo n d e t e c t i o n mo d e l 提il l 的理论契构 1 少 泛 塑塑 了 报多 研究 者 井 奠 定了 近 期i i 业 产 品的 基 础 1 9 8 8 d e n n i n 鱿入倪检侧模型” ，入提检测第二 一 篇论文 、。 。 k一 _ _ _ _ _ _ _ _ _ ! w ir s1( i: 全 盔 擎 器 等 一 个 子 网 “ 的 id s ) 鲤塑丝 iq r3 p 1 ft 心 1 , 常 检 溯 秘 入 佼 报 告 ) ， 询 时 收 集 主 机 和 网 络 信 息 ( 分布式入浸检挑系统1 的后续版木 华南理工大学硕士学位论文 s t a t p o r r a s提山状态转移分析方法 m ark ciu;bic i i gcrc slr.iill nl建 谬 州 ii 1 叔 -, r 一 塑塑些 wh e e i c r o u u n e t r n n g c rni de s 卜 多二 i 机检测 代入侵检测专家系统 工 蛆 (3rjl 弹鲜r, , j jr 卿 络的蒸 于图的入佼检,a 0, s b i e : 着色 p c t r i网方法 i ss re a l se u r e 注;fl . 了网络 i d s的i耳 扩n n i d 琴 j神经网 络 的研究方法 塑塑 f 。 。 “ ， : 提山基于 计算机免疫 f iyj 11 法 ，!月 r c - a n d e t -i 和 .a b i o .i k h a t t a k 将信息检索技术弧进刻入伶检测 + g n k c i .c c , 些于数揩挖掘的入侵检测” ，第一篇关于数据发掘在i l ) s i 卜 应用的沦文 we n k e =l - e e ; j a m 系统，第一个基于数据发掘的误用入侵检测系统 鲤塑 2 0 0 1 d lp a a k a r d e s w 3 l a 和f a b w g o n z a l e z 研究了 入 侵检 测只能 决 策 支撑 系 门川一 2 0 0 2 i s s 公司发布集成了n e t w o r k i c e公司技术. 具备协议分析和碎片爪组能力 图 1 - 4 i d s的发展 f i g u r e l - 4 d e v e l o p e o f i d s 第一章 绪论 1 . 1 . 3国内外入侵检测系统产品介绍 1 . 1 . 3 . 1国内产品 1曙光g o d e y e - h i d s 主机入侵检测系统 日前，国内唯一一款经过公安部权威认证的增强型主机入侵检测安全软件产 品一一曙光g o d e y e - h i d s 主机入侵检测系统正式问世， 这是曙光信息产业( 北京) 有限公司 ( 以下简称曙光公司)面对需求日益高涨的网络安全市场推出的一款面 向行业安全应用领域的增强型主机入侵检测产品。该产品采用国际上先进的分布 式入侵检测构架，其在管理、检测、防攻击、自身保护及主动防护等方面的卓越 表现将卓有成效的弥补现有同类产品的不足，是网络安全领域的一款旗舰产品。 据悉，我国虽然在入侵检测技术应用方面有一定的进展，但 目前国内真正拥有 自 身核心技术的品牌产品并不多，而且在管理、自身保护、主动防护、攻击取证等 方面的产品技术水平也良荞不齐。 但现有的入侵检测系统仍然存在着漏报、误报以及在自身安全、管理等方面 存在着先天的不足。 曙光g o d e y e - h i d s 主 机入侵检测系统凭借先进的分布式入侵 检测技术，有效的实现了“ 管理周密，简单易用” 、“ 检测严密，主动防护” 、“ 过硬 的自我保护功能 ， 、“ 有效防范近千种黑客攻击” 、“ 攻击取证”等几大功能优势， 具有极强的抗欺骗能力和降低漏报误报能力。 去年，曙光在推出一、二代网络立体监控系统的基础上推出了第三代天目立 体监控系统，使得系统管理员对网络和服务器的管理实现了智能化和人性化。 2 “ 天闻 ”黑客入侵检测与预警系统 天闻入侵检测系统由系列产品组成，它包括网络型的n i 0 0 , n 5 0 0 和n 1 0 0 0 三种型号和主机型的h1 2 0 和 h 2 2 0两种型号。 “ 天闻 ” 采用国际一流的协议分析 技术，内含国内最完备的协议分析型入侵检测事件库。 “ 天闻” 还其有基于异常的 检测技术。还使用了行为关联技术， 状态迁徙技术等多个技术。2 0 0 2 年，创造了 国内第一个突破 “ 千兆”处理速度的网络型入侵检测系统， “ 天闻 n 1 0 0 0 . “ 天 闻 n 1 0 0 0 型入侵检测系统在管理上采用先进的拓扑发现和地址定位技术， 结合 g i s ，能够直观显示并及时准确定位攻击源。 3清华紫光u n i s i d s 入侵检测系统 u n i s l d s是一个真正实时监测黑客入侵、 报警、 响应和防范的入侵检测系统。 u n i s i d s实现了基于主机检测功能和基于网络检测功能的无缝集成。u n i s i d s通 过对系统事件和网络上传输的数据进行实时监视和分析，一旦 . 发现可疑的入侵行 为和异常数据包，立即报警并做出相应的响应，使用户的系统在受到破坏之前及 时截取和终止非法的入侵或内部网络的误用， 从而最大程度的降低系统安全风险， 华南理工大学硕士学位论文 有效的保护系统的资源和数据。u n i s i d s主要包括管理中心 a d m i n ,基于网络的 入侵检测引 擎n e t w o r k a g e n t 和基于主 机的入 侵检测引 擎h o s t a g e n t 三 个模块， 用户可根据需要选用相应的模块。 1 . 1 . 3 . 2国外产品 i ) r e a l s e c u r e ne t wo r k s e n s o r 5 . 0 具备更详细的协议分析能力和更出色的碎片重组能力。如何配合i s s 公司同 时发布r e a l s e c u r e g u a r d来实现与防火墙的联动，则叮以利用协议分析技术来实 时分析是否存在对网络的非法入侵，当检测到非法入侵时做到彻底切断这种网络 攻击。i s s公司发布的技术报告称，利用其分组处理驱动程序，可以在不降低网 络通讯速度的情况下，正确地实现对网络的高速监控。 2 ) u s t a t ( a s t a t e t r a n s i t i o n a n a l y s i s t o o l f o r u n i x ) 实时入侵检测系统 加州大学的k o r a l i i g u n在p h i i l l i p p o r r a s 和r i c h a r d k e m m e r e r 的前期_ - 作基础上开发的。他们提出的状态转换分析方法。使用系统状态与状态转换的表 达式描述和检测己知的入侵手段，使用反映系统状态转换的图表直观的记载渗透 细节 。 1 . 2论文内容安排 本文在数据挖掘和入侵检测理论的基础上，提出了一种基于数据挖掘技术的 入侵检测模型，主要是结合数据挖掘中的聚类分析等算法分析网络数据流和主机 日志，在比较各类算法实验结果的基础上，针对入侵数据量大、属性值多和实时 性要求高等特点改进序列模式挖掘算法 ( s p m- i d) 算法，以实现入侵检测系统的 数据分析和实时性功能。 第一章 绪论， 对数据发掘技术和入侵检测系统的背景，意义，应用领域，发 展状况等内容作了全面的综述。 第二章 详细介绍了计算机网络安全和黑客入侵的基本知识， 入侵检测系统的 构成，使用的技术，c i d f 结构框架。 第三章 详细介绍了数据挖掘的基本理论知识及在入侵检测系统中的应用。 第四章 详细介绍了在入侵检测系统中相似度聚类、 序列模式分析和分类算法 的应用与改进，及其应用于入侵数据分析的实验结果。 第五章 详细给出了一个基于数据挖掘的入侵检测系统模型， 包括系统的组成 结构、软件的设计和实现、实验结果和分析等。 华南理工大学硕士学位论文 有效的保护系统的资源和数据。u n i s i d s主要包括管理中心 a d m i n ,基于网络的 入侵检测引 擎n e t w o r k a g e n t 和基于主 机的入 侵检测引 擎h o s t a g e n t 三 个模块， 用户可根据需要选用相应的模块。 1 . 1 . 3 . 2国外产品 i ) r e a l s e c u r e ne t wo r k s e n s o r 5 . 0 具备更详细的协议分析能力和更出色的碎片重组能力。如何配合i s s 公司同 时发布r e a l s e c u r e g u a r d来实现与防火墙的联动，则叮以利用协议分析技术来实 时分析是否存在对网络的非法入侵，当检测到非法入侵时做到彻底切断这种网络 攻击。i s s公司发布的技术报告称，利用其分组处理驱动程序，可以在不降低网 络通讯速度的情况下，正确地实现对网络的高速监控。 2 ) u s t a t ( a s t a t e t r a n s i t i o n a n a l y s i s t o o l f o r u n i x ) 实时入侵检测系统 加州大学的k o r a l i i g u n在p h i i l l i p p o r r a s 和r i c h a r d k e m m e r e r 的前期_ - 作基础上开发的。他们提出的状态转换分析方法。使用系统状态与状态转换的表 达式描述和检测己知的入侵手段，使用反映系统状态转换的图表直观的记载渗透 细节 。 1 . 2论文内容安排 本文在数据挖掘和入侵检测理论的基础上，提出了一种基于数据挖掘技术的 入侵检测模型，主要是结合数据挖掘中的聚类分析等算法分析网络数据流和主机 日志，在比较各类算法实验结果的基础上，针对入侵数据量大、属性值多和实时 性要求高等特点改进序列模式挖掘算法 ( s p m- i d) 算法，以实现入侵检测系统的 数据分析和实时性功能。 第一章 绪论， 对数据发掘技术和入侵检测系统的背景，意义，应用领域，发 展状况等内容作了全面的综述。 第二章 详细介绍了计算机网络安全和黑客入侵的基本知识， 入侵检测系统的 构成，使用的技术，c i d f 结构框架。 第三章 详细介绍了数据挖掘的基本理论知识及在入侵检测系统中的应用。 第四章 详细介绍了在入侵检测系统中相似度聚类、 序列模式分析和分类算法 的应用与改进，及其应用于入侵数据分析的实验结果。 第五章 详细给出了一个基于数据挖掘的入侵检测系统模型， 包括系统的组成 结构、软件的设计和实现、实验结果和分析等。 第二章 入侵检测系统 第二章 入侵检测系统 2 . 1计算机网络安全概述 随着计算机网络的不断发展，全球信息化己成为人类发展的大趋势。但山于 计算机网络具有联结形式多样性、终端分布不均匀性和网络的开放性、互连性等 特征，致使网络易受黑客、怪客、恶意软件和其他不轨的攻击，所以网上信息的 安全和保密是一个至关重要的问题。对于军用的自动化指挥网络、c 3 1系统和银 行等传输敏感数据的计算机网络系统而言，其网上信息的安全和保密尤为重要。 因此，上述的网络必须有足够强的安全措施，否则该网络将是个无用、甚至会危 及国家安全的网络。无论是在局域网还是在广域网中，都存在着自然和人为等诸 多因素的脆弱性和潜在威胁。故此，网络的安全措施应是能全方位地针对各种不 同的威胁和脆弱性，这样才能确保网络信息的保密性、完整性和可用性。 1 .信息加密 信息加密的目的是保护网内的数据、文件、口令和控制信息，保护网上传输 的数据。网络加密常用的方法有链路加密、端点加密和节点加密三种。链路加密 的目的是保护网络节点之间的链路信息安全; 端一 端加密的目的是对源端用户到目 的端用户的数据提供保护;节点加密的目的是对源节点到目的节点之间的传输链 路提供保护。用户可根据网络情况酌情选择上述加密方式。信息加密过程是由形 形色色的加密算法来具体实施，它以很小的代价提供很大的安全保护。在多数情 况下，信息加密是保证信息机密性的唯一方法。据不完全统计，到目前为止，己 经公开发表的各种加密算法多达数百种。 如果按照收发双方密钥是否相同来分类， 可以将这些加密算法分为常规密码算法和公钥密码算法。 在常规密码中，收信方和发信方使用相同的密钥，即加密密钥和解密密钥是 相同或等价的。比较著名的常规密码算法有:美国的 d e s及其各种变形，比如 t r i p l e d e s , g d e s , n e w d e s 和d e s 的前身l u c i f e r ; 欧洲的i d e a ; 日 本的f e a l - n , l o k i - 9 1 , s k i p j a c k , r c 4 , r c 5 以 及以 代换密 码和转轮密 码为 代表的古典 密码等。 在众多的常规密码中影响最大的是d e s 密码。 常规密码的优点是有很强 的保密强度，且经受住时间的检验和攻击，但其密钥必须通过安全的途径传送。 因此，其密钥管理成为系统安全的重要因素。 在公钥密码中，收信方和发信方使用的密钥互不相同，而且几乎不可能从加 密密钥推导出解密密钥。比较著名的公钥密码算法有: r s a 、 背包密码、 mc e l i e c e 密码、d i f f e - h e l l m a n , r a b i n , o n g - f i a t - s h a m i r 、零知识证明的算法、椭园曲线、 第二章 入侵检测系统 第二章 入侵检测系统 2 . 1计算机网络安全概述 随着计算机网络的不断发展，全球信息化己成为人类发展的大趋势。但山于 计算机网络具有联结形式多样性、终端分布不均匀性和网络的开放性、互连性等 特征，致使网络易受黑客、怪客、恶意软件和其他不轨的攻击，所以网上信息的 安全和保密是一个至关重要的问题。对于军用的自动化指挥网络、c 3 1系统和银 行等传输敏感数据的计算机网络系统而言，其网上信息的安全和保密尤为重要。 因此，上述的网络必须有足够强的安全措施，否则该网络将是个无用、甚至会危 及国家安全的网络。无论是在局域网还是在广域网中，都存在着自然和人为等诸 多因素的脆弱性和潜在威胁。故此，网络的安全措施应是能全方位地针对各种不 同的威胁和脆弱性，这样才能确保网络信息的保密性、完整性和可用性。 1 .信息加密 信息加密的目的是保护网内的数据、文件、口令和控制信息，保护网上传输 的数据。网络加密常用的方法有链路加密、端点加密和节点加密三种。链路加密 的目的是保护网络节点之间的链路信息安全; 端一 端加密的目的是对源端用户到目 的端用户的数据提供保护;节点加密的目的是对源节点到目的节点之间的传输链 路提供保护。用户可根据网络情况酌情选择上述加密方式。信息加密过程是由形 形色色的加密算法来具体实施，它以很小的代价提供很大的安全保护。在多数情 况下，信息加密是保证信息机密性的唯一方法。据不完全统计，到目前为止，己 经公开发表的各种加密算法多达数百种。 如果按照收发双方密钥是否相同来分类， 可以将这些加密算法分为常规密码算法和公钥密码算法。 在常规密码中，收信方和发信方使用相同的密钥，即加密密钥和解密密钥是 相同或等价的。比较著名的常规密码算法有:美国的 d e s及其各种变形，比如 t r i p l e d e s , g d e s , n e w d e s 和d e s 的前身l u c i f e r ; 欧洲的i d e a ; 日 本的f e a l - n , l o k i - 9 1 , s k i p j a c k , r c 4 , r c 5 以 及以 代换密 码和转轮密 码为 代表的古典 密码等。 在众多的常规密码中影响最大的是d e s 密码。 常规密码的优点是有很强 的保密强度，且经受住时间的检验和攻击，但其密钥必须通过安全的途径传送。 因此，其密钥管理成为系统安全的重要因素。 在公钥密码中，收信方和发信方使用的密钥互不相同，而且几乎不可能从加 密密钥推导出解密密钥。比较著名的公钥密码算法有: r s a 、 背包密码、 mc e l i e c e 密码、d i f f e - h e l l m a n , r a b i n , o n g - f i a t - s h a m i r 、零知识证明的算法、椭园曲线、 华南理工人学硕士学位论文 e l g a m a l 算法等等。最有影响的公钥密码算法是 r s a，它能抵抗到 目前为止已知 的所有密码攻击。 2 . 入网访问控制 入网访问控制为网络访问提供了第一层访问控制。它控制哪些用户能够登录 到服务器并获取网络资源，控制准许用户入网的时间和准许他们在哪台工作站入 网。 用户的入网访问控制可分为三个步骤:用户名的识别与验证、用户口令的识 别与验证、用户帐号的缺省限制检查。三道关卡中只要任何一关未过，该用户便 不能进入该网络。对网络用户的用户名和口令进行验证是防1 r 非法访问的第一道 防线。用户注册时首先输入用户名和口令，服务器将验证所输入的用户名是否合 法。如果验证合法， 才继续验证用户输入的口令，否则，用户将被拒之网络之外。 用户的口令是用户入网的关键所在。为保证口令的安全性，用户口令不能显示在 显示屏上，口令长度应不少于6个字符，口令字符最好是数字、字母和其他字符 的混合，用户口令必须经过加密，加密的方法很多，其中最常见的方法有:基于 单向函数的日令加密， 基于测试模式的口令加密， 基于公钥加密方