（计算机软件与理论专业论文）基于数据挖掘的入侵检测模型研究.pdf

c l a s s i f i e di n d e x ：t p 3 9 3 u d c ： d i s s e r t a t i o nf o rt h em a s t e rd e 伊e ei 1 1e n g i n e e 血g r e s e a r c ho fi n t r u s i o nd e t e c t i o nm o d e l c a n d i d a t e ： s u p e r v i s o r ： b a s e do nd a t em i n i n g w a n gc h a of e n g j i a n gm e i a c a d e m i cd e g r e ea p p l i e df o r ：m a s t e ro fe n g i n e e r i n g s p e c i a l 够： d e p a r t m e n t ： c o m p u t e rs o 腑a r ea n dt 1 1 e o 巧 c o m p u t e re n g i n e e r i n gc o l l e g e d a t eo fo r a le x a m i n a t i o n ：j u n e 2 01o u n i v e r s i 够：q i n g d a ot e c l h l o l o g i c a lu n i v e r s 时 硕士学位论文 基于数据挖掘的入侵检测模型研究 字位论又答辩日期： - _ _ _ _ _ - _ - _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ - _ _ _ _ - _ _ _ _ _ - - 一 指导教师签字： 王丝 答辩委员会成员签字： ! 丝碧磊 丑z ：堑幺 盔塾量 蝎立邈 专至7 青岛理工大学工学硕士学位论文 目录 摘要i a b s 缸a c t i i 第1 章绪论1 1 1 研究背景、意义和现状1 1 1 1 研究背景和意义1 1 1 2 基于数据挖掘的入侵检测模型的研究现状3 1 2 主要研究内容4 1 3 本章小结4 第2 章入侵检测系统的理论研究5 2 1 网络安全5 2 1 1 网络安全的现状5 2 1 2 网络安全的研究方向5 2 2 入侵检测的概念7 2 2 1 入侵检测的发展7 2 2 2 入侵检测的相关概念8 2 2 3 入侵检测的过程8 2 2 4 入侵检测的分类9 2 2 5 入侵检测常用方法1 1 2 3 本章小结1 2 第3 章基于数据挖掘的入侵检测模型的理论研究1 3 3 1 关联分析介绍1 3 3 1 1 关联规则挖掘的相关概念一1 3 3 1 2 关联规则挖掘的步骤1 4 3 1 3 关联规则算法1 5 3 1 4 基于关联规则挖掘的入侵检测思想1 6 3 2 聚类分析介绍17 3 2 1 聚类的相关概念1 7 3 2 2 聚类算法的特点2 1 3 2 3 经典聚类算法2 2 青岛理工大学工学硕士学位论文 3 2 4 基于聚类挖掘的入侵检测思想2 3 3 3 本章小结2 4 第4 章基于数据挖掘的入侵检测模型构建2 5 4 1 基本的入侵检测模型介绍2 5 4 1 1 基本的入侵检测模型2 5 4 1 2 通用的入侵检测模型2 5 4 2 基于数据挖掘的入侵检测模型2 6 4 3 模型工作流程2 8 4 4 本章小结2 9 第5 章模型中的关键技术研究3 0 5 1 数据准备3 0 5 1 1 数据采集3 0 5 1 2 数据预处理3 0 5 2 关联分析31 5 2 1 关联规则挖掘处理3 2 5 2 2 误用检测3 5 5 3 聚类分析3 6 5 3 1 聚类分析处理3 6 5 3 2 聚类检测3 9 5 4 信息库的更新4 0 5 5 本章小结4 1 第6 章仿真实验与分析4 2 6 1 实验环境4 2 6 2 实验数据集4 2 6 3 实验参数设定4 5 6 4 信息库的建立4 5 6 5 实验结果分析4 6 6 6 本章小结4 7 总结与展望4 8 参考文献5 0 攻读硕士学位期间发表的学术论文5 3 致 射一5 4 i i 青岛理工大学工学硕士学位论文 摘要 现有各种安全产品和技术可以保证网络信息系统具有一定的安全性，但无法 保证绝对的安全，需要引入入侵检测技术对各种入侵行为进行主动防御和有效抑 制。但现有的入侵检测技术存在各种不足，特别是只能检测到已知入侵，不能检 测到新的未知入侵。所以对入侵检测技术进行深入研究十分必要。 论文首先对入侵检测和数据挖掘的相关理论知识进行了研究分析，然后将关 联分析和聚类分析应用于入侵检测，提出了一种基于数据挖掘的入侵检测模型。 论文详细的分析了模型的框架和组成，并深入的研究了模型的关键技术。通过关 联规则挖掘算法对含大量入侵行为的训练数据集进行挖掘，建立误用信息库，进 行误用检测。误用检测能快速地检测已知的入侵行为，提高检测效率。由于误用 信息库未包含支持度和置信度较低的入侵行为，因而导致漏报，需要进一步进行 二次检测。用基于最小相异度的聚类挖掘算法对含入侵行为的正常行为训练数据 集进行挖掘，依据计算所得类的特征值确定分类模型，建立聚类信息库，并以此 对误用检测后的数据进行二次检测。聚类分析不但能降低模型的漏报率和误报率， 而且能检测出未知的入侵行为。 最后论文通过使用i dc u p l 9 9 9 数据集对构建的基于数据挖掘的入侵检测模 型进行了仿真实验。实验结果表明，模型不但能快速的检查出已知的入侵行为， 而且降低了误报率和漏报率，并能检测出未知的入侵行为，基本达到预期目标。 关键词入侵检测；关联分析；聚类分析；数据挖掘 一 。1。illl 青岛理工大学工学硕士学位论文 a b s t r a c t 刊 。 ， 1n ee x l s n n gt y p e so ts e c u n t yp r o d u c t s 锄dt e c l l n o l o 酉e sc a nn o tg u a r a n t e em e s e c u d t yo ft 1 1 en e t 、) l ，o r ki n f o m a t i o ns y s t 锄 a b s o l u t e l y t h ei 1 1 t m s i o nd e t e c t i o n t e c h l l o l o g y ，w 1 1 i c hc o u l da 砸v e l yd e f 醯s e 柚de 行e c t i v e l ys u p p r e s sm ev a r i o u so f i n v a s i v eb e h a v i o r s ，n e e dt 0b eu s e d t h ee x i s t i n g 锄m s i o nd e t e 嘶o n t e c l l l l i q u e sh a v ea v 撕e t yo fd e 6 c i e n c i e s t h e yc a no n l yd e t e c tk n o w ni n 仃u s i o n s ，b u tc 觚i td e t e c tn e w u i i k n o 、ni n 仇l s i o n s c o n s e q u e i l t l y ，i ti sn e c e s s a 巧t od om o r er e s e 鲫c ho nt l l ei n m l s i o n d e t e c t i o nt e c h n o l o 夥 i i lt h ep a p 也et h e o r e t i c a lk n o w l e d g eo f i n t l l l s i o nd e t e c t i o nt e c h n i q u e s 锄dd a t a m i n i n gi s 锄a 1 ) ，z e df i r s t l y a n dt l l e n 也em o d e lo fi n 仃u s i o nd e t e c t i o ni sp r o p o s e db a s e d 0 nt h ea s s o c i a t i o na n a l y s i sa n dc l u s t 痂ga n a l y s i s t h e 觑i i n e w o r ka 1 1 dc o m p o s i t i o no f t h em o d e l i sg a v e i l 趾dt h ek e yt e c h n 0 1 0 百e so ft h em o d e la r er e s e a r c h e d b a s e do nt h e a s s o c i a t i o nr u l em i n i n ga l g o r i t h m 也e 仃a i l l i n gd a t as e tw i t ha 1 a r g en 啪b e ro fi n 缸u s i o n b e h a v i o ri sm i n e d t h en l em i s u s ed 犹出a s ei se s t a b l i s h e d i tc a nb eu s e dt om i s u s e d e t e c t i n g m i s u s ed e t e c t i o nc 趾i m p r o v ee 衔c i e i l c y i tc a l ld e t e c tk n o 、珊访缸1 l s i o n b e h a v i o r sq u i d d y b e c a u s et l l em i s u s ed a t a b a s ed o e sn o ti n c l u d ei n t m s i o nb e h a v i o r s w i t l ll o wm i s u s es u p p o r t 如dc o n f i d e i l c em e s e c o n d a r yd e t e c t i o nm u s tb eu s e d i nt h e m o d e lac l u s t e r i n gm i i l i n ga l g o r i t h mb a s e do nm i n i m u md i s s i i n i l a r i t vi su s e dt om i n e t h en o m l a ls a m p l ed a t as e ti n c l u d i n gaf - e wi i l 臼n l s i o nb e h a v i o r s t h ec h a r a c t e r i s t i cv a l u e o ft h ec l u s t e rw h i c hi s p r o d u c e db yc l u s 丽n ga l g o r i n u nc a nb eu s e dt od e t 印 n i n e c l a l s s i 6 c a t i o nm o d e la i l dt h e ne s t a b l i s ht h ec l u s t c rd a t a b a s e t h em o d e ld ot h es e c o n d d e t e c t i o no nt h ec l u s t e rd a t a b a s et ot h e ( i a t aa r e rm i s u s e d e t e c t i l g t h e c l u s t e r i n g a n a l y s i so ft h em o d e lc a i lr e d u c ef a l s ea l 锄r a t ea n dd e t e c tu m m o w ni n t m s i o n s f i n a l l y ，b yu s i n gt h ek d dc u p 19 9 9d a t as e t ，as 嘶e so fs 妇u l a t i o ne x p 嘶m e l l t sa r e c 硎e do nm ed 蜀瞳a m i n i i l g b a s e di i l 缸1 1 s i o nd e t e c t i o nm o d e l t h ee x p e r i m e n t a lr e s u l t s s h o wt l l a tt h i sm o d e lc a nn o to i l l ya c c u r a t e l yi d e n t i 矽t h ek n o w na b n o n n a lb e h a 们o r s ， b u ta l s or e d u c et l l ef a l s ep o s i t i v er a t ea l l df a l s en e g a t i v er a t e b e s i d e si t c a l ld e t e c tt h e u i i k n o w ni n t m s i o nb e h a v i o r s t h ed e s i r c dt a r 2 e ti sa c h i e v e d k e yw o r d s ：1 1 1 咖s i o nd c t e c t i o n ；a s s o c i a t i o na n a l y s i s ；c l u s t 嘶n ga n a l y s i s ；d a t a m i n i n g i i 青岛理工大学工学硕士学位论文 第1 章绪论 1 1 研究背景、意义和现状 1 1 1 研究背景和意义 随着1 1 1 t e n l e t 的高速发展，网络信息已经成为人们日常工作、生活和学习中不 可或缺的一部分。i n t e r n e t 如此迅猛的发展与它的特性是息息相关的，它支持资源 共享，采用分组交换技术，采用分布式控制技术，使用通信控制处理机，采用分 层的网络通信协议等特性为它的发展奠定了必要的基础。而也正是它的这些特性 迎合了人们对资源的灵活、及时、共享等要求。世上的事情都是一分为二的，也 正是n 锄e t 的开放性以及其他方面的特性，给i n t e n l c t 的安全带来了很大的挑战， 综合起来主要有以下几个方面”捌： 1 、安全机制【1 】 每一种安全机制都针对特定的应用范围与环境。比如防火墙，它是一种有效 的安全工具，它可以对内部网络结构进行隐藏，监视外部网络到内部网络的访问。 但是它对于内部网络之间的访问，往往表现的无能为力，很难发觉和防范。 2 、安全工具配置 安全工具能发挥多大的作用取决与人为因素的影响。一个安全工具能不能达 到期望的效果，在很大程度上取决于工具的使用者，不正当的设置就有可能带来 不安全因素。 3 、安全漏洞和系统后门 系统软件和应用软件中通常都会存在一些b u g ，这就给人们利用这些漏洞向网 络发起进攻带来了可能。更有甚者会盗窃或破坏机密数据，直接威胁网络数据的 安全。即便是安全工具软件也同样存在这样的问题。几乎每天都有大量的新b u g 被发现和公布，程序员在修改己知b u g 的同时还可能产生新的b u g 。系统b u g 经常 被黑客利用，而且这种攻击通常不会产生日志，也无据可查。现在对软件和工具 b u g 的攻击几乎无法进行主动防范。系统后门是传统安全工具难于考虑到的地方， 多数情况下，这类攻击系统后门的入侵行为却不易被察觉。 4 、病毒、蠕虫、木马和间谍软件2 】 病毒、蠕虫、木马和间谍软件是目前i n t e r n e t 网络最容易遇到的安全问题。 】 青岛理工大学工学硕士学位论文 病毒是可执行程序，它们可以破坏计算机系统，通常伪装成合法附件通过电 子邮件或者隐藏为一些软件的插件里，有的还通过即时信息网络发送。 蠕虫与病毒类似，但比病毒更为普遍，蠕虫通常利用受感染系统的文件传输 功能自动进行传播，从而大幅增加在网络上的流量。 木马程序可以捕捉密码和其它个人信息，使未授权远程用户能够访问安装了 特洛伊木马的系统。 间谍软件则是恶意病毒代码，它们可以监控系统性能，并将用户数据发送给 间谍软件的开发者。 5 、拒绝服务攻击【3 】 随着网络的安全性的不断强化，黑客的攻击手段也在日益更新。拒绝服务就 是在这种情况下诞生的。拒绝服务就是向服务器发出大量伪造请求，造成服务器 处理超载而瘫痪，不能为合法用户提供正常服务。这类攻击也是目前最常见的一 种攻击手段。 6 、误用和滥用4 】 在很多时候，由于用户的安全意识性不高或某些不经意的行为可能会对信息 资产造成破坏。这也是目前很常见的安全隐患问题。 当前计算机犯罪和网络侵权无处不在，无论是数量、规模，还是性质、手段， 都已经到了令人咋舌的程度。与此同时，为保护网络信息的安全，也涌现出了各 种安全工具和产品，如防火墙、路由器、v p n 设备、安全性分析系统等【5 】。但是随 着入侵攻击的综合化和复杂化、攻击规模的扩大以及攻击技术的发展，传统的安 全防护手段所构建的安全防护体系己无法保证系统和网络的安全。因此需要一种 新的技术来进一步加强系统的安全。 入侵检测技术6 】【7 1 作为一种新的主动的安全防御技术，它的原理是通过对计算 机网络或计算机系统中的若干关键点进行信息数据收集和分析，对系统安全进行 实时监控，在网络系统受到破坏之前对入侵行为响应和拦截。因此，目前入侵检 测技术成为安全方向研究的热点，受到了人们的高度重视。 基于数据挖掘的入侵检测技术8 】主要有自适应性好、误报率低、漏报率低和减 轻数据过载等优点。本论文进行基于数据挖掘的入侵检测模型的研究，弥补目前 入侵检测技术中存在的不足，降低了误报率和漏报率，并能检测未知的入侵行为。 因此，对基于数据挖掘的入侵检测模型的研究具有重要的意义。 2 青岛理工大学工学硕士学位论文 1 1 2 基于数据挖掘的入侵检测模型的研究现状 1 9 8 7 年d o r o t l l yd e i l m n g 发表了入侵检测领域内的经典论文入侵检测模型 ( “a ni n 缸1 l s i o nd e t e “o nm o d e l ”) 【9 】，文中对入侵检测问题进行深入的讨论， 这篇文献正式启动了入侵检测领域内的研究工作，被认为是入侵检测领域内的开 创性成果。 自二十世纪8 0 年代开始，数据挖掘技术逐步发展起来。数据挖掘技术是人们 长期对数据库技术进行研究和开发的结果，又称数据库中的知识发现( k n o w l e d g e d i s c o v e r yf r o md a t a b a s e ，简称k d d ) 【1 0 】，它是一个从大量数据中挖掘出未知的、 有价值的模式或规律等知识的复杂过程。数据挖掘使数据库技术进入一个更高的 阶段，不仅能对过去的数据进行查询和遍历，而且能够挖掘出数据之间的潜在的、 隐藏的知识。发现的知识可以用于过程控制、查询处理、决策、信息管理等等。 因此，信息产业界认为，数据挖掘被是数据库最重要的前沿之一，是信息产业最 有前途的交叉学科。 将数据挖掘理论应用于入侵检测已经成为一个研究热点，目前国际上在这个 方向的研究很活跃，多数得到了美国国防部高级研究计划署( d a r p a ) 、国家自然 科学基金( n s f ) 的支持。主要有c 0 1 u m b i au n i v e r s i t y 的w e n k el e e 研究组【l l 】【1 2 】 和u n i v e r s i t yo fn e wm e x i c o ( u n m ) 的s t e p h a n i ef o r r e s t 研究组【1 3 】。w e n k el e e 研究组分别从主机和网络两方面进行了审计数据的挖掘处理。u n i v e r s i t yo fn e w m e x i c o ( u n m ) 的s t e p h a n i ef o r r e s t 研究组进行的是针对主机系统调用的审计数据 分析处理。 国内各相关企业和研究所也在加紧研究步伐。其中，远东安全产品系列中的安 全审计数据挖掘分析模型使用数据挖掘算法对审计数据进行挖掘，将数据中隐藏 的知识提取出来，其中所用到的算法主要有序列挖掘、关联规则挖掘等。因此数 据挖掘应用于入侵检测模型在理论上是可行的，在技术上建立这样一套模型是可 能的。所存在的技术难点主要是如何根据具体的要求，选择合适的算法进行挖掘， 从而提取出可有效体现出系统特性的特征属性。 目前数据挖掘应用于入侵检测的研究主要有以下两个方面：对数据挖掘算法的 应用研究、对基于数据挖掘的入侵检测模型研究【1 4 】。其中，对于关联规则算法、 聚类分析算法的研究已经取得了一定的成果，但对于基于数据挖掘的入侵检测模 型的相关研究仍然处于理论研究阶段，有待于进一步选用更为合理的挖掘算法， 3 胥岛理工大学工学硕士学位论又 提出和建立入侵检测模型，提高检测效率，降低误报率和漏报率。 1 2 主要研究内容 本课题主要的研究内容如下： 1 、研究入侵检测系统的发展、其主要原理及其不足。 2 、研究数据挖掘的主要方法及原理。 3 、研究关联规则算法和聚类分析算法的应用。 4 、运用关联规则算法和聚类挖掘算法构建基于数据挖掘的入侵检测模型 5 、通过仿真实验对模型进行检测，并对模型性能进行评价。 1 3 本章小结 本章介绍了研究入侵检测技术的必要性，阐述了基于数据挖掘的入侵检测模 型研究的背景和意义，并对其现阶段国内外的研究进展和成果进行了分析；介绍 了论文所做研究的主要内容。 4 青岛理工大学工学硕士学位论文 第2 章入侵检测系统的理论研究 2 1 网络安全 2 1 1 网络安全的现状 所谓的网络安全【1 5 1 是指网络系统的硬件、软件及其系统中的数据受到保护， 不受偶然的或者恶意的原因而遭到破坏、更改、泄露，确保系统能连续可靠正常 地运行，网络服务不中断。 网络安全由系统安全和信息安全两部分构成。系统安全主要指的是网络设备 的软硬件的安全；信息安全指的是各种信息的存储、传输的安全。 2 0 1 0 年，互联网对中国经济走出国际金融危机阴影发挥了积极作用。根据有 关部门调查，在国际金融危机的背景下，运用电子商务的中小企业生存状况明显 好于传统模式的中小企业。数据显示【1 6 】，前者陷入困境的企业比例仅为1 6 8 ，而 后者的比例达到8 4 2 。去年下半年以来，虽然经历了世界经济的“寒冬”，但中 国互联网产业仍然保持强劲增长的势头，这充分反映了我国互联网发展的蓬勃生 机和巨大活力。我国于1 9 9 4 年正式接入互联网。经过1 5 年的发展，我国网民人 数目前已达到3 6 亿，互联网普及率达到世界平均水平。 随着互联网的普及，网络中存在的安全隐患越来越受到人们的重视。主要的 问有以下两点：一、网络黑客攻击、网络病毒等严重威胁了网络运行安全；二、 网络欺诈、网络盗窃等网络犯罪活动直接危害公共财产安全。因此，网络安全成 为了当今网络技术的一个重要研究方向。 2 1 2 网络安全的研究方向 现有安全产品和网络安全的研究方向主要有以下几种： 1 、现代密码学技术【1 7 】 信息安全的核心技术是密码技术。如今，网络环境下信息的保密性、完整性 和可用性都是需要通过密码技术来解决的。密码体制主要分为对称密码( 又称私 钥密码) 和非对称密码( 公钥密码) 两种。其中公钥密码主要用于密钥协商、数 字签名、消息验证等方面，现已成为最核心的密码。现代密码理论的经典密码算 法 1 8 】【19 】【2 0 】主要有椭圆曲线密码学( e c c ) 、量子密码学、a e s 算法等。 2 、网络攻防技术 5 青岛理工大学工学硕士学位论文 现在网络攻击的手段很多，除了黑客可以威胁到你的计算机以外，很多电脑 高手或者业余的爱好者也可以做到的。所以为了计算机的安全，应该了解网络攻 防技术。 3 、访问控制技术 在2 0 世纪6 0 年代后，便开始了访问控制的研究工作。数据库的访问控制研 究现已经达到一个成熟的阶段。随着数字信息时代的到来，传统的访问控制技术 不再适应数字化的复杂安全要求，这就促使对新的访问控制技术进行研究。于是 提出了现代的访问控制技术。 4 、认证与授权 通常把认证与授权混为一谈，二者是有区别的。授权是由其中一方决定另一方 可以拥有的权限，而认证则是指的方验证另一方的身份是否合法，若认证不通 过，则拒绝申请方的操作，若认证通过则允许其使用授权方指定的权限。授权与 认证为网络中的安全通信提供了基础的保证。 随着电子商务和电子政务的普及应用，用户对网络的安全性需求逐渐的提高。 p k i 【2 1 1 ( 公钥基础设施) 是一种能够满足这一需求的身份授权与鉴定机制。它是用来 提供加密和数字签名等安全服务所必需的密钥和证书管理体系的。 基于p k i 和p m i 的网络安全平台已经成为安全技术发展的新趋势。p k i 主要向用 户提供身份信任服务；而p m i 则是在p k i 的基础上向系统应用提供统一的授权管理 访问控制服务。 5 、防火墙 目前通过防火墙的建立来防御网络攻击是比较常用的方法。防火墙技术是设 置在不同网络之间的一系列部件的组合，有硬件防火墙和软件防火墙两种。它是 不同网络之间信息的唯一通道。防火墙根据系统管理员设定的安全策略来监控网 络的数据流，判断是否属于网络攻击并以此来达到防御网络攻击的效果。防火墙 主要由服务访问规则、验证工具、包过滤和应用网关四个部分组成。 防火墙的缺点【矧主要有以下三点： ( 1 ) 防火墙存在后门，黑客可以通过这些后门来进行攻击； ( 2 ) 防火墙对内部的攻击无能为力； ( 3 ) 防火墙通常不能实时的检测入侵。 6 、入侵检测技术 6 青岛理工大学工学硕士学位论文 入侵检测用来对防火墙进行合理的补充，在不影响网络性能的情况下，实现 对网络和系统的监控，从而达到对内部攻击、外部攻击和误操作的实时保护【2 4 】。 7 、信息备份及恢复系统 为了防止核心服务器崩溃导致网络应用瘫痪，应根据网络情况确定完全和增 量备份的时间点，定期给网络信息进行备份。便于一旦出现网络故障时能及时恢 复系统及数据。 2 2 入侵检测的概念 2 2 1 入侵检测的发展 2 0 世纪7 0 年代，随着计算机速度、数目的迅速增长以及体积的减小，对计算 机安全的需求也显著增加。入侵检测是基于计算机网络环境下兴起的一个研究方 向。研究入侵检测需要的条件：1 、要在网络环境下进行；2 、能够有可靠的数据 来源供入侵研究分析；3 、要有数学、计算机、人工智能、密码学等各学科技术知 识背景。 1 9 8 0 年，j 锄e sa n d e r s o n 【2 3 】提出了入侵尝试或威胁的概念。 1 9 8 3 年，s r i ( s t a 【n f o r dr e s e a r c hi n s t i t u t e ) 用统计方法分析i b m 大型机的s m f 记录。这也是最早对入侵检测的研究。 1 9 8 4 一1 9 8 6 年，美国乔治敦大学提出了第一个独立于特定环境和系统的实时入 侵检测专家系统模型。提供了一个通用的入侵检测模型框架。 1 9 8 8 年，s r j 开始研发入侵检测原型系统 2 4 1 。分别通过统计技术和专家系统 来进行异常检测和误用检测。 1 9 8 9 一1 9 9 1 年，s t 印h e ns m a l l a 设计开发了h a y s t a c k 入侵检测系统【2 5 】，该系统 用于美国空军内部网络的安全检测目的。h a y s t a c k 同时采用了两种不同的统计分 析检测技术，来发现异常的用户活动。早期的原型系统采用批处理的离线处理方 式。 1 9 9 4 年，美国空军密码支持中心建立了广泛用于美国空军的网络入侵检测系 统a s i m 。 从1 9 9 6 年到1 9 9 9 年，s 砌开始了针对用于在大型网络中的入侵检测系统 e m e r a l d 研究。它具有分布式、可升级、自动响应的特点。 2 0 0 0 年，普渡大学的d i e g oz 锄b o n i 和e s p a 筋r d 实现了应用了自治代理结构 7 青岛理工大学工学硕士学位论文 的入侵检测原型系统丸虹i d 系统【2 6 】。 值得指出的是，在1 9 9 2 年之前，入侵检测还仅仅是让人感兴趣的研究领域， 并没有商业化。但是在1 9 9 6 年e m e r a l d 系统研发后，入侵检测系统进入高速发 展期，出现了大量的商用入侵检测系统。 2 2 2 入侵检测的相关概念 入侵检测【2 7 】【2 8 】( i n 仃u s i o nd e t e c t i o n ，d ) ，指的是对入侵行为的检测。通过从 计算机网络或操作系统中的若干关键点进行数据采集，并对采集到的数据进行分 析，从而发现网络或操作系统中存在的入侵行为和违反安全策略的行为。入侵检 测的核心功能是识别入侵和误用。入侵：是在系统外部发起的攻击，误用：是在 系统内部发起的攻击。入侵检测被认为是防火墙之后的补充，通过入侵检测来进 行实时监测网络和操作系统，从而提供对内部攻击、外部攻击和误操作的实时保 护。 入侵检测系统 2 9 1 ( h t m s i o nd e t e c t i o ns y s t e m ，简称i d s ) 是实时监测网络数 据和系统，在发现入侵行为或者误用操作时采取响应措施的一种网络安全系 统。i d s 是一种积极主动的安全防护技术。 入侵检测主要的作用归纳起来有以下几点： l 、通过对网络和系统的监控来检测误用和入侵。 2 、对系统进行安全配置管理。 3 、确保数据文件完整性。 4 、针对已发现的攻击行为做出响应。 2 2 3 入侵检测的过程 入侵检测的过程【3 0 。2 1 主要分为以下三个阶段：信息收集、信息分析和报警响 j 立。 1 、信息收集：入侵检测的第一步便是信息收集，收集的内容主要有系统的审 计日志、网络数据等。入侵检测的精确性在很大程度上依赖于所收集信息的可靠 性和正确性。 2 、信息分析：这是是入侵检测的核心。在收集的海量的信息中，绝大部分是 正常的，如何才能从大量的信息中找出表征入侵行为的异常信息呢，这就需要对 这些信息进行分析。没有信息分析功能，入侵检测无从谈起。入侵检测的信息分 8 青岛理工大学工学硕士学位论文 析方法有很多，如模式匹配、统计分析、完整性分析等。每种方法都有各自的优 缺点，也有各自的应用对象和范围。 3 、报警响应：入侵检测系统在发现入侵后应根据发行的攻击事件及时作出相 应的告警与响应。常见的告警与响应方式有以下几种： ( 1 ) 自动终止攻击 ( 2 ) 终止用户连接 ( 3 ) 禁止用户账号 ( 4 ) 重新配置防火墙阻塞攻击的源地址 ( 5 ) 向管理控制台发出警告指出事件的发生 ( 6 ) 向网络管理平台发出s n m p 唧 ( 7 ) 执行一个用户自定义程序 2 2 4 入侵检测的分类 对入侵检测系统进行分类，主要有以下几种方式：按信息收集的数据来源分 类、依据入侵检测方法的不同来分类、按模块分布情况分类和按对入侵行为的响 应方式分类等。下面分别介绍这几种分类【3 3 。3 6 】： 1 、根据数据来源分类 此方法将入侵检测系统分为基于主机的入侵检测系统( h i d s ) 和基于网络的入 侵检测系统( n i d s ) 两大类。 ( 1 ) h i d s 检测的目标主要是主机系统和系统本地的用户，它是根据主机的审 计记录和系统的日志文件来获得数据，通过对这些数据的分析来完成入侵检测的 过程的。主机的审计是收集用户的活动的唯一方法。 ( 2 ) n i d s 根据网络流量、网络数据包和协议来检测入侵行为。它不是采用访 问控制方式限制网络的访问，而是通过从大量的网络数据包中提取特征属性，然 后尽快地得出检测结果。 虽然h i d s 与n i d s 在性能都有自己的优势，但是随着信息技术的发展，它们 己越来越无法满足网络安全的要求。通过对这两类入侵检测系统的研究，发现他 们具有很好的互补性。所以将基于主机和基于网络的两种入侵检测系统结合起来， 建立一种新型的入侵检测系统是入侵检测系统的一个新的研究方向。 2 、依据入侵检测方法分类 9 青岛理工大学工学硕士学位论文 此方法将入侵检测系统分为误用入侵检测系统( m i d s ) 和异常入侵检测系统 ( a i d s ) 两类。 ( 1 ) m i d s 根据已知的入侵模式来检测网络数据中的入侵行为。入侵者常常利 用系统和应用软件中的漏洞进行入侵，而这些入侵行为时已知的，所以通过将他 们编成某种模式来建立误用检测库，并通过这个己知的库来对网络进行入侵检测。 如果入侵行为恰好匹配上检测系统中的检测库，则表示数据中含有入侵行为。误 用入侵检测主只能检测到已知的入侵，并不具备发现未知入侵的能力。 ( 2 ) a i d s 指的是根据系统中正常行为的信息作为检测系统是否有入侵行为的 数据依据。首先总结出正常行为，并建立正常行为库，然后设置异常的阈值，并 对候选操作进行监控，如有异常即进行报警。异常阈值设置的不准确往往会导致 过多的误报或者漏报。 误用入侵检测系统通常需要定义为一组规则，误报率很低，但是不能发现未 知的入侵行为。异常入侵检测系统能够检测到已知的和未知的入侵行为，但这种 检测系统容易造成误报。所以想要在提高检测效率的同时避免过高的误报率，可 以通过有效结合两种检测方法的方式来设计入侵检测模型。 3 、根据模块分布情况分类 根据入侵检测系统各个模块运行的分布情况把入侵检测系统分为集中式入侵 检测系统( c i d s ) 和分布式入侵检测系统( d i d s ) 两类。 ( 1 ) c i d s 指的是的各个模块都集中在一台主机上运行，模块主要包括数据的 收集与分析以及响应这几个，这种方式适用于网络环境比较简单的情况。 ( 2 ) d i d s 指的是各个模块分布在网络中不同的计算机和网络设备上，这类系 统的分布性主要体现在数据采集模块上，当然在网络环境比较复杂、数据量比较 大的情况下，数据分析模块也会分布，在分布的时候一般是按照层次性的原则进 行组织的。 4 、按对入侵攻击的响应方式分类 根据对入侵攻击响应方式的不同可以将入侵检测系统分为主动的入侵检测系 统和被动的入侵检测系统两类。 ( 1 ) 主动的入侵检测系统在检测出入侵行为后，不但可以自动修复系统中的 漏洞，还能在修复的同时进行强制关闭服务等一系列的响应措施。 ( 2 ) 被动的入侵监测系统首先检测出入侵行为，然后通过产生报警来通知系 1 0 青岛理工大学工学硕士学位论文 统管理员，针对入侵行为做出什么样的响应由管理员来确定。 2 2 5 入侵检测常用方法 1 、基于统计学的检测方法【3 7 】 通过统计学的方法来对用户的行为进行学习，通过用户的动作为用户建立用 户行为特征属性表，检测系统实时的对系统的使用情况进行监控，并根据用户行 为特征表进行入侵检测。当发现入侵行为时，报警并记录该用户的行为，以更新 用户行为特征属性表。 2 、基于神经网络的检测方法【3 8 】 将神经网络应用于入侵检测当中，具有学习和自适应功能，能够对实时的信 息有效的判断是否入侵并加以处理。 3 、基于数据挖掘的入侵检测方法【3 9 】 将数据挖掘应用于入侵检测当中是针对入侵检测和数据挖掘的特点，采用关 联析、聚类分析、分类分析等数据分析方法对数据进行挖掘，找出各种入侵模式 与正常模式的区别特征，建立相应的信息库，进而对实时数据进行有效的入侵检 测。这类方法主要有自适应性好、误警率低、减轻数据过载等优点。 4 、基于遗传算法的检测方法【钧】 遗传算法应用到入侵检测方法是利用若干字符串序列来定义一系列指令组， 然后与一些标准化进行比较，并找出一个用以识别正常或异常行为的个体，这些 指令在初始训练阶段中不断进化并用来进行入侵检测，以提高分析能力。 5 、基于专家系统的入侵检测方法【4 1 】 这一方法通过安全专家对可疑行为进行分析和硬编码，最终形成一套推理规 则，然后根据这些规则建立相应的专家系统，从而进行入侵检测。检测后由专家系 统自动对所涉及的入侵行为进行分析并利用其自学习能力进行规则的扩充和修 正。 6 、基于计算机免疫技术的检测方法【4 2 】 计算机免疫技术主要来自于生物免疫机制的启发。f o r r e s t 等人在实验中使用 系统调用的短序列为入侵检测系统的输入部分，在调用短序列的时候考虑到了时 间顺序的问题。在实际检测工作中，首先将各程序正常序列信息存储到数据库中， 建立反映特权程序正常情况的信息库，然后根据数据采集得到的程序在运行中所 青岛理工大学工学硕士学位论文 发生的系统调用序列，进行相互比对，如果偏离了正常情况，则认为该特权程序 的运行含有入侵行为。 2 3 本章小结 本章先介绍了网络安全的现状和现有安全产品和网络安全的研究方向。然后对 入侵检测技术的诞生和发展、入侵检测的概念、和入侵检测过程进行了简单的阐述， 最后从入侵检测分类和常用的方法两方面对入侵检测系统进行了详细的分析。 1 2 青岛理工大学工学硕士学位论文 第3 章基于数据挖掘的入侵检测模型的理论研究 基于数据挖掘的入侵检测模型的研究是通过将入侵检测看作数据分析的过程 来引出的。通过对基于网络的数据和主机的审计日志进行挖掘和分析，发现其中 隐藏的入侵行为，进而实现入侵检测。近1 0 年来，人们在这方面提出了关联分析、 序列分析、聚类分析以及从稀有类中学习的技术和基于代价的建模技术等许多方 法。本章主要对数据挖掘中的关联分析和聚类分析的相关概念以及算法进行深入 的研究。 3 1 关联分析介绍 关联分析( a s s o c i a t i o na i l a l y s i s ) 发现关联规则，这些规则展示属性值频繁地在 给定数据集中一起出现的条件4 5 1 。更形式地，关联规则( 2 u s s o c i a t i o nm l e ) 【4 5 】是形 如xj 】，即4 4 4 ，lj 骂 垦 人e的规则， 其 中 a ( f 仉，嘲) 局u 渺j 磅) 是属性值对。关联规则x y 解释为“满足x 中条 件的数据库元组多半也满足y 中的条件”【4 6 1 。举个例子来说：在购买计算机的 客户中，有3 0 的人也同时购买了打印机”。 关联规则挖掘是数据挖掘中最活跃的研究方法之一，它发现数据集中项集之 间有趣的关联或相关联系。随着大量数据不停的收集和存储，许多业界人士对于 从他们的数据库中挖掘关联规则越来越感兴趣。关联规则挖掘的典型例子是购物 篮分析4 7 1 ，该过程通过发现顾客放入其购物篮中不同商