（计算机应用技术专业论文）基于snort入侵检测系统关联规则挖掘的研究与实现.pdf

n a n ji n gu n i v e r s i t yo f a e r o n a u t i c sa n d a s t r o n a u t i c s t h eg r a d u a t es c h o o l c o l l e g eo fi n f o r m a t i o ns c i e n c ea n dt e c h n o l o g y r e s e a r c ha n d i m p l e m e n t o fm i n i n g a s s o c i a t i o nr u l eb a s e do ns n o r ti n t r u s i o n d e t e c t i o ns y s t e m a t h e s i si n c o m p u t e rs c i e n c ea n dt e c h n o l o g ye n g i n e e r i n g b y n a m et a os h a n q i a d v i s e db y p r o f l ij u n s u b m i t t e di np a r t i a lf u l f i l l m e n t o ft h er e q u i r e m e n t s f o rt h ed e g r e eo f m a s t e ro fe n g i n e e r i n g d e c e m b e r , 2 0 0 9 承诺书 本人声明所呈交的硕士学位论文是本人在导师指导下进 行的研究工作及取得的研究成果。除了文中特另j ：d n 以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得南京航空航天大学或其他教育机构的学位 或证书而使用过的材料。 本人授权南京航空航天大学可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本承诺书) 作者签名：毯谨塑 日 期：迦! 翌：丕：z 垂 11l11jli 南京航空航天大学硕士学位论文 摘要 入侵检测是主动防御技术，其作用是对计算机和网络上的恶意行为进行识别和响应。传统 的入侵检测系统在扩展性和适应性上已不能应付越来越复杂的攻击方式。将数据挖掘技术引入 到入侵检测中，不仅能够增强入侵检测系统处理海量数据能力，而且使得入侵检测系统具有可 扩展性和自学习能力。关联规则挖掘是数据挖掘中广泛应用的技术之一，本文重点研究了入侵 检测系统中关联规则和模糊关联规则挖掘。 在分析和研究关联规则挖掘算法以及关联规则增量更新的基础上，本文引入了基于c o f i 树挖掘算法，以改进f p - g r o w t h 算法挖掘效率。该算法在f p 树基础上，通过创建额外的c o f i 树结构进行频繁模式挖掘，能有效避免f p - g r o w t h 算法在挖掘过程中需要递归发现短模式的问 题，提高了挖掘效率。 由于入侵行为和异常检测中阈值的确定具有模糊性，近年来研究人员提出了将模糊数学理 论和方法运用到入侵检测中。本文研究了入侵检测中模糊关联规则挖掘问题，对数据集中类别 型属性和数量型属性进行模糊化以解决“尖锐边界”问题。由于模糊关联规则挖掘中存在产生 无用规则的问题，提出了利用轴属性对挖掘过程进行约束，以减少无用规则生成。模糊关联规 则挖掘算法大都是基于a p r i o r i 或类a p r i o r i 算法的，存在多次扫描数据库问题。本文设计了一 种模糊f p 树结构，并利用c o f i 树挖掘算法挖掘模糊关联规则。实验表明该方法提高了模糊 关联规则挖掘效率。 最后，设计了一个基于模糊关联规则的异常检测和s n o r t 系统的误用检测的混合入侵检测 模型。结合s n o r t 入侵检测系统插件机制，设计并实现了数据属性模糊化模块、模糊关联规则 挖掘模块和异常检测模块。实验表明，本文设计的混合入侵检测模型具有很好的异常检测能力， 提高了检测效率。 关键词：入侵检测，s n o r t ，关联规则，f p 树，轴属性，模糊关联规则 基于s n o r t 入侵检测系统关联规则挖掘的研究与实现 a b s t r a c t t h ei n t r u s i o nd e t e c t i o nt e c h n o l o g yi sak i n do fa c t i v em e a s u r eo fi n f o r m a t i o na s s u r a n c ea n d n e t w o r ks e c u r i t y , w h i c hh a sg r e a tc a p a b i l i t i e si ni n d e n t i f y i n gt h em a l i c i o u s b e h a v i o r si nn e t w o r k sa n d r e s p o n d i n gt ot h e m t oe n f o r c et h ec a p a b i l i t yo fd e a l i n g 、) l r i t l lm a s sd a t a ，d a t am i n i n gt e c h n o l o g yi s a d o p t e di n t oi n t r u s i o nd e t e c t i o ns y s t e m t h i sm a k e si n t r u s i o nd e t e c t i o ns y s t e mh a st h ea b l i t i yo f s e l f - s t u d y i n ga n de x t e n s i b l e a s s o c i a t i o nr u l em i n i n gi so n eo ft h ew i d e l yu s e dt e c h n o l o g i e si nd a t a m i n i n g ，t h i sp a p e rf o c u s e so nm i n i n gt h ea s s o c i a t i o nr u l e si ni n t r u s i o nd e t e c t i o ns y s t e m f i r s t l y , t h i st h e s i ss t u d i e sa n da n s i y s e st h ea s s o c i a t i o nr u l em i n i n ga l g o r i t h ma n dt h ei n c r e m e n t a l u p d a t i n gp r o b l e m b a s e do nt h e s e ，t oi m p r o v et h ee f f i c i e n c yo fm i n ea s s o c i a t i o nr u l e ，w ei n t r o d u c e t h ec o f i - t r e em i n i n ga l g o r i t h m t h i sa l g o r i t h m , w h i c hl l l i n et h ef r e q u e n tp a t t e r n sb ya d da n a d d i t i o n a lc o f i - t r e ed a t as t r u c t u r e ，c a l le f f e c t i v e l ya v o i dt h ep r o b l e m se x i s t e di nf p - g r o w t h a l g o r i t h mt h a tn e e dr e c u r s i v e l yf i n dt h es h o r tp a t t e r n si nd a t am i n i n gp r o c e s s e x p e r i m e n t ss h o wt h a t t h ec o f i t r e ei sb e t t e rt h a nt h ef p - g r o w t ha l g o r i t h mi nm a n ya s p e c t s a st h ei n t r u s i o na n dt h et h r e s h o l dd e t e r m i n a t i o ni na n o m a l yd e t e c t i o na r ea m b i g u o u s i nt h i s p a p e r , w er e s e a r c ht h ea s s o c i a t i o nr u l em i n i n gb a s e do nf u z z ys e tt h e o r y , i l l u s t r a t eh o wt oc o n s t r u c t f u z z ys e t sa n df u z z ym e m s h i pf u n c t i o no ft h et r a n s a c t i o n sa t t r i b u t e st os o l u t et h e “s h 唧b o u n d a r y p r o b l e m t or e d u c et h en u m b e ro fu s e l e s sf u z z ya s s o c i a t i o nr u l e s ，w ei n t r o d u c et h ea x i sa t t r i b u t et o c o n s t r a i n tt h ep r o c e s so ff u r ya s s o c i a t i o nr u l em i n i n g f o ra l g o r i t h m so ff u z z ya s s o c i a t i o nr u l e m i n i n ga l em o s t l yb a s e do nt h ea p r i o r ia l g o r i t h mo ra p r i o r i l i k ea l g o r i t h m ，t oi m p r o v et h ee f f i c i e n c y o fm i n i n gf u z z ya s s o c i a t i o nr u l e ，w ep r e s e n tt h ef u z z yf p - t r e ed a t as t r u c t u r e ，a n da p p l i e dc o f i - t r e e m i n i n ga l g o r i t h mt om i n ef u z z ya s s o c i a t i o nr u l e f i n a l l y , c o m b i n e dt h ep l u g - i nm e c h a n i s mo fs n o r ts y s t e m , w ep r e s e n tah y b r i dd e t e c t i o nm o d e l b a s e do nt h ea n o m a l yd e t e c t i o no ff u z z ya s s o c i a t i o nr u l ea n dt h em i s u s ed e t e c t i o no fs n o r ts y s t e m w ed e s i g na n di m p l e m e n tad a t ac o l l e c t i o nm o d u l e ，d a t aa t t r i b u t ef u z z ym o d u l e ，f u z z ya s s o c i a t i o n r u l eg e n e r a t i o nm o d u l ea n da n o m a l yd e t e c t i o nm o d u l e e x p e r i m e n ts h o w st h a tt h ea l g o r i t h ma n dt h e a b n o r m a ld e t e c t i o nm o u d l ed e s i g n e di nt h i sp a p e rh a v eab e t t e rp e r f o r m a n c e k e yw o r d s ：i n t r u s i o nd e t e c t i o n ，s n o r t ，a s s o c i a t i o nr u l e ，f p t r e e ，f u z z ya s s o c i a t i o nr u l e ，a x i s a t t r i b u t e l l j - 2 t 南京航空航天大学硕士学位论文 目录 第一章绪论1 1 1 网络安全与入侵检测1 1 2 课题研究背景与研究意义2 1 3 国内外研究动态。2 1 4 论文主要工作及结构安排3 第二章入侵检测技术。5 2 1 入侵检测概述5 2 1 1 入侵检测系统构成一5 2 1 2 入侵检测原理。6 2 2 入侵检测系统分类6 2 2 1 基于主机的入侵检测系统6 2 2 2 基于网络的入侵检测系统一7 2 。2 - 3 混合分布式入侵检测系统7 2 3 入侵检测方法7 2 3 1 误用入侵检测7 2 3 2 异常入侵检测。8 2 4s n o r t 入侵检测系统9 2 4 1s n o r t 模块结构图9 2 4 2s n o r t 工作流程1 0 2 4 3s n o r t 插件机制分析1 2 2 5 入侵检测技术发展方向1 3 2 6 本章小结1 3 第三章关联规则挖掘1 4 3 1 关联规则挖掘问题描述1 4 3 1 1 基本概念1 4 3 1 2 关联规则挖掘步骤1 5 3 1 3 关联规则分类与挖掘算法分类1 5 3 2 经典算法1 6 3 2 1 a p r i o r i 算法1 6 i l l 基丁s n o r t 入侵检测系统关联规则挖掘的研究与实现 3 2 2f p g r o w t h 算法1 7 3 2 3 算法优缺点。2 0 3 3 关联规则的增量更新2 l 3 3 1 关联规则的增量更新研究2 1 3 3 2 基于f p 一树的关联规则增量更新2 2 3 4f p - g r o w t h 算法的改进算法c o f i g e e 算法。2 4 3 4 1 构建c o f i 树2 4 3 4 2 挖掘c o 兀树2 8 3 5c o f i 树算法性能分析3 0 3 6 本章小结3 1 第四章模糊关联规则挖掘与入侵检测3 2 4 1 模糊理论及其在入侵检测中的应用3 2 4 1 1 模糊集和隶属度函数3 2 4 1 2 模糊逻辑与模糊推理3 3 4 1 4 模糊理论在入侵检测系统中的应用3 4 4 2 数据集属性的模糊化3 4 4 2 1 属性的模糊化和模糊映射3 4 4 2 2 类别型属性的模糊映射3 6 4 2 3 数量型属性的模糊映射3 6 4 - 3 模糊关联规则3 8 4 3 1 模糊关联规则3 9 4 3 2 模糊支持度和置信度计算4 0 4 3 3 模糊关联规则挖掘4 0 4 4 改进的模糊关联规则挖掘4 1 4 4 1 入侵检测中的无用规则4 1 4 4 2 基于轴属性约束的模糊关联规则挖掘4 2 4 4 3 基于f p 一树的模糊关联规则挖掘算法4 3 4 5 实验分析4 7 4 6 本章小结4 9 第五章基于s n o r t 与关联规则的混合入侵检测模型设计与实现。5 0 5 1 基于s n o n 和关联规则的混合检测模型设计5 0 5 2 数据捕获及预处理模块5 0 i v 南京航空航天人学硕士学位论文 5 2 1 数据捕获设备位置5 0 5 2 2 数据捕获5 l 5 2 3 预处理模块5 2 5 3 基于模糊关联规则的异常检测模块5 3 5 3 1 规则相似性计算5 3 5 3 2 基于模糊关联规则的异常检测模型5 4 5 3 3 预检测引擎模块5 4 5 4 模糊关联规则的异常检测实验及分析5 7 5 4 1 数据集选择5 7 5 4 2 实验结果5 7 5 5 本章小结5 8 第六章总结与展望5 9 参考文献一6 0 至| 【谢6 5 在学期间的研究成果及发表的学术论文一6 6 v 基于s n o r t 入侵检测系统关联规则挖掘的研究与实现 图表清单 图2 1 入侵检测系统的基本构成5 图2 2 误用入侵检测模型8 图2 3 典型异常入侵检测系统模型8 图2 4s n o r t 总体模块图9 图2 5s n o r t 工作流程11 图3 1 创建的f p 树1 9 图3 2f p 树( 项头表中的指针省略) 2 2 图3 3 支持度阈值变小后f p 树的调整2 3 图3 4 支持度阈值变大后f p 树的调整2 4 图3 5 项头表中项目次序改变后的f p 树2 5 图3 6 项目f 的c o f i 树一2 6 图3 7 项目e 的c o f i 树2 6 图3 8 项目d 的c o f i 树。2 7 图3 9 项目c 的c o f i 树。2 7 图3 1 0 项目b 的c o f i 树2 7 图3 1 1 项目e 的c o f i 一树挖掘步骤l 一2 9 图3 1 2 项目e 的c o f i 树挖掘步骤2 2 9 图3 1 3 项目e 的c o f i 树挖掘步骤3 一2 9 图3 1 4 项目d 的c o f i 树挖掘步骤1 2 9 图3 1 5 项目d 的c o f i 一树挖掘步骤2 2 9 图3 1 6c o f i - t r e e 与f p g r o w t h 运行时间对比3 1 图3 1 7c o f t r e e 与f p g r o w t h 内存需求对比3 l 图4 1 模糊概念的关系及模糊映射。3 5， 图4 2 网络属性“数据包长度”的模糊映射过程。3 6 图4 3 属性p r o t o c o l _ t y p e 的模糊映射3 6 图4 4 数量型属性的事务数据集一3 9 图4 5 审计数据连接记录示例。4 2 图4 6 属性d u r a t i o n 的模糊化示例4 4 图4 7f f p 一树示例一4 6 南京航空航天人学硕士学位论文 图4 8 网络连接记录数据4 7 图4 9 类别属性p r o t o c o lt y p e 的模糊集合和隶属函数4 7 图4 1 0d u r a t i o n 属性在c 值不同时得到的不同的聚类中心。4 8 图4 1 1d u r a t i o n 的模糊集合和隶属函数4 8 图4 1 2 模糊关联规则挖掘时间随支持度的变化4 9 图5 1 基于关联规则挖掘和s n o r t 的混合入侵检测模型5 0 图5 2 数据捕获设备位置51 图5 3s n o r t 与t c p d 模型5 2 图5 4 解码器数据流程一5 3 图5 5 基于模糊关联规则的异常检测模型5 4 图5 6 预检测引擎工作流程5 4 图5 7 不同相似度阈值下的检测结果5 8 表3 1 一组事务数据1 8 表3 2 事务中各项目的支持度。1 9 表3 3 删除非频繁项目一1 9 表3 4f p 树的挖掘2 0 表3 5 某事物数据集一2 2 表3 6 按支持度从小到大排序2 5 表4 1 属性d u r a t i o n 的模糊值和支持度4 4 表4 2f f p 一树的项头表示例一4 5 表4 3 模糊关联规则挖掘的内存随支持度的变化对比。4 8 表5 1 实验测试数据检测结果5 8 v l i 基于s n o n 入侵检测系统关联规则挖掘的研究与实现 注释表 缩写词英文全称中文全称 i d si n t r u s i o nd e t e c t i o ns y s t e m 入侵检测系统 h i d s h o s ti n t r u s i o nd e t e c t i o ns y s t e m基于主机的入侵检测系统 n i d sn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m 基于网络的入侵检测系统 i d e si n t r u s i o nd e t e c t i o ne x p e r ts y s t e m 入侵检测专家系统 c m i sc o m m o nm a n a g e m e n ti n f o r m a t i o ns e r v i c e 公共管理信息服务 n s t a cn a t i o n a ls e c u r i t yt e l e c o m m u n i t i c a i o n s 美国国家安全通信委员会 a d v i s o r yc o m m i t t e e s c i d fc o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k 入侵检测通用框架结构 d md a t am i n i n g 数据挖掘 t c p t r a n s m i s s i o nc o n t r o lp r o t o c o l 传输控制协议 i pi n t e m e tp r o t o c o l 互联网协议 丌pf i l et r a n s f e rp r o t o c o l 文件传输协议 f p g r o w t h f r e q u e n t - p a t t e r ng r o w t h 频繁模式增长 f p t r e e f r e q u e n t - p a r e r nt r e e 频繁模式树 c o f i t r e ec o - o c c u r r e n c ef r e q u e n t i t e m t r e e sc o f i 树 f f p t r e e f u z z yf r e q u e n t - p a u e mt r e e 模糊频繁模式树 k d d k n o w l e d g ed i s c o v e r yi nd a t a b a s e 知识发现 ， 南京航空航天大学硕士学位论文 第一章绪论 1 1 网络安全与入侵检测 随着网络技术的迅猛发展，基于网络的计算机系统已经成为主流，网络所代表的开放式信 息系统是现代信息社会的发展趋势。然而网络的开放性，尤其是i n t e r n e t 的跨国界性、无主管 性、不设防性和缺少法律约束性，给网络自身带来巨大的安全风斟1 1 。随之而来的网络入侵事 件的数量也成倍增长。据统计，全球有9 9 的大公司都发生过大的入侵事件。世界著名的商业 网站，如y a h o o 、b u y 、e b a y 、a m a z o n 、c n n 都曾被黑客入侵，造成巨大的经济损失，甚至连 专门从事网络安全的r s a 网站也受到过黑客的攻击。 计算机网络的安全问题己经成为影响经济运行和发展，影响社会稳定和繁荣的重大问题。 网络安全问题日益突出，成为整个社会关注的焦点，保障计算机系统、网络系统及整个信息基 础设施的安全已成为刻不容缓的重要课题。目前国内外对网络安全的研究和开发主要集中在以 下几个方面【l 】： ( 1 ) 网络安全模型和仿真以及安全防卫的系统方法 ( 2 ) 多元身份认证技术 ( 3 ) 信息加密技术 ( 4 ) 具有隔断功能的高性能防火墙技术 ( 5 ) 网络安全协议 ( 6 ) 虚拟专用网络 ( 7 ) 扫描程序 ( 8 ) 入侵检测系统 不同的安全要求需要提供不同的安全策略，而不同的安全策略各有偏重点，因此需要结合 实际的网络情况与安全需求选择不同的安全技术。 入侵检测是指对于面向计算资源和网络资源的恶意行为的识别和响应，是包括技术、人、 工具三方面因素的一个整体。入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ) 2 1 包括三个部分：信息的 收集和预处理、入侵分析及恢复系统。通过旁路监听的方式不间断的获取网络数据，同时判断 其中是否含有入侵的企图，并利用各种手段向管理员报警。如果说防火墙是网络安全的第一道 闸门的话，那么入侵检测是网络安全的第二道闸门，是防火墙的必要补充。入侵检测系统建立 一个立体纵深安全防护体系，保障网络体系的安全性与机密性3 1 。 基于s n o r t 入侵检测系统关联规则挖掘的研究与实现 1 2 课题研究背景与研究意义 数据挖掘( d a t am i n i n g ) t 4 l 是数据处理的一个热点和前沿研究领域，它主要融合了模式识别、 统计学、数据库、机器学习等领域的方法与技术，利用分析工具从大量的、不完全的、有噪声 的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有 用的信息和知识的过程。而入侵检测是利用所采集的大量数据信息，如主机系统日志、审计记 录和网络数据包等，对其进行分析以发现入侵或异常的过程。从以数据为中心的观点看，入侵 检测过程即是数据分析的过程【5 】。因此，在入侵检测系统中，可利用数据挖掘技术对海量网络 数据分析处理，从中提取隐藏的、尽可能多的安全信息，抽象出有利于比较和判断入侵特征的 计算模型。基于这种思路，可以建立一套完整的基于数据挖掘的入侵检测模型【6 1 ，利用数据挖 掘中的分类分析、聚类分析、关联规则分析和序列模式分析等算法提取与安全相关的系统特征 属性，并根据系统特征属性生成安全事件的检测模型。 关联规则挖掘( a s s o c i a t i o nr u l em i n i n g ) 是数据挖掘研究的一个重要分支，是数据挖掘的众 多知识类型中最为典型的一种。关联规则挖掘可以发现存在于数据库中的项目( i t e m s ) 或属性 ( a t t r i b u t e s ) 间的有趣关系，这些关系是预先未知的和被隐藏的，也就是说不能通过数据库的逻 辑操作或统计的方法得出。这说明它们不是基于数据自身的固有属性( 例如函数依赖关系) ，而 是基于数据属性同时出现的特征。 由于入侵行为具有模糊性，而异常检测【7 】中的许多特性是以量度来表示的，其中阈值的确 定就具有模糊性。最近两年将模糊数学理论和方法运用到入侵检测中成为研究热点，目前有两 种方式，一种是在现有的方法上引入模糊集合中的隶属度函数的概念，将数据挖掘和模糊集合 结合，能很好的解决“尖锐边界”问题；另一种是将入侵检测系统的整个分析模块看作是一个 模糊系统，将入侵检测的过程看作是一个多模糊证据综合判别的问题。传统的关联规则挖掘应 用到数量型属性时，往往会出现严重的“尖锐边界”问题。将模糊理论应用到关联规则挖掘中 能很好地解决该问题。模糊关联规则【8 】挖掘面临的是大规模的数据集( 事务数和项目数巨大) ， 海量的数据必然导致项目集的组合数巨大，因此在频繁项目集的产生过程要耗费大量的时间代 价，如何提高产生频繁集的效率同时减少数据库扫描次数，仍将是模糊关联规则的努力方向； 最小支持度和最小置信度并不能保证所挖掘出的关联规则都是用户所感兴趣的，其中可能包含 许多冗余、无意义的关联规则，这也是模糊关联规则挖掘过程中需要克服的。 基于以上背景，本文对关联规则挖掘和模糊关联规则挖掘进行了深入研究，并将其作为异 常检测模块应用于s n o r t 入侵检测系统中。 1 3 国内外研究动态 关联规则挖掘是数据挖掘最为广泛应用的技术之一，也是最早用于入侵检测的技术。关联 2 南京航空航天大学硕士学位论文 规则【4 】分析是发现所有支持度和置信度均超过规定闽值的规则，它主要有两步过程：首先识别 所有的支持度不低于用户规定的最小支持度阈值的项目集，即频繁项目集；然后从得到的频繁 项目集中构造出置信度不低于用户规定的最小置信度阈值的规则。现在已有多种关联规则算法， 如a p n o r i 算法、f p q o w t l l 算法等用于入侵检测。 关联规则最早被用于分析网络流数据，随后也将关联规则的挖掘结果作为后挖掘的输入数 据，以便能挖掘出更优的结果【5 儿6 】。a g r a w a l 等人对大型数据库中关联规则挖掘进行了研究，并 且提出了基于树投影的频繁模式生成算法【9 1 。m e 1 h 确等人【1 0 1 提出了并行关联规则挖掘算法和 大型数据库中基于转置矩阵的交互挖掘频繁项集【i l 】。h a r m e r 等人【1 2 】将生物免疫机制引入了计算 机系统，提出了安全保护框架的概念。m i t 的l a r i a t l l 3 l ( l i n c o l ba d a p t i v er e a l t i m ei n f o r m a t i o n a s s u r a n c et e s t b e d ) 是目前较为完善的i d s 测评方法。国内学者在基于关联规则的入侵检测研究 中有代表性的研究成果包括：宋世杰等人【1 4 】将a p r i o r i 算法进行扩展并用于入侵检测。连一峰 等人 7 1 对t e n l e t 会话中用户执行的s h e l l 命令序列进行挖掘，建立用户异常行为模型。吕志军等 人【1 5 】不但采用了基于强规则的关联规则挖掘方法，还针对强规则挖掘方法的缺点，提出了基于 弱规则的关联规则挖掘方法，来检测那些异常操作少、分布时间长等不易检测的的网络攻击。 朱玉全等人【i6 】研究了关联规则的增量更新问题。 根据属性值不同，关联规则可以分为布尔型关联规则和数值型关联规则。解决数值型属性 关联规则挖掘的一般方法是将数值属性关联规则挖掘转化为布尔型关联规则挖掘，但转化时容 易产生“尖锐边界”问题。为解决这个问题，a t y e l s e m a x y 等人f l7 】引入了模糊理论来达到软化 边界的目的。文献【1 8 】采用带有权重的支持度和置信度公式，自组织神经网络来模糊化数值属 性来进行挖掘；文献【1 9 】采用了扩展的e q u i d e p t hp a r t i t i o n ( e d p ) 算法来解决区间的分割问题；文 献【2 0 】提出了基于a p r i o r i t i d 的模糊关联规则挖掘；文献 2 1 提出了挖掘模糊相似的关联规则。 张保稳等人【2 2 】提出了有效支持度的概念，将其用于频繁模糊模式集的挖掘，挖掘的结果更为简 洁和合理，同时挖掘的效率也得到了提高；陆建江等人【2 3 】对加权模糊关联规则进行研究，提出 了加权模糊关联规则的挖掘算法。 1 4 论文主要工作及结构安排 本文在研究传统入检测系统的不足和数据挖掘中关联规则挖掘技术的基础上，主要做了以 下工作：一是，为了提高f p - g r o w t h 算法效率，本文引入了基于c o f i 树的挖掘方法。该方法 在原有f p 树的基础上，为每个频繁项目创建一个c o f i 树的临时数据结构，避免了f p - g r o w t h 算法需要递归发现短模式的缺点。二是，针对关联规则挖掘中存在产生无用规则的问题，指出 了模糊关联规则挖掘中存在同样的问题。为解决该问题，本文将轴属性约束应用到模糊关联 3 基于s n o r t 入侵检测系统关联规则挖掘的研究与实现 规则挖掘中。三是，由于目前模糊关联规则挖掘算法大都是基于a p r i o r i 或类a p r i o r i 算法的， 存在多次扫描数据库问题，本文设计了一种模糊f p 一树结构，并利用c o f i 树来挖掘模糊关联 规则，提高了模糊关联规则挖掘效率。 本文分六个章节，正文部分的五个章节安排如下： 第二章介绍了入侵检测技术。介绍了入侵检测系统的构成及原理、入侵检测系统的分类、 入侵检测的方法、s n o r t 入侵检测系统以及入侵检测技术未来的发展趋势等。 第三章讨论了关联规则挖掘。首先介绍了关联规则的基本知识和挖掘关联规则的经典算法： a p n o n 算法和f p - g r o w t h 算法，分析了各算法的不足以及国内外学者对它们的改进；其次，介 绍了关联规则增量更新挖掘问题；最后，为改进f p g r o w t h 算法挖掘效率，引入了基于c o f i 树挖掘算法，详细分析了该算法的挖掘过程，并通过实验验证了该算法在效率上的优越性。 第四章讨论了模糊关联规则挖掘在入侵检测中的应用以及存在的问题。一是在挖掘模糊关 联规则过程中会产生许多无用规则；二是由于模糊频繁项集自身的特点，无法直接应用 南京航空航天大学硕士学位论文 第二章入侵检测技术 2 1 入侵检测概述 入侵2 4 2 5 1 是指任何试图危及资源的完整性、机密性或可用性的活动集合。入侵通常可以分 为六类：尝试性的闯入、伪装攻击、安全控制系统的渗透或泄露、拒绝服务攻击和恶意使用。 入侵检测是对入侵行为的检测和识别。美国国家安全通信委员会( n s t a c ) 下属的入侵检测小组 ( i d s g ) 在1 9 9 7 对入侵检测给出了权威的定义： 入侵检测：对企图入侵、正在进行的入侵或者已经发生的入侵进行识别的过程。 人侵检测系统：所有能够执行入侵检测任务和功能的系统，都可称为人侵检测系统，其中 包括软件系统以及软硬件结合的系统。 2 1 1 入侵检测系统构成 入侵检测系统( i o s ) 是一套运用入侵检测技术对计算机或者网络资源进行实时检测的系统 工具。i d s 一方面检测未经授权的对象对系统的入侵，另一方面还监视授权对象对系统的非法 操作。因此，一个入侵检测系统需要解决两个基本问题：一是如何充分、可靠地提取描述行为 特征的数据；二是如何根据特征数据高效并准确地判定行为的性质。目前主要的方法是通过监 视受保护系统的状态和活动，发现非授权的或恶意的系统及网络行为。 美国国防高级研究计划署d a r p a 支持下的一个研究小组提出了一个入侵检测通用框架结 构，即c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ) 1 2 6 2 7 。在这个框架结构下，入侵检测系统 被分为四个模块，即事件产生器、事件分析器、事件数据库和响应发生器，如图2 1 所示。 图2 1 入侵检测系统的基本构成 ( 1 ) 事件产生器 事件产生器是入侵检测系统中负责原始数据采集的部分，它对数据流、日志文件等进行追 踪，然后将搜集到的原始数据转换为事件，并向系统的其他部分提供此事件。 ( 2 ) 事件分析