（计算机软件与理论专业论文）基于数据挖掘和规划识别的入侵检测技术的应用和研究.pdf

摘要 信息网络的迅速发展，使得网络安全成为世界各国共同关注的焦 点。入侵检测技术是继传统的安全保护措施之后新一代的安全保障技 术。作为信息安全保障中的一个重要环节，它很好地弥补了访问控制、 身份认证等传统机制所不能解决的问题，对计算机和网络资源上的恶 意访问行为进行识别和响应。入侵检测已经成为当前网络安全技术领 域内的一个研究热点。 在前人对入侵检测研究的基础上，本文主要提出了构建一个智能 化的网络入侵检测系统的设计方法和具体实现。文章首先阐述了网络 安全理论及入侵检测技术的国内外研究现状和发展方向；接着，提出 了这个系统的总体设计思路，即把基于数据挖掘的入侵检测与基于规 划识别的入侵预警相结合，多点采集数据，统一接口交换信息，利用 数据挖掘技术检测可疑行为，分析来自网络外部的入侵行为以及内部 的未授权活动，同时结合规划识别方法识别攻击者的入侵意图，提供 实时报警和自动响应；文章重点对系统实现过程中的数据获取，数据 挖掘，知识库匹配以及规划识别技术进行了阐述。在检测过程中，文 章还提出将数据挖掘的全过程贯穿其中，将现有的挖掘算法集中在一 个统一的框架下，构造出能被各种层次的用户所接受的系统。最后， 对全文进行了总结，并提出了下一步的工作。 关键词入侵检测，数据挖掘，规划识别 a b s t r a c t a sn e t w o r k b a s e dc o m p u t e rs y s t e m sp l a yi n c r e a s i n g l yv i t a lr o l e si n m o d e ms o c i e t y , t ot a k et h e p l a c e o ft r a d i t i o n a l s e c u r i t yp r o g r a m ， i n t r u s i o nd e t e c t i o nb e c o m e san e wg e n e r a t i o nt oa no r g a n i z a t i o n a l i n f o r m a t i o ns e c u r i t yp r o g r a m a sak e yf a c t o ro fi n f o r m a t i o ns e c u r i t y p r o g r a m ，i n t r u s i o nd e t e c t i o n ( i d ) p r o v i d e sc r i t i c a lp r o t e c t i o n s f r o m p o t e n t i a la t t e m p t st oe x p l o i tc o m p u t e rr e s o u r c ev u l n e r a b i l i t i e sw h i c h g r e a t l y f e t c h e d u pt h e l i m i t a t i o no fa c c e s s c o n t r o l l i n g a n di d e n t i t y a u t h e n t i c a t i o n s ot h ea p p l i c a t i o no fi n t e l l i g e n tt e c h n o l o g yi ni n t r u s i o n d e t e c t i o ns y s t e mr i s e sr e c e n t l y b a s e do nt h ef o r m e rr e s e a r c ho fi d ，t h i sp a p e rd e s i g n sa n dp r e s e n t s a ni n t e l l i g e n tn e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e mm o d e l t h ep a p e r i n t r o d u c e sa no v e r v i e wo fn e t w o r ks e c u r i t ya n dd e v e l o p m e n tt r e n da n d d i r e c t i o no fi n t r u s i o nd e t e c t i o ns y s t e m t h e nt h ep a p e r0 f i e r sat o t a l d e s i g nm e t h o d ，t h a ti s ，t oc o m b i n et h ed a t am i n i n gb a s e di n t r u s i o n d e t e c t i o nw i t hp l a nr e c o g n i t i o ni n t r u s i o nf o r e c a s t i n g i d sc o l l e c t sd a t a o n m u l t i p l ep o i n t s ，e x c h a n g e si n f o r m a t i o n v i aau n i f o r mn e t w o r k i n t e r f a c e ，d e t e c t su n c e r t a i nb e h a v i o rb yd a t am i n i n g ，a n da n a l y z e s i n t r u s i o nf r o mo u t s i d ea n da c t i v i t i e sw i t h o u ta u t h o r i z a t i o nf r o mi n s i d e m e a n w h i l e t h em o d e lc o m b i n e sp l a nr e c o g n i t i o nt oi d e n t i f yt h ei n t e n t i o n o fi n t r u s i o na n dp r e d i c t st h ef u t u r ea c t i o n so fa t t a c k e r sa n dr e s p o n d st o t h e i ra p p r o p r i a t ea c t i o n s t h i sp a p e rm a i n l yf o c u s e so nt h ed a t aa c c e s s i n g d a t am i n i n g ，r e p o s i t o r ym a t c h i n ga n dp l a nr e c o g n i t i o n d u r i n gt h e d e t e c t i o n ，t h ep a p e rr u n st h ew h o l ep r o c e s so fd a t am i n i n gt h r o u g ht h ei d t e c h n o l o g y , a n dg a t h e r se v e r yd a t am i n i n ga l g o r i t h mi nau n i f o r mf r a m e t oc o n s t r u c tas y s t e mt h a tc a nb ea c c e p t e db vd i f f j r e n tk i n d so fu s e r i n t h ee n d ，t h ep a p e rs u m m a r i z e st h er e s e a r c ht h ea u t h o rd o e s ，a n dp o i n t s o u ts o m es t e p st od on e x t k e yw o r d s ：i n t r u s i o nd e t e c t i o n ，d a t am i n i n g ，p l a nr e c o g n i t i o n 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰下j 过的研究成果，也不包含为获得中南大学或其他单位的学 位或址m n j 使川过的材料。与我典吲一l 作的同志对本研究所作的贡献均已在论文 中作了l j _ | 确附说j 。 作者签名 日期：0 枷r 年年月i iv - j 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位 沦文，允确：学位沦文被查阅和借阅：学校可以公布学位论文的全部或部分内容， 可以采用复印、缩印或其它手段保存学位沦文；学校可根据国家或湖南省有关部 门规定送交学位论文。 名：婶勋撇哟吼蝣闰 硕士学位论文 第一章绪论 1 1 本文的研究背景 第一章绪论 随着i n t e r a c t 的迅猛发展和信息时代的到来，网络正在前所未有的影响着人 类社会。计算机系统和网络广泛地应用于国家、政府和企业的许多部门，通过网 络传递的信息包含了政治、经济、文化、军事等各方面的重要内容。而信息网络 国际化、开放化和个人化的特点，给人们提供信息的共享，带来高效率工作和高 质量生活的同时，也投下了不安全的阴影。网上信息被泄露、篡改，黑客入侵， 计算机犯罪，机密信息的窃取、非法使用等，无不对网络构成了严重的威胁。 目前，i n t e r a c t 已成为全球最大的互联网络，截至2 0 0 2 年底，全球i n t e m e t 用户已达1 0 5 5 亿。根据中国互联网络信息中心c n n i c 最新发布的第1 1 次中国 互联网络发展状况统计报告显示：截止到2 0 0 2 年1 2 月3 1 日，我国上网计算机 总数已经达到2 0 8 3 万台，上网用户总数达到5 9 1 0 万人，网民数居世界第二。但 随着i n t e r a c t 各种应用业务的迅速发展，也应该看到，对于网络上主机的安全保 护，无论是思想意识还是相关技术，都还存在着很大的不足。 有专家统计数据显示，世界上平均每2 0 秒就有一起黑客事件发生，美国每 年由黑客所造成的经济损失就超过1 0 0 亿美元。根据c n n i c 的一份报告，我国 超过4 0 的网站存在严重的安全漏洞，国内一些著名的企业站点和商务站点也都 曾遭到黑客的攻击。2 0 0 3 年1 月2 5 日，互联网更是遭到了一次全球性的“蠕 虫”攻击，该蠕虫利用m i c r o s o f ts q ls e r v e r 的缓冲区溢出漏洞，对w i n d o w s 操 作系统下的s q ls e r v e r2 0 0 0 服务器进行攻击，从而导致了全球范围内的互联网 瘫痪。下图显示了计算机紧急响应小组( c e r t ) 公布的从1 9 8 8 年到2 0 0 2 年攻 击事件的增长数据。 硕士学位论文 第一章绪论 图1 1c e r t 公布的19 8 8 - 2 0 0 2 年攻击事件增长图 因此，为了保障计算机网络安全，除了对信息进行安全保护之外，还应该重 视提高系统检测非法攻击和入侵的能力，也就是入侵检测能力。入侵检测有别于 传统的加密、身份认证、访问控制、防火墙、安全路由等安全技术，能够实现识 别入侵者、识别入侵行为、检测和监视已成功的安全突破以及提供及时的响应等 重要功能。入侵检测作为信息安全保障中的一个重要环节，能很好地弥补访问控 制、身份认证等传统保护机制所不能解决的问题，为受保护的网络提供有效的入 侵识别及相应的防护手段。 入侵检测是基于计算机网络环境下兴起的一个研究方向，国外对入侵检测技 术的研究开始于2 0 世纪8 0 年代，与之相比，国内则刚刚起步。但随着网络技术 的飞速发展和网络应用的不断普及，入侵检测已经渐渐成为网络安全研究的热点 之一。目前入侵检测技术的方法主要停留在异常检测和误用检测上，现有的入侵 检测系统也还都存在着一些问题，例如漏报率、误报率高，系统的智能性差，预 警功能缺乏等等，因此入侵检测研究领域需要融合其他学科和技术领域的知识来 提供薪的入侵检测解决方法，如人工智能、数据挖掘以及网络管理等。 1 2 课题的研究思路及内容 本文的研究目标是有效地采集网络和主机的审计数据源，充分利用数据挖掘 技术和规划识别方法对网络入侵行为进行检测和预警，在这些基础上设计一个智 能化的网络入侵检测系统系统。 本文主要包括以下几部分内容： ( 1 ) 入侵检测部分主要对入侵检测技术和与其相关的数据挖掘、规划识别技 术进行系统的介绍。 ( 2 ) 系统总体设计部分首先按照事件的数据来源和检测策略提出了系统的体 系结构，然后提出了该系统对应的功能结构。 ( 3 ) 系统具体实现部分是本文的重点，具体说明了利用数据挖掘技术中的关 硕士学位论文第一章绪论 联分析、序列分析和分类算法对审计记录进行分析检测，研究了在系统中应用规 划识别方法识别入侵者的真正意图。 ( 4 ) 系统实现中的关键技术部分首先详细介绍网络数据包和主机系统日志获 取模块的设计和实现，然后对系统实现中的一些算法，进行了介绍。 ( 5 ) 总结和展望部分概括了现有的研究进度和成果，同时对下一步要进行的 工作进行了探讨。 1 3 本文的内容组织与安排 本论文共由六章组成。第一章概述了当前网络入侵现状以及目前存在网络入 侵检测体系现状，提出了我的课题研究思路和研究内容。本文第二章分别从入侵 检测模型、智能检测技术两个方面对入侵检测系统的研究现状进行了分析和说 明。第三章和第四章是本文的核心部分，这部分详细介绍了我的设计思想及实现 过程与结果。其中第三章提出了分布式的异常检测和误用检测并行的基于数据挖 掘和规划识别的入侵检测系统的总体设计。第四章详尽地描述了系统的具体实 现，包括数据挖掘，知识库匹配以及规划识别的实现过程说明。在第五章中，对 系统的关键技术，包括数据获取和相关数据挖掘算法进行了介绍。文章最后对全 文和我的工作进行了总结，对将来的工作进行了展望。 硕士学位论文第二章相关技术研究 第二章相关技术研究 本章的主要内容是对入侵检测技术进行系统的阐述。首先对入侵检测模型进 行总体的介绍：然后，着重介绍了数据挖掘技术和规划识别技术在入侵检测系统 中的应用，为以后几章系统的设计和实现提供依据。 2 1 入侵检测模型 为了使入侵检测系统具有互操作性和互用性，1 9 9 7 年，美国国防部高级研究 计划署( d a r p a ，t h e d e f e n s e a d v a n c e d r e s e a r c hp r o j e c t s a g e n c y ) 的c i d f 工作 组( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r kw o r k i n gg r o u p ) 提出了一个i d s 的通 用模型【3 j 。c i d f 是一套规范，它定义了i d s 表达检测信息的标准语言以及i d s 组 件之间的通信协议。符合c i d f 规范的i d s 可以共享检测信息，相互通信，协同工 作，还可以与其它系统配合实施统一的配置响应和恢复策略。 c i d f 将一个入侵检测系统分为四个部分：事件产生器( e v e n tg e n e r a t o r s ) 、 事件分析器( e v e n ta n a l y z e r s ) 、响应单元( r e s p o n s eu n i t s ) 和事件数据库( e v e n t d a t a b a s e s ) 。如图2 一l 所示1 1 3 1 。 图2 - 1i d s 通用模型c i d f 的体系结构 c i d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它可以是基于网络的i d s 从网络中提取的数据包，也可以是基于主机的i d s 从系统日志等途径得到的审计 信息。 c i d f 组件之间以通用入侵检测对象( g i d o ，g e n e r a l i z e d i n t r u s i o nd e w i o n o b j e c t s ) 的形式交换数据，一个g i d o 可以表示在一些特定时刻发生的一些特定 事件，也可以表示从一系列事件中得出的一些结论，还可以表示执行某个行动的 指令。 c i d f 中的事件产生器也称为数据采集器【7 1 ，负责从整个计算环境中获取事 硕士学位论文第二章相关技术研究 件，但它并不处理这些事件，而是将事件转化为g i d o 标准格式提交给其它组件 使用，事件产生器是所有i d s 所需要的，同时也是可以重用的。c i d f 中的事件分 析器接收g i d o ，分析它们，然后以一个新的g i d o 形式返回分析结果。c i d f 中 的事件数据库负责g i d o 的储存，它可以是复杂的数据库，也可以是简单的文本 文件。c i d f 中的响应单元根据g i d o 做出反应，可以终止进程、切断连接、改变 文件属性，也可以只是简单的报警。 根据事件产生器的数据来源的不同，入侵检测系统可分为基于主机 ( h o s t b a s e d ) 的入侵检测系统( h i d s ) 、基于网络( n e t w o r k b a s e d ) 的入侵 检测系统( n i d s ) 以及结合了基于主机和基于网络的分布式( d i s t r i b u t e d ) 入侵 检测系统( d i d s ) 。基于主机的入侵检测系统主要以系统的审计数据( 如系统 日志、应用程序日志等) 作为数据源，对这些信息进行分析，从而检测出入侵行 为。基于网络的入侵检测系统的数据源来自网络流，也就是网络和操作系统协议 栈中传输的数据包，通过对包头和内容的分析，来识别可疑的网络入侵。分布式 的入侵检测系统能够同时分析来自主机系统的审计日志和网络的数据流，可以弥 补基于主机和基于网络的一些片面性缺陷。 根据事件分析器所采用策略的不同 6 1 ，入侵检测可分为基于行为 ( b e h a v i o r - b a s e d ) 的入侵检测和基于知识( k n o w l e d g e b a s e d ) 的入侵检测。基 于行为的检测又称为异常检测( a n o m a l yd e t e c t i o n ) ，它根据使用者的行为或资 源使用状况的正常程度来判断是否发生入侵。它的优点是可以发现未知的入侵行 为，缺点是误报率( f a l s ep o s i t i v e ) 较高。常用的异常检测方法包括利用统计的 异常检测和利用神经网络的异常检测。基于知识的检测又称为误用检测( m i s u s e d e t e c t i o n ) 。它首先利用已知的攻击方法，定义好入侵模式，然后根据当前的用 户行为和系统状态对入侵进行匹配。它的优点是对入侵行为检测的准确性高，缺 点是漏报率( f a l s en e g a t i v e ) 高，只能发现已知的入侵行为。常用的误用检测方 法有：专家系统、状态转移分析、模型推理、模式匹配等。 按照事件响应单元采用的策略不同，入侵检测可分为主动响应( a c t i v e r e s p o n s e s ) 的入侵检测和被动响应( p a s s i v er e s p o n s e s ) 的入侵检测j 。主动响应 的入侵检测指在检测到入侵后，或者切断入侵路径，或者将系统恢复到入侵前的 状态。这种入侵检测系统常与防火墙等结合使用，共同对抗入侵。被动响应的入 侵检测指在检测到入侵后，只是报警，而不采取主动的对抗措施，现有的大多数 入侵检测系统均采取这种策略。 2 2 智能检测技术 入侵检测的基本功能是信息收集、分析并作出判断是否为入侵行为。但由于 网络中异种平台、网络配置、用户知识层次以及攻击方法的不同，造成网络中的 硕士学位论文 第二章相关技术研究 信息纷繁复杂，因此一个检测过程同时也是一个复杂的信息处理、识别过程。目 前的入侵检测技术还存在着一些普遍的问题，如漏报率、误报率高，系统的智能 性差，预警功能缺乏等，因此，入侵检测研究领域需要融合其他学科和技术领域 的知识来提供新的入侵检测解决方法，充分利用许多成熟的信息处理技术以及人 工智能技术，如统计学方法、专家系统、神经网络、a g e n t 代理、数据挖掘和规 划识别等技术。下面重点阐述数据挖掘和规划识别技术在入侵检测中的应用。 2 21 基于数据挖掘的入侵检测 入侵检测系统的关键是如何从大量的审计数据中提取出具有代表性的系统 特征模式，识别用户的正常行为和异常行为。为了对审计数据进行全面、高速和 准确的分析，数据挖掘技术被引入到入侵检测领域，它提供了处理安全事件数据 的智能化方法，通过利用关联规则分析、序列模式分析等算法提取与安全相关的 系统特征属性，根据系统特征属性生成安全事件的分类模型，从而自动识别出网 络或主机中的入侵行为。 1 数据挖掘概述 数据挖掘( d a t am i n i n g ) ，也称为数据库中的知识发现技术( k n o w l e d g e d i s c o v e r y i n d a t a b a s e ，k d d ) ，是指从大量、不完全、有噪声、模糊、随机的数 据中发现隐含数据中的关系，建立模型，提取具有潜在价值、可信、新颖、有效 并能被人所理解的信息和知识的过程【l ”。数据挖掘是一种决策支持过程，它主要 基于人工智能( a i ) 、机器学习、统计学等技术，高度自动化地分析大量的数据， 做出归纳性的推理，从中挖掘出潜在的模式，预测客户的行为。 从1 9 8 9 年第1 1 届国际联合人工智能学术会议上首次提出k d d 的概念以来， 数据挖掘日益受到人们的关注，并已成为当前计算机领域的一大热点。数据挖掘 的技术基础是人工智能，它利用了人工智能的一些已经成熟的算法和技术，例如： 人工神经网络、遗传算法、决策树、规则推理等。数据挖掘的一般过程是：选 择数据源；采集数据；计算统计变量，对数据进行描述，从中发现数据间的 关系；选定相应的数据挖掘算法，建立预言模型；验证模型的合理性、准确 性，对模型加以完善；通过模型指导决策。 目前已提出了很多数据挖掘的方法或算法，按照挖掘任务的不同，数据挖掘 可以分为以下几个主要类型： 关联规则分析( a s s o c i a t i o n ) ，相应的算法有a p r i o r i ，a p r i o r i t i d 等； 序列模式分析( s e q u e n t i a lp a t t e m s ) ，相应的算法有a p f i o r i a l l ，a p r i o r i s o m e ， d y n a m i c s o m e 等： 数据分类分析( d a t ac l a s s i f i c a t i o n ) ，相应的算法有r i p p e r ，c 4 5 等； 聚类分析( c l u s t e r i n g ) ，相应的算法有c l a r a n s ，b i r c h 等。 硕士学位论文第二章相关技术研究 当前数据挖掘的研究重点已逐渐从发现方法转移到系统应用，并且注重多种 发现策略和技术的集成，以及多学科之间的相互渗透。将数据挖掘技术应用到入 侵检测系统，提高入侵检测系统的智能检测能力，已经成为当前i d s 发展的一个 重要研究方向。 2 入侵检测系统中的数据挖掘 一个网络服务在正常工作时的网络流量通常具有一定的模式，它与发生入侵 时的网络流量模式有着明显的不同。同样，一个程序在正常运行时产生的系统调 用系列与非法操作( 如攻击者非法获取管理员权限) 产生的系列也存在着明显的 区别。因此，可以利用数据挖掘技术，对大量的网络流量和系统日志进行挖掘， 发现其中的规律并将其转化为检测规则，从而区分正常模式和入侵模式。 利用数据挖掘算法对审计数据进行处理，要求所选取的安全审计数据具备以 下两个前提特性【1 6 i ： ( 1 ) 网络流量中入侵数据只占极少数； ( 2 ) 攻击总是使安全审计数据的某些特征变量明显地偏离正常值。 这两个前提在实际应用都是成立的。首先，攻击事件相对于正常的网络或系 统访问是很少见的，通常入侵行为只占不到5 ：其次，安全审计数据在正常情 况下非常稳定，入侵行为与正常行为的区别很大，攻击行为的一些特征变量和正 常值之间偏离也很大。 对于应用到入侵检测系统中的数据挖掘技术，目前主要集中在关联规则分 析、序列模式分析和数据分类这3 种类型上【1 8 i 。 ( 1 ) 关联规则分析 在数据库的知识发现中，关联规则描述在一个事务中事物之间同时出现的规 律的知识模式。更确切地说，关联规则通过量化的数字描述一个事物的出现对另 个事物的出现有多大的影响。 设l = c i l ，屯谢是一组数据项集合，其中的元素称为项( i t e m ) 。d 是一组事务 集合，d 中的每个事务( t r a n s a c t i o n ) z 是一组数据项，并满足t _ c 。假设有一个 数据项集( i t e m s e t ) z 一个事务n 如果逛r ，则称事务吱持数据项集儿 一个关联规则是指符合以下形式的一种数据隐含规则： x j y ，其中x 、y 是两组数据项，满足x c , y c 二，并且x n y = m 。 一般用支持度( s u p p o a ) 和置信度( c o n f i d e n c e ) 来描述一个关联规则的属 性。规则x j y 在事务集中的支持度是指事务集中包含x 和y 的事务数与所有 事务数之比，记为s u p p o a ( x = y ) ，即s u p p o r t ( x j y ) = l t ：x w y g t ，t d i d i ； 规则x = z y 在事务集中的置信度是指包含x 和y 的事务与包含x 的事务之比， 记为c o n f i d e n c e ( x j y ) ，即c o n f i d e n c e ( x j y ) = l t ：x u y g t ，t e d i i t ：x g t ， t e d 1 。 硕士学位涂文第二章相关技术研究 关联分析的目的是从已知的事务集d 中，产生数据项集之间的关联规则，保 谖葵支持凄窥鬟僚瘦大予臻户预先豢定懿最夺支持疫( m i n i m u ms u p p o r t ) 强最 小置信度( m i n i m u mc o n f i d e n c e ) 。 挖掇关联援粼遥霉分淹嚣令步骤亲避零i ： 1 ) 从事务鬃d 中找出所有支持度大于最小支持度的数据集项，称之为大数据 颁集( 1 a r g ei t e m s e t s ) ，其链不满足支持度要求的数摄项集则称之为小数 据项集( s m a l li t e m s e t s ) ： 2 ) 蠖t l 大数挺项篡( 1 a r g ei t e m s e t s ) 产生嬲缀拍关联规则。产生关联爆则的 旗本原则是其置信度必须大于预先指定的限定值。 在入侵检测系统中，浅可以髑关联规则分析柬找出入侵者的各釉入侵行为之 间的相关性。 ( 2 ) 序列模式分析 序捌模式分孝斤和关联规赠分析相似，其舀的也是为了挖掘数攒的联系，但不 同的是关联分析用于挖掘数据记蒙中不同数据项之间的关联性，而序列分析则是 发现不潮数据琵荣之瀚豹福关注。序确分褥静西橱是在事务数据撵中挖藏蠢事耐 模式( 1 a r g es e q u e n c e ) ，即满足用户指定的最小支持度( m i n i m u ms u p p o r t ) 要求 豹大序酬，荠薹该序列模式努须怒最高露列( m a x i m a ls e q u e n c e ) 。 挖掘序列模式通常按以下五个步骤来进行i ”l ： l ，撩序除毅( s o r tp h a s e ) ：渡事务黪主锌为主键，事务薅阕为次主键，对纛 始数据库进行排序，将箕转换为主体序列( c u s t o m e rs e q u e n c e s ) 的数据 疼； 2 ) 大数据项阶段( 1 i t e m s e tp h a s e ) ：找出所有的大数据项集l ，把大数据项 集映射为一组楣邻豹整数，每个大数据顼对应一个整数； 3 ) 转换阶段( t r a n s f o r m a t i o np h a s e ) ：将数据库中主体序列的每一次事务用 该事务包含的大数据顼集l i t e m s e t s ( 映射躯整数) 代替； 序列阶段( s e q u e n c ep h a s e ) ：利用大数据项集挖掘序列模式( 1 a r g e s e q u e n c e s ) ： 5 ) 序列最裔化阶段( m a x i m a lp h a s e ) ：我岛所有序列模式( 1 a r g es e q u e n c e s ) 的最高序列集。 在入侵裣溺领域孛，街于攻裔者浆许多入後行为都莛有先后关系，舆有一定 的时序性，例如黑客在实施攻击时，一般蹑先对系统的端口进行扫描，找蹦具体 酌漏漏螽再实旄邂一步静入侵。骚照，莆蠲序列模式分褥霹绫挖獬入侵行为之闻 的联系。 ( s ) 数据分类分橇 数据分类的目的是提取数据库中数据项的特征属性，生成分类模型，该模型 硕士学位论文第二章相关技术研究 可以把数据库中的每个数据项都映射到给定类别中的一个。 数据分类的步骤通常为： 1 ) 获得训练数据集( t r a i n i n gs e t ) ，该数据集中的数据记录具有和目标数据 库中数据记录相同的数据项； 2 ) 训练数据集中每一条数据记录都有已知的类型标识与之相关联； 3 ) 分析训练数据集，提取数据记录的特征属性，为每一种类型生成精确的 描述模型： 4 ) 使用得到的类型描述模型对目标数据库中的数据记录进行分类或生成优 化的分类模型( 分类规则) 。 在入侵检测中，可以根据黑客入侵行为的危害程度将入侵行为划分为致命入 侵、一般入侵和弱入侵等，也可以根据具体的攻击类型进行分类。 通过综合运用关联规则分析、序列模式分析和数据分类算法，可以自动地从 海量的安全审计数据和网络流量中提取出可用于入侵检测的知识和模式，识别用 户访问的正常行为和入侵行为。 基于数据挖掘的入侵检测系统具有以下优点： ( 1 ) 智能性好，自动化程度高：基于数据挖掘的检测方法综合采用了统计学、 决策学等多种方法自动地从数据中提取肉眼难以发现的网络行为模式， 从而减轻了入侵检测分析员的负担，同时也提高了检测的准确性。 ( 2 ) 检测效率高：数据挖掘可以自动地对数据进行预先处理，抽取数据中的 有用部分，有效地减少数据处理量，因而检测效率较高。对于面对网上庞 大数据流量的入侵检测系统，这一点尤为重要。 ( 3 ) 自适应能力强：应用数据挖掘方法的检测系统不是基于预定义的检测模 型，所以自适应能力强，可以有效地检测新型攻击以及已知攻击的变种。 目前，将数据挖掘技术应用于入侵检测系统已成为一个研究热点，但总体 上还处于理论研究的探讨阶段，国外对于该领域的研究主要是c o l u m b i a u n i v e r s i t y 的w e n k el e e 研究小组和u n i v e r s i t yo f n e wm e x i c o 的s t e p h a n i ef o r r r e s t 研究小组。 2 2 2 结合规划识别的入侵预警 入侵检测系统应该不仅能够识别已经攻击过的行为和正在进行攻击的行为， 而且，还必须能够从分析黑客的行动中推测下一步的规划，同时对即将实施的行 动进行预警和响应。在人工智能领域中，从观察到的行动推测行动者的规划称为 规划识别( p l a nr e c o g n i t i o n ) 。通过在入侵检测系统中采用规划识别方法，就可 以预测黑客的下一步行为，并提前采取措施来避免入侵或破坏的发生。 1 规划识别概述 硕士学位论文 第二章相关技术研究 规划识别是指根据观察到的片段、琐碎的现缘，推断出具有合理的因果联系 豹、完整褥全瑟豹麓划接述豹过程嘲。它愁人工餐麓领域中懿秘方法，尝试羧 一个a g e n t 的行为来推断它的规划。 一令趣翊识涮器雄爨蕊援划溪霹滋羚兖一些寒疆察到嚣又实鼯发生豹溪蒙， 同时还能预测未来的行为合理地推出a g e n t 未来可能采取的动作。 最早的援划识别赝磷究鲍内签是基于耀则的，磅究者髑剥弱攘理援则寒进行 规划识别。c h a m i a k 第一个提出了把规划识别看作一种特殊豹诱导( a b d u c t i o n ) 她彤式，域毒是最合堙的孵器的捺理。1 9 8 6 年，k a u t z 彝a l l e n 发表了( ( g e n e r a l i z e d p l a nr e c o g n i t i o n ) ) ，这一著作为以詹几乎所有的规划识别理论定下了框架1 9 1 。k & a 把规划识别定义为求解一缀用来解释戏察到的最态级行为的最小规划集的过程。 9 0 年代，c h a m i a k 和g o l d m a n 从规划识别包含诱导的前提出发，提出了基于 b a y e s i a n 概率理论的规划识别，在相同可能性的假没中优先考虑最小集的解释。 商来v i l a i n 在k & a 的理论上采用语法分析的方法来进行规划摇述，通过减少有 限的规划来进行分析识别，但是他的方法不能很好地处理时序限制的规划和互斥 静兢翔”1 。 这些人工智能领域的规划识别方法有一个共同的特点，就是要有很多的假 设，这撵极大逮黻麓了它们在弼络安全簇域羲应瘸。出予i d s 本努戆特殊羲，弱 时攻击者的规划也不象在传统的规划识别领域中那样有明显的特征，下面讨论入 经捡溅系统中戆嫒划识鬟及英重要整。 2 入侵检测系统中的规划识别 目前魄大部分入侵检测系统程预测攻击方鹾做得不够完善，饿们只是在被攻 击后报告攻击的类型和特征，而不能提供一个早期的警告。因此这些仅仅提供事 聪分析的系统并不是真正预警的i d s 。 要谴入侵检测系统舆有预警功能，它必须能够推断出攻击者的规划。识别出 攻击者的意图并不简单，为了说明这一点，先看次s y n 洪水( s y nf l o o d ) 攻 击豹情况l 朝。攻击者发动s y n 洪水攻击可能会有两个规翊： ( 1 ) 拒绝服务攻击( d o s ) ，阻碍主机的正常使用； ( 2 ) 通过i p 欺骗( i ps p o o f i n g ) 来攻击另一螽主税。 为了对s y n 洪水攻港作出正确的响应，入侵检测系统需要理解攻击者的规 矧，预溅到攻击密的下一步 亍凄菇，才麓莱酝掴液豹疆麓阻止这鍪行动。 首先，假设攻击者只是利用s y n 洪水攻击使得目标主机不能正常使用。如 梁舞遂了这一鬟矧，藏g 预测到玻壹者豹下一步行魂将会继续发送s y n 数据包 乘阻塞目标主机。为了避免拒绝服务攻击，可以修改防火墙的配鬻拒绝从攻击端 发寒戆数糖逸，绞者蔽毒攻击端懿连接数爨。 如栗攻击者使用s y n 洪水攻击是作为i p 欺骗的一部分，主要目的不是阻塞 瓣拣主麟恧是进入售任露添主鼹粒贯一套零l 器。掇据这一鼹划，就霹以会器到一 硕士学位论文第二章相关技术研究 些似乎从这台主机发出的数据包，这时s y n 洪水攻击将停止，而从网络外部到 另一台机器( 与被s y n 洪水攻击的主机有信任关系) 的连接被建立。为了防止 i p 欺骗攻击，需要修改防火墙来阻止所有的外部到目标主机所信任的机器的连 接。 从这个例子可以看出，虽然报告的行为是一样的( 都是s y n 洪水攻击) ，但 相应的措施却完全不同。判断出攻击者的规划是“拒绝服务”还是“进入系统”， 对于预测攻击者的下一步行动以及作出正确的响应非常重要。在入侵检测系统中 可以结合多方面的报告和信息来识别攻击者的规划。在这个例子里，有一个简单 的特征可以识别：如果是i p 欺骗的一部分，将会发现从被拒绝的主机发出的数 据包。假设基于网络的入侵检测系统( n i d s ) 能够观察到这些异常的数据包， 那么识别出s y n 洪水是作为i p 欺骗的前兆行为将相对容易。相反，如果没有这 样的数据包被观察到，那么攻击者进行的就是单独的d o s 攻击。 因此，根据对入侵检测系统产生的报告进行分析，然后利用规划识别的方法， 提前预测到攻击者的规划是完全可能的，这样就能针对攻击规划做出正确的响 应。 入侵检测系统中的规划识别有两个需要注意的方面：首先，要能够推测出未 观察到的行为。因为攻击者总是千方百计地掩盖他们的攻击行为和攻击意图。 其次，在网络安全领域内进行规划识别需要涉及其他学术领域未涉及的更多 的问题。在网络安全领域，攻击者的规划往往没有明显的单一的特征。下面依次 讨论这两个问题。 ( 1 ) 推测未观察到的行为 规划识别的a g e n t 需要具有从观察到的行为推测未观察到的行为的能力，同 时也要具有从状态的变化中推测未观察到的行为的能力。 未观察到的行为：假设攻击者利用i d s 无法识别的新的攻击手段，当碰到未 知的攻击时，利用传统的特征检测，由于不能匹配当前攻击的信息，i d s 将不会 做出任何报告。在这样的情况下，一次攻击过程中的小小的变化都使得i d s 变得 毫无用处。 要使规划识别有效，i d s 必须能够推断出没有报告的未观察到的行为。考虑 在一台简单的机器上的一次攻击，i d s 没有观察到基本的扫描动作。因为确定i p 地址和相应端e l 的详细信息对于攻击是很重要的一个步骤，所以能推断出扫描或 者信息的收集工作一定在攻击之前就已经完成了，即使当时并没有检测到。 观察状态的改变：考虑在主机上运行的一项新的服务的报告。开始一项服务 与服务正在运行的报告是不同的。前者可能被基于主机的i d s 生成，在它观察到 攻击者开始这项服务的时候。而后者可能被基于网络的i d s 生成，当它扫描到未 经允许的服务正在运行。第一种情况看到了动作，但第二种情况仅仅观察到动作 硕士学位论文第二章相关技术研究 的后果，收到的怒状态改变的报告。从这个状态的变化中可以推断出肯定有一个 行麓导致了它的敬变，恣簸蔹瑟接甑窭一个未瑟察弱匏季亍为。 ( 2 ) 计算机网络安全 由予瓣终安全领域敬特殊瞧，痰翊谈澍嚣要考瘪以下攘瑾戆鞠素：罄分有彦 的规划，多重并发的规划，以及多种可能性的假潋。下面依次讨论。 部分凑痔戆援划：攻赘卷的嫒划往往零的灵活。铡翅对系统进行l p 扫接 和端口扫描。下面的步骤可以在两个顺序上互相交叉。 1 ) 攘测一堆l p 地蛙然后对其中鲍每一个p 避行端掰扫捶。 2 ) 对每一个探测到的i p 立即进行端口扫描。 虽然只有当主规黔i p 地址被探测到以后才熊避 亍端鄹的扫撼，但在这些行 动的顺序上并没有约束。这意味蓿端口扫描的行为是无序的，它只与i p 地址的 探测有关系。因此，端口扫描可以按照很多的合理的顺序进行。 在入工智能的规划谈涮中，邋种在规划步骤中有灵活顺序的被称为部分有序 ( p a r t i a l l yo r d e r e d ) 的规划。而那贱必须按照特定的完整的顺序进行的规划行为， 称作完全有序( t o t a l l yo r d e r e d ) 麓蕊菇。 多重井发的规划：攻海者往往有多个攻击规划。也就是说，他可能窃取一些 禳感豹数据，氇可髓零l 鞠像静瓿器来攻毒葵毽蠢栋。戬 ；誊豹蔑麓谈剐静王箨大部 分都停留在寻找单一的能解释所有行为的最佳规划。但是在网络安全领域中必须 麓谖爱爨攻击者瓣多秘麓巅。 多种可能性的假设：对观察到的行动提供单一的解释往往不怒最佳的解决方 察，瑟鬟要褥多耱可能瞧进毒亍萎 露。骰设瑷察裂懿仅毁是捆描的露必，尽篱它本 身并没有提供攻击者的具体兴趣，但却搦示出攻击者对系统的网络感兴趣。这比 绘出相圆可2 性中蝗其中一静更蠢嫠助，网时也袭明毒多秘可能熬假设寒鳃释鼹 察到的行为，而不是只有一个最可能的。 硕士学位论文 第三章入侵检测系统总体设计 第三章入侵检测系统总体设计 在前面的章节中主要介绍了入侵检测技术的基本概念以及该领域的相关技 术，本章首先在通用入侵检测框架c i d f 的基础上，从数据来源以及检测策略方 面提出一个入侵检测系统的体系结构，然后结合数据挖掘和规划识别技术对系统 的功能进行了划分和设计。 3 1 入侵检测系统的体系结构 根据事件产生器的数据来源，入侵检测系统的体系结构同时使用基于主机的 数据源和基于网络的数据源。主机数据源主要通过分析系统的审计数据( 如系统 日志、应用程序日志等) 来发现可疑的活动，从而检测出入侵行为。结构如图 3 - 1 所示。 图3 - 1 基于主机的入侵检测系统结构图 基于主机的入侵检测系统的优势在于：针对性强、检测准确性高、适于检测 复杂的攻击、不受交换式网络环境和数据加密的影响。 基于主机的i d s 的缺点主要在于主机采集器要针对特定的平台，对网络行为 不易领会，加大了系统负担，所需安装的主机采集器数量众多等。 网络数据源主要根据网络流量、网络数据包和协议来分析检测入侵，基本过 程如图3 2 所示【”l 。 硕士学位论文第三章入侵检测系统总体设计 图3 2 基于网络的入侵检测系统结构图 图中嗅探器的作用是按一定的规则从网络上获取与安全事件相关的原始数 据包，然后传递给入侵分析引擎模块进行安全分析判断。入侵分析引擎模块将嗅 探器接收到的数据包结合网络安全数据库进行分析，把分析的结果传递给管理 配置模块。管理配置模块的主要功能是管理其他模块的配置工作，将分析引擎 的结果以有效的方式通知给网络管理员。 基于网络数据源的优点在于：适用范围广、性价比高、隐蔽性好、对主机和 网络的性能影响较小，并且适于检测基于网络协议的攻击方法。 基于网络的i d s 也受到一些技术的限制，其缺点是不能精确知道目标系统发 生的事件，在交换式的以太网中难以配置，以及经过加密的网络数据包使得n i d s 难以发现异常数据等。 因为这两种数据源备有其优缺点，并且相互之间呈现不可代替性，所以为了 收集更加