（计算机应用技术专业论文）基于数据挖掘的入侵检测技术研究.pdf

大连理工大学硕士学位论文 摘要 随着人类社会信息化程度不断提高，对网络的依赖性日益增强，计算机网络安全引 起人们的广泛关注。入侵检测是一种通过实时监测目标系统来发现入侵攻击行为的安全 技术，己成为网络安全领域中的一个研究热点。然而，传统的入侵检测系统在有效性、 适应性和扩展性方面都存在不足。针对这些不足，本文将数据挖掘的方法应用到传统入 侵检测系统和网页入侵检测中，对现有模型和方法进行改进，提高检测效果。 本文首先对入侵检测技术的背景进行了简要的说明和归类，并对入侵检测的技术趋 势进行了详细的分析和讨论。然后介绍数据挖掘的知识和具体方法，并就数据挖掘在入 侵检测中的应用进行详细介绍。数据挖掘技术是一个强有力的数据处理工具，将数据挖 掘技术应用于传统的入侵检测系统中，。能够优化检测模型，提高整个系统的检测性能， 有效的减少整个系统的虚假报警率和误警率。 针对s n o r t 入侵检测系统不能检测新的入侵行为的缺点，本文在第四章提出一种基 于规则泛化的s n o r t 入侵检测系统的改进模型。该模型结合s n o r t 规则的特征和数据挖 掘中的知识，提出聚类泛化和最近邻泛化两种新的规则泛化方法来改进规则，增强s n o r t 的检测能力，从而达到识别更多入侵行为的目的。此外，网页入侵也是目前亟待解决的 一个安全问题，而传统的基于病毒特征的网页检测方法已不能适应现在病毒产生快和变 形多的特点，针对这个问题，本文在第五章提出基于数据挖掘和系统调用的网页安全检 测模型。该模型首先使用布隆过滤器对检测过的网页进行快速过滤，通过数据挖掘中的 决策树模型来建立系统调用的正常访问模式，以此来检测可疑网页中病毒入侵的异常访 问行为。 基于数据挖掘的入侵检测是一个非常活跃的研究领域。本文在最后给出在今后需要 研究和改进的方向。 关键词：入侵检测；数据挖掘；规则泛化；网页安全检测 基于数据挖掘的入侵检测技术研究 r e s e a r c ho ni n t r u s i o nd e t e c t i o nb a s e do nd a t am i n i n g a b s t r a c t w i t ht h ei n c r e a s eo fi n f o r m a t i z a t i o nl e v e la n de n h a n c e m e n to fd e p e n d e n c eo nc o m p u t e r n e t w o r k sf o rh u m a ns o c i e t y ，c o m p u t e rn e t w o r ks e c u r i t yh a sa r o u s e de x t e n s i v ea t t e n t i o n i n t r u s i o nd e t e c t i o ni sas e c u r i t yt e c h n o l o g yt od e t e c ti n l r u s i o nt h r o u g hm o n i t o r i n gt h et a r g e t s y s t e mi nr u n t i m e n o wi th a sb e c o m eah o tr e s e a r c hi n t h ef i e l do f n e t w o r ks e c u r i t y h o w e v e r ， c u r r e n ti n t r u s i o nd e t e c t i o ns y s t e m sl a c ke f f e c t i v e n e s s 。a d a p t a b i l i t ya n de x t e n s i b i l i t y a i m e da t f i x i n gt h e s es h o r t c o m i n g s ，t h i st h e s i sb r o u g h td a t am i n i n gt oi d sa n dw e b p a g es e c u r i t y ，a n d e n h a n c e dt h ec u r r e n tm o d e la n dm e t h o d st oi m p r o v et h ed e t e c t i o nr a t e t m st h e s i sf i r s tp r o v i d e dt h eb a c k g r o u n do ni d sa n dc l a s s i f i c a t i o n0 fi d s t h e n d i s c u s s e dm u c hd e t a l la b o u tt h ef u t u r eo fi d s w ep r o v i d e dt h ek n o w l e d g eo fd a t am i n i n g 。 m a n ym e t h o d sa n dt h ea p p l i c a t i o n si ni n t r u s i o nd e t e c t i o n n l ed a t am i n i n gt e c h n o l o g yi sa s t r o n g l yd a t a - d e a l i n gt 0 0 1 t h r o u g hu s i n gt h ed a t am i n i n gt e c h n o l o g yi n t oi d s t od e a l 、) l ，i 也t h e n u m e r o u sd a t a , w ec a ni m p r o v et h ed e t e c t i o nm o d e la n dt h ed e t e c t a b i l i t yo ft h ew h o l ei d s f i n a l l yr e d u c ei t sr a t e so ff a k ea l e r ta n de r r o ra l e f t an e wm o d e lf o rs n o r ti n t r u s i o nd e t e c t i o ns y s t e mb a s e do nt h et h e o r yo fr u l e g e n e r a l i z a t i o nw a sp r o p o s e di nc h a p t e r4 t os o l v et h ep r o b l e mt h a ts n o r ts y s t e mw a sp o w e r l e s s t of i n dn e w t y p e so fi n t r u s i o n s i nt h en e wm o d e l ，c o m b i n i n gt h ec h a r a c t e r i s t i e so fs n o r tr u l e s a n da l g o r i t h m si nd a t am i n i n g ，b o t hc l u s t e rg e n e r a l i z a t i o na n dn e a r e s tn e i g h b o rg e n e r a l i z a t i o n w e r ea l s op r o p o s e dt oe n h a n c et h ed e t e c t i o na b i l i t yo fr u l e sa n da c h i e v et h eg o a lo fd e t e c t i n g m o r ei n t r u s i o n s a sw ek n e wt h a ti n t r u s i o nb a s e do nw e b p a g ei sac r i t i c a lp r o b l e mn o w ， h o w e v e r , t r a d i t i o n a lw e b p a g ee v a l u a t i o nm e t h o d sb a s e do nt h ev i r u sc h a r a c t e r i s t i e sc a l ln o t m e e tt h ef e a t u r e so fr a p i dd e v e l o p m e n ta n dq u i c kd e f o r m a t i o no fv i r u s ，a c c o r d i n gt ot h i s p r o b l e m , an e wm o d e lb a s e do nd a t am i n i n ga n ds y s t e mc a l l sw a sp r o p o s e dt od e t e c tv i r u si n w e b p a g ei nc h a p t e r 5 n l en e wm o d ef i r s tf i l t e r e dt h ew e b p a g eb yb l o o mf i l t e r ，t h e n a u t o m a t i c a l l yl e a r n ta n db u i l tt h en o r m a la c c e s sm o d eb yd e c i s i o nt r e et od e t e c tt h ea b n o r m a l a c c e s sb e h a v i o r sg e n e r a t e db ym a l i c i o u sw e b p a g e 1 1 1 er e s e a r c ho ni d sb a s e do nd a t am i n i n gi sv e r yh o ti nn e t w o r ks e c u r i t y i n 也el a s t c h a p t e r w ep r e s e n ts e v e r a ld i r e c t i o n so fi m p r o v e m e n tf o ro u rf u t u r er e s e a r c h k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；d a t am i n i n g ；r u l eg e n e r a l i z a t i o n ；w e b p a g e s e c u r i t yd e t e c t i o n i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：基王数握挖掘鲍堡捡测技盔珏冠 作者签名：j 挚址址日期：4 坦月正日 大连理工人学硕七学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：基王数握挖握鲍馒检测拉本盈究 作者签名：奎红主遗 日期：二兰塑一年j 三月监日 导师签名： 起蒸，日期：2 1 ：i年卫月巫日 大连理工大学硕士学位论文 1绪论 1 1 研究背景和意义 随着i n t e m e t 迅速发展，网络已成为人们不可缺少的信息来源。网络改变了人们的 生活和工作方式，使信息的获取、传递、处理和利用更加高效、迅速。中国互联网络信 息中，凸( c n n i c ) 于2 0 0 9 年1 月发布了第二十三次中国互联网络发展状况统计报告l lj 。 报告显示，较2 0 0 8 年增长4 1 9 ，互联网普及率达到2 2 6 ，高于全球平均水平。与此 同时，调查显示，过去半年来，9 0 6 的中国网民使用过宽带接入互联网。互联网正在 迅速的发展，给人们的日常生活和工作带来了极大的便利。人们在得益于网络的同时， 其上网的数据安全性和人们自身的利益受到了严重的威胁。 由于计算机网络的广泛使用和网络之间信息传输量的急剧增长，入侵行为正在不断 的扩大，已经由早期的探索互联网本身或者检验自身机能的攻击演变为出于经济、政治 或者军事利益驱动，有目的、有计划、大规模的入侵。网络信息系统安全的重要性也已 得到人们的共识。如下图所示1 2 】，随着时间的推移，攻击的手段和原理越来越复杂，而 攻击的工具却越来越自动化，使得攻击不再是黑客的专利，普通的网民都可以实施一些 攻击，这对网络安全工作提出了很大的挑战。 f i g 1 1 d e v e l o p m e n t o fa t t a c k s 基于数据挖掘的入侵检测技术研究 传统的安全机制主要包括：数据加密技术、访问控制技术、认证技术、数据完整性 控制技术、安全漏洞扫描技术、防火墙技术等。其中，防范网络攻击最常用的方法是防 火墙( f i r c w a l l ) 。防火墙是指安装在内部网络与外部网络之间或者网络与网络之间的可以 限制相互访问的一种安全保护措施。防火墙是在被保护网络周边建立的，分割被保护网 络与外部网络的系统，它在内部网与外部网之间形成了一道安全保护屏障。防火墙作为 一种边界安全，能够有效地保护网络内部的安全，并在保护网络安全中起到了重要作用。 从理论上讲，防火墙属于底层的网络安全技术，它保护的对象是网络中有明确闭合边界 的一个网块，防范对象则是来自于被保护网块外部的网络安全威胁。防火墙作为网络安 全的一种防护手段得到了广泛的应用，它可以起到一定的防护作用。但是，防火墙技术 是一种被动式防御的访问控制技术，如果仅仅使用防火墙保护网络安全是远远不够的， 防火墙不能提供完全的网络安全性，有如下几个方面的缺点【3 】： ( 1 ) 入侵者可以通过寻找防火墙背后可能敞开的后门而绕过防火墙。 ( 2 ) 防火墙不能阻止发生在内部攻击。如果是个人防火墙( 部署在个人的p c 上) ，则 不能有效阻止发生在p c 内部的攻击；如果是局域网的防火墙，则不能有效阻止发生在 内部网络中的攻击。 ( 3 ) 由于性能的限制，防火墙通常不能提供实时的入侵检测。这是防火墙的过滤原 理所决定的。 ( 4 ) 防火墙无法做到安全与速度的同步提高，一旦考虑到安全因素而对网络流量进 行深入的决策和分析，网络的运行速度势必会受到影响。由于防火墙的主要工作原理是 过滤，所以如果消耗的c p u 资源和时间过长，必然影响用户体验，特别是部署在个人 电脑上的防火墙，不能耗费大量的c p u 资源，所以这就决定了防护墙不能做深入的检 测。 ( 5 ) 防火墙是一种静态的安全技术，需要人工来实施和维护，不能主动跟踪入侵者。 其中主要的安全过滤规则必须要人工创建，不能实时改进。 入侵检测技术是近二十年来继防火墙、数据加密等传统安全机制之后出现的一种主 动保护自己以免受黑客攻击的积极主动的安全防御技术。入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m , m s ) 通过对入侵行为过程和特征的研究，使安全系统能够对入侵事件 和入侵过程做出实时响应。它是一种随着当前网络状态变化而动态响应的安全防御手 段，被认为是防火墙之后的第二道安全闸门。它在不影响网络性能的情况下对网络进行 监测，从而提供对内部攻击、外部攻击和误操作的实时保护，并采取相应的防护手段， 大连理工大学硕士学位论文 这些手段包括记录证据用于跟踪入侵者和灾难恢复、发出警报，甚至终止进程、断开网 络连接等等。 1 2 入侵检测主要的研究方向 自从入侵检测的概念提出以来，广大的信息安全人员提出了很多种检测入侵的方法 2 1 1 3 4 1 ，归纳为如下几个研究方向： ( 1 ) 模式匹配 模式匹配方法主要用于误用检测。它建立一个攻击特征库，并检查发送过来的数据 是否包含这些攻击特征，然后判断它是不是攻击。这是最传统、最简单的入侵检测方法。 它的算法简单、准确率高，缺点是只能检测已知攻击，模式库需要不断更新。另外，对 于高速大规模网络，由于要分析处理大量的数据包，因此这种方法的检测速度慢也将成 为限制其广泛应用的因素。 ( 2 ) 统计分析 统计分析用于异常检测。基于统计的异常检测方法是发展最早，也是最成熟的异常 检测技术。一般来讲，这种方法就是利用统计理论提取用户和系统正常行为的特征轮廓， 通过设置极限阈值等方法，将检测数据与已有的正常行为加以比较，如果超出极限值， 就认为是入侵行为。常用的入侵检测统计分析模型有：操作模型、方差、多元模型、马 尔柯夫过程模型、时间序列统计分析。其最大优点是不需要预先知道安全缺陷，它可以 “学习 用户的使用习惯，从而具有较高的检测率与可用性。但是，它的“学习 能力 也给入侵者通过逐步“训练”使入侵事件符合正常操作的统计规律的机会，从而透过入 侵检测系统。如何选择要监视的衡量特征，以及如何在所有可能的衡量特征中选择合适 的特征子集，才能够准确预测入侵活动，是统计方法的关键问题。统计分析中常用的是 贝叶斯概率统计方法【5 】，通过统计大量的数据的概率，运用贝叶斯公式对检测的数据进 行计算求概率，作为判断其入侵程度的标准。 ( 3 ) 专家系统 专家系统主要针对误用检测，也可用于异常检测。无论是误用检测还是异常检测， 专家系统都是用规则来描述行为的。用专家系统对入侵进行检测经常是针对有特征的入 侵行为。专家系统的建立依赖于知识库的完备性，知识库的完备性又取决于审计记录的 完备性与实时性。审计事件被表述成有语义的事实，推理引擎根据这些规则和事实进行 判定。入侵的特征提取与表达是入侵检测系统的关键。该方法用基于规则的语言为已知 攻击建模，增加了审计数据的抽象性。运用专家系统防范有特征入侵行为的有效性完全 取决于专家系统知识库的完备性。 基于数据挖掘的入侵检测技术研究 ( 4 ) 状态迁移 状态迁移也多用于误用检测。状态迁移技术使用系统状态和状态转换表达式来描述 和检测已知入侵，速度快，灵活性强。实现入侵检测状态转换最主要的模型有两种：状 态迁移分析模型和有色p e t r i 网。状态迁移分析模型使用高层状态迁移图来表示和检测 已知入侵。它将攻击表示成一系列被监控的系统状态迁移。攻击模式对应系统状态，并 具有迁移到另外状态的条件。状态迁移分析模型的优点在于状态迁移图提供了一种直观 的、高层次的、与审计记录无关的渗透概要描述。另外，基于状态的特征检测可以使攻 击行为在尚未到达侵入状态之前被检测到，从而预先采取响应措施阻止攻击行为。但是 它的攻击模式只能说明事件序列，因此不适合描述更复杂的事件。 基于有色p e t r i 网状态转移的误用检测系统具有检测效率高、能自动响应、可跨平 台移植等优点，另外，事件的前后相关性和排列顺序可以直接体现出来。其缺陷在于： 尽管在定义入侵特征时可以尽可能的通用化，但对于未知攻击仍然无能为力。 ( 5 ) 神经网络 人工神经网络是模拟人脑加工、存储和处理信息机制而提出的一种智能化信息处理 技术。它是由大量简单的处理单元进行高度互连而形成的复杂网。从本质上讲，人工神 经网络实现的是一种从输入到输出的映射关系。通过训练和学习过程来修改网络互连权 值，神经网络就可以完成所需的输入一输出映射。 来自审计日志或正常网络访问行为的信息，经数据信息预处理模块的处理后即产生 输入向量。使用神经网络对输入向量进行处理，从中提取用户正常行为的模式特征，并 以此创建用户的行为特征轮廓，不需要获取描述用户行为特征的特征集以及用户行为特 征测度的统计分布。显然基于神经网络的方法严重依赖于训练数据的完备性和准确性， 如果训练数据不完整或不准确，则会出现很多的漏报和误报，这就对训练数据提出了很 高的要求。研究人员使用了s o m ( s e l f - o r g a n i z i n gm 印) 神经网络【6 j 对k d d 9 9 的数据进行 检测分类，结果表明神经网络在入侵检测中的强大的识别能力。 ( 6 ) 模糊系统 模糊理论在知识和规则获取中具有重要作用。人类思维、语言具有模糊性，模糊思 维形式和语言表达具有广泛、完美和高效的特征。人们的许多知识是模糊的，模糊知识 在控制和决策中有巨大作用。相对于传统检测方法( 以模式匹配为代表) 对入侵行为的 描述的局限性，模糊理论有着先天的优势，能够对复杂的入侵行为进行描述，进而能够 实现识别入侵的功能。因此，有学者将模糊系统的理论方法用于入侵检测系统中，以实 现对入侵行为的判别。 大连理工大学硕士学位论文 ( 7 ) 遗传算法 遗传算法是研究人员在解决难题的过程中，发现生物界中的一些活动规律正好能够 应用于解决这类问题的，进而进行类比提出了遗传算法，比如基于基因的遗传变异提出 的遗传算法、基于蚂蚁活动规律提出的蚁群算法和利用冶炼中的经验提出的模拟退火算 法。遗传算法能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜 索过程，从而得到最优解或次最优解，而且遗传算法有简单、通用、鲁棒性强的特点， 适用于并行分布处理，应用范围比较广。遗传算法的优势正好可以用来检测和发现入侵 行为的变种，不但能够识别大量的新的入侵行为，而且能够较早的发现潜在的系统漏洞， 从而提前做出防范措施。 ( 8 ) 数据挖掘 数据挖掘最早是从数据库中发展出来的一项技术，它的作用就是从大型数据集中抽 取知识。但是随着数据量的急剧增加和对于大量数据中规律的需求，数据挖掘吸取传统 的统计方法和机器学习的相关方法，提出了分类、聚类、关联分析和发掘规则等多种具 体的挖掘方法，而入侵检测领域正是也需要从大量的数据中提取出入侵特征，然后对实 际的网络数据或日志数据进行分析，从而为各种入侵行为和正常操作建立精确的行为模 式，这需要一个自动的过程，而这正是数据挖掘技术的特长。和神经网络的方法一样， 数据挖掘算法需要一个完备的数据集合，同时也需要根据具体的应用环境选取合适的挖 掘方法。研究人员比较了多种采用数据挖掘的入侵检测方法：k 近邻、最近邻、马氏距 离、基于密度的局部异常点和支持向量机等几种方法 7 1 ，首先对它们的工作原理进行了 描述，然后分别进行了测试和比较。另外明尼苏达大学大学【8 j 使用1 0 种公开的测试数据 集对7 种方法进行测试比较，这7 种方法包括：最近邻、聚类、概率统计、有限状态自 动机和马尔可夫链的三种变体方法。 ( 9 ) 协议分析 协议分析是新一代入侵检测系统探测攻击的主要技术，它利用网络协议的高度规则 性快速探测攻击的存在。协议分析技术的提出弥补了模式匹配技术的一些不足，如计算 量大、探测准确性低等。协议分析技术对协议进行解码，减少了入侵检测系统需要分析 的数据量，从而提高了解析的速度。由于协议比较规范，因此协议分析的准确率比较高。 比如网络层的t c p 协议和应用层协议的分析模块是现在入侵检测系统中的关键模块， 高效率的协议分析模块对于提供入侵检测的效率有重要的作用。 1 3 入侵检测目前存在的主要问题 目前的入侵检测系统存在的问题主要有以下三个方面： 基于数据挖掘的入侵检测技术研究 ( 1 ) 缺乏有效性。当前大部分入侵检测产品中检测入侵的规则和模式以及统计的特 征往往是专家根据经验编写的，然而，就目前复杂的网络状况，单凭专家的经验是不完 整、不精确的。 ( 2 ) 缺乏适应性。编写检测代码时，专家一般着重分析目前已知的各种攻击手法和 系统漏洞，导致入侵检测系统可能无法检测将来出现的未知攻击。又由于其学习方法的 局限性，更新速度慢，使现有的入侵检测系统难以适应目前层出不穷的新的攻击手法和 各种系统漏洞。 ( 3 ) 有限的扩展性。由于入侵检测系统是专家根据经验设计的检测模型，这种模型 具有一定的针对性，只适合特定的网络环境。在新的网络环境中，原有的检测规则和检 测模型一般很难修改，并且也很难与新的检测模型合并。 针对目前网络环境复杂多变，用户及系统产生的审计数据量巨大的现状下，需要一 种更加系统化、自动化的方法来构造入侵检测模型，它可以帮助系统实时监测网络攻击， 扩展系统的安全管理能力，提高信息安全基础结构的完整性。随着各种软件的层出不穷， 新的漏洞不断被发现，黑客入侵的技术日益提高，入侵检测系统需要完成的任务变得越 来越艰巨，本文认为数据挖掘分析技术为入侵检测系统提供了新的方法和思路，它和入 侵检测紧密结合必将极大的提高现有入侵检测系统的性能，同时促进更多数据挖掘分析 算法的提出和应用于入侵检测这个新的领域。 1 4 论文的主要工作和组织结构 本文在数据挖掘和入侵检测理论的基础上，提出了基于数据挖掘的s n o r t 入侵检测 系统的改进模型，同时将数据挖掘技术应用到网页检测的领域，取得了良好的检测效果。 针对s n o r t 系统不能检测新的入侵行为的缺点，提出一种基于规则泛化的s n o r t 入 侵检测系统的改进模型。该模型结合s n o r t 规则的特征和数据挖掘中的知识，提出聚类 泛化和最近邻泛化两种新的规则泛化方法来改进规则，达到识别更多入侵行为的目的。 实验结果表明：在不显著增加误报率的前提下，采用规则泛化的s n o r t 能够检测出原来 系统不能发现的入侵行为。 传统的基于病毒特征的网页检测方法已不能适应现在病毒产生快和变形多的特点， 针对这个问题，本文提出基于数据挖掘和系统调用的网页安全检测模型。该模型首先使 用布隆过滤器对最近检测过的网页进行快速过滤，通过自动分析安全网页的系统调用参 数来建立系统调用的正常访问模式，以此来检测可疑网页中病毒入侵的异常访问行为。 大连理工大学硕士学位论文 最后实现了系统原型并进行性能测试，实验结果表明：本模型对典型恶意网页的检测效 果理想，尤其在对新出现的网页病毒进行检测时明显优于传统方法。 最后，对于本文所做的工作进行总结，并对下一步的研究工作进行讨论，对今后的 工作和学习指明了方向。 本文的组织结构如下： 第二章介绍入侵检测的相关概念和主要方法，并就其发展趋势进行了详细讨论。 第三章首先介绍数据挖掘技术，然后详细介绍数据挖掘在入侵检测领域的应用和相 关的研究工作。 第四章详细本文所设计的基于数据挖掘的s n o r t 入侵检测系统的改进模型。 第五章详细介绍采用数据挖掘技术的网页安全检测系统。 第六章对本文中所作的工作进行总结，并对下一步研究进行讨论。 基于数据挖掘的入侵检测技术研究 2 入侵检测概述 2 1 入侵检测的概念 入侵是对信息系统的非授权访问以及在未经许可的在信息系统中进行的操作【4 】。 入侵检测是对入侵行为的发现，它通过在计算机网络或计算机系统中的若干关键点 收集信息并对收集到的信息进行分析，从而判断网络或系统中是否有违反安全策略的行 为和被攻击的迹象p j 。 美国国家安全通信委员会( n s t a c ) 下属的入侵检测小组( i d s g ) 在1 9 9 7 年给出的关 于“入侵检测 的定义为：入侵检测是对企图入侵、正在进行的入侵或者已经发生的入 侵进行识别的过程【4 】。所有能够执行入侵检测任务和功能的系统，都可称为检测系统， 其中包括软件系统以及软硬件结合的系统。入侵检测系统是安全体系的一种防范措施， 它试图检测、识别和隔离入侵企图或计算机的未授权使用。它不仅能监视网上的访问活 动，还能针对正在发生的攻击行为进行报警，甚至采取相应的阻断或关闭设备的措施。 2 2 入侵检测的分类 随着入侵检测技术的发展，到目前为止出现了很多入侵检测系统，不同的入侵检测 系统具有不同的特征。根据不同的分类标准，入侵检测系统可分为不同的类别。下面就 信息源、分析方法来介绍入侵检测系统的分类【2 】【3 】【4 】。 2 2 1根据信息源进行分类 入侵检测系统对其所监控的网络或主机的当前状态做出判断，并不是凭空臆测，它 需要以原始数据中包含的信息为基础，做出判断。按照信息源，可以将入侵检测系统分 为基于主机的入侵检测系统和基于网络的入侵检测系统。 ( 1 ) 基于主机的入侵检测系统( h o s t b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，h i d s ) 基于主机的入侵检测系统主要用于保护运行关键应用的服务器。它通过监视与分析 主机的审计记录和日志文件来检测入侵。日志中包含发生在系统上的不寻常和不期望活 动的证据，这些证据可以指出有人正在入侵或者已成功入侵了系统。通过查看日志文件， 能够发现入侵企图或已经成功的入侵，并很快地启动相应的应急响应程序。通常，基于 主机的i d s 可监测系统、事件、w i n d o w sn t 下的安全记录以及u n i x 环境下的系统记录， 从中发现可疑行为。当有文件发生变化时，i d s 将新的记录条目与攻击标记相比较，看 它们是否匹配。如果匹配，系统就会向管理员报警并向别的目标报告，以采取措施。 大连理工大学硕士学位论文 基于主机的入侵检测系统不如基于网络的入侵检测系统快捷，但它确实具有基于网 络的系统无法比拟的优点。这些优点包括： 能确定攻击是否成功。主机是攻击的目的所在，所以基于主机的i d s 使用含有 已发生的事件信息，可以比基于网络的i d s 更加准确地判断攻击是否成功。就这一方面 而言，基于主机的i d s 与基于网络的i d s 可以互相补充，网络部分可尽早提供针对攻击 的警告，而主机部分则可确定攻击是否成功。 监控粒度更细。基于主机的i d s 监控的目标明确、视野集中，它可以很容易地 监控系统的一些活动，如敏感文件、目录、程序或端口的存取。 可用于加密的以及交换的环境。加密和交换设备加大了基于网络的i d s 收集信 息的难度，但由于基于主机的i d s 安装在要监控的主机上，根本不会受这些因素的影响。 对网络流量不敏感。基于主机的i d s 一般不会因为网络流量的增加而放弃对网 络行为的监视。 不需要额外的硬件。 基于主机的入侵检测系统的主要缺点是：它会占用主机的资源，在服务器上产生额 外的负载；它缺乏平台支持，可移植性差，因而应用范围会受到严重限制。 ( 2 ) 基于网络的入侵检测系统( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 基于网络的入侵检测系统主要用于实时监控网络关键路径的信息，侦听网络上的 所有分组来采集数据，分析可疑现象。基于网络的入侵检测系统使用原始网络包作为 数据源。 基于网络的i d s 具有以下优点： 速度快。基于网络的监测器通常能在秒级甚至微妙级发现问题。而大多数基于 主机的产品则要依靠对最近几分钟内审计记录地分析。 隐蔽性好。一个网络上的监测器不像一个主机那样明显和易被存取，因而也不 那么容易遭受攻击。基于网络的监视器不运行其他的应用程序，不提供网络服务，可以 不响应其他计算机，因此可以做得比较安全。 视野更宽。基于网络的i d s 可以检测主机检测不到的攻击，还可以检测不成功 的攻击和恶意企图。 较少的监视器。由于使用一个监视器就可以保护一个共享的网段，所以不需要 很多的监视器。相反的，如果基于主机，则在每个主机上都需要一个代理，这样花费昂 贵，而且难于管理。 攻击者不易转移证据。基于网络的i d s 使用正在发生的网络通信进行对实时攻 击的检测，被捕获的数据不仅包括攻击的方法，而且还包括可识别黑客身份的信息。 基于数据挖掘的入侵检测技术研究 操作系统无关。基于网络的i d s 作为安全监测资源，与主机的操作系统无关。 可以配置在专门的机器上，不会占用被保护的设备上的任何资源。 基于网络的入侵监测系统的主要缺点是：只能监视本网段的活动，精确度不高；在 交换环境下难以配置；防入侵欺骗的能力较差；难以定位入侵者。 2 2 2 根据分析方法分类 可根据系统所采用的检测分析方法，将入侵检测分为两类：异常检测和误用检测。 ( 1 ) 异常检钡t j ( a n o m a l yd e t e c t i o n ) 异常检测是对正常行为建模，根据使用者的行为或资源使用状况是否偏离正常模型 的情况来判断入侵是否发生。在异常检测中，观察到的不是已知入侵行为，而是所研究 的通信过程中的异常现象。这种异常行为可以分为外部闯入、内部渗透和不恰当使用资 源。其结构如图2 1 所示： 图2 1 异常检测结构图 f i g 2 1 s l r u c t u r eo fa n o m a l yd e t e c t i o n 异常检测首先收集一段时期正常操作活动的历史数据，并假定正常活动相对稳定， 建立代表用户、主机或网络连接的正常行为轮廓。检测入侵活动时，异常检测程序产生 当前的活动轮廓并同正常轮廓比较，若当前的活动轮廓与正常轮廓的差异程度超过设定 的阈值即认为是入侵。它最大的优点是有可能检测出以前从未出现过的攻击方法。但由 于不可能对整个系统内的所有用户行为进行全面的描述，而且每个用户的行为是经常改 变的，所以它的主要缺点在于误检率很高，而且配置和管理起来比较复杂，尤其在用户 数目众多，或工作方式经常改变的环境中。入侵者还可以通过恶意训练的方式，使最初 认为是异常的行为，经一段时间训练后被认为是正常的。 ( 2 ) 误用检预, u f m i s u s ed e t e c t i o n ) 大连理工大学硕士学位论文 误用检测是对不正常的行为进行建模，是基于已知的系统缺陷和入侵模式，故又称 特征检测。它通过分析入侵过程的特征、条件、排列以及事件间的关系来描述入侵行为 的迹象。与异常入侵检测相反，误用入侵检测主要是按预先定义好的入侵模式对用户活 动行为进行模式匹配来检测入侵行为。如果入侵者攻击方式恰好匹配检测系统中的模式 库，就能准确发现违背安全策略的行为。它能直接检测不利或不可接受的行为。其结构 如图2 2 所示： 图2 2 误用检测结构图 f i g 2 2 s t r u c t u r eo fm i s u s ed e t e c t i o n 误用检测由于依据具体模式库进行判断，所以检测准确率很高，产生的误报比较少。 但它需要不断地更新攻击特征库，才能检测出比较新的攻击。因此，系统的灵活性和自 适应性比较差。面对日益增加的大量网络数据流，不能及时更新模式库，势必会使得入 侵检测的漏报率明显增加。比较而言，误用检测比异常检测具备更好的确定解释能力， 即明确指示当前发生的攻击手段类型，因而在诸多商用系统中得到广泛的应用。另一方 面，误用检测具备较高的检测率和较低的误报率，开发规则库和特征集合相对于建立系 统正常模型而言，也要更方便和更容易。现在实际商用的系统，大多数都是基于误用入 侵检测技术的，也有一些入侵检测系统结合了误用检测和异常检测方法，以克服这两种 方法各自的缺点。 2 3 入侵检测的技术趋势 通过阅读大量的文献并进行总结，提出如下的几个研究方向： 2 3 1大流量数据的检测 为了处理网络流量的急剧增加，研究人员提出以下几种方法： 基于数据挖掘的入侵检测技术研究 ( 1 ) 使用硬件：其中有研究人员通过增加网卡的功能1 9 】，它不仅有接受数据、发送 数据的功能，而且具有自己的内存和处理器，从而直接在网卡处就可以完成安全检测， 不必再利用主机本身的资源精选检测了。另外，b r u i j nw 等人设计并实现s a f e c a r d 1 0 】处 理大流量数据，可以在g 级的网卡上进行作业处理。 但是由于检测流程的复杂性，完全用硬件实现对目前的工艺流程而言，还有很多的 挑战和关键技术需要攻克。 ( 2 ) 改进软件：由于原来的数据捕获机制都是对操作系统的基础上做再封装，并没 有针对入侵检测的情况进行优化，所以很多的研究人员提出了零拷贝技术来提高数据捕 获能力，来应对带检测的网络流量急剧增加的问题。 但是显然改进软件的方法对性能的提高很有限，所以随着网络的快速发展，如何处 理大规模的数据仍将是入侵检测的研究重点。 2 3 2 应用层协议数据的检测 由于网络层协议的检测只是针对单个t c p 包进行的，不能对多个包组成的完整会 话数据进行检测，会漏报大量的入侵，所以应用层协议的检测就显的很必要。由于不同 的操作系统对于t c p 会话数据进行重组的机制是不尽相同，为黑客提供了入侵的可能， 比如t c p 会话的重叠攻击，这就对i d s 的应用层检测提出了更高的要求，正是为了应 对这种情况，n o v a kj 【l l 】提出了基于目标的入侵检测，即按照服务的系统的操作系统自 动调整i d s 自身的重组机制，达到检测一致的数据的目的。 r a j k u m a rk v 1 1 2 】对h t t p 协议进行了细致的分析，提出决策树的分析模型。r i e t t a f f l 3 】通过对应用层协议的数据进行分析，结合s q l 语句的特点来检测s q l 注入攻击。 j u a nm 【1 4 】对h t t p 协议的数据进行统计分析，发现正常数据和异常数据的区分特征，以 便应用于异常检测中。天津大学的信息安全研究所【l5 】提出并行算法来加快协议的处理过 程。i n g h a mkl 【j 6 1 在他的博士论文中对各种h t t p 协议的检测方法进行了研究和对比， 包括基于马尔可夫链、有限状态机、字符分布等多种方法，为应用层协议的检测分析提 供了大量的数据支持。 传统的入侵检测都是根据端口号来识别应用层协议，比如8 0 端口是h t t p 协议， 2 0 、2 1 端口是f t p 协议等，但是这并不是标准规定的，而是人们约定的方法，而且随 着网络的发展，越来越多的应用并不适用这种约定，所以针对这个问题，h o l g e rd r e g e r 等提出了动态的基于语义的应用层协议识别方法，而不仅仅根据端口号，达到了很好的 识别效果。 大连理工大学硕士学位论文 2 3 。3 分布式的入侵检测 1 9 9 8 年，s e c u r en e t w o r ki n c 的报告指出了i d s 的许多弱点，其中主要一点是由于 当代网络发展迅速，网络传输速率大大加快，i d s 工作负担加重，同时会造成i d s 对攻 击活动检测的可靠性降低。为解决这个问题，提出了基于硬件的入侵检测系统，利用高 速专业的硬件来应对大规模的数据量；同时也提出分布式的入侵检测系统d i d s ( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) ，将检测功能分散到网络中的单机上，它和集群系 统的区别是每个单机都有完整的检测功能，而且管理相对松散；而集群中的各个结点是 紧密配合的，而且集中运行在一个小型的局域网中。 集群是一组计算机系统，通过一系列计算机软件和硬件连接起来，高度紧密地协作 完成计算工作【1 7 】。在某种意义上，可以被看作是一台计算机。集群系统中的单个计算机 通常称为结点，一般通过局域网连接，但也有其它连接方式。计算机集群通常用来改进 单个计算机的计算速度，由于集群的价格较大型机低，而且有可扩展，和有容错性的优 点，所以应用广泛。在开源的l i n u x 系统上实现有大批的集群技术，分为以下几类：高 可用性集群，著名的h e 砷e a t 【1 8 】就是其中的关键模块；负载均衡集群：运行时通过一个 或者多个前端负载均衡器将工作负载分发到后端的一组服务器上，从而达到整个系统的 高性能和高可用性。 在当前硬件能力有限的情况下，搭建集群是实现高速网络环境下入侵检测的有效途 径之一。计算机集群的高可用性，可扩展性，使得基于集群技术的入侵检测系统能更好 的适用网络带宽不断增加的趋势。 日本学者提出了对基子集群的入侵检测系统的测试方法1 1 9 】，并给出了详细的测试方 案，来测试集群对入侵检测系统的性能的提高程度，结果表明：虽然集群不能达到“线 性”的程度，但是可以明显提高数据捕获能力和检测效果。 在a g e n t 智能体的发展的背景下，人们提出了将a g e n t 技术应用到分布式的入侵检 测中，其中中科院信息安全所提出了基于a g e n t 的分布式入侵检测系统，使用a g e n t 来 提高分布式系统的智能性，提高检测效果。 2 3 4 报警的整合 由于入侵检测系统产生了大量的报警，不能只依赖安全监控人员人工的查看，所以 对报警的处理就成为入侵检测的一个研究方向 m a s s i c o t t ef 2 0 提出结合现有的多个漏洞库来发现重要的漏洞，作为衡量警报的重要 程度，减少误报和不紧要的警报。另外有研究人员提出使用具有自适应性的分类来减少 基于数据挖掘的入侵检测技术研究 误报【2 1 1 ，通过将同一个入侵引起的报警归类为一种报警，减少安全人员的处理量，提高 工作效率。 通过对报警的进步处理，不但可以较少监控人员的工作量，而且能够从报警中发 现特殊的和新的攻击行为，所以对报警的处理是一个很有潜力的研究方向。 2 3 5 特征库的协同 现在的入侵检测都是基于特征检测的，多属于误用检测，而且每个入侵检测系统都 有自己的特征描述形式和特殊的特征库，这些都阻碍了入侵检测的发展，虽然很多的安 全研究人员已经看到了这个问题，并且提出了一些统一的协议标准，但是效果甚微，所 以更好的整合特征库是一个有重大意义的工作。 m a h o n e ym 2 2 1 对攻击进行了研究和分析，为检测这些入侵行为提供了入手资料。普 渡大学的s a n d e e pk 2 3 】的博士论文详细研究了各种入侵方法，为安全人员检测入侵提供 了参考。 此外，国内的清华大学提出一个交换协议( i s e p ) 来实现对特征库的实时同步更新 【2 4 1 ，客服基于特征的检测系统的更新问题