（计算机系统结构专业论文）svm在主干网络入侵检测中的研究与分析.pdf

学位论文版权使用授权书。删 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密“ 学位论文作者签名：七一 i f 年6 月l 弓日 二翼菩一 似u 年( ) 月。 日。 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中己注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：- k 一 日期： 洳1 1 年6 月be l 江苏大学硕士学位论文 摘要 入侵检测技术是网络安全领域中不可或缺的一项重要技术。在主干网络中， 入侵检测对所有的数据包逐一进行分析是不切实际的，必然导致检测的滞后， 难以达到实时性的要求。目前理想的做法是通过分析网络流量的宏观特征，忽 略网络数据包的微观特征来检测网络中当前存在的攻击，从而在宏观上把握整 个网络的运行状态。所以，本文针对主干网络环境中数据规模十分庞大的问题， 以基于n e t f l o w 的数据流采集技术为基础，使用支持向量机为检测方法，研究 了主干网络中的入侵检测技术。 在众多的入侵检测技术中，支持向量机( s v m ) 是建立在统计学习理论基础 上的一种机器学习方法。其思想是针对两类样本分类问题，具有小样本、高泛 化能力的优点，通过内积核函数将原低维空间变换到一个高维的特征空间，再 在高维特征空间中构造线性判别函数来实现原低维空问中的非线性判别函数， 解决了“维数灾难”问题，也是正好解决网络入侵判断复杂的办法之一。将支 持向量机技术应用于入侵检测中，能缩短学习时间，提高入侵检测准确率，增 强系统实用性。 针对网络数据量大、占用资源多的问题，本文应用了基于粗糙集的入侵检 测数据约简算法。该算法包括特征选择与属性值约简两个部分。该方法能简化 训练数据集，减少训练及检测时间，减小数据存储代价。 本文提出了一种改进的多类s v m 算法：分布式s v m 算法。在此算法基础 上构建了分布式s v m 检测模型，该s v m 检测模型与目前大多数基于传统两类 s v m 的入侵检测模型相比不仅能检测攻击而且能对攻击类型作出大致的分类。 分布式多类s v m 算法与传统的两种多类s v m 算法相比能够使分类器的数目最 小化，易于实现，并能提高检测效率。 在实际的实验中，通过不同规模的训练数据集对分布式s v m 检测算法进 行了测试，利用数据约简算法进行了特征选择与冗余值消除，并针对三种多类 s v m 算法进行了对比实验。结果表明在5 类样本的情况下，分布式s v m 算法 在保证了检测精度的前提下，训练时间比一对多s v m 算法节省了大约2 5 的时 间，比一对一s v m 算法节省了近5 0 9 6 的时间。 学硕士学位论文 网络流，数据约简，多类 江苏大学硕士学位论文 a b s t r a c t t h ei n t r u s i o nd e t e c t i o nt e c h n o l o g yi sa ne s s e n t i a lt e c h n o l o g yi nt h ei n f o r m a t i o n s e c u r i t yi nl a r g e s c a l en e t w o r k ，i n t r u s i o nd e t e c t i o nm e t h o di su n r e a l i s t i ct oa n a l y z e e a c hp a c k e t c u r r e n t l y , t h eb e t t e rm e t o di st oa n a l y z et h em a c r of e a t u r e so ft r a f f i c ， i g n o r i n gt h em i c r oc h a r a c t e r i s t i c so fp a c k e t s a c c o r d i n gt ot h em a s s i v ed a t as e t so f l a r g e s c a l en e t w o r k ，w eu s e t h en e t f l o wt e c h n o l o g yf o rd a t ac o l l e c t i o n a m o n gt h ev a r i e t yo fa n o m a l yd e t e c t i o na p p r o a c h e s ，t h es u p p o r tv e c t o r m a c h i n ei sam a c h i n el e a r n i n gt e c h n o l o g yb a s e do ns t a t i s t i c a ll e a r n i n gt h e o r y i ti s a i m e da tt w ok i n d so fs a m p l ec l a s s i f i c a t i o np r o b l e mw h i c hh a st h ea d v a n t a g e so f s m a l ls a m p l ea n dh i g hg e n e r a l i z a t i o na b i l i t ya n di t st h e o r e t i c a lf o u n d a t i o ni st h e b i g g e s te d g ea l g o r i t h m t h r o u g ht h ei n n e rp r o d u c tk e r n e lf u n c t i o n st h eo r i g i n a l l o w d i m e n s i o n a ls p a c ew a st r a n s f o r m a t e dt oah i g h d i m e n s i o n a lf e a t u r es p a c e l i n e a r d i s c r i m i n a n tf u n c t i o nw a sc o n s t r u c t e di nt h eh i g h d i m e n s i o n a lf e a t u r es p a c et or e a l i z e t h en o n l i n e a rd i s c r i m i n a n tf u n c t i o ni nt h eo r i g i n a ls p a c e i th a ss o l v e dt h e ”d i m e n s i o n d i s a s t e r ”p r o b l e m s u p p o r tv e c t o rm a c h i n et e c h n o l o g yu s e di ni n t r u s i o nd e t e c t i o n ，c a ns o l v et h e p r o b l e mo fh i g h d i m e n s i o n a ld a t aa n dl i n e a ri n s e p a r a b l ea n dr e d u c et h el e a r n i n gt i m e i ta l s oc a ni m p r o v et h et e s t i n ga c c u r a c ya n de n h a n c et h es y s t e mp r a c t i c a b i l i t y t or e d u s et h eo c c u p a n c yo fr e s o u r c e s ，t h i sp a p e rp r e s e n t e da na l g o r i t h mo fa t t a c k f e a t u r e ss e l e c t i o nb a s e do nm u t u a li n f o r m a t i o ni n c l u d i n gf e a t u r es e l e c t i o na n dv a l u e r e d u c t i o n t h ee x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a ti tc a nr e d u c et h ec o s to f m e m o r ya n dt e s t i n gt i m e m o s to ft h ei n t r u s i o nd e t e c t i o nm o d e lb a s e do ns u p p o r tv e c t o rm a c h i n ec a n d e t e c t i o na t t a c k sb u tc a n ti d e n t i f yt h et y p eo ft h ea t t a c k s t h i sp a p e rp r e s e n t e da d i s t r i b u t e ds v md e t e c t i o nm e t h o dw h i t c hi sb e t t e rt h a nt h et w ok i n d so ft r a d i t i o n a l m u l t i - - c l a s ss v ma l g o r i t h m i tc a nm i n i m i z et h en u m b e ro fc l a s s i f i e rw h i t c hc a n e f f e c t i v e l yi m p r o v et h ed e t e c t i o ne f f i c i e n c y , a n db ee a s yt ob ei m p l e m e n t a t e d i nt h ee x p e r i m e n t ，w eu s et r a i n i n gd a t as e to fd i f f e r e n ts c a l ef o rd i s t r i b u t e ds v m d e t e c t i o na l g o r i t h mt e s t i n ga n du s et h ed a t ar e d u c t i o na l g o r i t h mt os e l e c t i o nf e a t u r e i i i 江苏大学硕士学位论文 a n de l i m i n a t er e d u n d a n tv a l u e t h e nw ec o m p a r e dt h et h r e ek i n d so fm u l t i s v m a l g o r i t h m t h er e s u l t ss h o w e dt h a tw h e nt h es a m p l e sh a v e5t y p e s ，e n s u r i n gt h e m e a s u r i n ga c c u r a c y , d i s t r i b u t e ds v ma l g o r i t h m ss a v e dm o r et h a na b o u t2 5 o f t h e t r a i n i n gt i m et h a nal v - rs v ma l g o r i t h ma n ds a v e dn e a r l y5 0 t h a n1 - v _ 1s v m a l g o r i t h m k e yw o r d s ：i n t r u s i o nd e t e c t i o n ，s v m ，n e t f l o w , d a t ar e d u c t i o n ，m u l t y - c l a s s i v 江苏大学硕士学位论文 目录 第一章绪论1 1 1研究背景及意义1 1 1 1 网络安全面临的威胁1 1 1 2 入侵检测的必要性1 1 2国内外研究现状2 1 2 1 入侵检测研究现状一2 1 2 2i d s 在中国3 1 2 3 基于支持向量机的入侵检测研究现状与局限性4 1 3论文研究内容与组织结构5 1 3 1 论文研究内容5 1 3 1 论文组织结构5 第二章入侵检测技术7 2 1入侵检测系统原理7 2 2 入侵检测系统的工作流程8 2 3入侵检测系统的分类8 2 3 1网络i d s 与主机i d s 9 2 3 2 滥用检测与异常检测9 2 4滥用检测常用技术1 0 2 5异常检测常用技术1 1 2 6入侵检测的误警分析1 4 2 7 本章小结1 5 第三章统计学习与支持向量机理论1 6 3 1统计学习理论1 6 3 1 1v c 维1 6 3 1 2 结构风险最小化1 7 3 2 支持向量机基本理论1 9 3 2 1 线性支持向量机1 9 3 2 2 非线性支持向量机2 1 3 2 3 多类支持向量机n 9 肋3 2 3 v 江苏大学硕士学位论文 3 3支持向量机训练算法2 5 3 4 核函数2 6 3 5模型选择方法2 8 3 6支持向量机技术特点小结3 0 3 7 本章小结3 0 第四章s v m 入侵检测系统模型3 l 4 1 系统模型3 1 4 2 数据采集_ 3 2 4 2 1流的概念及流的特征挖掘3 2 4 2 2 基于n e t f l o w 的流采集及流的特征提取3 3 4 3标准数据处理3 7 4 3 1 标准数据描述3 7 4 3 2 流生成算法3 8 4 4基于粗糙集的数据约简4 4 4 4 1 粗糙集理论基础4 4 4 4 2 数据约简算法设计4 7 4 5分布式s v m 检测j 5 3 4 6 本章小结5 4 第五章实验与结果分析f 5 5 5 1网络数据采集5 5 5 2分类器训练5 7 5 2 1 标准数据集生成5 7 5 2 2 数据约简5 8 5 2 3 训练数据集构造及测试5 9 5 3多类s v m 算法对比6 0 5 4检测系统实用性评估6 1 5 5 本章小结6 2 第六章总结与工作展望6 3 6 1 总结6 3 6 2 工作展望6 4 参考文献6 5 江苏大学硕士学位论文 致谢6 9 硕士在读期间发表论文7 0 v l i 江苏大学硕士学位论文 v 1 i i 江苏大学硕士学位论文 1 1 研究背景及意义 第一章绪论 信息技术的飞速发展使人类社会由工业时代跨进了信息时代。目前，覆盖 全世界范围的i n t e r n e t 取得了空前发展并正在无时无刻地改变着人们的政治、经 济、教育、文化以及军事等社会生活的方方面面。与此同时，随着网络技术的 发展，互联网上的用户和企业，都面临着不容忽视的安全问题：各种网络入侵 手段层出不穷，网络上的违法行为给广大的用户和企业带来了严重的危害，大 规模的入侵甚至可导致整个企业或者校园局域网崩溃。如何有效地检测网络入 侵行为是近年来研究的关键问题，也是难点问题。 1 1 1网络安全面临的威胁 互联网已经成为我们日常生活中的一部分。在诸多领域中互联网已经成为 人们不可或缺的重要工具。尤其是在商业领域，企业已经将互联网作为企业经 营模式的一个重要组成部分。企业不仅使用诸如网页和电子邮件等互联网应用 程序来和客户进行沟通，而且客户还经常使用可以联网的主机来存储重要的信 息。 任何事物都有其利弊，网络也是如此。互联网帮助企业更有效率的运作， 但同时也使企业更容易受到电脑黑客或者商业对手的攻击，包括窃取商业数据。 这些攻击能够轻易的绕过攻击防御机制，难于被检测到。为了防御这些网络攻 击，人们开始研究各种入侵检测系统。 1 1 2入侵检测的必要性 传统的网络安全技术，如防火墙、加密等技术，实现的是“分而治之”的解 决方法，是网络安全防护系统构成的一个环节。从实现的防护功能讲，这些技 术实现的是一种静态的、被动防护，其安全防护的层次处在网络的边界，能阻 止大部分的外部攻击，但是对内部攻击却无能为力。 江苏大学硕士学位论文 入侵检测系统( i d s ) 是依照一定的安全策略，对网络、系统的运行状况进行 监视，尽可能发现各种攻击企图、攻击行为或者攻击结果，以保证网络系统资 源的机密性、完整性和可用性。我们做一个形象的比喻t 假如防火墙是一幢大 楼的门锁，那么i d s 就是这幢大楼里的监视系统。一旦小偷爬窗进入大楼，或 内部人员有越界行为，只有实时监视系统才能发现情况并发出警告。 不同于防火墙，i d s 入侵检测系统是一个监听设备，对i d s 的部署，唯一 的要求是ti d s 应当挂接在所有所关注流量都必须流经的链路上。在这里，“所 关注流量”指的是来自高危网络区域的访问流量和需要进行统计、监视的网络报 文。在如今的网络拓扑中，已经很难找到以前的h u b 式的共享介质冲突域的网 络，绝大部分的网络区域都已经全面升级到交换式的网络结构。因此，i d s 在 交换式网络中的位置一般选择在：尽可能靠近攻击源或者尽可能靠近受保护资 源，这些位置通常是： 1 服务器区域的交换机上： 2 重点保护网段的局域网交换机上； 3 i n t e m e t 接入路由器之后的第一台交换机上。 防火墙和i d s 可以分开操作，i d s 是个监控系统，可以自行选择合适的， 或是符合需求的，比如发现规则或监控不完善，可以更改设置及规则，或是重 新设置。入侵检测系统可以说是防火墙系统的合理补充和延伸，如果说防火墙 是一道安全闸门，入侵检测系统则可以说是第二道安全闸门。入侵检测系统在 不影响网络性能的前提下，实时、动态地保护来自内部和外部的各种攻击，同 时有效地弥补了防火墙所能达到的防护极限 1 2 国内外研究现状 1 2 1入侵检测研究现状 19 8 0 年j a m e s p a n d e r s o n 在给一个保密客户写的一份题为计算机安全威 胁监控与监视的技术报告中指出，审计记录可以用于识别计算机误用，他给 威胁进行了分类，第一次详细阐述了入侵检测的概念。 1 9 8 4 年到1 9 8 6 年乔治敦大学的d o r o t h y d e n n i n g t l l 和s r i 公司计算机科学 2 江苏大学硕士学位论文 实验室的p e t e r n e u m a n n 研究出了一个实时入侵检测系统模型i d e s ( i n t r u s i o n d e t e c t i o ne x p e r ts y s t e m s 入侵检测专家系统) ，是第一个在一个应用中运用了统 计和基于规则两种技术的系统，是入侵检测研究中最有影响的一个系统。 19 8 9 年，加州大学戴维斯分校的t o d d h e b e r l e i n 写了一篇论文( ( an e t w o r k s e c u r i t ym o n i t o r ) ) ，该监控器用于捕获t c p i p 分组，第一次直接将网络流作为 审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控异种主 机，网络入侵检测从此诞生。 1 9 9 0 年，h e b e r l e i n t 2 l 提出了最早的网络基入侵检测系统的概念： n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。 19 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 提出使用自治代弛a l ( a u t o n o m o u s a g e n t s ) 来提高i d s 的效率、容错性以及可伸缩性。 19 9 5 年，主机基入侵检测系统n i d e s ( n e x t g e n e r a t i o ni n t r u s i o nd e t e c t i o n s y s t e m ) 面世。 从2 0 世纪9 0 年代至今，多种不同的技术被应用到入侵检测系统中：免疫 算法【3 1 、遗传算法、信息检索技术、数据挖掘技术【4 1 、容错技术、神经网络【5 1 、 分布式技术等。 国外i d s 商用产品厂商较为著名的是i s s 与c i s c o ，但在中国所占的市场 份额都比较小。 1 2 2i d s 在中国 1 9 9 8 年，入侵检测等网络安全技术科普刊物在中国广泛传播，i d s 知识在 中国普及。 1 9 9 9 年，由启明星辰公司研发的中国第一台硬件i d s 发布。 2 0 0 1 年，i d s 列入国家安全设备采购相关规定，i d s 开始广泛部署。 近几年以来，网络攻击效率越来越高，攻击受众范围越来越广，i d s 的检 测和响应思路都面临着挑战。 目前，在国内i d s 商用领域与市场份额上，较出色的是启明星辰与绿盟， 其他还包括东软、联想、锐捷等。 江苏大学硕士学位论文 1 2 3基于支持向量机的入侵检测研究现状与局限性 1 研究现状 支持向量机的理论建立在统计学习理论的v c 维与结构风险最小化理论基 础之上。支持向量机能够在有限样本的条件下获得最好的泛化能力，得到现有 信息下的全局最优解。非常适合应用在入侵检测领域中。 2 0 0 2 年s m u k k a m a l a t 6 等人利用s v m 技术实现了入侵检测，并将该方法与 神经网络方法比较。 随后，b v n g u y e n 和e e s k i n 7 】等人分别提出了基于单类支持向量机的异常 检测。 2 0 0 3 年t a r u n 加n b w a n 一首次构造多类支持向量机进行入侵检测。 2 0 0 2 年清华大学的陈光英【9 】【1 0 】等人用s v m 分类机识别t c p 连接的服务类 型然后与该连接的标准端口比较，从而识别异常的t c p 连接。 2 0 0 3 年饶鲜i l l l 等人介绍了以系统调用序列作为检测对象的基于s v m 异常 检测方法。 2 0 0 3 年武汉大学的罗敏【1 2 】，2 0 0 4 年复旦大学的橄书良1 1 3 l 将s v m 方法在网 络入侵的检测中进行了应用。 2 0 0 6 年北京交通大学的赵伟【1 4 】等人将h a d a m a r d 矩阵与纠错输出编码法 ( e c o c ) 结合用于入侵检测。 2 0 0 7 年西安理工大学的吕彦波【1 5 】等人提出基于空间块与样本密度的裁剪 算法，提高s v m 算法速度。 2 局限性 虽然基于s v m 的入侵检测已经成为入侵检测领域中的研究热点。但是， 将s v m 技术应用在入侵检测系统中有其局限性： 首先，网络中部署i d s 的位置是有大量流量经过的位置，通常是在局域网 的网关或者核心交换机上，是面对主干网络的。所以，如何进行网络数据的采 集才能达到实时性检测的要求是第一个问题。目前，国内的大多数研究人员直 接回避了这个问题，并没有数据采集这个环节，而直接采用k d d 标准数据集 进行训练与检测，使整个系统的架构没有实践价值，而且k d d 数据当中多数 特征都是面向主机连接的，并不适合用在主干网络环境中； 4 江苏大学硕士学位论文 其次，基于s v m 的入侵检测虽然具有小样本、泛化能力强的优势，但是 也有它的局限性：需要的存储量和训练时间都较大，如何进行s v m 训练样本 裁剪以减小存储量缩短训练时间是第二个问题； 更多的，s v m 是一种典型的两类分类器，能检测攻击但是不能多种攻击进 行分类。直接构造多类分类器是困难的，其复杂的算法并不适合应用于大规模 网络的环境。 最后，基于s v m 的入侵检测系统依赖系统管理员的介入，因此，当一个 新的攻击出现时，需要人为地选取、建立攻击特征库，可能需要较长的时间才 能生成一个新的特征组合，响应将会滞后。 1 3 论文研究内容与组织结构 1 3 1论文研究内容 1 归纳了入侵检测技术的研究现状以及目前研究中未曾解决关键问题与 局限性。 2 介绍了入侵检测技术与统计学习理论，总结了支持向量机的技术特点。 3 在n e t f l o w 的基础上研究以流为对象的主干网络入侵检测技术。 4 采用基于粗糙集理论的数据约简方法进行样本裁剪。 5 利用传统两类s v m 构建分布式s v m 入侵检测系统模型，达到多类识 别的效果。 1 3 1论文组织结构 本文全文有6 个章节组成，各章节的内容安排如下： 第一章介绍了论文的研究背景及意义，入侵检测研究必要性及国内外研究 现状，以及论文的主要研究内容和组织结构。 第二章简要介绍了入侵检测系统的基本概念、系统模型、检测流程与i d s 分类，并分析了入侵检测中产生误报的客观原因。 第三章简要介绍了统计学习理论与支持向量机理论，在传统支持向量机的 基础上提出了通过构建多级支持向量机实现多分类。 江苏大学硕士学位论文 第四章构建了一个基于分布式s v m 的主干网络入侵检测系统的模型，该 模型以流为研究对象。 第五章提出实验构想，准备实验数据，给出实验过程，对本文所给出的方 法进行验证，分析实验结果。 第六章总结与展望，总结论文研究工作，并对文中未能完成的工作和下 步的研究提出设想和展望。 6 江苏大学硕士学位论文 第二章入侵检测技术 2 1 入侵检测系统原理 网络入侵检测从计算机网络系统中的若干关键点收集信息，并分析网络中 是否存在入侵行为及迹象。入侵检测位于防火墙之后，在不影响网络性能的情 况下对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。 网络入侵检测有如下功能： 1 系统构造和弱点的审计； 2 识别反映已知进攻的活动模式并向有关人士报警； 3 异常行为模式的统计分析； 4 评估重要系统和数据文件的完整性； 5 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 入侵检测系统需要给系统管理员实时提供网络系统( 包括程序、文件和硬 件设备等) 的变更信息，为网络安全策略的制定提供指南，并且其规模应根据 网络威胁、系统构造和安全需求的改变而变化。入侵检测系统发现攻击后；能 及时作出响应，响应包括切断网络连接、记录日志和报警等。 入侵检测系统的原理如图所示： 图2 1 入侵检测系统 收集信息包括以下四个方面的内容： 7 江苏大学硕士学位论文 1 系统和网络日志文件； 2 目录和文件中的不期望的改变； 3 程序执行中的不期望行为； 4 物理形式的攻击信息。 2 2 入侵检测系统的工作流程 通常入侵检测系统为了分析、判断特定行为或者事件是否为违反安全策略 的异常行为或者攻击行为，需要经过下列四个阶段： 1 数据采集 网络入侵检测系统( n i d s ) 或者主机入侵检测系统( h i d s ) 矛i j 用出于混杂模式 的网卡来获得通过网络的数据，采集必要的数据用于分析。 2 数据过滤 根据预定义的设置，进行必要的数据过滤，从而提高检测、分析的效率。 3 攻击检n 分析 根据定义的安全策略。来试试监测并分析通过网络的所有数据，使用采集 的数据包作为数据源进行入侵行为的判断，通常使用模式、表达或字节匹配、 频率或穿越阈值、事件的相关性和统计学意义上的非常规则现象检测这四种技 术来识别攻击。 4 事件警报响应 当i d s 一旦检测到了攻击行为，i d s 的响应模块就提供多种选项以通知、 报警并对攻击采用响应的反应，通常包括通知网络管理员、记录在数据库。 2 3 入侵检测系统的分类 按照所基于的信息来源的不同，网络入侵检测系统可分为网络i d s 与主机 i d s 两类；基于检测分析方法的不同，网络入侵检测系统可分为滥用检测i d s 与异常检测i d s 两类。 江苏大学硕士学位论文 2 3 1网络i d s 与主机i d s 网络i d s 和主机i d s 的特点如表2 1 所示。 表2 1 网络基i d s 与主机基i d s 网络i d s主机i d s 实时检测、响应与攻击预警 核实攻击的成功和失败 检测不成功的攻击和恶意企图 检测制定的系统行为 与操作系统无关 适合于加密和交换环境 低成本 准实时检测和响应 攻击者转移数据更加困难 无需另外硬件 对主机基检测的补偿 低花销 对网络基检测的补偿 网络基i d s 以所截获的数据包流量信息作为检测分析信息来源，主机基i d s 以用户针对主机的访问行为信息作为检测分析信息的来源。攻击是一个过程， 攻击行为通过用户的访问实现，因此在主机基与网络基相结合的网络入侵检 测系统中，网络基一般主要起预警作用。 在网络入侵检测系统发展之初，基于主机的网络入侵检测系统作为单机防 护系统首先开始研究，随着网络安全问题的出现，用于单机防护的基于主机的 网络入侵检测系统在网络安全防护的实时性和防护范围上有诸多的局限，因此 网络基网络入侵检测系统的概念便应运而生，并且首先作为网络入侵检测系统 商用产品推出。但是伴随着网络带宽的提高、网络数据包的大量加密，网络基 网络入侵检测系统的缺钱又开始阻碍它的发展，于是，用于网络环境安全防护、 能克服网络安全防护的实时性和防护范围限制的主机基网络入侵检测系统又重 新成为网络入侵检测系统的发展方向。最近两年，该的主机基网络入侵检测系 统商用产品才开始推出。 2 3 2滥用检测与异常检测 网络入侵检测系统的检测分析技术可分为滥用检测和异常检测两种，如表 2 2 所示。 表2 2 滥用检测与异常检测 9 江苏大学硕士学位论文 分析策略滥用检测异常检测 缺省即允许基于信号的滥用检测基于机器学习的异常检测 缺省即禁止基于策略的滥用检测基于轮廓的异常检测 滥用检测的分析机制基于攻击方法或攻击特征库建立，目前这种分析机制 只能对已知的攻击模式有检测能力，对未知的攻击无能为力，绝大多数商用网 络入侵检测系统都只具有滥用检测功能。异常检测的恩熙机制基于正常行为模 板的建立，这种分析机制对未知的攻击模式具有一定的检测能力，但在实现上， 模板的维护及分析的虚警存在技术瓶颈，因此形成的商用产品不多。 对未知攻击的检测和检测虚警率的减少分别是滥用检测技术和异常检测技 术中的重大挑战，机器学习与信息融合是解决这一问题的技术途径。而从实用 上来说，在技术实现中协调精度与实时性的关系仍然存在困难。 从技术功能上讲，同时具有滥用检测和异常检测的功能、主机基和网络基 结合的网络入侵检测系统是网络入侵检测系统的理想形式。但是安全防火需求 是分层次的，网络入侵检测系统产品的选择，应该建立在威胁与风险平衡的基 础匕。 ：t ：一， 2 4 滥用检测常用技术 典型滥用检测技术主要有专家系统、攻击签名分析、状态转移分析和模式 匹配等类型。 1 专家系统 入侵检测专家系统的攻击知识描述采用以下产生式规则形式( r u l e b a s e d l a n g u a g e ) ：i f 条件t h e n 动作。其中条件为审计记录中某些域的限制条件： 动作表示规则被触发时系统所采取的处理动作，结果是新证据的断言或者某个 用户行为的可疑程度。 规则既可以用于识别单个审计事件，也可以用于识别入侵行为的系列事件。 专家系统可以自动解释系统的审计记录并判断是否满足描述入侵行为的规则。 入侵检测专家系统可以通过对审计轨迹的浏览来获取攻击证据。 2 攻击签名分析 攻击签名与专家系统的知识获取方法相同，但对知识的使用方式不同。专 家系统把知识表示成规则，检测时候，先对审计记录进行抽象，然后进行规则 江苏大学硕士学位论文 匹配，判断攻击。攻击签名分析则把获得的攻击知识翻译成可在系统审计轨迹 中直接发现的信息，在检测时不需要语义级的攻击描述。 3 状态转移分析技术 攻击行为是攻击者执行的操作序列，使系统从某些初始状态转移到危及系 统安全的状态。所谓状态系指的是系统某一时刻的特征( 通过系统属性系列来 描述) ，初始状态为攻击开始前的状态，危及系统安全的状态为已成功攻击时刻 的状态。在初始状态转移和危及系统安全状态之间，可能存在一个或多个中间 转移状态。表示初始状态和危及系统安全状态后，分析两个状态之间的状态转 移，用状态转移图或专家系统规则来描述状态的转移信息。状态转移分析考虑 攻击行为对每个系统状态转移的影响，可检测协同攻击和利用用户会话的攻击 行为。但状态转移分析技术只适合用于对攻击步骤之间存在全序关系行为的检 测 4 模式匹配 模式匹配把系统审计轨迹视为抽象的事件流，使用c p n ( c o l o r e dp e t r i n e t w o r k ) 来描述攻击者得攻击模式，入侵检测器作为模式匹配器。匹配时，每 个初始状态放一个令牌，c p n 拥有一组与它有关的变量，用于描述状态变迁的 上下文。如在i d i o t ( i n t r u s i o nd e t e c t i o ni no u rt i m e ) 中，审计记录即被映射 成由特殊标识符组成的元组。 2 5 异常检测常用技术 异常检测技术是通过建立主体的正常行为模型，来发现其异常行为，从而 达到发现未知攻击的目的。异常检测方法的建立基于假设：无论程序还是用户， 其行为在时间和空间域中表现出密切的相关性。随着人工智能技术的发展，异 常检测技术取得了很大的进步，特别是传统的基于统计的异常检测技术与人工 智能技术的结合更是带动了异常检测技术的发展。 1 量化分析技术 量化分析是异常检测中最简单、最基本、使用广泛的一项技术，其特点就 是使用数字来表征主体的行为属性。其中最常用的量化分析方法有： 1 ) 目标完整性检狈o ( t a r g e t b a s e di n t e g r i t yc h e c k s ) 江苏大学硕士学位论文 目标完整性检测方法适用于基于主机的入侵检测系统，主要针对被检测主 机中某些关键的对象，如敏感文件，检测其是否受到无意或者恶意的更改，判 断是否有攻击发生。目标完整性检测系统定时地计算校验值，与预先存储的参 考值进行比较，如果校验值超过指定的偏差阈值，则认为是有异常发生。目前 最著名的目标完整性检测工具是t r i p w i r e 。 2 ) 门限检i 贝l j ( t h r e s h o l dd e t e c t i o n ) 门限检测是最简单的一种量化分析方法，其思路是记录主体在某一段时间 内的行为属性，及其变化情况，与预先设定的门限范i 羽( t h r e s h o l dc a p a c i t y ) 作比 较，如果出现较为明显的误差，就认为系统发生了异常。如预先设定在某一段时 间内允许合法用户登录的次数，如果某用户实际登录次数超过此阈值，则认为 用户自行了异常操作。 2 基于传统统计方法的异常检测技术 在人工智能技术尚不成熟的情况下，传统的基于统计的异常检测方法仍是 异常检测的一种主流技术。系统主体( 用户、进程等) 行为在一定的时间内表 现出一定的统计规律，如在正常情况下，作为程序员的主体就应该比较频繁的 使用g c e v i e x e c 等函数或者命令，观察主体的短期或长期活动、检测系统计算 出所有统计变量的平均偏差，与预先设定的阈值进行比较，如果偏差超过指定 阈值，则认为出现异常情况。 i d e s n i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m n e x t g e n e r a t i o ni n t r u s i o n d e t e c t i o ne x p e r ts y s t e m ) 所采用的就是一种典型的基于统计分析的异常检测模 型。该模型通过将主体的历史行为与其短期行为进行比较来判断是否有入侵行 为，由于短期行为和长期行为存在差异，该模型在实现上记录这些差异并作累 加，当差异值积累到一定的程度，且超过了预先设定的阈值时，发出告警信息。 3 基于( 隐) 马尔科夫过程的异常检测技术 马尔科夫过程实质是一种随机过程。隐马尔科夫模型( h i d d e nm a r k o v m o d e l ，h m m ) 是马尔科夫模型的一个扩展，是一个二维马儿可夫过程，包括具 有状态转移概率的马尔科夫链和输出观测值的随机过程。 h m m 的训练采用的方法有b a u m w e l c h 或e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法，以及g e m ( g e n e r a l i z e de m ) 算法等。 1 2 江苏大学硕士学位论文 4 基于神经网络的异常检测模型 神经网络作为一种处理非线性系统的有效方法，在函数逼近、分类和模式 识别以及概率密度估计等领域已经得到成功的应用。和入侵检测系统的异常检 测技术实质上是一种模式识别或分类问题，因此有很多学者都将神经网络技术 应用到入侵检测系统中。 基于神经网络的入侵检测系统中，输入数据主要包括三个方面，一是网络 在一段时间内进出该网络的数据包数；二是网络连接信息；三是用户在一定的 时间内操作的命令。 5 基于免疫学的入侵检测 根据人的免疫系统的特点，即识别”自我月 自我 , f o r r e s t 研究小组第一次提 出了基于免疫学的入侵检测技术，其思想是对于一个特定的进程( 程序) ，系统 调用序列是相对稳定的，使用系统调用序列表证主机的“自我”，任何有别于这 种“自我”的系统调用都被认为是“非自我”的，即异常的。该研究小组在这些假 设前提下，做了大量开创性的工作。目前很多学者在从事这方面的研究工作。 6 基于遗传算法的异常检测技术 遗传算法是进化算法的一种，借鉴自然界生物体在遗传、变异和选择的作 用下，优胜劣汰，不断地从低级向高级进化和发展的规律，对系统进行优化。 目前将遗传算法应用在入侵检测的系统主要有两类：一是直接利用遗传算 法处理主机获取的信息，二是把遗传算法作为一种辅助手段处理获取的信息。 7 基于支持向量机的异常检测技术 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是建立在统计学习理论基础上的 一种方法，其理论基础是最大边缘算法，其思想是针对两类分类问题，在高维 空间中寻找一个超平面作为两类的分割，以保证最小的分类错误率。 如何精简数据，缩短s v m 的训练时间与空间，是s v m 在入侵检测系统应 用中的关键问题。 常用异常检测技术的特点如表2 3 所示。 表2 3 异常检测常用技术的优缺点 异常检测方法特点 量化分析方法简单直观，但扩展性不好 1 3 江苏大学硕士学位论文 h m m 精确度高，但算法复杂 神经网络不要求输入向量满足某种统计分布条件，但收敛和泛化能力不强 遗传算法与其他算法结合，可以大大优化性能，但参数难以选择 s v m 小样本，泛化能力强，但所需要的训练时间和存储空间都比较大 2 6 入侵检测的误警分析 入侵检测系统的虚警率与漏报率之和即为入侵检测系统的误报率。随着入 侵检测的概念被用户与学术界广泛接受，误警问题逐步成为该项技术发展的重 要问题，制约着入侵检测系统的发展。 按照检测分析机制，入侵检测中滥用检测属于认知模型的方法，异常检测 属于参数模型方法。异常检测基于正常行为模板建