（计算机系统结构专业论文）基于神经网络入侵检测模型的研究.pdf

摘要 摘要 当今的网络安全问题日益突出，入侵检测系统i d s ( i n t r u s i o nd e t e c t i o n s y s t e m l 已成为必不可少的安全手段。所谓入侵检测就是检测和识别针对计 算机系统、信息系统、网络系统的非法攻击和入侵行为，该技术已经在全 球范围内被广泛用来保护公司、组织的信息网络。但传统的入侵检测系统 仍存在检测速度慢，漏检率高等缺陷。 本文首先分析了传统i d s 系统结构和检测方法，对神经网络n n e u r a l n e t w o r k ) 技术及其在i d s 中的应用进行了深入的研究。从加快检测速度、提 高准确率的角度出发，提出了一种基于神经网络的入侵检测新模型，该模 型采用b p ( b a c k p m p a g a t i o n ) 神经网络进行检测，将模式识别转化为数值计 算，从而加快了检测速度，同时结合专家系统辅助检测并为神经网络提供 实时的训练集，提高了检测的准确率。 同时本文针对b p 神经网络在实际应用中存在的问题，对b p 算法进行了 深入的研究。首先，针对因学习速率选择不当而造成的收敛速度慢和最优 解产生振荡的问题，采用了自适应调整学习速率法和附加动量法对算法进 行优化；其次，针对每个训i 练样本都要对网络中所有权值进行调整的问题， 提出采用路径激发法忽略极小值影响，提高训练效率。 作为这些研究成果的应用，本文在最后利用v c 6 0 开发语言，通过合 理的数据结构和函数接口设计实现了一个基于神经网络入侵检测的原型系 统。并在局域网环境下，用大量数据对原型系统进行测试，结果验证了系 统的性能和效率。 关键词入侵检测；神经网络；b p 算法；d e t l a 学习算法；s n o r t 燕山大学工学硕士学位论文 a b s 仃a c t n o w a d a y s ，t h en e t w o r ks e c u r i t yq u e s t i o nh a sb e e np r o m i n e n tm o r ea n d m o r e i n t r u s i o nd e t e c t i o ns y s t e mh a sb e c o m et h ee s s e n t i a ls e c u r i t ym e a n s t h e s o c a l l e di n t r u s i o nd e t e c t i o ni st od e t e c ta n di d e n t i f yt h ei l l e g a la t t a c ka n d i n t r u s i o nb e h a v i o rt h a ta i ma tt h ec o m p u t e rs y s t e m ，i n f o r m a t i o ns y s t e ma n dt h e n e t w o r k t h i st e c h n i q u eh a sb e e nu s e dt op r o t e c tt h ei n f o r m a t i o no ft h e c o m p a n i e si nt h ew o r l d b u tt h et r a d i t i o n a li d ss t i l lh a sf l a ws u c ha ss l o w d e t e c t i o ns p e e da n dh i g hl e a k sd e t e c t i o nr a t e f i r s t l y , t h i sp a p e ra n a l y z e dt h et r a d i t i o n a li d ss t r u c t u r ea n dt h ed e t e c t i o n m e t h o d ，a n dr e s e a r c h e dt h ea p p l i c a t i o no fn ni ni d s t os p e e du pt h e d e t e c t i o ns p e e d ，e n h a n c e sa c c u r a t e l yr a t e ，an e wi d sm o d e lb a s eo nn ni s p r e s e n t e d t h i sm o d e lu s e b pn e u r a ln e t w o r kt od e t e c t t h ei n t r u s i o n ，i t t r a n s f o r m st h ep a t t e r nr e c o g n r i o na st h ev a l u ec o m p u t a t i o n ，t h u ss p e du pt h e d e t e c t i o ns p e e d ，s i m u l t a n e o u s l y ；t h ee x p e r ts y s t e ma s s i s t e dt od e t e c ta n d p r o v i d et h er e a lt i m et r a i ns a m p l et ot h en n t h u se n h a n c e d t h ea c c u r a t er a t e s e c o n d l y , t os o l v et h ep r o b l e mo ft h eb pn ni nt h ep r a c t i c a la p p l i c a t i o n ， t h eb pa l g o r i t h mh a sb e e nt h o r o u g hr e s e a r c h e d a tf i r s t ，t os p e e du pt h e c o n v e r g e n c e r a t e a n ds o l v et h ev i b r a t i o no ft h eo p t i m a ls o l u t i o n t h e a u t o a d a p t e da d j u s t m e n ts t u d ya l g o r i t h m a n dt h ea t t a c h m e n tm o m e n t u m a l g o r i t h mw e r eu s e d s e c o n d l y , t os o l v et h ep r o b l e mt h a ta l lt h ep a r a m e t e r v a l u em u s tb ea d j u s t e db ye a c ht r a i n i n gs a m p l e ，t h ep a t hs t i m u l a t i o na l g o r i t h m w a su s e dt oi g n o r e dt h ee f f e c to ft h em i n i m u m ，s ot h a tt h et r a i n i n ge f f i c i e n c y w a se n h a n c e d f i n a l l y , a st h ea p p l i c a t i o no ft h er e s e a r c h ，b yu s i n gt h ev c 6 0a n dt h e r e a s o n a b l ec o n s t r u c t i o no fd a t a ，a ni n t r u s i o nd e t e c t i o np r o t o t y p es y s t e mb a s e d o nt h en e u r a ln e t w o r kw a si m p l e m e n t e d a n du n d e rt h el o c a la r e an e t w o r k ，t e s t n a b s t r a c t t h ep r o t o t y p es y s t e mw i t ht h em a s sd a t a t h er e s u l th a sc o n f i r m e dt h es y s t e m p e r f o r m a n c ea n de f f i c i e n c y k e y w o r d si n t r u s i o nd e t e c t i o n ；n e u r a ln e t w o r k ；b pa l g o r i f l u n ；d e t l as t u d y a l g o r i t h m ；s n o r t i i i 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于神经网络入侵检测 模型的研究，是本人在导师指导下，在燕山大学攻读硕士学位期间独立进 行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他 人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和 集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签字1 陬括；皂日期：功。7 年牛月巧日 燕山大学硕士学位论文使用授权书 基于神经网络入侵检测模型的研究系本人在燕山大学攻读硕士学 位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕山大学 所有，本人如需发表将署名燕山大学为第一完成单位及相关人员。本人完 全了解燕山大学关于保存、使用学位论文的规定，同意学校保留并向有关 部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权燕 山大学，可以采用影印、缩印或其他复制手段保存论文，可以公布论文的 全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密时。 ( 请在以上相应方框内打“”) 储繇2 毳。0 ；邕 导师签名- 孑谚、荡 日期：词年仁月妇 日期：泸刁年牛月名目 第1 章绪论 1 1 课题背景及意义 第1 章绪论 随着因特网应用的日益普及，信息技术迅猛发展，信息共享的程度不 断提高，人们已经进入了信息时代，i n t e m e t 进入到千家万户，给人类社会、 经济、文化等带来了无限的机遇，但也给信息安全带来了严峻挑战，各种 不安全因素的大量涌入致使计算机网络安全问题日益突出。 根据美国联邦调查局的调查，美国每年因为网络安全造成的经济损失 超过了1 7 0 亿美元；7 5 的公司报告财政损失是由于计算机系统的安全问题 造成的；平均每个组织损失4 0 万美元；超过7 0 的安全威胁都来自内部【l l 。 从这些数字可以看出，网络安全给系统带来的损失是不可估量的。因此很 多组织致力于提出更多更强大的主动策略和方案来增强网络的安全性，其 中一个有效的解决途径就是入侵检测。入侵检测系统可以弥补防火墙的不 足，为网络安全提供实时的入侵检测及采取相应的防护手段，例如记录证 据、跟踪入侵、恢复或断开网络连接等。 a n d e r s o n 在8 0 年代早期使用过“威胁”这一术语，其定义与入侵含义 相同，将入侵企图或威胁定义为未经授权的蓄意尝试访问信息、篡改信息， 使系统不可靠或不能使用。s p a f f o r d 给出另外的入侵定义，入侵是指有关试 图破坏信息资源的完整性、机密行及可用性的活动集合 2 1 。s m a h a 从分类 角度指出，入侵包括尝试性闯入、伪装攻击、安全控制系统渗透、泄漏、 拒绝服务、恶意使用六种类型p 】。综合以上，入侵检测是指识别谁在未经 授权( a u t h o r i z a t i o n ) 情况下使用计算机系统；哪些人在滥用他们的特权 ( p r i “l e g e s ) 对系统进行非法的访i 司1 4 1 。入侵检测系统是一个计算机系统( 可 能由软件或硬件构成) ，它试图履行对i d s 的定义并不包括阻止入侵的发生， 而只是检测到一个非法授权行为发生时会作出反应，这种反应包括遏制或 者停止破坏行为，如终止网络连接。 燕山大学工学硕士学位论文 入侵检测是通过对计算机网络或计算机系统中的若干关键点收集信息 并进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击 的迹象。入侵检测系统的主要任务是：监视、分析用户及系统活动；审计 系统构造和弱点；识别、反映已知攻击的活动模式，向相关人士报警：统 计分析异常行为模式；评估重要系统和数据文件的完整性：审计、跟踪管 理操作系统，识别用户违反安全策略的行为。入侵检测一般分为三个步骤， 依次为信息收集、数据分析、响应( 被动响应和主动响应) 。 信息收集的内容包括系统、网络、数据及用户活动的状态和行为。入 侵检测利用的信息一般来自系统日志、目录以及文件中的异常改变、程序 执行中的异常行为及物理形式的入侵信息四个方面。 数据分析是入侵检测的核心。它首先构建分析器，把收集到的信息经 过预处理，建立起一个行为分析引擎或模型，然后向模型中植入时间数据， 在知识库中保存植入数据的模型。 入侵检测系统在发现入侵后会及时作出响应，包括切断网络连接、记 录事件和报警等。响应一般分为主动响应( 阻止攻击或影响进而改变攻击的 进程) 和被动响应( 报告和记录所检测出的问题) 两种类型。主动响应由用户 驱动或系统本身自动执行，可对入侵者采取行动( 如断开连接) 、修正系统 环境或收集有用信息；被动响应则包括告警和通知、简单网络管理协议陷 阱和插件等。另外还可以按照策略配置响应，分别采取立即、紧急、适时、 本地的长期和全局的长期等行动。 计算机网络安全问题已不再仅仅是学术问题，它直接关系到我们每个 人自身的信息安全，乃至一个国家的信息安全，金融、国防和政府等关键 部门以及电子商务等重要商业机构正在大规模地溶入互联网，同时它们也 正在越来越多地成为被攻击的目标，因此，研究基于网络的计算机系统的 安全问题是信息时代一个刻不容缓的课题，具有重大的意义。 1 2 国内外研究现状及存在问题 对入侵检测的研究最早可追溯至1 j 1 9 8 0 年4 月ej a m e sa n d e r s o n 著名的 2 第1 章绪论 “计算机安全威胁监控与监视”( c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n d s u r v e i l l a n c e ) 技术报告，在报告中他将计算机系统威胁分为外部渗透、内部 渗透和不法行为，并阐明精简审计的目标在于从安全审计跟踪数据中消除 冗余或无关的记录，提出了利用审计跟踪数据监视入侵活动的思想。这份 报告被公认为是入侵检测的开创性工作。 从1 9 8 4 年至u 1 9 8 6 年的两年期间，美国乔治敦大学的d o r o t h yd e n n i n g 和 s r i c s l ( s t a n f o r dr e s e a r c hi n s t i t u t e c o m p u t e rs c i e n c el a b o r a t o r y ) 的p e t e r n e u m a n n 合作研究出入侵检测专家系统i d e s ( i n t r u s i o nd e t e c t i o ne x p e r t s y s t e m ) ，它是第一个实时入侵检测系统模型。从d e n n i n g 和n e u m a n n 提出 具有划时代意义的i d e s 系统至今，入侵检测系统已经经历了2 0 余年的发展 历程，国外比较著名的入侵检测研究机构包括s r i c s l ，p u r d u eu n i v e r s i t y 的c o a s t ( c o m p u t e ro p e r a t i o n sa u d i ta n ds e c u r i t yt e c h n o l o g y ) 研究小组，美 国国家能源部的l a w r e n c el i v e r m o r en a t i o n a ll a b o r a t o r y ，加州大学d a v i s 的 c o m p u t e rs e c u r i t yl a b 等。入侵检测的研究，从早期的审计跟踪数据分析， 到实时入侵检测系统，到目前应用于大型网络的分布式检测系统，基本上 已发展成为具有一定规模和相应理论的研究领域。 目前国外有许多实验室和公司在从事入侵检测系统的研究和开发，并 已完成实现了一些原型系统和商业产品。通用入侵检测架构c i d f ( c o m m o n i n t r u s i o nd e t e c t i o n f r a m e w o r k ) 组织和i n t e m e tt 程任务组i e t f ( i n t e m e t e n g i n e e r i n gt a s kf o r c e ) 都试图对入侵检测系统进行标准化。c i d f 阐述了一 个入侵检测系统的通用模型，将入侵检测系统分为四个组件：事件产生器、 事件分析器、响应单元及事件数据库。c i d f 将入侵检测系统需要分析的数 据统称为事件，它可以是网络中的数据包，也可以是从系统日志等其它途 径得到的信息。 从2 0 世纪9 0 年代到现在，入侵检测系统的研发呈现出百家争鸣的繁荣 局面，并且在智能化和分布式两个方向取得了长足的进展。目前s r f c s l 、 普渡大学、加州大学戴维斯分校、洛斯阿拉莫斯国家实验室、哥伦比亚大 学、新墨西哥大学等机构在这些方面的研究代表了当前的最高水平。 对于神经网络技术在入侵检测中的研究和应用，前人已做了若干的工 燕山大学工学硕士学位论文 作。d e b a r 等人采用递归型感知机网络【5 1 ，在对收集的审计记录进行分析的 基础上，对系统各用户的行为进行建模，并同时结合传统的审计系统进行 入侵检测。t a n 为适应入侵检测的要求，对传统的多层前馈网络的训练算法 进行改进，并用于建模用户的各个行为特征。h o g l u n d 等人提出了基于一维 s o m ( s e l fo r g a n i z i n gm a p 自组织特征映射) 网络 6 1 的异常检测算法对用户 行为特征进行判断，并建立了原型系统。g h o s h 和s c h w a r t z b a r d 采用基于多 层感知器m l p ( m u l t il a y e rp e r c e p t r o n ) 7 】的异常检测模型，通过对程序执行 中系统调用序列记录的分析，来监视特定程序的运行状态。他们使用了数 百个训练样本，获得了在大致3 的虚警概率条件下7 7 的检测概率。 以上所述，都是基于主机的入侵检测技术。随着网络互连环境的飞速 发展，基于网络流量分析的入侵检测技术逐渐流行。c a n n a d y 和m a h a f f e y 将m l p 模型和s o m m l p 混合模型应用到基于网络流量的滥用检测模型 中。在基于m l p 模型的入侵检测技术q b c a r m a d y 等人根据网络数据包的若 干协议字段值( 如协议类型、属性字段、负载长度和内容等) 构建特征矢量， 提供给m l p 网络进行训练学习。训练完毕后，对测试样本集进行测试。实 验使用的网络数据包总数为94 6 2 个，任意选取其中的10 0 0 个作为测试样 本，其余作为训练样本。实验结果表明，该模型可以从正常网络流量中识 别出诸如表示i s s ( i n t e r n e ts e c u r i t ys y s t e m s ) 和s a t a n 扫描、s y nf l o o d 攻击活 动的数据包。同时，c a n n a d y 等人提出s o m m l p 混合模型喁】来检测诸如 f t p ( f i l et r a n s p o r t a t i o np r o t o c 0 1 ) e l 令试探等时间上分散的攻击性为。s o m 网络主要用于对数据包中的负载内容进行分析，作为m l p 网络的预处理单 元并起到特征降维的作用。混合模型的输入样本是在时间上进行分段处理 的数据包帧，实验结果表明，能够较好的检测到单位时间内不同频率的口 令试探性为。b o n i f a c i o 等人首先构建网络会话的数据矢量t g l ，并对数据负 载中的可疑特征字符串进行编码，连同目标端口号一起构成b p 网络的输入 特征矢量，送入神经网络进行训练，训练完后的b p 网络即可进行滥用入侵 检测。美国林肯实验室的l i p p m a n n 和c u n n i n g h a m g 狙确提出采用关键词和神 经网络相结合的方法进行网络入侵检测。所采用的方法是首先选择一组关 键词表，之后，采用m l p i 网络进行训练和识别b o 。 4 第1 章绪论 目前国内在这方面也进行了很多研究，危胜军等人把感知机神经网络 的改进算法【1 1 】应用于入侵检测，将功能分布的思想引入到神经网络，实验 结果证明了该算法的可行性，以及对系统性能的改善作用。李德峰等人提 出了一种基于改进的a r t - 2 ( a d a p t i v er e s o n a n c et h e o r y 2 ) 神经网络 1 2 】的入 侵检测系统，采用新的非线性变换函数和竞争层学习算法克服了a r t - 2 神 经网络的“预处理信号畸形”和“同相位不可分”问题，使之更适用于入 侵检测，提高了检测的准确率和对未知入侵的自适应识别能力。 尽管对网络入侵检测系统的研究已经取得了很多成果，但还存在一些 难以克服的问题如：如何识别大规模的组合、分布式的入侵攻击目前还没 有比较好和成熟的解决方案；难以检测出具有欺骗性的入侵；没有一种简 单的方法能够对入侵检测系统进行测试，未知的入侵模式难以模拟，已知 的入侵模式难以重现，审计记录格式的不规范也给入侵检测的实验与比较 造成诸多不便。 1 3 课题研究内容及论文结构 结合目前入侵检测系统的热点研究方向，针对现有入侵检测系统存在 的不足，本文提出一种的基于神经网络的入侵检测新模型。该模型是从网 络数据中提取出具有代表性的系统特征模式，对其进行处理并转换成神经 网络可以识别的数据，输入神经网络检测引擎进行检测，通过神经网络判 断其是攻击行为还是正常网络数据，从而进行相应处理。 全文共分六章，具体的章节内容安排如下。 第l 章为绪论，在本章中主要介绍课题的背景、本课题研究的意义和国 内外对基于神经网络入侵检测系统的研究现状，最后介绍本文研究内容。 第2 章研究了传统入侵检测技术，介绍了入侵检测的技术分类和技术特 点，并指出目前入侵检测系统所面临的挑战，讨论了其发展的趋势和标准 化研究方向。 第3 章简要介绍了神经网络技术，重点分析了神经网络结构算法，讨论 了神经网络在入侵检测中应用的相关问题。 燕山大学工学硕士学位论文 第4 章根据前两章的研究基础提出了基于神经网络的入侵检测模型，详 细讲述了模型的设计思路，讨论了b p 神经网算法和存在的不足，进而研究 了其改进方案。 第5 章详细讲述了模型各模块的实现方法并利用编程技术初步实现了 基于b p 神经网络的入侵检测原型系统。 第6 章通过仿真实验，对模型的有效性进行测试验证，并对模型的性能 进行分析。 6 第2 章入侵检测技术概述 第2 章入侵检测技术概述 入侵检测系统是利用强大的主动策略和方案来增强网络系统的安全 性，为网络系统安全提供实时的入侵检测以及采取相应的防护手段，如记 录证据、跟踪入侵、恢复或断开网络连接等。入侵检测是一种重要的安全 防御技术，它不仅可以通过监测网络实现对内部攻击、外部攻击和误操作 的实时控制，有效的弥补防火墙的不足，而且还能结合其它网络安全产品， 对网络进行全方位的保护，具有主动性和实时性的特点，是防火墙重要的 和有益的补充。因此引发了人们对入侵检测技术研究和开发的热情，近年 来，入侵检测系统更是得到了充分的重视，不断有新技术引入。 2 1 入侵检测的概念 入侵的定义应与受害目标相关联，该受害目标可以是一个大的系统或 单个对象。判断与目标相关的操作是判别入侵的依据：对目标的操作超出 目标的安全策略范围。因此入侵是指违背访问目标安全策略的行为。入侵 检测是检测和识别针对计算机系统、网络系统、信息系统的非法攻击或违 反安全策略事件的过程，它通过收集计算机操作系统、系统程序、应用程 序、网络数据包等信息数据，分析数据，从而发现系统中违背安全策略或 危及系统安全的行为。进行入侵检测的软件与硬件的组合便是入侵检测系 统。入侵检测系统主要通过以下几种活动来完成任务【1 3 l 。 ( 1 ) 监测并分析用户和系统的活动； ( 2 ) 核查系统配置和漏洞； ( 3 ) 识别已知的攻击行为； ( 4 ) 评估系统关键资源和数据文件的完整性； ( 5 ) 分析预测异常行为。 除此之外，入侵检测需要操作系统日志管理，识别违反安全策略的用 7 燕山大学工学硕士学位论文 户活动，并对异常结果做出反应。有的入侵检测系统还能够自动安装厂商 的安全补丁软件，并自动记录有关入侵者的信息，在必要的情况下还要与 其它安全系统进行联动。 2 2 入侵检测技术分类 从入侵检测技术提出到现在，出现了很多入侵检测系统。根据不同的 分类标准，这些入侵检测系统可以分为不同的类别。其分类主要的考虑因 素和依据有：信息源、入侵目标、事件生成、事件处理、检测方法等等。 下面就简要介绍几种常用的分类方法。 2 2 1 根据数据分析手段分类 数据分析分类方法是传统的分类方法。根据对所获取到数据的分析手 段可以将入侵检测系统分为误用入侵检测系统( m i s u s ei d s ) 和异常入侵检 测系统( a n o m a l yi d s ) 1 1 4 】。 2 2 1 1误用检测 误用检测技术是假设所有入侵行为和手段( 及其变种) 都能够表达为一种模式或特征，所有己知的入侵方法都可以用匹配的方法 发现。误用检测技术的关键是如何表达入侵的模式，以正确区分真正的入 侵与正常行为。模式发现的优点是检测准确率高，其局限性是只能发现已 知的攻击，对未知攻击无能为力。当前流行的系统基本采用了这种模型。 基于误用的入侵检测技术主要是从2 0 世纪9 0 年代中期开始的，当时主 要的研究组织有s r i ，p u r d u e 大学和c a l i f o m i a 大学的d a v i s 分校。最初的误 用检测系统忽略了系统的初始状态，只对系统运行中各种变化的事件进行 匹配，并从中标识出相应的攻击行为。这种不考虑初始状态的入侵信号标 识法有时无法发现所有的入侵行为，所以现在多数误用检测系统已经考虑 了系统的初始状态。基于误用的入侵检测系统通过使用某种模式或者信号 标识表示攻击，进而发现相同的攻击。这种方式可以检测许多甚至全部已 知的攻击行为。 误用信号标识需要对入侵的特征、环境、次序以及完成入侵的事件相 第2 章入侵检测技术概述 互间的关系进行详细的描述，这样误用信号标识不仅可以检测出入侵行为， 而且可以发现入侵的企图，误用信号局部上的符合就可以代表一个入侵的 企图。对于误用检测系统来说，最重要的技术问题有： ( 1 ) 如何全面描述攻击的特征，覆盖在此基础上的变种方法； ( 2 ) 如何排除其他带有干扰性质的行为，减少误报率； ( 3 ) 基于模式匹配的方式降低了检测速度，如何加快模式匹配速度以适 应高速检测需要。 主要的误用检测系统类型有专家系统、按键推理系统、误用预测系统、 状态转换分析系统和模式匹配系统。 2 2 1 2 异常检测异常检测技术是假定所有入侵行为都与正常行为不 同。它的原理是假设可以建立起系统正常行为的模型，所有与正常模型不 同的系统状态都被视为可疑企图，异常阈值与特征的选择是其成败的关键。 通过与正常模型的对比就能够检测出非法的入侵行为甚至是通过未知攻击 方法进行的入侵行为，此外不属于入侵的异常用户行为也能检测到。这种 检测技术的局限性在于，并非所有的异常都表现为入侵行为，而且系统的 模型难于计算和更新。 基于异常的入侵检测系统是“学习正常发现异常”，它的特点主要表现 在学习过程中，可以在检测系统中大量借鉴其他领域的方法来完成用户行 为概貌的学习和异常的检测，常用方法有统计学方法、人工免疫方法、基 于神经网络的方法、基于数据挖掘技术的方法以及使用状态机的方法。 2 0 年以前a n d e r s o n 就提出了基于异常的入侵检测的思想，随后很多机 构也进行了相关的研究，理论上这种方法具有一定入侵检测的能力，并且 相对而言与基于误用的入侵相比它有一个非常强的优势，就是它能够检测 出未知的攻击。但在现实情况中，该理论本身也存在一定的缺陷。 异常检测系统试图发现一些未知的入侵行为；而误用检测系统则标识 一些已知的入侵行为。异常检测根据使用者的行为或资源使用状况来判断 是否入侵，而不依赖于具体行为是否出现来检测；而误用检测系统则大多 是通过对一些具体的行为的判断和推理，从而检测出入侵。 异常检测的主要缺陷在于误检率很高，尤其用户数目众多或工作行为 9 燕山大学工学硕士学位论文 经常改变的环境中；而误用检测由于依据具体特征库进行判断，准确度要 高很多。此外，异常检测对具体系统的依赖相对较小：而误用检测对具体 的系统依赖性太强，可移植性不好。 2 2 2 根据原始数据来源分类 2 2 2 1基于主机的入侵检测系统基于主机的入侵检测系统【i s 的检测目 标主要是本地主机系统和网络系统中的本地用户、监视系统事件、安全记 录及系统日志，以发现可疑事件。其主要目的在于保护关键应用的服务器。 就目前的情况来看，d n s ( d o m a i nn a m es e r v i c e ) 、e m a i l 和w e b 服务器 是多数网络攻击的目标，大约占据全部网络攻击事件的1 3 以上。这些服务 器必须要与i n t e m e t 系统相互作用，交换数据，所以应当在各服务器上安装 基于主机的入侵检测系统软件，其检测结果也应及时地向管理员报告。基 于主机的入侵检测系统没有带宽的限制，它们密切监视系统日志，能够识 别运行代理的机器上受到的攻击。基于主机的入侵检测系统提供了基于网 络的入侵检测系统不能提供的精细功能，包括二进制完整性检查、系统日 志分析和非法进程关闭等功能。 基于主机的入侵检测系统主要有如下优点。 ( 1 ) 性能价格比高； ( 2 ) 更加细腻，这种方法可以很容易地监测到一些活动，如对敏感文件、 目录或端口的存取，而这些活动很难在基于网络的系统中被发现； ( 3 ) 视野集中，一旦入侵者得到了一个主机的用户名和口令，基于主机 的代理是最有可能区分正常的活动和非法的活动的； ( 4 ) 较少的硬件投入，基于主机的方法可不需要增加专门的硬件平台； ( 5 ) 对网络流量不敏感； ( 6 ) 适用于加密和交换的环境。 基于主机的入侵检测系统最大的好处就在于能根据受保护站点的实际 情况进行针对性的定制，使其工作非常有效，误警率相当低。 2 2 2 2 基于网络的入侵检测系统基于网络的入侵检测系统通过在共享 网段上对通信数据的侦听采集数据，使用原始网络包作为数据源，分析可 l o 第2 章入侵检测技术概述 疑现象，这类系统不需要主机提供严格的审计，对主机资源消耗少，并可 以提供对网络通用的保护而无需顾及异构主机的不同架构。它的攻击辨识 模块通常采用四种常用技术来识别攻击标志，如模式、表达式或字节匹配； 频率或穿越阈值；低级事件的相关性；统计学意义上的非常规现象。这些 技术已广泛应用于基于网络的入侵检测系统。 一旦检测到攻击行为，入侵检测系统的响应模块就提供多种选项以通 知、报警并采取相应的反应。基于网络的入侵检测系统具有强制性而且是 独立于平台的，部署它们对网络影响很小或没有影响，只对带宽有较高要 求。基于网络的入侵检测系统依靠对网络数据包和网络故障等的分析来进 行检测，往往能对异常情况做出比较快的响应。基于网络的入侵检测通常 采用多个入侵检测系统检测器配合一个入侵检测系统指示器的分布式结构 来协同工作，检测器分布在网络的各个角落，一旦发现入侵就通知主机指 标器作出响应。 基于网络的i d s 有许多基于主机的入侵检测法无法提供的功能。基于网 络的检测有以下优点。 ( 1 ) 检测速度快； ( 2 ) 隐蔽性好； ( 3 ) 视野更宽，基于网络的入侵检测甚至可以在网络的边缘上，即攻击 者还没能接入网络时就被发现并制止； ( 4 ) 较少的监测器； ( 5 ) 攻击者不易转移证据； ( 6 ) 操作系统无关性； ( 7 ) 占用资源少； ( 8 ) 检测利用协议漏洞进行攻击的行为。 2 2 2 3 混合型入侵检测系统混合型入侵检测系统是指基于主机和基于 网络的入侵检测系统的集成。许多网络安全解决方案都同时采用了基于主 机和基于网络的两种入侵检测系统，因为这两种系统在很大程度上是互补 的。实际应用中，许多客户在使用i d s 时都配置了基于网络的入侵检测系 统，防火墙之外的检测器检测来自外部i n t e r a c t 的攻击。d n s 、e m a i l 和w e b 燕山大学工学硕士学位论文 服务器常常是攻击的目标，但是它们又必须与外部网络进行交互，不可能 对其进行全部屏蔽，所以还应当在各个服务器上安装基于主机的入侵检测 系统，其检测结果也要向分析员报告。该形式结合了两种入侵检测系统的 优点，具有更好的安全性。 2 2 3 其它分类 按系统各模块的运行方式分为集中式和分布式。 ( 1 ) 集中式系统各模块包括数据收集和分析集中在一台主机上运行。 ( 2 ) 分布式系统的各个模块分布在不同的计算机和设备上。 根据时效性分为实时分析和非实时分析。 ( 1 ) 实时分析在数据产生的同时或者发生改变时进行分析。 ( 2 ) 非实时分析行为发生后，对产生的数据进行分析。 2 3 通用入侵检测系统模型 d c n i l i n g 在1 9 8 7 年提出了一个基于异常行为检测模型，如图2 1 所示。 图2 - 1d e n n i n g 模型 f i g u r e2 - 1m o d e lo f d e n n i n g 1 2 第2 章入侵检测技术概述 模型基本思想是为用户建立和维护一系列描述用户正常使用系统的行 为特征轮廓，入侵检测系统利用这些特征轮廓来监控当前用户的活动，当 一个用户的当前活动与其特征轮廓的差别超出预定义的边界条件时，这个 当前活动行为就被认为是异常的。例如，登陆口令超过三次失败，则认为 是异常的。其方法用到统计方法和专家系统。d e n n i n g 定义的模型独立于任 何特殊的系统、应用环境、系统脆弱性或入侵种类，因此提供了一个通用 的入侵检测专家系统框架，简称i d e s 模型1 6 1 。这个模型能够检测出黑客入 侵、越权操作以及其它种类的非正常使用计算机系统的行为，i d e s 模型由 主体、客体、审计记录、轮廓、异常记录和活动规则六部分组成。 ( 1 ) 主体( s u b j e c 0 主体是在目标系统上活动的实体，通常指用户。 ( 2 ) 对象( o b j e c 0 对象指资源，由系统文件、设备、命令等占有。 ( 3 ) 审计记录( a u d i tr e c o r d s ) 审计记录是f l q 构成的六元组。其中活 动( a c t i o n ) 是主体对对象( o b j e c t s ) 的操作，对操作系统而言，这些操作包括 登录、退出、读、写、执行等；异常条件( e x c e p t i o n - c o n d i t i o n ) 是指系统对 主体的异常活动( a c t i o n ) 的报告，如违反系统的读写权限；资源使用情况 ( r e s o u r c e - u s a g e ) 指的是系统的资源消耗情况；时间戳( t i m e s t a m p ) 指活动 ( a c t i o n ) 发生时间。 ( 4 ) 活动档案( a c t i v ep r o f i l e ) 活动档案是保存系统正常活动行为模型， 保存系统正常活动的相关信息。 ( 5 ) 异常记录( a n o m a l yr e c o r d ) 异常记录是由 e v e n t ，t i m e s t a m p ， p r o f i l e 组成，表示异常事件的发生情况。 ( 6 ) 活动规贝 j ( a c t i v i t yr u l e s ) 活动规则是一组根据异常记录来判断入 侵是否发生的规则集合。一般采用系统的正常活动模型为准则，根据专家 系统或统计方法对审计记录进行分析和处理，如果确实发生入侵，将进行 相应的处理。 继d e n n i n g 于1 9 8 7 年提出上述的通用的入侵检测模型后，i d e s 和它的 后继版本都是基于d e n n i n g 模型的，早期的入侵检测系统也多采用d e n n i n g 模型来实现。 燕山大学工学硕士学位论文 入侵行为的种类不断增多，涉及的范围不断扩大，而且许多攻击是经 过长时期准备，通过网上协作进行的。面对这种情况，入侵检测系统的不 同功能组件之间、不同i d s 之间共享这类攻击信息是十分重要的。为使各 安全设备之间能有效的进行协作，加州大学d a v i s 分校的安全实验室研究并 完成了一种通用的入侵检测框架模型，简称c i d f 。该框架模型的目的主 要有下面三个。 ( 1 ) i d s 构件共享即一个i d s 的构件可以被另一个i d s 构件所使用。 ( 2 ) 数据共享即通过提供标准的数据格式，使得i d s 中的各类数据可 以在不同系统之间传递并共享。 ( 3 ) 开发部分构件完善互用性标准并建立起一套开发接口和支持工 具，以提供独立开发部分构件的能力。 c i d f 模型主要是由事件产生器( e v e n tg e n e r a t o r s ) 、事件分析器( e v e n t a n a l y z e r s ) 、响应单元( r e s p o n s eu n i t s ) 、事件数据库( e v e n td a t a b a s e s ) 四部 分组成，如图2 2 所示。 检测目标 图2 - 2c i d f 入侵检测框架模型 f i g u r e2 - 2m o d e lo f c l d fi d sf t a m ，w o l k c i d f 将入侵检测系统需要分析的数据统称为事俐埔】，它可以是网络中 截获的数据包，也可以是从系统日志等其它途径得到的系统信息。事件发 生器是从整个计算系统中获得事件，向系统的其它部分提供处理后的事件。 事件分析器分析所得到的数据，并产生分析后的结果。响应单元将对得到 的分析结果做出反应，如切断网络连接、改变文件属性、简单报警等应急 1 4 笙! 量全堡竺塑茎查竖垄 响应。事件数据库存放各种中间和最终数据。c i d f 模型有很强的扩展性， 目前已经得到广泛认同。 2 4 入侵检测系统面临的挑战 入侵检测系统作为网络安全的关键性防范系统仍然存在很多问题，这 有待于进一步完善，以便为今后的网络发展提供有效的安全手段。 ( 1 ) 适应性如何识别出大规模的组合式、分布式、复合式的入侵攻击。 自动化工具的日趋成熟和多样化，以及攻击手法的越来越复杂和细致，入 侵检测系统必须具有更好的适应性，并不断跟踪最新的安全技术，才能保 证不被攻击者超越。 ( 2 ) 稳定性网络入侵检测系统通过匹配网络数据包发现攻击行为，入 侵检测系统往往假设攻击信息是明文传输的，然而通过对信息的改变或重 新编码就可能骗过入侵检测系统的检测，因此字符串匹配【1 9 , 2 0 1 的方法对于 加密过的数据包就显得无能为力。 ( 3 ) 实时性随着网络带宽的不断增加，如何开发基于高速网络的检测 器，仍然存在很多技术上的困难。用户往往要求i d s 尽快的报警，因此需 要对获得的数据进行实时分析，这导致对所在系统的及时性要求越来越高。 ( 4 ) 一致性对入侵检测系统的评价还没有客观的标准，标准的不统一 使得入侵检测系统之间不易互联。入侵检测系统是一项新兴技术，随着技 术的发展和对新攻击识别的增加，入侵检测系统需要不断的升级才能保证 网络的安全性【2 l ，埘。 ( 5 ) 易被欺骗性基于网络的i d s 使用一般的网络协议栈对受保护主机 的协议栈行为建模，来评价网络数据包，攻击者可利用这种协议栈的差异， 向一个目标主机发送让i d s 解释困难的数据包，如修改分段、序列号和包 的标志位进行欺骗田】。 ( 6 ) 扩展性必须协调、适应多样性环境中的不同安全策略，网络及其 设备越来越多样化，即存在关键资源如邮件服务器、企业数据库，也存在 众多相对不很重要的p c 机，不同企业之间的情况也不尽相同，i d s 要能有 燕山大学工学硕士学位论文 所定制以更适应多样化环境的要求。 2 5 入侵检测技术发展的趋势 入侵检测技术其未来发展趋势主要表现在以下方面。 ( 1 ) 改进对大数据量网络的处理方法随着网络对大数据量处理的要 求，入侵检测的性能要求也在逐步提高，出现了千兆入侵检测等产品。但 如果入侵检测检测产品不仅具备攻击分析，同时具备内容恢复和网络审计 的功能，则其存储系统也很难完全工作在千兆环境下。这种情况下要提高 其性能主要需考虑以下两个方面：首先，i d s 的软件结构和算法需要重新 设计，以期适应高速网络的环境要求，提高软件的运行速度和效率；其次， 随着高速网络技术的不断发展与成熟，新的高速网络协议的设计也必将成 为未来网络发展的趋势，那么现有的i d s 如何适应和利用未来的新网络协 议必然将是一个全新的问题。 ( 2 ) 大规模分布式的检测技术传统集中式i d s 的基本模型是在网络的 不同网段放置多个探测器，收集当前网络状态的信息，然后将这些信息传 送到中央控制台进行处理分析 2 4 - 2 6 。这种检测方式存在着明显的缺陷。首 先，对于大规模的分布式攻击，中央控制台的负荷将会超过其处理能力极 限，这种情况会造成大量信息处理的遗漏，导致漏警率