（系统分析与集成专业论文）基于多agent的网络入侵检测系统的研究.pdf

摘要 摘要 随 着计算机网络的迅速发展， 网 络的安全问 题日 益突出。 入侵检测技术是一种动态的安 全防护手段， 它能主动寻找入侵信号， 给网络系统提供对外部攻击、 内 部攻击和误操作的安 全保护。 目 前常规的 入侵检测系统大多数都采用单一体系结构， 在系统结构和检测技术上都存在 缺陷， 据此本文主要对网络入侵检测模型和检测技术进行了 研究和改进。 1 ，在网 络入侵检测模型方面，在分析比 较层次模型 ( a f f i d和 e m e r a l d ) 和协同 模 型( 基 于多a g e n t 的 入侵 检测 协同 模型) 的 基础上， 提出 了 一 种基 于多人 g e n t 的 层次 协同 入 侵检测 模型， 该模型 采用a g e n t 技术 把一个网 络入侵 检测 系统按 功能 进行了 模块 化， 使之在 数据采集、分析及入侵的发现上实现了分布式。 2 .在网络入侵检测算法方面， 本文对异常和误用检测 算法进行了 研究。 在网 络异常检测 中， 主要采用了b p 的改 进算法一共辆梯度法， 实验证明: 在标准b p 算法及其改 进算法中， 共扼梯度法的检测性能 最佳， 其误报率最低为2 . 1 4 3 2 % , 检测率最高为9 7 . 8 2 6 1。 在网 络误 用检测中， 本文提出了 一种组合分类法作为误用检测算法。 该算法不仅能 对正常网络数据和 d o s 攻击、 p r o b e 攻击进行有效地检侧， 而且 对难以 检测的u 2 r攻击和r m攻击也能 进行 比 较有效地检测，并且对于新的攻击也具备一定的检测能力，其对已知攻击的误报率为 1 . 5 1 5 2 %，检测率均高于9 5 %， 对新的攻击的误报率为3 .3 1 0 3 %,检测率高于8 0 %, 3 .在a g l e ts 平台 上开 发了 网 络入侵检 测系统中的 采集a g e n t 和网 络检测a g e n t , 关键词:网络入侵检测层次协同模型多a g e n t b p 算法组合分类法 abs t r act wi t h t h e d e v e l o p m e n t o f n e t w o r k , t h e s e c u r it y o f n e t w o r k h a s b e c o m e m o r e a n d m o r e i m p o rt a n t . t h e i n t r u s i o n d e t e c t i o n t e c h n o l o g y i s a d y n a m i c a n d s a f e d e f e n s e w a y . i t c a n f i n d i n t r u s i o n s i g n a l s a c t i v e l y , a n d p r o v i d e t h e s a f e p r o t e c t i o n f o r t h e s y s t e m o f n e t w o r k as t h e o u t s i d e i n t r u s i o n o r i n s i d e i n t r u s i o n o r m i s u s e a p p e a r s . t h e m o s t c u r r e n t l y i n t r u s i o n d e t e c t i o n s y s t e m s t r u c t u r e s a d o p t o n l y o n e s t ru c t u r e , w h i c h e x i s t s s o m e d e f e c t s b o t h i n t h e s t r u c t u r e a n d t h e d e t e c t i o n t e c h n o l o g y , s o t h e t h e s i s f o c u s e s o n t h e n e t w o r k i n t r u s i o n d e t e c t i o n m o d e l a n d t e c h n o l o g y a n d m a k e s s o m e i m p r o v e m e n t s . 1 . o n t h e as p e c t o f n e t w o r k d e t e c t i o n m o d e l , a m u lt i - a g e n t h i e r a r c h i c a l c o o p e r a t i o n m o d e l i s p r e s e n t e d a ft e r a n a l y z i n g a n d c o m p a r i n g t h e h i e r a r c h i c a l m o d e l s ( a f f i d , e me r a l d ) a n d c o l l a b o r a t i v e m o d e l ( t h e m u l t i - a g e n t i n t r u s i o n d e t e c t i o n c o l l a b o r a t iv e m o d e l ) . t h e m o d e l c a n m o d u l a r i z e a n e t w o r k i n t r u s i o n d e t e c t i o n s y s t e m w i t h t h e t e c h n o l o g y o f a g e n t , s o it c a n r e a l i z e t h e d i s t r i b u t i o n o f d a t a c o l l e c t i o n , d a t a a n a l y s i s a n d t h e d i s c o v e r y o f i n t r u s i o n . 2 . o n t h e as p e c t o f n e t w o r k i n t ru s io n d e t e c t i o n a l g o r it h m , t h e t h e s i s s t u d i e s t h e m i s u s e d e t e c t i o n a l g o r i t h m a n d a n o m a l y d e t e c t i o n a l g o r it h m . o n t h e a s p e c t o f a n o m a l y d e t e c t i o n a l g o r it h m , t h e t h e s i s m a i n l y u s e s t h e i m p r o v e d a l g o r i t h m o f b p一 o n j u g a t e g r a d i e n t b p , o u r e x p e r i m e n t s s h o w i t p e r f o r m s w e l l a m o n g o t h e r a l g o r i t h m s w it h t h e l o w e s t f a l s e p o s i t i v e r a t e 2 . 1 4 3 2 % a n d t h e h i g h e s t d e t e c t i o n r a t e 9 7 . 8 2 6 1 % i n t h e n e t w o r k s a n o m a l y d e t e c t i o n . o n t h e as p e c t o f m i s u s e d e t e c t i o n a l g o r i t h m , t h e t h e s i s p r o p o s e s a c o m b i n a t i o n c l as s i f i c a t i o n f o r m i s u s e d e t e c t i o n . i t c a n d e t e c t i o n t h e n o r m a l n e t w o r k d a t a , t h e d o s a t t a c k s a n d t h e p r o b e a t t a c k s , a n d i t a l s o c a n d e t e c t io n t h e r 2 l a t t a c k s a n d t h e u 2 r a t t a c k s w h i c h i s d i ff i c u lt l y d e t e c t e d . t h e a l g o r i t h m c a n d e t e c t s o m e n e w a tt a c k s . f o r k n o w n a tt a c k s , t h e f a l s e p o s i t i v e r a t e i s 1 . 5 1 5 1 % a n d t h e d e t e c t i o n r a t e i s m o r e t h a n 9 5 %. f a r n e w a tt a c k s , t h e f a l s e p o s it iv e r a t e i s 3 . 3 1 0 3 % a n d t h e de t e c t i o n r a t e i s mo r e t h a n 8 0 %. 3 . o n t h e e n v i r o n m e n t o f a g l e t s , t h e c o l l e c t i v e a g e n t a n d n e t w o r k d e t e c t i o n a g e n t f o r t h e n e t w o r k i n t r u s i o n d e t e c t i o n s y s t e m a r e f i n i s h e d . k e y w o r d s : n e t w o r k i n t r u s i o n d e t e c t i o n , h i e r a r c h i c a l c o o p e r a t i o n m o d e l , m u l t i - a g e n t , t h e b p a l g o r i t h m, t h e c o m b i n a t i o n c l as s i fi c a t i o n 学位论文独创性声明 本人 郑重 声 明: 1 ,坚持以 “ 求实、创新”的科学精神从事研究工作。 2 、本论文是我个人在导师指导下进行的研究工作和取得的研究 成 果 。 3 、本论文 中除引文外，所有实验 、数据和有关材料 均是真实的 。 4 、本论文中除引文和致谢的内容外，不包含其他人或其它机构 已经发表或撰写过 的研究成果。 5 、其他同志对本研究所做的贡献均己在论文中作了声明并表示 了谢意 。 作者签名 日期 : 鹰 曲 1一一 :) ir o s - 6 . - 学位论文使用授权声明 本人完全了解南京信息工程大学有关保留、 使用学位论文的规定， 学校有权保留学位论文并向国家主管部门或其指定机构送交论文的 电子版和纸质版 ; 有权将学位论文用于非赢利 目的的少量复制并允许 论文进入学校图书馆被查阅; 有权将学位论文的内容编入有关数据库 进行检索;有权将 学位论文的标题和摘要汇编出版 。 保密的学位论文 在解 密后适用本规 定 。 作者签名: 雷雁 日期:2 s . h . 5 关于学位论文使用授权的说明 本 人完 全了 解南 京信息 工 程大学有 关 保留 、 使 用学 位 论文的 规定， 即 : 学 校有权保留送交论文的复印件， 允许论文被查阅和借阅; 学校可以公布论文的全 部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 作 者 签 名 : 曳雌 日期 : s h .r 导师签名: 日期: 第 t 章绪论 第， 章绪论 ， . 1 论文背景 随着社会信息化程度日 益提高和互联网技术的飞速发展， 计算机通信网 络在政治、 军事、 金融、 商业、 交通、电 信、 文教等方面的作用日 益增大， 社会各行各业对于计算机网 络的依 赖程度日益增强。与此同时，由于互联网的开放性、网络协议的固有弱点、网络连接形式的 多样性、 信息的共享和易于扩散的特性， 计算机网 络面临的安全威胁日 趋严重， 各类攻击与 破坏层出 不穷， 与日 俱增。 计算机网络安全问 题已 经成为影响国 家安全、 经济运行和发展以 及社会稳定和繁荣的大问题。 立足于我国信息产业发展的现状， 制定我国的 安全策略， 构 筑我国的 信息安全防范体系， 开发我国的 信息安全产品， 形成信息安全的民 族产业， 是关系国 计民 生和国家安全的大事， 因此无论从政治上还是经济上，网络安全技术的研究都是很有意义的工作。 实际上， 绝对安全的 计算机网 络系统是不可能 做到的。 各种网 络技术在时间和空间上的 延伸使目 前的网 络发展成为一个非常复杂的环境。 为了解决网络的安全， 人们设计出了许多 专门的技术， 如口 令认证、 安全审计、 防 火墙、 加密技术等。 但是总的来说， 这些技术都属 于一种静态的防御系统， 如同建立了 一个有各种防卫措施的银行。 静态防御系统中 过于严格 的安全策略是以 牺牲用户的方便性为代价， 与目 前网络的开放性、 共享性不相符， 很难做到 一个好的利弊权衡。同时， 即 使是安 全系数非常高的 加密技术、 防 火墙技术， 也很难防止密 码失窃和内 部人员攻击。 此外， 一个安全的系统也很难保证内 部人员的 误操作， 以 及复杂的 设置错误等系统漏洞产生。 入侵检测是一种动态的安全防护手段， 它能主动寻找入侵信号， 给网 络系统提供对外部 攻击、内部攻击和误操作的安全保护。 1 . 2 论文研究目的和方法 现行入侵检测系统大多数都采用单一体系结构， 即 所有的工作包括数据的 采集、 分析都 是由 单一主机上的单一程序完成的， 有一些网 络入侵检测系统只是在数据采集上实现了分布 式，数据的分析、入侵的发现还是由单个程序完成，这样的入侵检测系统存在如下的缺点: i .可扩展性较差。由 于所有的 工作都是由 单一主机执行， 被监控的主机数和网 络规模 受到限制。 第 t 章绪论 第， 章绪论 ， . 1 论文背景 随着社会信息化程度日 益提高和互联网技术的飞速发展， 计算机通信网 络在政治、 军事、 金融、 商业、 交通、电 信、 文教等方面的作用日 益增大， 社会各行各业对于计算机网 络的依 赖程度日益增强。与此同时，由于互联网的开放性、网络协议的固有弱点、网络连接形式的 多样性、 信息的共享和易于扩散的特性， 计算机网 络面临的安全威胁日 趋严重， 各类攻击与 破坏层出 不穷， 与日 俱增。 计算机网络安全问 题已 经成为影响国 家安全、 经济运行和发展以 及社会稳定和繁荣的大问题。 立足于我国信息产业发展的现状， 制定我国的 安全策略， 构 筑我国的 信息安全防范体系， 开发我国的 信息安全产品， 形成信息安全的民 族产业， 是关系国 计民 生和国家安全的大事， 因此无论从政治上还是经济上，网络安全技术的研究都是很有意义的工作。 实际上， 绝对安全的 计算机网 络系统是不可能 做到的。 各种网 络技术在时间和空间上的 延伸使目 前的网 络发展成为一个非常复杂的环境。 为了解决网络的安全， 人们设计出了许多 专门的技术， 如口 令认证、 安全审计、 防 火墙、 加密技术等。 但是总的来说， 这些技术都属 于一种静态的防御系统， 如同建立了 一个有各种防卫措施的银行。 静态防御系统中 过于严格 的安全策略是以 牺牲用户的方便性为代价， 与目 前网络的开放性、 共享性不相符， 很难做到 一个好的利弊权衡。同时， 即 使是安 全系数非常高的 加密技术、 防 火墙技术， 也很难防止密 码失窃和内 部人员攻击。 此外， 一个安全的系统也很难保证内 部人员的 误操作， 以 及复杂的 设置错误等系统漏洞产生。 入侵检测是一种动态的安全防护手段， 它能主动寻找入侵信号， 给网 络系统提供对外部 攻击、内部攻击和误操作的安全保护。 1 . 2 论文研究目的和方法 现行入侵检测系统大多数都采用单一体系结构， 即 所有的工作包括数据的 采集、 分析都 是由 单一主机上的单一程序完成的， 有一些网 络入侵检测系统只是在数据采集上实现了分布 式，数据的分析、入侵的发现还是由单个程序完成，这样的入侵检测系统存在如下的缺点: i .可扩展性较差。由 于所有的 工作都是由 单一主机执行， 被监控的主机数和网 络规模 受到限制。 第 ， 章绪论 2 ，单点失 效。当 入侵检测系统自 身因受到攻击或其他原因而不能正常工作时， 其保护 功能就会丧失。 3 .系统在重新进行配置或增加新的功能时， 往往必须手工编辑某些配置文件，而且必 须重新启动以使其生效。 这样既不方便，又降低了入侵检测系统的效率及其实时性。 4 .入侵检测系统自 身易遭到攻击和逃避攻击。 5 ，不能和其他网 络安全产品 互操作。 入侵检测不是安全的终极武器， 一个安全的网 络 中应该根据安全政策使用多种安 全产品。 但入侵检测系统不能 很好的和其他安全产品 协作。 比如， 一个网 络中每两个小时自 动运行一次 漏洞扫描程序， 如果他们不能 够互操作， 入侵检 测系统将每两个小时产生一次警报。 6 .攻击特征库的更新不及时。 绝大多数的 入侵检测系统都是适用模式匹 配的 分析方法 这要求攻击特征库的特征值 应该是最新的。 在如今每天都有新漏洞发布、 新的 攻击方法产生 的情况下显然不能满足安全需求。 7 .检测分析方法单一。 攻击方法的 越来越复杂， 单一的 基于模式匹配或统计的 分析方 法已 经难以发现某些攻击。 另外， 基于模式匹配和基于统计的分析方法各有所长， 入侵检测 系统的发展趋势是在同 一个系统中同时使用不同的分析方法。 现在几乎所有的 入侵检测系统 都使用了单一的分析方法。 本文 通过设计 一种基于多 a g e n t 层次协同 入 侵检测模型 对网 络入侵 检测系统的 系统结 构 进 行 了 改 进， 使 之 在 数 据 采 集 、 分 析 及 入 侵 的 发 现 上 实 现 了 分 布 式， 同 时 采 用a g le t s li l进 行系统开发， 解决了a g e n t 间的通信、 安全性及故障恢复 等问 题。 本文还采用神经网 络和数 据挖掘技术作为 异常检测和误用检测技术， 实现了网 络攻击特征的更新自 动化和检钡 9 分析技 术的多样化。 1 . 3 研究内容和安排 1 . 3 . 1 研究内容 本文对网络入侵检测模型和检测技术上进行了 研究和改进。在检测技术上: 通过使用 b p 算法及其改进算法 ( 附加动量法、自 适应学习率法、 b f g s 拟牛顿法、 共辘梯度法和动量 学习率法) 对p r o b e , d o s , u 2 r , r 2 l 攻击 进行了 检测， 实验证明 采用b p 神经网络进行异 常检测是可行的， 其中共扼梯度法的检测性能 最佳。 该实 验还证明: b p算法及其改进算法 能够对正常数据、d o s , p r o b e 攻击进行比较有效地检测， 对r m 攻击检测能力较弱，而对 第 ， 章绪论 2 ，单点失 效。当 入侵检测系统自 身因受到攻击或其他原因而不能正常工作时， 其保护 功能就会丧失。 3 .系统在重新进行配置或增加新的功能时， 往往必须手工编辑某些配置文件，而且必 须重新启动以使其生效。 这样既不方便，又降低了入侵检测系统的效率及其实时性。 4 .入侵检测系统自 身易遭到攻击和逃避攻击。 5 ，不能和其他网 络安全产品 互操作。 入侵检测不是安全的终极武器， 一个安全的网 络 中应该根据安全政策使用多种安 全产品。 但入侵检测系统不能 很好的和其他安全产品 协作。 比如， 一个网 络中每两个小时自 动运行一次 漏洞扫描程序， 如果他们不能 够互操作， 入侵检 测系统将每两个小时产生一次警报。 6 .攻击特征库的更新不及时。 绝大多数的 入侵检测系统都是适用模式匹 配的 分析方法 这要求攻击特征库的特征值 应该是最新的。 在如今每天都有新漏洞发布、 新的 攻击方法产生 的情况下显然不能满足安全需求。 7 .检测分析方法单一。 攻击方法的 越来越复杂， 单一的 基于模式匹配或统计的 分析方 法已 经难以发现某些攻击。 另外， 基于模式匹配和基于统计的分析方法各有所长， 入侵检测 系统的发展趋势是在同 一个系统中同时使用不同的分析方法。 现在几乎所有的 入侵检测系统 都使用了单一的分析方法。 本文 通过设计 一种基于多 a g e n t 层次协同 入 侵检测模型 对网 络入侵 检测系统的 系统结 构 进 行 了 改 进， 使 之 在 数 据 采 集 、 分 析 及 入 侵 的 发 现 上 实 现 了 分 布 式， 同 时 采 用a g le t s li l进 行系统开发， 解决了a g e n t 间的通信、 安全性及故障恢复 等问 题。 本文还采用神经网 络和数 据挖掘技术作为 异常检测和误用检测技术， 实现了网 络攻击特征的更新自 动化和检钡 9 分析技 术的多样化。 1 . 3 研究内容和安排 1 . 3 . 1 研究内容 本文对网络入侵检测模型和检测技术上进行了 研究和改进。在检测技术上: 通过使用 b p 算法及其改进算法 ( 附加动量法、自 适应学习率法、 b f g s 拟牛顿法、 共辘梯度法和动量 学习率法) 对p r o b e , d o s , u 2 r , r 2 l 攻击 进行了 检测， 实验证明 采用b p 神经网络进行异 常检测是可行的， 其中共扼梯度法的检测性能 最佳。 该实 验还证明: b p算法及其改进算法 能够对正常数据、d o s , p r o b e 攻击进行比较有效地检测， 对r m 攻击检测能力较弱，而对 第 ， 章绪论 2 ，单点失 效。当 入侵检测系统自 身因受到攻击或其他原因而不能正常工作时， 其保护 功能就会丧失。 3 .系统在重新进行配置或增加新的功能时， 往往必须手工编辑某些配置文件，而且必 须重新启动以使其生效。 这样既不方便，又降低了入侵检测系统的效率及其实时性。 4 .入侵检测系统自 身易遭到攻击和逃避攻击。 5 ，不能和其他网 络安全产品 互操作。 入侵检测不是安全的终极武器， 一个安全的网 络 中应该根据安全政策使用多种安 全产品。 但入侵检测系统不能 很好的和其他安全产品 协作。 比如， 一个网 络中每两个小时自 动运行一次 漏洞扫描程序， 如果他们不能 够互操作， 入侵检 测系统将每两个小时产生一次警报。 6 .攻击特征库的更新不及时。 绝大多数的 入侵检测系统都是适用模式匹 配的 分析方法 这要求攻击特征库的特征值 应该是最新的。 在如今每天都有新漏洞发布、 新的 攻击方法产生 的情况下显然不能满足安全需求。 7 .检测分析方法单一。 攻击方法的 越来越复杂， 单一的 基于模式匹配或统计的 分析方 法已 经难以发现某些攻击。 另外， 基于模式匹配和基于统计的分析方法各有所长， 入侵检测 系统的发展趋势是在同 一个系统中同时使用不同的分析方法。 现在几乎所有的 入侵检测系统 都使用了单一的分析方法。 本文 通过设计 一种基于多 a g e n t 层次协同 入 侵检测模型 对网 络入侵 检测系统的 系统结 构 进 行 了 改 进， 使 之 在 数 据 采 集 、 分 析 及 入 侵 的 发 现 上 实 现 了 分 布 式， 同 时 采 用a g le t s li l进 行系统开发， 解决了a g e n t 间的通信、 安全性及故障恢复 等问 题。 本文还采用神经网 络和数 据挖掘技术作为 异常检测和误用检测技术， 实现了网 络攻击特征的更新自 动化和检钡 9 分析技 术的多样化。 1 . 3 研究内容和安排 1 . 3 . 1 研究内容 本文对网络入侵检测模型和检测技术上进行了 研究和改进。在检测技术上: 通过使用 b p 算法及其改进算法 ( 附加动量法、自 适应学习率法、 b f g s 拟牛顿法、 共辘梯度法和动量 学习率法) 对p r o b e , d o s , u 2 r , r 2 l 攻击 进行了 检测， 实验证明 采用b p 神经网络进行异 常检测是可行的， 其中共扼梯度法的检测性能 最佳。 该实 验还证明: b p算法及其改进算法 能够对正常数据、d o s , p r o b e 攻击进行比较有效地检测， 对r m 攻击检测能力较弱，而对 第 ( 11w 绪论 u 2 r攻击无能为力: 但是能够检测出 部分新的 攻击。 在结合b p 算法和决策树检测特点的基 础上， 本文提出了 一种组合分类算法，该算法能 够对不同类型的 入侵数据进行有效的检测， 同时由 于加入事后分析模块， 所以 对规则库能 够进行及时有效地更新和规则的自 动生成。 在 系 统 模 型 上: 通过 分 析 三 种 典 型的 基 于a g e n t 的 入 侵 系 统 模型( a f f i d 12 1 , e m e r a l d 及 基 于 多a g e n t 的 入 侵 检 测 协 同 模 型 (4 1 ) 提 出 一 种 基 于 多a g e n t 的 层 次 协 同 入 侵 检 测 模 型 。 该 模型能完成本地检测和全局检测工作。 具体的研究内容如下: 1 ，从k d d c u p 9 护 数 据 集 中 选 取 训 练 数 据 集 和 测 试 数 据 集， 数 据 经 过 初 步 的 预 处 理 工 作 后，使之适用于人工神经网络和组合分类算法的训练和测试。 2 .在 本文 提出 的网 络入 侵检测 模型 上， 实 现了 网 络采集a g e n t 和网 络检 测a g e n t ( 异常 检测a g e n t ,误用检测a g e n t ) , 1 . 3 . 2 论文安排 本文的的内 容具体安排如下: 第i 章是绪论， 介绍论文的 背景、 研究目 的和方法以 及论文研究的主要内 容。 第2 章是入侵检测系统概述， 包括入侵检测系统发展历史和研究现状、 入侵检测系统的 分类以及入侵检测技术，最后论述入侵检测系统评估指标。 第3 章首先讨论b p 神经网 络的标准b p 算法及其改进算法 ( 附加动量法、自 适应学习 率法、 b f g s拟牛顿法、和动量学习 率法) ， 并将它们用于网 络的异常检测和误用检测中。 然 后讨论数据挖掘技 术及其在入 侵检 测中 的 应 用， 重点 介绍了 分 类算法( r i p p e r (和决策树 c 4 .少匕在 误 用 检 测中 的 应 用。 最 后 介 绍了 本 文 设 计的 误用 检测 检 测 算 法 一 组合 分 类 算 法， 并给出了了实验结果。 第4 章是 基于 多a g e n t 的层 次协同 入 侵检测 模型的 设 计， 包括对a g e n t 技术的 介绍和基 于a g e n t 的 入侵检测系统 模型 ( a f f i d . e m e r a l d 及基于多a g e n t 的 入 侵检 测协同 模型) 的比 较 和分析， 最后提出了 一 种基于 多a g e n t 的 层次 协同 入侵 检测系 统 模型设 计， 并描述其 各部件的功能和系统性能评估分析。 第5 章是系统的 初步实现， 主要阐 述系统中的网络采集a g e n t 、检测a g e n t 的设计和实 现，并给出了相应的实验结果。 第6 章是木文的总结和展望。 第 ( 11w 绪论 u 2 r攻击无能为力: 但是能够检测出 部分新的 攻击。 在结合b p 算法和决策树检测特点的基 础上， 本文提出了 一种组合分类算法，该算法能 够对不同类型的 入侵数据进行有效的检测， 同时由 于加入事后分析模块， 所以 对规则库能 够进行及时有效地更新和规则的自 动生成。 在 系 统 模 型 上: 通过 分 析 三 种 典 型的 基 于a g e n t 的 入 侵 系 统 模型( a f f i d 12 1 , e m e r a l d 及 基 于 多a g e n t 的 入 侵 检 测 协 同 模 型 (4 1 ) 提 出 一 种 基 于 多a g e n t 的 层 次 协 同 入 侵 检 测 模 型 。 该 模型能完成本地检测和全局检测工作。 具体的研究内容如下: 1 ，从k d d c u p 9 护 数 据 集 中 选 取 训 练 数 据 集 和 测 试 数 据 集， 数 据 经 过 初 步 的 预 处 理 工 作 后，使之适用于人工神经网络和组合分类算法的训练和测试。 2 .在 本文 提出 的网 络入 侵检测 模型 上， 实 现了 网 络采集a g e n t 和网 络检 测a g e n t ( 异常 检测a g e n t ,误用检测a g e n t ) , 1 . 3 . 2 论文安排 本文的的内 容具体安排如下: 第i 章是绪论， 介绍论文的 背景、 研究目 的和方法以 及论文研究的主要内 容。 第2 章是入侵检测系统概述， 包括入侵检测系统发展历史和研究现状、 入侵检测系统的 分类以及入侵检测技术，最后论述入侵检测系统评估指标。 第3 章首先讨论b p 神经网 络的标准b p 算法及其改进算法 ( 附加动量法、自 适应学习 率法、 b f g s拟牛顿法、和动量学习 率法) ， 并将它们用于网 络的异常检测和误用检测中。 然 后讨论数据挖掘技 术及其在入 侵检 测中 的 应 用， 重点 介绍了 分 类算法( r i p p e r (和决策树 c 4 .少匕在 误 用 检 测中 的 应 用。 最 后 介 绍了 本 文 设 计的 误用 检测 检 测 算 法 一 组合 分 类 算 法， 并给出了了实验结果。 第4 章是 基于 多a g e n t 的层 次协同 入 侵检测 模型的 设 计， 包括对a g e n t 技术的 介绍和基 于a g e n t 的 入侵检测系统 模型 ( a f f i d . e m e r a l d 及基于多a g e n t 的 入 侵检 测协同 模型) 的比 较 和分析， 最后提出了 一 种基于 多a g e n t 的 层次 协同 入侵 检测系 统 模型设 计， 并描述其 各部件的功能和系统性能评估分析。 第5 章是系统的 初步实现， 主要阐 述系统中的网络采集a g e n t 、检测a g e n t 的设计和实 现，并给出了相应的实验结果。 第6 章是木文的总结和展望。 第2 章入侵检测系统概述 第2 章入侵检测系统概述 2 . 1 入侵检测系统的发展 入侵检测技术自 2 0 世纪8 0 年代早期提出， 经过2 0 多年的不断发展， 从最初的一种有价值 的研究想法和单纯的理论模型， 迅速发展为种类繁多的各种实际原型系统， 并且在近1 0 年内 涌现了 许多商用入侵检测产品， 成为计算机安全防护领域内不可缺少的一种重要的安全防护 技 术 日。 1 9 8 0 年， j a m e s a n d e r s o n 在 报 告 “ c o m p u t e r s e c u r it y t h r e a t m o n it o r in g a n d s u r v e il l a n c e l9 i 中提出， 必须改变现有的安全审计系统机制，以 便为专职系统安全人员提供安全信息， 此文 首次提出了检测思路。 1 9 8 4 - 1 9 8 6 年 d e n n in g 和n e u m a n n 在s r i 公司内 设计 和实现了 著 名的i d e s ( i n t r u s io n d e t e c t i o n e x p e rt s y s te m ) ， 该 系统是早 期入 侵检测系 统中 最有影响 力的 一 个。 i d e s 系统 采纳 了a n d e r s o n 提出的若干建议。 i d e s 系统包括了统计分析组件和专家系统组件，同时实现了 基于统计分析的异常检测技术和基于规则的误用技术。 1 9 8 7 年， d o r o t h y d e n n in g 发表的 经典 论文“ a n i n t r u s io n d e t e c ti o n m o d e l ”中 提出 入 侵 检测的基本模型， 并提出了 几种可用于入侵检测的统计分析模型。 入侵检测领域内的 研究工 作从此正式启动了。 同 年， 在s r i 召开了 首次入侵检测的专题研讨会。 1 9 8 9 - 1 9 9 1 年， s t e p h e n s m a h a 设 计开 发了h a y s ta c k 入 侵 检 测 系 统， 该 系 统 用于 美国 空 军内 部网 络的 安全检测目 的。 h a y s t a c k 同 时 采用了 两种不同 的 统 计分析 检测 技术， 来发 现异 常的用户活动。 1 9 9 0 年， 加州大学d a v i s 分校的t o d d h e b e r l i e n发表在i e e e上的 论文 “ a n e t w o r k s e c u r it y m o n i t o r ， 标 志着入侵 检测第一 次 将网 络数 据包 作为 实际 输 入的 信息 源。 n s m系 统截获t c p / i p 分组数据， 可用于监控异构网 络环境下的异常活动。 1 9 9 1 年， 在多 个部门 的 赞 助支持下， 在n s m系统 和h a y s t a c k 系统的 基础上， s t e p h e n s m a h a 主持设计开发了d i d s ( 分布式入侵检测系统) 。 d i d s 是首次将主机入侵检测和网络检 测技术进行集成的一次努力， 它具备在目 标网络环境下跟踪特定用户异常活动的能力。 1 9 9 2 年， 加州大学圣巴巴 拉分校的p o r r a s 和l o s 提出了状态转移分析的 入侵检测技术， 并实现了 原型系统u s t a t ，之后发展的n s t a t , n e t s t a t 等系统。 第2 章入侵检测系统概述 第2 章入侵检测系统概述 2 . 1 入侵检测系统的发展 入侵检测技术自 2 0 世纪8 0 年代早期提出， 经过2 0 多年的不断发展， 从最初的一种有价值 的研究想法和单纯的理论模型， 迅速发展为种类繁多的各种实际原型系统， 并且在近1 0 年内 涌现了 许多商用入侵检测产品， 成为计算机安全防护领域内不可缺少的一种重要的安全防护 技 术 日。 1 9 8 0 年， j a m e s a n d e r s o n 在 报 告 “ c o m p u t e r s e c u r it y t h r e a t m o n it o r in g a n d s u r v e il l a n c e l9 i 中提出， 必须改变现有的安全审计系统机制，以 便为专职系统安全人员提供安全信息， 此文 首次提出了检测思路。 1 9 8 4 - 1 9 8 6 年 d e n n in g 和n e u m a n n 在s r i 公司内 设计 和实现了 著 名的i d e s ( i n t r u s io n d e t e c t i o n e x p e rt s y s te m ) ， 该 系统是早 期入 侵检测系 统中 最有影响 力的 一 个。 i d e s 系统 采纳 了a n d e r s o n 提出的若干建议。 i d e s 系统包括了统计分析组件和专家系统组件，同时实现了 基于统计分析的异常检测技术和基于规则的误用技术。 1 9 8 7 年， d o r o t h y d e n n in g 发表的 经典 论文“ a n i n t r u s io n d e t e c ti o n m o d e l ”中 提出 入 侵 检测的基本模型， 并提出了 几种可用于入侵检测的统计分析模型。 入侵检测领域内的 研究工 作从此正式启动了。 同 年， 在s r i 召开了 首次入侵检测的专题研讨会。 1 9 8 9 - 1 9 9 1 年， s t e p h e n s m a h a 设 计开 发了h a y s ta c k 入 侵 检 测 系 统， 该 系 统 用于 美国 空 军内 部网 络的 安全检测目 的。 h a y s t a c k 同 时 采用了 两种不同 的 统 计分析 检测 技术， 来发 现异 常的用户活动。 1 9 9 0 年， 加州大学d a v i s 分校的t o d d h e b e r l i e n发表在i e e e上的 论文 “ a n e t w o r k s e c u r it y m o n i t o r ， 标 志着入侵 检测第一 次 将网 络数 据包 作为 实际 输 入的 信息 源。 n s m系 统截获t c p / i p 分组数据， 可用于监控异构网 络环境下的异常活动。 1 9 9 1 年， 在多 个部门 的 赞 助支持下， 在n s m系统 和h a y s t a c k 系统的 基础上， s t e p h e n s m a h a 主持设计开发了d i d s ( 分布式入侵检测系统) 。 d i d s 是首次将主机入侵检测和网络检 测技术进行集成的一次努力， 它具备在目 标网络环境下跟踪特定用户异常活动的能力。 1 9 9 2 年， 加州大学圣巴巴 拉分校的p o r r a s 和l o s 提出了状态转移分析的 入侵检测技术， 并实现了 原型系统u s t a t ，之后发展的n s t a t , n e t s t a t 等系统。 第2 章入侵检测系统概述 而s a i c 和h a y s t a c k l a b s 分 别开 发出 了c m d s 系统 和s t a lk e r 系 统， 这 两个系 统是首 批 投入商用的主机入侵检测系统。 1 9 9 4 年 p o r r a s 在s r i 开 发出i d e s 系 统的 后续 版本n i d e s 系 统。 进一 步， s r i 开发了 用于分布式环境的e m e r a l d系统。 1 9 9 5 年，普渡大学的s .k u m a r 在s t a t的思想基础上， 提出了基于有色p e t r i 的 模式匹 配计算模型，并实现了i d i o t原型系统。 1 9 9 6 年，新墨西哥大学的f o r r e s t 提出了 基于计算机免疫学的入侵检测技术。 1 9 9 7年， c i s c o公司开始将入侵检测技术嵌入到路由器，同时， i s s公司发布了基于 w in d o w s 平台 的r e a l s e c u r e 入侵 检测系统，自 此拉 开商用网 络 入侵检 测系统的 发展 序幕。 1 9 9 8 年， m i t的r i c h a r d l ip p m a n n 等人为d a r p a进行了 一次 入侵检 测系统的 离线 评 估活动 o o l ， 该评估活 动使用的 是 人工合 成的 模拟数 据， 最 后的 测试结果 对于 后来的 入 侵检测 系统开发和评估工作都产生了 较大的 影响 1 9 9 9 年! l o s a la m o s 的v .p a x s o n 开 发 了b r 。 系 统， 用 于 高 速 网 络 环 境 下 的 入 侵 检 测。 同年，加州大学的d a v i s 分校发布了g r i d s 系统。 w e n k e l e 。 提出了 用于入 侵检测的 数 据挖掘技术 框架 p a l 2 0 0 0 年， 普 渡 大 学的d i e g o z a m b o n i 和e . s p a ff o r d 提出 了 入 侵 检测 的自 治 代 理结 构， 并 实现了 原型系统a f f i d系 统。 近年来 入侵检测呈 现出 新的 发 展趋势f il l 。 在传统 模式匹 配技术 基础上发 展了 一 种新的 入 侵检测技术 一协议分析， 它充分利用了网 络协议的高度有序性， 结合高速数据包捕捉、 协议 分析和命令解析，来快速检测某个攻击特征是否存在， 这种技术正逐渐进入成熟应用阶段。 协议分析大大减少了计算量， 即使在高负载的高速网络上， 也能逐个分析所有的数据包。 状 态协议分析就是在常规协议分析技术的基础上， 加入状态特性分析。 当 有些网 络攻击行为需 要对多个请求进行检测才能发现时， 状态协议分析技术就显得十分必要。 由 于网 络的 特性之 一就是开放与共享，工 d s也开始强调互操作。这种互操作体现在两方面，一方面是各个 i d s 之间的 信息交换， 另一方面是 工 d s 与 其他安全设备之间的 互动。工 e t f 制定了工 d s 之间信息 交换的 规范i d x p ( i n t r u s i o n d e t e c t i o n e x c h a n g e p r o t o c o l ) 和i d m e f ( i n t r u s i o n d e t e c t i o n m