（系统分析与集成专业论文）基于网络的异常入侵检测技术研究.pdf

硕士学位论文 基于网络的异常入侵检测技术研究 摘要 入侵检测是信息安全保护体系结构中的一个重要组成部分， 主要从网络中多个关键点收 集信息并进行分析评判， 实现对网络实时监控， 确保计算机网络资源安全性。 针对当前入侵 检测系 统 ( i n t r u s io n d e t e c t i o n s y s t e m , i d s ) 中 存在可扩展性、自 适应性 较差， 无 法检测出 未知攻击， 检测率偏低及误报率较高等诸多问 题， 本文从提高检测效率的角度出发对智能 化 入侵检测技术进行了 相关研究。 本文介绍了 两种异常检测技术: 基于b p 神经网 络与基于层次聚类的检测方法。 详细分 析了算法的实现过程， 并通过k d d c u p 9 9 网 络入侵数据集进行实验， 对比分析了 这两种异 常检测算法的优缺点， 一方面说明了两种算法应用于入侵检测中的合理性与有效性， 另一方 面从实验得出 在入侵检测效果上b p 算法优于 层次聚类; 进而对b p 神经网 络用于入侵检测 进行了 深入研究。 由 于b p 网 络模型中网络初始权重的选取将直接影响到网络的收敛效果。 因此本文提出 了采用遗传算法对其进行优化， 充分利用遗传算法全局寻优的特性找出最佳初始权重， 以提 高收敛速度， 保 证网络性能。 通过对优化前后的 检测性能进行实验对比， 证明 优化后的算法 无论在检测准确率还是误报率上都有明显的改进. 关键词:入侵检测，异常检测， b p 神经网络， 遗传算法，聚类分析 硕士学位论文基于网络的异常入侵检测技术研究 ab s t r a c t i n t r u s i o n d e t e c t i o n i s a n e s s e n t i a l c o m p o n e n t o f i n f o r m a t i o n s e c u r i t y i n f r a s t r u c t u r e p r o t e c t io n m e c h a n i s m . i t a c q u i r e s a n d a n a l y z e s i n f o r m a t i o n f r o m m a n y k e y p o s it i o n s o n n e t w o r k , t h u s it mo n i t o r s t h e n e t wo r k a n d it s s e c u r i t y . t h e m a i n s h o rt c o m i n i n g s o f c u r r e n t i n t r u s i o n d e t e c t i o n s y s t e m ( i d s ) i n c l u d e p o o r s c a l a b i l i t y , p o o r a d a p t a b i l it y , i n c a p a b l i t y t o d e t e c t u n k n o w n n e w t y p e o f a tt a c k s , l o w d e t e c t i o n r a t e a n d h i g h f a l s e p o s i t i v e r a t e e t c . t o i m p rov e t h e d e t e c t i o n r a t e , t h i s th e t h e s i s f o c u s e s o n i n t e l l i g e n t in t r u s i o n d e t e c t i o n t e c h n o l o g y . t h e s i s i n t r o d u c e s t w o d e t e c t i o n m e t h o d s f o r n e t w o r k a n o m a l y i n t r u s i o n 。one i s b a s e d o n b p n e u r a l n e t w o r k ( b p - n n s ) , t h e o t h e r i s b ase d o n h i e r a r c h i c a l c l u s t e r a n a ly s i s . t h e i m p l e m e n t a t i o n o f t h e s e m e t h o d s a r e d e t a i l e d a n d e x p e r i m e n t s o n k d d c u p 9 9 s n e t w o r k i n t r u s i o n d a t a a r e d e s c r i b e d . me r i t s a n d s h o rt c m i n g s o f b o t h d e t e c t i o n t e c h n o l o g i e s a r e a n a l y z e d a n d c o m p a r e d . t h o u g h t h e s e m e t h o d s a r e r e a s o n a b l e a n d e ff e c t i v e , e x p e r i m e n t s s h o w t h a t t h e t e c h n o l o g y b as e d o n b p - n n s h as s u p e r i o r p e r f o r m a n c e i n a n o m a l y d e t e c t i o n . t h u s , t h e t h e s i s f u rt h e r s t u d i e s i n i n t r u s i o n d e t e c t i o n b ase d o n b p - nns . s i n c e t h e r a t e o f n e t w o r k c o n v e r g e n c e a n d u lt im a t e i n t r u s i o n d e t e c t i o n e ff e c t a r e d i r e c t l y i n fl u e n c e d b y t h e i n it i a l w e i g h t s o f b p - n n s , t h e t h e s i s p r o p o s e t o u s e t h e g e n e t i c a l g o r it h m s ( g a s ) t o o p t i m i z e t h e s e w e i g h t s . b e c a u s e o f t h e g l o b a l s e a r c h i n g c h a r a c t e r i s t i c o f g a s , t h e o p t i m u m i n i t i a l w e i g h t s c a n b e a c h i e v e d , w h i c h w i l l i m p r o v e t h e b p - n n s r a t e o f c o n v e r g e n c e a n d s t a b i l i z a t i o n o f t h e n e t w o r k p e r f o r m a n c e . e x p e r i m e n t s s h o w t h a t c o m p a r e d w i t h t h e o r i g i n a l b p - n n s ,t h i s n e w a l g o r i t h m d r a m a t i c a l l y i m p r o v e s b o t h i n t h e d e t e c t i o n a c c u r a c y r a t e a n d i n t h e f a l s e p o s i t i v e r a t e k e y s : i n t r u s i o n d e t e c t i o n , a n o m a l y d e t e c t i o n , b p n e u r a l n e t w o r k , g e n e t i c a l g o r i t h m , c l u s t e r a n a l y s i s 1 1 学位论文独创性声 明 本人郑重 声明: i 、坚持以 “ 求实、创新”的科学精神从事研究工作。 z 、本论文是我个人在导师指导下进行的研究工作和取得的研究成 果 。 3 、本论文中除引文外，所有实验、数据和有关材料均是真实的。 4 、本论文中除引文和致谢的内容外，不包含其他人或其它机构已经 发表或撰写过 的研 究成果 . 5 、其他同志对本研究所做的贡献均 已在论文中作了声明并表示了谢 意 。 ， 名 二 少件 日期:一 二 夕 卫 二 二 兰卫上 止 学位论文使用授权声明 本人完全 了解南京信息工程大学有关保留、使用学位论文的规定，学校 有权保留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质 版:有权将学位论文用于非烹利目的的少量复制并允许论文进入学校图书馆 被查阅:有权将学位论文的内容编入有关数据库进行检索;有权将学位论文 的标题 和摘要 汇编 出版 。保密 的学位论 文在解 密后 适用 本规 定 。 作者签名: 日期: 硕士学位论文 基于网络的异常入侵检测技术研究 第一章绪论 1 . 1 课题研究的目的和意义 随着社会的信息化程度日 益提高和互联网技术的飞速发展，计算机网络已经成为一个 国家最为关键的政治、经济和军事资源，也成为国 家实力的象征。网络改变了人们的生活、 工作方式，使信息的获取、 传递、 处理和利用更加高效、 迅捷，这不仅促进了社会生产，同 时也丰富了 人们的生活。 但随着网 络应用范围的不断扩大， 互联网的开放性、 网 络协议的固 有弱点、网络连接形式的多样性， 信息的共享和易于扩散的特性， 使得 “ 黑客” 侵犯和操纵 一些重要的信息和数据成为可能，并且侵犯与攻击的类型层出不穷，与日俱增。无论政府、 商务，还是金融、媒体的网站都在不同 程度上受到入侵与破坏。 根据数据统计， 9 9 % 的大公司都发生过大的入侵事件，如世界著名的商业网站y a h o o , b u y , a m a z o n 等都曾 被黑 客入 侵， 造成巨 大的 经济 损失。 甚至 连专门 从事网 络安全的r s a 网 站也受到黑客的 攻击ii i 。 在中国， 计算 机安 全问 题也同 样突出， 利 用计算机网 络 进行的 各 类违法行为以每年3 0 % 的速度递增。 而且中国8 5 %的与i n t e rn e t 相连的网络管理中心都遭到 过境内 外黑客的攻击或侵入， 其中银行、 金融和证券等机构是黑客攻击的重点， 这些金融机 构因黑客犯罪案件而损失的金额己高达数亿元，同时针对其他行业的黑客犯罪也时有发生。 因此， 计算机网 络的安全问 题已 成为一个鱼待解决的国际化问 题。 确保计算机系统、 网 络系统及整个信息基础设施的安全对于我国的经济建设和国防安全具有重要的意义。 一个健全的网络信息系统安全方案应该包括如下几方面的内容: 安全效用检验、 安全审 记、 安全技术、 安全教育与培训、 安全结构与程序、 安全规则等。 这是一个复杂的系统工程， 安全技术是其中的一个重要环节。目 前， 常用的安全技术有防火墙、 防病毒软件、 加密技术、 用户认证、 入侵检测系统等。 其中， 防火墙和入侵检测是两种重要的、 可以互为补充的安全 技术， 两者从不同的 角度、 不同的层次实 现了 被保 护网 络系统的 安全2 1 所谓入侵检测技术是一种主动保护自 己以 免黑客攻击的新型网 络安全技术。 入侵检测被 认为是防火墙之后的第二道安全闸门， 它在不影响网络性能的情况下对网络进行监测， 从而 提高对内部攻击、 外部攻击和误操作的实时保护。 作为传统计算机安全机制的补充， 入侵检 测的开发与应用扩大了网 络与系 统安全的 保护纵深， 成为目 前动态安全工具的主要研究和开 发方向 3 1随着系统漏洞不断被发现， 攻击不断发生， 入侵检测系统 ( i n t r u s io n d e t e c t i o n s y s te m . i d s ) 在整个安全系统中的 地位不断 提高， 所发挥的 作用也 越来越大。 无论是从事 网 络安全研究的 学者，还是从事 入侵检测产品开发的企业，都越来越重视入侵检测技术 在网络与信息安全策略中引入入侵检测系统，主要有两方面原因: 一方面网络和系统中存在着入侵行为， 井且这种行为越来越多， 危害越来越大。 入侵行 硕士学位论文 基于网络的异常入侵检测技术研究 第一章绪论 1 . 1 课题研究的目的和意义 随着社会的信息化程度日 益提高和互联网技术的飞速发展，计算机网络已经成为一个 国家最为关键的政治、经济和军事资源，也成为国 家实力的象征。网络改变了人们的生活、 工作方式，使信息的获取、 传递、 处理和利用更加高效、 迅捷，这不仅促进了社会生产，同 时也丰富了 人们的生活。 但随着网 络应用范围的不断扩大， 互联网的开放性、 网 络协议的固 有弱点、网络连接形式的多样性， 信息的共享和易于扩散的特性， 使得 “ 黑客” 侵犯和操纵 一些重要的信息和数据成为可能，并且侵犯与攻击的类型层出不穷，与日俱增。无论政府、 商务，还是金融、媒体的网站都在不同 程度上受到入侵与破坏。 根据数据统计， 9 9 % 的大公司都发生过大的入侵事件，如世界著名的商业网站y a h o o , b u y , a m a z o n 等都曾 被黑 客入 侵， 造成巨 大的 经济 损失。 甚至 连专门 从事网 络安全的r s a 网 站也受到黑客的 攻击ii i 。 在中国， 计算 机安 全问 题也同 样突出， 利 用计算机网 络 进行的 各 类违法行为以每年3 0 % 的速度递增。 而且中国8 5 %的与i n t e rn e t 相连的网络管理中心都遭到 过境内 外黑客的攻击或侵入， 其中银行、 金融和证券等机构是黑客攻击的重点， 这些金融机 构因黑客犯罪案件而损失的金额己高达数亿元，同时针对其他行业的黑客犯罪也时有发生。 因此， 计算机网 络的安全问 题已 成为一个鱼待解决的国际化问 题。 确保计算机系统、 网 络系统及整个信息基础设施的安全对于我国的经济建设和国防安全具有重要的意义。 一个健全的网络信息系统安全方案应该包括如下几方面的内容: 安全效用检验、 安全审 记、 安全技术、 安全教育与培训、 安全结构与程序、 安全规则等。 这是一个复杂的系统工程， 安全技术是其中的一个重要环节。目 前， 常用的安全技术有防火墙、 防病毒软件、 加密技术、 用户认证、 入侵检测系统等。 其中， 防火墙和入侵检测是两种重要的、 可以互为补充的安全 技术， 两者从不同的 角度、 不同的层次实 现了 被保 护网 络系统的 安全2 1 所谓入侵检测技术是一种主动保护自 己以 免黑客攻击的新型网 络安全技术。 入侵检测被 认为是防火墙之后的第二道安全闸门， 它在不影响网络性能的情况下对网络进行监测， 从而 提高对内部攻击、 外部攻击和误操作的实时保护。 作为传统计算机安全机制的补充， 入侵检 测的开发与应用扩大了网 络与系 统安全的 保护纵深， 成为目 前动态安全工具的主要研究和开 发方向 3 1随着系统漏洞不断被发现， 攻击不断发生， 入侵检测系统 ( i n t r u s io n d e t e c t i o n s y s te m . i d s ) 在整个安全系统中的 地位不断 提高， 所发挥的 作用也 越来越大。 无论是从事 网 络安全研究的 学者，还是从事 入侵检测产品开发的企业，都越来越重视入侵检测技术 在网络与信息安全策略中引入入侵检测系统，主要有两方面原因: 一方面网络和系统中存在着入侵行为， 井且这种行为越来越多， 危害越来越大。 入侵行 硕士学位论文基于网络的异常入侵检测技术研究 为的存在是因为网络及系统存在漏洞。 总的 来说这些漏洞可分为两大类: 一类是系统设计开 发中造成的漏洞;一类是由于对系统的错误使用和管理造成的漏洞。具体来讲有以下几种: 设计上的缺陷: 操作系统的 漏洞: 软件的错误、 缺陷和漏洞; 数据库的 安全漏洞: 用户的 管 理漏洞。 另一方面是其它安全策略不能完成网络安全检查的所有保护功能，需要入侵检测系统 的加入。 如防火墙技术是网 络与信息安全领域的一项重要技术， 它是保护网络或系统与外界 之间的 一道安全屏障。 它通过加强网络间的访问 控制， 防止外部用户非法使用内 部网 络的资 源， 从而达到保护内部网络的设备不被破坏， 内部网络的 敏感数据不被窃取的目 的。 它规定 了哪些内 部服务可以 被外界访问， 外界的哪些人可以 访问内部的服务， 以及哪些外部服务可 以被内 部人员 访问。 但防火墙只是一种被动的防御技术， 它不是万能的， 它无法识别和防御 来自 内 部网 络的 滥用和攻击， 如内 部员工恶意破坏、 删除数据、 越权使用设备， 或者将机密 数据用便携式存储设备随身带出去造成泄密以及员 工自己拨号上网造成攻击进入等等。 其它 的安全技术，如密码技术、 访问控制、身份识别和认证等， 也都是被动的防护技术，当 攻击 绕开或攻破它们后， 它们就无能为力了。 而入侵检测技术作为一种主动防护技术， 可在攻击 发生时记录攻击者的行为、 发出 报警， 必要时还可以 追踪攻击者。 它既可以 独立运行， 也可 以与防火墙等安全技术协同工作， 更好地保护网络。 因此， 入侵检测系统是整个网 络安全防 护体系中一个重要组成部分， 其功能和地位是越来越受到人们的重视， 入侵检测系统也越来 越多 地 被 人 们 所 应 用 n 1 1 . 2 从系统的角度看网络系统安全研究 计算机网络是以共享资源为目的， 在协议控制下实现多台计算机或终端间的数据交换与 通信的复杂系统。 随着网络应用范围的扩大， 经常出现网 络中资源被盗 用、 暴露或篡改， 甚 至出 现因 遭受恶意攻击而使整个网络陷于瘫痪的情况， 因 此网络安全性问题引 起了 人们高 度 重视。 我们在具体研究计算机网 络安全时， 应从全局考虑， 不仅要考虑网络安全机制本身存 在的安全性， 同时也应注意到网 络用户在使用网络资 源时是否有违法行为。 只要网 络系 统中 任何一处存在薄弱环节或严重缺陷， 系统的 整体安全性都会受到影响， 因此我们要用系统的 观点研究、规划、设计网 络及研究网 络的安全性。 入侵检测系统作为计算机网络安全系统的一个分支，在进行具体的系统设计与分析时， 也应充分利用系统工程的原理、 方法来指导其建设与管理， 即必须从系统科学的角度来分析， 充分领会系统工程的 特点， 从研究方法的 整体性， 技术应用上的综合性以 及管理上的 科学化 来进行系统分析和集成设计。 关于研究方法的整体性是指要应用系统科学中关于整体大于部分之和的思想， 不仅把 硕士学位论文基于网络的异常入侵检测技术研究 为的存在是因为网络及系统存在漏洞。 总的 来说这些漏洞可分为两大类: 一类是系统设计开 发中造成的漏洞;一类是由于对系统的错误使用和管理造成的漏洞。具体来讲有以下几种: 设计上的缺陷: 操作系统的 漏洞: 软件的错误、 缺陷和漏洞; 数据库的 安全漏洞: 用户的 管 理漏洞。 另一方面是其它安全策略不能完成网络安全检查的所有保护功能，需要入侵检测系统 的加入。 如防火墙技术是网 络与信息安全领域的一项重要技术， 它是保护网络或系统与外界 之间的 一道安全屏障。 它通过加强网络间的访问 控制， 防止外部用户非法使用内 部网 络的资 源， 从而达到保护内部网络的设备不被破坏， 内部网络的 敏感数据不被窃取的目 的。 它规定 了哪些内 部服务可以 被外界访问， 外界的哪些人可以 访问内部的服务， 以及哪些外部服务可 以被内 部人员 访问。 但防火墙只是一种被动的防御技术， 它不是万能的， 它无法识别和防御 来自 内 部网 络的 滥用和攻击， 如内 部员工恶意破坏、 删除数据、 越权使用设备， 或者将机密 数据用便携式存储设备随身带出去造成泄密以及员 工自己拨号上网造成攻击进入等等。 其它 的安全技术，如密码技术、 访问控制、身份识别和认证等， 也都是被动的防护技术，当 攻击 绕开或攻破它们后， 它们就无能为力了。 而入侵检测技术作为一种主动防护技术， 可在攻击 发生时记录攻击者的行为、 发出 报警， 必要时还可以 追踪攻击者。 它既可以 独立运行， 也可 以与防火墙等安全技术协同工作， 更好地保护网络。 因此， 入侵检测系统是整个网 络安全防 护体系中一个重要组成部分， 其功能和地位是越来越受到人们的重视， 入侵检测系统也越来 越多 地 被 人 们 所 应 用 n 1 1 . 2 从系统的角度看网络系统安全研究 计算机网络是以共享资源为目的， 在协议控制下实现多台计算机或终端间的数据交换与 通信的复杂系统。 随着网络应用范围的扩大， 经常出现网 络中资源被盗 用、 暴露或篡改， 甚 至出 现因 遭受恶意攻击而使整个网络陷于瘫痪的情况， 因 此网络安全性问题引 起了 人们高 度 重视。 我们在具体研究计算机网 络安全时， 应从全局考虑， 不仅要考虑网络安全机制本身存 在的安全性， 同时也应注意到网 络用户在使用网络资 源时是否有违法行为。 只要网 络系 统中 任何一处存在薄弱环节或严重缺陷， 系统的 整体安全性都会受到影响， 因此我们要用系统的 观点研究、规划、设计网 络及研究网 络的安全性。 入侵检测系统作为计算机网络安全系统的一个分支，在进行具体的系统设计与分析时， 也应充分利用系统工程的原理、 方法来指导其建设与管理， 即必须从系统科学的角度来分析， 充分领会系统工程的 特点， 从研究方法的 整体性， 技术应用上的综合性以 及管理上的 科学化 来进行系统分析和集成设计。 关于研究方法的整体性是指要应用系统科学中关于整体大于部分之和的思想， 不仅把 硕士学位论文 基于网络的异常入侵检测技术研究 研究 对象看成一个整体， 而且， 把研究过程也看成一个整体。 把系统看成是由 若干个子系统 有机结构的 整体来分析与设计， 对各子系统的技术要求首先是从实现整个系统技术协调的观 点来考虑， 从总体协调的需求来制定方案。 此外， 还应把所研究的系统放在更大的系统空间 或系统环境中去，作为从属于更大系统的组成部分来考虑。 关于技术应用上的综合性指的是系统科学中的 最优化原则，综合应用各种学科和技术 领域内所取得的成就， 构筑合理的技术结构， 使各种技术相互配合而达到系统整体的最优化。 对信息系统而言， 它是信息科学，系统科学、管理科学、 计算机科学、 控制理论及通信科学 等各领域技术的综合体。 对技术的使用来说， 并非每个子系统或部件都要有最好的性能才能 获得系统的 最佳性能， 只要技术结构的 合理， 用廉价的一般部件也可能组合出系统最佳性能。 综合不是各种技术的堆砌，而是以 最优化为原则， 注重各种技术的协调和结构合理。 管理上的科学化就是对工程进行科学管理。 对于网 络信息安全系统及其各子系统客观 上总存在两个并行进程，一个是工程技术进程，另一个是对工程技术进程的管理控制进程。 后者包括工程的规划、组织、控制、进度安排， 对各种方案进行分析、比较和决策， 评价选 定方案的 技术效果等s 1 1 . 3 存在的问题 尽管关于入侵检测方法及技术的研究已 经有2 0 多年的历程， 但目 前i d s 仍处于相当 初级 的阶段: 即目 前的大多数入侵检测产品在实施方法上主要还是采用类似于反病毒软件的 硬编 码机制， 这显然不 适合日 益变化的网 络攻击行为 6 1 。 当 前入侵检测系 统普遍存在的最突出问 题有: 检测准确率较低， 出 现的 误报和漏报较多， 增加了网管人员工作量， 失去i d s 系统应 有的性能: 由于目 前产品中 主要还是以 误用检测为主， 采用模式匹配的方法， 因 而系统缺乏 检钡未知或变形攻击的能力; 同时系统本身的扩展性、自 适应性和实时性也有待于进一步提 高等等。除此之外，系统操作非常繁琐、 配置复杂也是所面临的重要问题之一。 1 . 4 论文主要工作和成果 本文研究的是基于网络的 入侵检测系统，重点突出 在异常检测方法上。选择异常检测 方法作为研究重点有两个主要原因。 一方面对于误用检测技术， 有关研究人员己经做了 大量 工作，已 存在大量成熟产品， 而异常检测还处 在探索阶段。 另一方面， 从检测效果上看， 误 用检测方法的可扩展性和适应性比较差， 不能检测出未知攻击， 升级费用昂贵、 速度慢。 而 异常检测技术具有检测新类型攻击的能力， 这一点正是理想入侵检测系统所期望的特性。 同 时选择基于网络的入侵检测系统进行研究也有两方面原因。 一方面互联网高速发展， 使得针 对网络的入侵行为在频繁程度和危害程度上日 益严重。 另一方面由于基于主机的系统审计日 志的生成和格式与操作系统密切相关， 各种操作系统间有巨大的差异， 并且有些操作系统的 硕士学位论文 基于网络的异常入侵检测技术研究 研究 对象看成一个整体， 而且， 把研究过程也看成一个整体。 把系统看成是由 若干个子系统 有机结构的 整体来分析与设计， 对各子系统的技术要求首先是从实现整个系统技术协调的观 点来考虑， 从总体协调的需求来制定方案。 此外， 还应把所研究的系统放在更大的系统空间 或系统环境中去，作为从属于更大系统的组成部分来考虑。 关于技术应用上的综合性指的是系统科学中的 最优化原则，综合应用各种学科和技术 领域内所取得的成就， 构筑合理的技术结构， 使各种技术相互配合而达到系统整体的最优化。 对信息系统而言， 它是信息科学，系统科学、管理科学、 计算机科学、 控制理论及通信科学 等各领域技术的综合体。 对技术的使用来说， 并非每个子系统或部件都要有最好的性能才能 获得系统的 最佳性能， 只要技术结构的 合理， 用廉价的一般部件也可能组合出系统最佳性能。 综合不是各种技术的堆砌，而是以 最优化为原则， 注重各种技术的协调和结构合理。 管理上的科学化就是对工程进行科学管理。 对于网 络信息安全系统及其各子系统客观 上总存在两个并行进程，一个是工程技术进程，另一个是对工程技术进程的管理控制进程。 后者包括工程的规划、组织、控制、进度安排， 对各种方案进行分析、比较和决策， 评价选 定方案的 技术效果等s 1 1 . 3 存在的问题 尽管关于入侵检测方法及技术的研究已 经有2 0 多年的历程， 但目 前i d s 仍处于相当 初级 的阶段: 即目 前的大多数入侵检测产品在实施方法上主要还是采用类似于反病毒软件的 硬编 码机制， 这显然不 适合日 益变化的网 络攻击行为 6 1 。 当 前入侵检测系 统普遍存在的最突出问 题有: 检测准确率较低， 出 现的 误报和漏报较多， 增加了网管人员工作量， 失去i d s 系统应 有的性能: 由于目 前产品中 主要还是以 误用检测为主， 采用模式匹配的方法， 因 而系统缺乏 检钡未知或变形攻击的能力; 同时系统本身的扩展性、自 适应性和实时性也有待于进一步提 高等等。除此之外，系统操作非常繁琐、 配置复杂也是所面临的重要问题之一。 1 . 4 论文主要工作和成果 本文研究的是基于网络的 入侵检测系统，重点突出 在异常检测方法上。选择异常检测 方法作为研究重点有两个主要原因。 一方面对于误用检测技术， 有关研究人员己经做了 大量 工作，已 存在大量成熟产品， 而异常检测还处 在探索阶段。 另一方面， 从检测效果上看， 误 用检测方法的可扩展性和适应性比较差， 不能检测出未知攻击， 升级费用昂贵、 速度慢。 而 异常检测技术具有检测新类型攻击的能力， 这一点正是理想入侵检测系统所期望的特性。 同 时选择基于网络的入侵检测系统进行研究也有两方面原因。 一方面互联网高速发展， 使得针 对网络的入侵行为在频繁程度和危害程度上日 益严重。 另一方面由于基于主机的系统审计日 志的生成和格式与操作系统密切相关， 各种操作系统间有巨大的差异， 并且有些操作系统的 硕士学位论文 基于网络的异常入侵检测技术研究 研究 对象看成一个整体， 而且， 把研究过程也看成一个整体。 把系统看成是由 若干个子系统 有机结构的 整体来分析与设计， 对各子系统的技术要求首先是从实现整个系统技术协调的观 点来考虑， 从总体协调的需求来制定方案。 此外， 还应把所研究的系统放在更大的系统空间 或系统环境中去，作为从属于更大系统的组成部分来考虑。 关于技术应用上的综合性指的是系统科学中的 最优化原则，综合应用各种学科和技术 领域内所取得的成就， 构筑合理的技术结构， 使各种技术相互配合而达到系统整体的最优化。 对信息系统而言， 它是信息科学，系统科学、管理科学、 计算机科学、 控制理论及通信科学 等各领域技术的综合体。 对技术的使用来说， 并非每个子系统或部件都要有最好的性能才能 获得系统的 最佳性能， 只要技术结构的 合理， 用廉价的一般部件也可能组合出系统最佳性能。 综合不是各种技术的堆砌，而是以 最优化为原则， 注重各种技术的协调和结构合理。 管理上的科学化就是对工程进行科学管理。 对于网 络信息安全系统及其各子系统客观 上总存在两个并行进程，一个是工程技术进程，另一个是对工程技术进程的管理控制进程。 后者包括工程的规划、组织、控制、进度安排， 对各种方案进行分析、比较和决策， 评价选 定方案的 技术效果等s 1 1 . 3 存在的问题 尽管关于入侵检测方法及技术的研究已 经有2 0 多年的历程， 但目 前i d s 仍处于相当 初级 的阶段: 即目 前的大多数入侵检测产品在实施方法上主要还是采用类似于反病毒软件的 硬编 码机制， 这显然不 适合日 益变化的网 络攻击行为 6 1 。 当 前入侵检测系 统普遍存在的最突出问 题有: 检测准确率较低， 出 现的 误报和漏报较多， 增加了网管人员工作量， 失去i d s 系统应 有的性能: 由于目 前产品中 主要还是以 误用检测为主， 采用模式匹配的方法， 因 而系统缺乏 检钡未知或变形攻击的能力; 同时系统本身的扩展性、自 适应性和实时性也有待于进一步提 高等等。除此之外，系统操作非常繁琐、 配置复杂也是所面临的重要问题之一。 1 . 4 论文主要工作和成果 本文研究的是基于网络的 入侵检测系统，重点突出 在异常检测方法上。选择异常检测 方法作为研究重点有两个主要原因。 一方面对于误用检测技术， 有关研究人员己经做了 大量 工作，已 存在大量成熟产品， 而异常检测还处 在探索阶段。 另一方面， 从检测效果上看， 误 用检测方法的可扩展性和适应性比较差， 不能检测出未知攻击， 升级费用昂贵、 速度慢。 而 异常检测技术具有检测新类型攻击的能力， 这一点正是理想入侵检测系统所期望的特性。 同 时选择基于网络的入侵检测系统进行研究也有两方面原因。 一方面互联网高速发展， 使得针 对网络的入侵行为在频繁程度和危害程度上日 益严重。 另一方面由于基于主机的系统审计日 志的生成和格式与操作系统密切相关， 各种操作系统间有巨大的差异， 并且有些操作系统的 硕士 学位论文基于网络的异常入侵检测技术研究 审计日 志功能没有完全公开。 因此本文从提高入侵检测的监测能力出发， 着重对基于网络的 异常检测进行了相关研究。 对于异常检测 存在许多不同的实现方法， 其中简单统计分析是最早被使用， 也是使 用最为广泛的方法。 但随着黑客入侵的技术日 益提高， 新的漏洞不断被发现， 入侵检测系统 需要完成的 任务变得越来越艰巨， 迫切需要采用智能化的 检测技术来使开发的 检测系统更自 动化、 系统化。 因此出 现了基于神经网络、 人工免疫、 数据挖掘、 基因算法等智能化异常检 测方法，它们主要通过构 造用户活动简档， 来实现检测新入侵行为。 本文的主要创新点和贡献如下: 一、 本文着重分析了 基于b p 神经网络和基于层次聚类的两种智能化异常入侵检测技术、 详细说明了 两种算法的实现过程， 并根据k d d c u p 9 9 网 络入侵检测数据集， 使用m a t l a b 语言进行实验， 从理论层次与实验结论角度对两种方法的 优缺点进行分析对比。 一方面说明 了 两种智能型入侵检测技术的 合理性与有效性， 另一方面使读者更好地了 解当前异常检测技 术中 存在的问 题、 可改进的方向， 为更进一步的异常检测技术 研究提供依据。 最后通过实验 指出b p 神经网络算法的检测效果优于层次聚类分析。 二、 对基于 b p 神经网络的 入侵检测方法加以 优化。由 于 b p 网 络模型中 初始权重的 选择 将直接影响到网 络的收敛效果， 为此本文提出 采用遗传算法对b p 网络的初始权重进行优化。 该方法有两大特点: i . 采用遗传算 法寻找最优的初始权重能够保证网 络的收敛性同时提高其收敛速度，避 免了以 往凭专家经验来进行人为选择。 2 . 通过遗传操作实现初始权重的最优选择， 有利于b p 网络性能的稳定， 从而确保入侵 检测的 顺利完成，增强检测效果. 1 . 5 论文的组织结构 第一章绪论。 介绍论文的 背景， 入侵检测研究的必要性以 及当 前存在的主要问 题， 并提 出了 论 文研究的 主要内容和全文组织结构。 第二章介绍入侵检测系统。 给出 入侵检测系统的基本概念、 应具备的特点、 发展历程和 当 前的一些主要产品等， 同时从三个不同的角度对入侵检测系统进行了 分类并提出了 相关的 检测方法，最后指出了当前入侵检测系统面临的主要问题和未来的发展趋势。 第三章提出了 本文研究的重点基于网络的入侵检测系统 ( k i d s )提出了系统设计框架 模型，并对模型中各模块进行简单的论述。 第四章提山 基于b p 神经网络与基于层次聚类的异常检测方法， 给出了 算法实现的具体 过程。 硕士 学位论文基于网络的异常入侵检测技术研究 审计日 志功能没有完全公开。 因此本文从提高入侵检测的监测能力出发， 着重对基于网络的 异常检测进行了相关研究。 对于异常检测 存在许多不同的实现方法， 其中简单统计分析是最早被使用， 也是使 用最为广泛的方法。 但随着黑客入侵的技术日 益提高， 新的漏洞不断被发现， 入侵检测系统 需要完成的 任务变得越来越艰巨， 迫切需要采用智能化的 检测技术来使开发的 检测系统更自 动化、 系统化。 因此出 现了基于神经网络、 人工免疫、 数据挖掘、 基因算法等智能化异常检 测方法，它们主要通过构 造用户活动简档， 来实现检测新入侵行为。 本文的主要创新点和贡献如下: 一、 本文着重分析了 基于b p 神经网络和基于层次聚类的两种智能化异常入侵检测技术、 详细说明了 两种算法的实现过程， 并根据k d d c u p 9 9 网 络入侵检测数据集， 使用m a t l a b 语言进行实验， 从理论层次与实验结论角度对两种方法的 优缺点进行分析对比。 一方面说明 了 两种智能型入侵检测技术的 合理性与有效性， 另一方面使读者更好地了 解当前异常检测技 术中 存在的问 题、 可改进的方向， 为更进一步的异常检测技术 研究提供依据。 最后通过实验 指出b p 神经网络算法的检测效果优于层次聚类分析。 二、 对基于 b p 神经网络的 入侵检测方法加以 优化。由 于 b p 网 络模型中 初始权重的 选择 将直接影响到网 络的收敛效果， 为此本文提出 采用遗传算法对b p 网络的初始权重进行优化。 该方法有两大特点: i . 采用遗传算 法寻找最优的初始权重能够保证网 络的收敛性同时提高其收敛速度，避 免了以 往凭专家经验来进行人为选择。 2 . 通过遗传操作实现初始权重的最优选择， 有利于b p 网络性能的稳定， 从而确保入侵 检测的 顺利完成，增强检测效果. 1 . 5 论文的组织结构 第一章绪论。 介绍论文的 背景， 入侵检测研究的必要性以 及当 前存在的主要问 题， 并提 出了 论 文研究的 主要内容和全文组织结构。 第二章介绍入侵检测系统。 给出 入侵检测系统的基本概念、 应具备的特点、 发展历程和 当 前的一些主要产品等， 同时从三个不同的角度对入侵检测系统进行了 分类并提出了 相关的 检测方法，最后指出了当前入侵检测系统面临的主要问题和未来的发展趋势。 第三章提出了 本文研究的重点基于网络的入侵检测系统 ( k i d s )提出了系统设计框架 模型，并对模型中各模块进行简单的论述。 第四章提山 基于b p 神经网络与基于层次聚类的异常检测方法， 给出了 算法实现的具体 过程。 硕上学位论文基于网 络的异常入侵检测技术研究 第五章采用k d d c u p 9 9 数据集对第四章提出的两种异常检测方法进行对比实验，从理 论和实验角度进行分析与比较，客观分析了两种算法的优缺点。 第六章针对b p 神经网络用于入侵检测时存在的问 题，提出 采用遗传算法进行优化并通 过实验来证明优化算法的合理性。 第七章对本文进行总结并提出下一步研究方向。 硕士学位论文基于网络的异常入侵检测技术研究 第二章入侵检测系统原理 2 . 1 入侵检测系统基本概念 2 . 1 . 1 入侵检测的原理、功能及特点 j a m e s p a n d e r s o n 】 在1 9 8 0 年首次 提出 了 入侵 检测的 概念， 将入侵尝试 或威胁定 义为: 潜 在的 有预谋的 未经授权地访问 和操作 信息， 致使系统不可 靠或无法使用的 企图。 s a m h p l 从分类角度指出入侵包括尝试性闯入、 伪装攻击、 安全控制系统渗透、 泄漏、 拒绝服务、 恶 意使用6 种类型。目 前主要采用的是美国国际计算机安全协会 ( i c s a ) 对入侵检测的定义， 即入 侵检测是通过从计算机网络或计算机系统中的若干关键点收集信息并对其进行分析， 从 中发 现网 络或系统中是否有违反安全策略的 行为和遭到袭击迹象的一种安全技术。 而入侵检 测系统是指所有能够执行入侵检测任务和功能的系统，包括软件系统以 及软硬件结合的系 统， 是一种动态的安全防护手段， 是在不影响网络性能的 前提下对网络进行监测， 主动寻找 入侵信号， 对系统中未授权的访问或异常现象、 活动与事件进行审计、 追踪、 识别和检测的 全过程。 】 如图2 . 所示为入侵检测系统原理图: 知 识 库 图2 . 1 入侵检测系统原理图 2 .入侵检测系统主要功能: 入侵检测作为一种积极主动地安全防护技术， 提供了对内部攻击、 外部攻击和误操作的 实时保护， 在网 络系统受到危害之前拦截和响应入侵。 入侵检测系统的 功能概括起来主要如下: 硕士学位论文基于网络的异常入侵检测技术研究 第二章入侵检测系统原理 2 . 1 入侵检测系统基本概念 2 . 1 . 1 入侵检测的原理、功能及特点 j a m e s p a n d e r s o n 】 在1 9 8 0 年首次 提出 了 入侵 检测的 概念， 将入侵尝试 或威胁定 义为: 潜 在的 有预谋的 未经授权地访问 和操作 信息， 致使系统不可 靠或无法使用的 企图。 s a m h p l 从分类角度指出入侵包括尝试性闯入、 伪装攻击、 安全控制系统渗透、 泄漏、 拒绝服务、 恶 意使用6 种类型。目 前主要采用的是美国国际计算机安全协会 ( i c s a ) 对入侵检测的定义， 即入 侵检测是通过从计算机网络或计算机系统中的若干关键点收集信息并对其进行分析， 从 中发 现网 络或系统中是否有违反安全策略的 行为和遭到袭击迹象的一种安全技术。 而入侵检 测系统是指所有能够执行入侵检测任务和功能的系统，包括软件系统以 及软硬件结合的系 统， 是一种动态的安全防护手段， 是在不影响网络性能的 前提下对网络进行监测， 主动寻找 入侵信号， 对系统中未授权的访问或异常现象、 活动与事件进行审计、 追踪、 识别和检测的 全过程。 】 如图2 . 所示为入侵检测系统原理图: 知 识 库 图2 . 1 入侵检测系统原理图 2 .入侵检测系统主要功能: 入侵检测作为一种积极主动地安全防护技术， 提供了对内部攻击、 外部攻击和误操作的 实时保护， 在网 络系统受到危害之前拦截和响应入侵。 入侵检测系统的 功能概括起来主要如下: 硕士学位论文 基于网络的异常入侵检测技术研究 .监视、分析用户及系统活动; .识别反映己知进攻的活动模式并向相关人士报警; .操作系统的审计跟踪管理，并识别用户违反安全策略的行为; .异常行为模式的统计分析: .评估重要系统和数据文件的完整性。 3 .一个完善的入侵检测系统必须具各以下特点: 经济性: 为了保证系统安全策略的实施而引入的入侵检测系统必须保证不能妨碍系统 的正常运行，如系统性能。 .时效性: 必须及时地发现各种入侵行为， 理想情况是在事前发现攻击企图， 比较现实 的情况则是在攻击行为发生的过程中 检测到。 如果是事后才发现攻击的 效果， 必须保证时效 性，因为一个己 经被攻击过的系统往往意味着后门的引入以及后续的攻击行为。 .安全性: 入侵检测系统自 身必须安全， 如果入侵检测系统自 身的安全性得不到保障， 首先意味着信息的无效，而更严重的是入侵者控制了入侵检测系统即获得了对系统的控制 权，因为一般情况下入侵检测系统都是以 特权状态运行的。 . 扩展性: 扩展性有两个方面的 意义。 首先是机制与数据的分离， 在现有机制不变的前 提下能够对新的攻击进行检测。