（信号与信息处理专业论文）基于rs_adaboost的入侵检测方法研究.pdf

硕上学位论文 摘要 随着计算机网络特别是因特网技术的发展，网络在我们的日常生活及工作中 扮演着越来越重要的角色。而在网络增长的同时，越来越多的敏感信息被在线存 储和管理，使网络更加脆弱、更容易受至i j 网络上各种恶意或非法用户的攻击，因 此网络安全己变得越来越重要。诸如用户鉴别、防火墙等被动防御的传统网络安 全技术，己不能完全满足网络安全的需要；而入侵检测作为一种主动防御的安全 技术正成为实现网络安全的另一个重要技术手段和第二道防御措施，并成为当前 的热点研究领域。 本文针对入侵检测系统存在的对入侵事件高漏报率和误报率，提出了一种将 粗糙集r s ( r o u g hs e t ) 方法与a d a b o o s t ( a d a p t i v eb o o s t ) 算法结合起来的入侵检测 方法。利用粗糙集理论在处理大数据量、消除冗余信息等方面的优势，减少 a d a b o o s t 训练数据，提高处理速度；a d a b o o s t 是一种构建准确分类器的学习算法， 它将一族弱学习算法通过一定规则结合成为一个强学习算法，从而通过样本训练 得到一个识别准确率理想的分类器。实验表明，该方法具有很高的检测率和检测 效率。 本论文的主要研究工作如下： ( 1 ) 介绍了入侵检测基本理论，并分析了多种入侵检测方法。 ( 2 ) 介绍了粗糙集理论的相关概念，研究了基于粗糙集理论的属性约简和值 约简算法。 ( 3 ) 本文对a d a b o o s t 算法进行了研究，并对其进行了改进，使其更加适用于 入侵检测。 关键词：入侵检测；粗糙集；约简；a d a b o o s t 算法；分类 a b s t r a c t a sm ed e v e l o p m e n to fc o m p 眦e rn e t 、) i ，o r ke s p e c i a l l y l ei n t e n l e tt e c q u c s ， 鹏研o r ki sp 1 咖n gm o r e 肌dm o r ei m p o r t a n tr o l e si no u rd a i l yl i f ea sw e l la sw o r k w 池 n o d e so ft h ev a s tn e t 、7 l ，o r k ，m o r ea n dm o r es e i 】l s i t i v ei n f o m l a t i o ni sb e i n gs t o r e da i l d m a n j p u l a t e do n l i l l e ，m ec o m p u t e r ne t o r ki sm o r ev u l n e r a b l et om i s c e l l a l l e o u s l y m a l i c i o u so ru n a u t h o f i z e da c t i o n s ， n e t w o r ks e 吼m t yi sb e c o m m gm c r e a s m 掣y i m p o r t a n t t l l e 仃a d i t i o n a ln e 呐o r ks e c u r i t yt e c h n i q u e s ，砌c ha r ep a s s i v ed e s e ， s u c h a si a ( i d e n t i f i c a t i o na 1 1 da u t h e n t i c a t i o n ) ，f i r e w a l la l l ds oo n ，c a n ta l r e a d ys a t i s 匆m e n e e do fn e 似o r ks e c 埘t y t h ei n t r u s i o nd e t e c t i o n ，恤c hi sa c t i v ed e f e n s et e c h i q u e ，h a s b e c o m ea n o t h e ri m p o r t a l l tm e a n sa i l dt h es e c 0 n dn o o rd e f e n s ei nn e t w o r ks e 训t y n o w a d a y s ，i i l t m s i o nd e t e c t i o nh a sb e c o m e ah o tp o i n td o m a i no fr e s e a r c h t os o l v et h ep r o b l e i no fh i g hr a t eo ff a l s en e g a t i v e sa n df a l s ep o s i t i v e so fi d s ，a n i n t r u s i o nd e t e c t i o nm e t h o dw a sp r o p o s 甜i nt h i sp a p e rw h i c hc o m b i n e sr o u 曲s e ta n d a d a b o o s ta l g o r i t h m r o u 曲s e ti su s e dt or e d u c ea m o u mo f a d a b 0 0 s t t r a i n i n gd a t aa n d i m p r o v em i l n i n gs p e e d a d a b o o s ti sal e 锄i n ga l g o n t h mf o rc o n s t r u c t i n ga c c u r a t e c l a s s i f i e r s i tc a l lo b t a i nas t r o n gl e 锄i n ga l g o r i t h mb yc o m b i n i n g as e r i e so fw e a k 1 e a n l i n ga l g o r i m m st h r o u g hs o m em l e s t l l er e s u l to f t h ee x p 嘶m 饥ts h o w st h a tt l l i s m o d e lh a sh i 西d e t e c t i o nr a t ea n dd e t e c t i o ne 伍c i e n c y t h em a i nw o r k so ft h i sd i s s e r t a t i o na r es u m m a r i z e da sf o l l o w s ： 1 t 1 1 ep m c i p l et h e o r yo fi n t r u s i o nd e t e c t i o n 黜i n 仃o d u c e di n l i sp 印e r a i l d s e v e r a li n t r u s i o nd e t e c t i o nm e t h o d sa r ea n a l y z e d 2 r o u 曲s e tm e o 眄b a s i cc o n c 印t sa r ei n t r o d u c e di nt h i sp 印既a t 锄) u t e r e d u c t i o n a n da b u t ev a l u er e d u c t i o nw e r es t l l d i eb a s e do nt h er o u 曲s e tt h e o 3 t h em e s i sr e s e a r c h e do na d a b o o s tm a k e ss o m ei n l p r o v e m e n tt os a t i s 矽t h en e e d o fi n t m s i o nd e t e c t i o n 1 ( e y w o r d s ：i 曲s i o nd e t e c t i o n ；r o u g hs e t ；r e d u c t i o n ；a d a b o o s t ；c 1 a s s 讯c a t i o n i v 硕l ：学位论文 插图索引 图2 一lc i d f 体系结构9 图4 1b a g g i n g 算法示意图3 0 图4 2b o o s t i n g 算法示意图3 l 图4 3a d a b o o s t 算法的数据流程图3 3 图4 4 误差曲线和类间距分布图4 0 图5 1基于r sa d a b o o s t 的入侵检测流程。4 4 图5 2 捕获网络数据包流程4 6 图5 3w i n p c a p 结构图4 7 图5 4 把卸d u m p 分组数据转换成连接记录5 l 附表索引 表3 1决策表2 3 表3 2 属性约简后的决策表2 5 表5 1 属性值的分割区间5 4 表5 2 攻击类另l j 分类5 8 表5 3k d d 9 9 数据集中网络行为的分类：5 8 表5 4 单个t c p 连接的基本属性一5 9 表5 5 基于领域知识的连接的内容属性6 0 表5 6 使用时间窗口为2 秒的流量属性 一6 0 表5 7 不同t 值的比较6 l 表5 8 各种算法的比较6 2 v 兰州理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果 由本人承担。 作者签名昂彩 、狱r 。 么矿日期：年u 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学 校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。同时授权中国科学技术信息研究所将本学位论文收录到中 国学位论文全文数据库，并通过网络向社会公众提供信息服务。 作者签名： 导师签名： 钿晚 留斜 日期：矿瑶月，咱 日期：n ? 年月户日 硕上学位论文 第1 章绪论 1 1 课题研究背景与意义 随着计算机网络的飞速发展，在经济和生活的各个领域迅速普及，整个社会 对网络的依赖程度越来越大，网络已经成为社会和经济发展强大动力，其地位越 来越重要。计算机和计算机网络正在逐步改变着人们的工作和生活方式，但同时 计算机网络的安全隐患亦日益突出，伴随着网络的不断发展，产生了各种各样的 问题，其中网络安全问题尤为突出，已经成为一个国际化的问题。网络安全威胁 主要来自黑客攻击、计算机病毒等。各种黑客攻击手法主要包括口令攻击、缓冲 区溢出、端口扫描、欺骗攻击、网络监听、特洛伊木马、拒绝服务攻击( d o s ) 以 及分布式拒绝服务攻击( d d o s ) 等【l 】。 近年来，每年全球因计算机网络安全问题造成的经济损失己达数千亿美元。 据统计：近年来9 9 的大公司都发生过大的入侵事件，大型商业网站，如y a h o o 、 b u y 、c n n 都曾遭到黑客入侵【2 1 。专门从事网络安全的r s a 网站，甚至国家安全机 构也曾受到黑客攻击。由此可见，网络安全问题不仅会造成巨大的经济损失，而 且危及公共安全和国家安全。 如何建立安全而又健壮的网络系统，保证重要信息的安全性，已经成为刻不 容缓的问题。目前应用比较广泛的网络安全产品是防火墙，它在内部网络和外部 网络之间建立一道屏障，通过限制、过滤、监测、更改跨越防火墙的数据流来对 外部网络屏蔽被保护网的信息。防火墙可以防止利用协议漏洞、源路由、地址仿 冒等多种攻击手段，并提供安全的数据通道，但是它对于应用层的后门、内部用 户的越权操作等攻击行为却无能为力。其它的网络安全技术还有：安全路由器、 数据加密、身份认证等，但这些手段都只能起到被动防御的作用，无法阻止内部 人员的破坏行为。 而据国际上一些统计机构提供的数据，目前有6 0 的网络入侵和破坏是来自 网络内部的，内部人员由于对网络的熟悉，产生的破坏更为巨大。因此单凭这些 被动的防御方式已经无法有效地保障网络安全。 威胁主要来自：病毒的侵袭、黑客的入侵、拒绝服务、密码破解、网络窃听、 数据篡改、垃圾邮件、恶意扫描等。大量的非法信息堵塞合法的网络通信，最后 摧毁网络架构本身。当越来越多的公司将其核心业务向互联网转移的时候，网络 安全作为一个无法回避的问题呈现在人们面前。目前在网络安全方面，国内的用 基于r s a d a b o o s t 的入侵检测方法 珊究 户对防火墙已经有了很高的认知程度，而对入侵检澳4 系统的作用大多不是非常了 解。防火墙只能对进出网络的数据进行分析，对网络内部发生的事件完全无能为 力。同时，由于防火墙处于网关的位置，不可能对进出攻击作太多判断，否则会严 重影响网络性能。入侵检测通过旁路监听的方式不间断的收取网络数据，对网络 的运行和性能无任何影响，同时判断其中是否含有攻击的企图，通过各种手段向 管理员报警。不但可以发现从外部的攻击，也可以发现内部的恶意行为。所以说 入侵检测是网络安全的重要组成部分，是防火墙的必要补充，与防火墙一起构成 较完整的网络安全解决方案。 1 2 国内外研究现状 近些年来，由于神经网络、数据挖掘、粗糙集与免疫进化等理论与算法的研 究取得了一定的进展，有许多研究人员将研究重点转向这些领域，从而为入侵检 测的研究开创了一个崭新的方向。作为入侵检测研究领域中的热点问题，目前已 经开展研究的异常检测算法与模型主要包括：统计异常检测、基于神经网络的异 常检测以及基于数据挖掘的异常检测。 国外对入侵检测研究开展较早、发展较快【3 】【4 】【5 】【6 1 。麻省理工学院、哥伦比亚 大学、普度大学、戴维斯分校和新墨西哥大学等的研究工作具有代表性，主要研 究内容涉及入侵检测方法( 模型) 、i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 体系结构和 i d s 测评等方面，如l e e 等人提出了基于数据挖掘技术的入侵检测方法。将关联规 则挖掘和频繁模式挖掘应用到入侵检测研究中，通过规则学习器来表述入侵特征， 并构建了第一个基于数据挖掘的入侵检测系统( i d s ) j a m 系统；h a r m e r 等人 将生物免疫机制引入计算机系统，提出了安全保护框架的概念；普度大学开发的 a a f i d ( a u t o n o m o u sa g e n t sf o ri n t r u s i o nd e t e c tio n ) 系统采用自治a g e n t s 的分 层i d s 体系结构，代表了i d s 体系结构研究的创新；m i t 的l a r i a t ( l i n c 0 1 na d a p t i v e r e a l 一t i m ei n f o r m a t i o na s s u r a n c et e s t 曲e d ) 是目前较为完善的i d s 测评方法。 国内对入侵检测研究工作开展较晚，从发表的文献看，以提出系统框架和入 侵检测算法等居多，主要工作以利用现有技术开发应用系统为主【_ 7 】【8 】。从总体上讲， 国内入侵检测研究工作并没有超出国际上已经提出的方法范畴，主流产品有：联想 的网御、方正的方通s n i p e r 、东软的n e t e y e 、中科网威公司的天眼、绿盟公司的 冰之眼、冠群金辰公司的e t r u s t 等。商业产品仍然以误用检测为主，在系统结构 上向分布式发展。概括地说，入侵检测研究的内容主要集中在入侵检测体系结构 的研究、入侵检测方法的研究和i d s 测评研究。 2 硕_ 上学位论文 1 3 本文的主要研究内容及组织结构 1 3 1 本文的工作 通过对国内外多种入侵检测方法的比较研究，结合粗糙集理论和自适应提高 算法的研究，本人提出了一种新的入侵检测模型：基于r s _ a d a b 0 0 s t 的入侵检测 方法，该方法可提高入侵检测率，围绕该方法主要做了以下工作： ( 1 ) 用抓包工具获取网络数据包，并进行数据预处理，使其适合粗糙集的数据 格式，利于数据的约简。 ( 2 ) 运用粗糙集约简方法对己获取的网络数据进行约简，可减少大量的训练数 据、测试数据，对a d a b o o s t 算法进行了优化；同时，还进行了数据标准化、实值 属性离散化处理。 ( 3 ) 对a d a b o o s t 算法进行了改进：将权重更新公式改进，更有利于分类检测。 ( 4 ) 仿真实验：从网站上获取k d dc u p1 9 9 9 网络数据集，然后采用粗糙集工 具r s e s 进行约简，再运用改进的a d a b o o s t 算法进行分类检测。 1 3 2 本论文的组织结构 第l 章绪论简要地阐述了入侵检测在网络安全中的重要性和本课题研究的必 要性。 第2 章入侵检测技术对入侵的相关内容进行了概要的叙述，论述了入侵检测系 统的体系结构，有关误用、异常两种入侵检测方法的检测技术，以及入侵检测系 统的发展方向。 第3 章粗糙集理论与约简：首先对集合论进行简单介绍，然后介绍粗糙集理论 的相关概念，并介绍了粗糙集的约简方法，最后介绍两个粗糙集的扩展模型。 第4 章a d a b o o s t 算法及改进：首先介绍b a g g i n g 和b o o s t i n g 这两种集成学习 算法，然后介绍b o o s t 方法和a d a b o o s t 算法，最后阐述了改进的a d a b o o s t 算法。 第5 章基于r s - a d a b 0 0 s t 的入侵检测模型及仿真实验：详细介绍了入侵检测流 程( 网络数据获取、数据预处理特征提取模块、数据标准化、实值属性离散化、 r s 约简、a d a b o o s t 分类检测等) ，并介绍了实验数据来源，仿真实验及实验结果 分析。 最后是对前面工作的总结，并分析了工作中的不足之处，指出下一步工作改进 的目标，并展望今后的研究方向。 3 基于r s a d a b o o s t 的入侵检测方法研究 2 1 入侵 2 1 1 入侵和入侵者 第2 章入侵检测技术 a n d e r s o n 在8 0 年代早期使用了“威胁 ( t h r e a t ) 这一概念术语，其定义与入 侵含义相同。将入侵企图或威胁定义为未经授权蓄意尝试访问信息、窜改信息， 使系统不可靠或不能使用。h e a d y 给出另外的入侵定义，入侵是指有关试图破坏资 源的完整性、机密性及可用性的活动集合【9 】【1 0 】【l l 】。 入侵者( i n t r u d e r ) ，又叫做黑客( h a c k e r ) 。他们可以被分为两类：一类是外部 的，通过i n t e r n e t 或者与你的网络相连的其他网络进入。另一类是内部的，也就 是内部的合法用户。入侵者的攻击有的是无危险的，有的则是恶性的。作为无危 险的例子，有些人只不过想在i n t e r n e t 网上探险，看看外面的世界到底如何。有 些人的攻击是恶性的，他们企图读取机密数据，未经授权篡改数据，甚至破坏系 统。 2 1 2 入侵的分类 入侵的类型和方法多种多样，根据其行为的后果，大致可以分为以下几类： ( 1 ) 非授权访问：指没有预先经过同意，就使用网络或计算机资源，例如有意 避开系统访问控制机制。对网络设备及资源进行非正常使用；或擅自扩大权限， 越权访问信息等。主要有以下几种形式：假冒身份攻击、非法用户进入网络系统 进行违法操作、合法用户以未授权方式进行操作等。比如假冒分布式系统的合法 部件等。 ( 2 ) 信息泄漏或丢失：指敏感数据在有意或无意中被泄漏出去或丢失。通常包 括，信息在传输中丢失或泄漏，如攻击者利用电磁泄漏或搭线窃听等方式可截获 机密信息，或通过对信息流向、流量、通信频度和长度等参数的分析，推出有用 信息，如用户口令、账号等重要信息；信息在存储介质中丢失或泄漏；通过建立 隐蔽隧道窃取敏感信息等。 ( 3 ) 破坏数据完整性：以非法手段窃得对数据的使用权，删除、修改、插入或 重发某些重要信息，以取得有益于攻击者的响应：恶意添加，修改数据，以干扰 用户的正常使用。 4 硕上学位论文 ( 4 ) 拒绝服务攻击( d e n yo fs e r v i c e ，简称为d o s ) ：对网络服务系统进行干扰， 改变其正常的作业流程，执行无关程序使系统响应减慢甚至瘫痪，影响正常用户 的使用，甚至使合法用户被排斥而不能进入计算机网络系统或不能得到相应的服 务。例如，由于入侵检测系统中的网络引擎、主机代理和存储系统都对网络通信 非常敏感，所以最容易受到攻击，这种攻击在最近几年有上升的趋势。 2 1 3 入侵的攻击手段 对于一次入侵，可以利用的攻击手段有许多种，主要包括以下几类：信息收 集型攻击、假消息型攻击、口令猜测、缓冲区溢出、特洛伊木马和拒绝服务型攻 击【1 2 】【1 3 1 。 一、信息收集型攻击手段 信息收集型攻击并不对目标本身造成危害，它被用来为进一步入侵提供有用 的信息。信息收集型攻击手段又可以分为：扫描、体系结构刺探、利用信息服务 三种。 ( 1 ) 扫描 地址扫描 运用p i n g 这样的程序探测目标地址，对此作出响应的表示其存在。 端口扫描 通常使用一些软件，向大范围的主机连接一系列的t c p 端口，扫描软件报告 它成功的建立了连接的主机所开的端口。 反响映射 黑客向主机发送虚假消息，然后根据返回“h o s tu n r e a c h a b l e ”这一消息特 征判断出哪些主机是存在的。目前由于正常的扫描活动容易被防火墙侦测到，黑 客转而使用不会触发防火墙规则的常见消息类型，这些类型包括：r e s e t 消息、 s y n a c k 消息、d n s 响应包。 慢速扫描 由于一般扫描侦测器的实现是通过监视某个时间帧里一台特定主机发起的连 接的数目( 例如每秒1 4 次) 来决定是否在被扫描，这样黑客可以通过使用扫描速度 慢一些的扫描软件进行扫描。 ( 2 ) 体系结构探测 黑客使用具有已知响应类型的数据库的自动工具，对来自目标主机的、对坏 数据包传送所作出的响应进行检查。由于每种操作系统都有其独特的响应方法( 例 如n t 和s 0 1 a r i s 的t c p i p 堆栈具体实现有所不同) ，通过将此独特的响应与数据 库中的已知响应进行对比，黑客经常能够确定出目标主机所运行的操作系统。 5 基于r s a d a b o o s t 的入侵检测方法研究 ( 3 ) 利用信息服务 d n s 域转换 d n s 协议不对转换或信息性的更新进行身份认证，这使得该协议被人以一些不 同的方式加以利用。如果你维护着一台公共的d n s 服务器，黑客只需实施一次域 转换操作就能得到你所有主机的名称以及内部i p 地址。 f i n g e r 服务 黑客使用f i n g e r 命令来刺探一台f i n g e r 服务器以获取关于该系统的用户的 信息。 l d a p 服务 黑客使用l d a p 协议窥探网络内部的系统和它们的用户的信息。 二、假消息攻击手段 主要包括：d n s 高速缓存污染、伪造电子邮件。 ( 1 ) d n s 高速缓存污染 由于d n s 服务器与其他名称服务器交换信息的时候并不进行身份验证，这就 使得黑客可以将不正确的信息掺进来并把用户引向黑客自己的主机。 ( 2 ) 伪造电子邮件 由于s m t p 并不对邮件的发送者的身份进行鉴定，因此黑客可以对你的内部客 户伪造电子邮件，声称是来自某个客户认识并相信的人，并附带上可安装的特洛 伊木马程序，或者是一个引向恶意网站的连接。 三、口令猜测 一旦黑客识别了一台主机而且发现了基于n e t b i o s ，t e l n e t 或n f s 这样的服 务的可利用的用户帐号，成功的口令猜测能实现对机器的控制。 四、缓冲区溢出 由于在很多的服务程序中大意的程序员使用如s t r c p y ( ) ，s t r c a t ( ) 类似的不 进行有效位检查的函数，最终可能导致恶意用户编写一小段利用程序来进一步打 开安全豁口，然后将该代码缀在缓冲区有效载荷末尾，这样当发生缓冲区溢出时， 返回指针指向恶意代码，这样系统的控制权就会被夺取。 五、特洛伊木马 特洛伊木马是一种或是直接由一个黑客，或是通过一个不令人起疑的用户秘 密安装到目标系统的程序。一旦安装成功并取得管理员权限，安装此程序的人就 可以直接远程控制目标系统。最有效的一种叫做后门程序，恶意程序包括：n e t b u s ， b a c k o r i f i c e 和b 0 2 k ，用于控制系统的良性程序如：n e t c a t ，v n c ，p c a n y w h e r e 等。 六、拒绝服务型攻击手段 ( 1 ) 泪滴( t e a r d r o p ) 6 硕上学位论文 泪滴攻击利用那些在t c p i p 堆栈实现中信任i p 碎片中的包的标题头所包含 的信息来实现自己的攻击。i p 分段含有指示该分段所包含的是原包哪一段的信息， 某些t c p i p ( 包括s e r v i c ep a c k4 以前的n t ) 在收到含有重叠偏移的伪造分段时 将崩溃。 ( 2 ) s y n 洪水( s y nf l o o d ) s y nf l o o d 的攻击原理是：一些t c p i p 栈的实现只能等待从有限数量的计算机 发来的a c k 消息，因为他们只有有限的内存缓冲区用于创建连接，如果这一缓冲 区充满了虚假连接的初始信息，该服务器就会对接下来的连接停止响应。直到缓 冲区里的连接企图超时。在一些创建连接不受限制的实现里，s y n 洪水具有类似的 影响。 ( 3 ) s m u r f 攻击 一个简单的s 叫r f 攻击通过使用将回复地址设置成受害网络的广播地址的 i c m p 应答请求( p i n g ) 数据包来淹没受害主机的方式进行，最终导致该网络的所有 主机都对此i c m p 应答请求作出答复，导致网络阻塞，比p i n go fd e a t h 洪水的流 量高出一或两个数量级。更加复杂的s 舢r f 将源地址改为第三方的受害者，最终 导致第三方雪崩。 ( 4 ) f r a 9 9 1 e 攻击 f r a g g l e 攻击对s m u r f 攻击作了简单的修改，使用的是u d p 应答消息而非i c m p 。 ( 5 ) 电子邮件炸弹 电子邮件炸弹是最古老的匿名攻击之一。通过设置一台机器不断的大量的向 同一地址发送电子邮件，攻击者能够耗尽接受者网络的带宽。 2 1 4 入侵的步骤 下面是一个典型的攻击所经过的几个步骤，从这些步骤中我们可以清楚地看 到安全威胁的各个方面： ( 1 ) 搜集目标信息( f i n g e r t e l n e t ，各种扫描器如i s s ，s a t a n ) ； ( 2 ) 查找系统己知漏洞，构造攻击方案( 通过安全邮件列表、讨论组的消息发 布) ； ( 3 ) 获得普通用户权限( 口令破解，伪装，主机等价，窃听，猜测等) ； ( 4 ) 获得超级用户权限( 缓冲区溢出，符号连接，超级用户的木马) ； ( 5 ) 清除入侵痕迹( u t m p ，l a s t l o g ，m e s s a g e ) ，并设置后门； ( 6 ) 作为中转站攻击另一目标( 许多分布式拒绝服务攻击就是利用大学校园的 主机做跳板攻击公用网络的) 。 其中，造成危害最大的一步是普通用户到超级用户权限的提升，这一步完全 7 基十r s a d a b o o s t 的入侵检测方法研究 发生在受害主机内部。所以，安全系统要有能力感知用户在系统内部所执行的动 作及其产生的后果，并杜绝有害行为的发生，而要做到这一点，在很大程度上需 要依赖于入侵检测技术的实施。 2 2 入侵检测的定义及其发展趋势 2 2 1 入侵检测的定义 什么是入侵检测? i c s a 入侵检测系统论坛的定义是：通过从计算机网络或计 算机系统中的若干关键点收集信息并对其进行分析，以发现网络或系统中是否有 违反安全策略的行为和遭到袭击的迹象。 入侵检测具有监视分析用户和系统的行为、审计系统配置和漏洞、评估敏感 系统和数据的完整性、识别攻击行为、对异常行为进行统计、自动地收集和系统 相关的补丁、进行审计跟踪识别违反安全法规的行为、使用诱骗服务器记录黑客 行为等功能，使系统管理员可以较有效地监视、审计、评估自己的系统。 2 2 2 入侵检测的发展趋势 ( 1 ) 高速实时化：适应高速宽带网络的需求，对入侵行为作出快速即时的反 应。 ( 2 ) 分布式：传统的i d s 一般局限于单一的主机或网络构架。而如今的大型网 络应用正朝着分布式的迅速发展。在检测针对分布式系统的攻击和分布式攻击时， 传统的i d s 存在明显的不足，主要在于不同的i d s 系统之间不能很好地协同工作和 i d s 收集、分析数据源难等问题。为解决这些问题，需要分布式入侵检测技术与通 用入侵检测构架。 ( 3 ) 智能化：由于网络攻击方法的多变性和复杂性，导致现有检测方法存在 较高的误报率和漏报率。为克服现有系统的缺陷，数据挖掘、神经网络、支持向 量机、智能体等各种智能化方法广泛应用到入侵检测研究中。 ( 4 ) 应用层入侵检测：许多入侵的语义只有在应用层才能理解。例如用基于 解析数据包的技术检测口令猜测攻击，只有在应用层解析数据包“用户数据 字 段才能理解其语义。目前的i d s 仅能检测如w e b 之类的通用协议，而不能处理如 l o t u s n o t e s 、数据库系统等其他的应用系统。 8 硕士学位论文 2 3 入侵检测系统的体系结构 在c i d f 的体系结构文档中，阐述了一个入侵检测系统( i d s ) 的通用模型【1 4 】。 公共入侵检测框架c o 咖o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ( c i d f ) 早期由美国国 防部高级研究计划局赞助研究，现在由c i d f 工作组负责。这是一个开放组织，实 际上c i d f 已经成为一个开放的共享资源。c i d f 是一套规范。它定义了i d s 表达检 测信息的标准语言以及i d s 组建之间的通信协议，符合c i d f 规范的i d s 可以共享 检测信息，相互通信，协同工作，还可以与其它系统配合实施统一的配置响应和 恢复策略。c i d f 的主要作用在于集成各种i d s ，使之协同工作，实现各i d s 之间 的组件重用，所以，c i d f 也是构建分布式i d s 的基础。c i d f 将一个入侵检测系统 分为以下组件：事件产生器( e v e n tg e n e r a t o r s ) 、事件分析器( e v e n ta n a l y z e r s ) 、 响应单元( r e s p o n s eu n i t s ) 、事件数据库( e v e n td a t a b a s e s ) ，如图2 1 所示。 图2 1c i d f 体系结构 c i d f 将入侵检测系统需要分析的数据统称为事件( e v e n t ) ，它可以是基于网络 的入侵检测系统取得的网络中的数据包，也可以是基于主机的入侵检测系统从系 统日志等其他途径得到的信息。另外c i d f 也对各部件之间的信息传递格式、通信 方法和标准a p i 进行了标准化。事件产生器的目的是从整个计算环境中获得事件， 并向系统的其他部分提供此事件。事件分析器分析得到数据，并产生分析结果。 响应单元则是对分析结果作出反应的功能单元，它可以作出切断连接、改变文件 属性等强烈反应，甚至发动对攻击者的反击，也可以只是简单的报警。事件数据 库是存放各种中间和最终数据的地方的统称，它可以是复杂的数据库，也可以是 简单的文本文件。 在现有的入侵检测系统中，经常用数据采集部分、分析部分和响应部分来分 别代替事件产生器、事件分析器和响应单元这些术语。且常用日志来简单的指代 9 基于r s a d a b o o s t 的入侵检测方法研究 事件数据库。 2 4 入侵检测系统的分类 根据信息来源不同，入侵检测系统可以分为以下三类：基于主机的入侵检测 系统( h i d s ) 、基于网络的入侵检测系统( n i d s ) 和混合分布式的入侵检测系统( d i d s ) 【1 5 1 6 】 o 2 4 1 基于主机的入侵检测 基于主机的入侵检测系统历史最久。最早用于审计用户的活动，比如用户的 登陆、命令操作、应用程序使用资源情况等。此类系统一般主要使用操作系统的 审计跟踪同志作为输入，某些也会主动与主机系统进行交互以获得不存在于系统 日志中的信息。它所收集的信息集中在系统调用和应用层审计上，试图从同志寻 找滥用和入侵事件的线索。基于主机的入侵检测依赖于特定的操作系统和审计跟 踪日志获取信息，此类系统的原始数据来源受到所依附具体操作系统平台的限制， 系统的实现主要针对某种特定的系统平台，在环境适应性、可移植性方面问题较 多。所以现在的商用入侵检测产品几乎没有一种是单纯基于主机类型的。但是在 获取高层信息以及实现一些特殊功能( 如针对系统资源情况的审计) 方面具有无法 替代的作用。 2 4 2 基于网络的入侵检测 由于来自网络的攻击事件逐渐成为信息系统的最大威胁，因而基于网络的入 侵检测系统具有重要价值。基于网络的入侵检测系统在网络中的某一点被动地监 听网络上传输的原始流量，通过线路窃听的手段对截获的网络分组进行处理，从 中提取有用的信息。基于网络的入侵检测系统通过对流量分析提取特征模式，再 与已知攻击特征相匹配或与正常网络行为原型相比较来谚 别攻击事件。与基于主 机的入侵检测不同，基于网络的入侵检测非常适用于检测系统应用层以下的底层 攻击事件。 基于网络监听方式实现的入侵检测系统同基于主机的系统相比，在实时性、 适应性、可扩展性方面具有其独特的优势，但此类系统也存在一些固有的弱点， 比如更容易受到基于网络的拒绝服务等恶意攻击，在高层信息的获取上更为困难， 在实现技术上更为复杂等。但是也只有此类系统可以检测到某些种类的攻击，如 远程缓冲区溢出、网络碎片攻击等大量针对协议栈或特定网络服务的攻击手段。 可以这样认为，基于主机的系统一般是根据攻击对系统的影响来判断攻击事 l o 硕上学位论文 件的，比如用户是否多次使用错误口令，文件状态是否非法改变等，时间上滞后 于攻击本身。而基于网络的系统强调通过网络行为过程进行分析，不是依靠审计 攻击事件对目标系统带来的实际影响，而通过行为特征来发现攻击事件。比如网 络上一旦发生了针对w i n d o w sn t 系统的攻击行为，即使其保护网络中没有n t 系 统，基于网络的入侵检测系统一样可以检测到该攻击。此类系统侧重于网络活动 进行检测，因而得以实时地发现攻击企图，许多情况可以做到防范于未燃。 由于基于网络监听方式的入侵检测系统直接从数据链路层获得信息，因而从 理论上它可以获取所有的网络信息，原始数据来源丰富，只要传输数据不是底层 加密的，就可检测到一切通过网络发动的攻击事件，包括一些高层应用的信息。 如：目前已经可以完全通过网络监听的方式对通过网络登陆到特定系统的用户名 和口令进行审计，故也可分析其它系统相关的高层事件。 2 4 3 混合分布式入侵检测 混合分布式入侵检测可以从不同的主机系统、网络部件和通过网络监听方式 收集数据，这些系统可以利用网络数据，也可以收集并分析来自主机系统的高层 事件，发现可疑行为。 虽然基于网络的入侵检测系统实现的功能可以很强大，但是如要适应现代千 兆比特的高速网络和交换式网络方面也有许多难以克服的困难。而且基于主机的 入侵检测系统也有其独特功能，所以未来的入侵检测系统要想获得成功必须将基 于主机和基于网络的两种入侵检测系统无缝的结合起来，这就是混合分布式入侵 检测系统。在基于主机和基于网络的两种入侵检测系统都发展到一定成熟度后， 混合分布式系统也就自然出现了，它兼有两种入侵检测系统各自的优点，但是实 现复杂度要更高。 2 5 入侵检测的主要方法与技术 2 5 1 入侵检测的主要方法 入侵检测的主要方法有异常检测和误用检测两种。 一、误用检测 误用检测是建立在用某种模式或者特征描述方法能够对任何已知攻击进行表 达这一理论基础之上的。误用检测的主要问题是如何确定所定义的攻击特征模式 可以覆盖与实际攻击相关的所有要素。以及如何对入侵活动的特征进行匹配。可 以说，要想实现一个理论上能够百分之百正确检测所有攻击活动的违规检测系统， 基于r s a d a b o o s t 的入侵检测方法研究 首先必须保证能够用数学语言百分之百正确的描述所有的攻击活动。 误用检测有多种方法，这些方法主要的不同之处在于入侵的表示方法和检测 入侵的匹配算法。比如，n i d e s 用一种基于规则的专家系统来进行误用检测。在 n f r 中，由监控引擎执行用n c o d e 编写的b a c k e n d 程序来检测入侵。 二、异常检测 异常检测系统试图建立一个对应“正常的活动”的特征原型，然后把所有与 所建立的特征原型中差别“很大”的所有行为都标志为异常。显而易见，当入侵 集合与异常活动集合存在相交情况时，就会存在“漏报”和“误报”问题。为了 使“漏报”和“误报”的概率较为符合实际需要，该系统的主要问题是选择一个 区分异常事件的“阈值”。调整和更新某些系统特征度量值的方法非常复杂，且开 销巨大。 大多数的异常检测方法从本质上说都是基于统计的方法。比如s r i 的i d e s 和 n i d e s ，它们基于一套统计值给用户建立正常使用的特征模型。这些统计特征既有 数值统计，也有类型统计。i d e s 和n i d e s 通过一种加权合并的方法把各个特征的 偏离值综合起来，以计算实际行为相对于正常特征模型的偏离。已经建立的j 下常 特征模型也需要根据用户的行为定期更新，以保证一些新的用户正常行为也能用 这个特征模型描述。 异常检测最大的好处是可以检测到一些未知的攻击方法，因为它检测入侵的 时候并不需要知道各种具体攻击手法的特点。这种基于统计的方法还有一个好处 就是它可以适应用户行为和系统行为的变化，根据情况更新各种统计特征的阂值。 当然，异常检测也存在着一些缺点： 在不同的计算机环境中，对适当的系统特征的选择也会有很大的不同。 ( 1 ) 如何确定正常和异常的界限是一项非常复杂的工作。 ( 2 ) 用户行为可能会经常变化，行为不一致。 ( 3 ) 有些入侵行为只有通过研究各种事件之间的序列关系才能检测得到，因为 每一个单个的事件都可以被看作是正常行为。这种基于统计方法的系统是通过学 习得到的，它可以被训练。也就是说，在一段时问内，如果入侵者逐渐地改变自 己的用户模式，学习系统可能认为某种入侵行为是这个用户的正常行为。 目前大部分商业的网络安全产品都是以误用检测为主，还没有能进行有效的 异常检测的成熟产品。 2 5 2 入侵检测技术 2 5 2 1 误用检测中的主要技术 误用检测系统中使用的主要技术有：专家系统、状态迁移分析和模式匹配。 1 2 硕十学位论文 一、专家系统 早期的入侵检测系统多数采用专家系统来检测系统中的入侵行为。n i d e s ，溉s ， n a d i r 等系统的异常性检测器中都有一个专家系统模块。在这些系统中，入侵行为 编码成专家系统的规则。每个规则具有“i f 条件t h e n ”动作的形式：其中条件为 审计记录中某个域上的限制条件：动作表示规则被触发时入侵检测系统所采取的 处理动作，可以是一些新事实的断言或者是提高某个用户行为的可疑度。这些规 则可以识别单个审计事件也可以识别表示一个入侵行为的一系列事件。专家系统 可以自动地解释系统的审计记录并判断他们是否满足描述入侵行为的规则。但是， 使用专家系统规则表示一系列的活动不具有直观性：除非由专业的知识库程序员 来做专家系统的升级工作，否则规则的更新是很困难的；而且使用专家系统分析 系统的审计数据也是很低效的。另外，使用专家系统规则很难检测出对系统的协 同攻击。 二、状态迁移分析技术 u s t a t 系统中使用了状念迁移分析的方法。一个入侵行为就是由攻击者执行的 一系列的操作，这些操作可以使系统从某些初始状态迁移到一个可以威胁系统安 全的状态。这里的状态指系统某一时刻的特征( 由一系列系统属性来描述) 。初始 状态对应于入侵开始时的系统状态，危及系统安全的状态对应于已成功入侵时刻 的系统状态；在这两个状态之间则可能有一个或多个中间状态的迁移。在识别出 初始状态、威胁系统安全的状态后，主要应分析在这两个状态之间进行状态迁移 的关键活动，这些迁移信息可以用状态迁移图描述或者用于生成专家系统的规则， 从而用于检测系统的入侵活动。 状念迁移分析主要考虑入侵行为的每一步对系统状态迁移的影响，因而，它