（计算机应用技术专业论文）基于统计分析的入侵检测研究.pdf

摘要 摘要 入侵检测作为一种积极主动的安全防护技术，提供了对内部攻 击、外部攻击和误操作的实施保护，在网络系统受到危险之前拦截和 响应入侵。然而现在的入侵检测系统面临着巨大挑战，随着攻击技术 的不断进步与更新，迫切需要一种有效的入侵检测技术来保护信息系 统的安全。 论文的主要工作如下： 本文在分析了当前国内外入侵检测系统及所采用技术的基础上 提出了一种基于统计分析的入侵检测方法。 首先对入侵检测系统原理结构进行了详细的阐述，并概述了它的 分类和相关的协议以及入侵检测中所使用的各种技术。接着重点讨论 了原型系统所用到的主分量分析( p c a ) 方法和期望最大化( e m ) 算法， 并对两种算法的推衍和相关知识进行了描述。 采用p c a 方法解决特征提取问题主要是基于m a t l b 统计工具 箱，利用相关函数对入侵检测数据集中的高维特征向量进行降维操 作，实现主成分分析，达到压缩数据量，减轻后续工作负荷的目的， 并为后面的e m 训练开展提供了数据基础。 用e m 算法对高斯混合模型进行参数估计，根据估计的结果计算 相关的矩离和概率，把正常数据与异常数据分开。 对实验结果进行了比较客观的分析，实验的结果也相当令人满 意，表明基于统计分析的入侵检测方法是非常有效的。 关键词：网络安全，入侵检测，主成分分析，期望最大化算法 北京交通大学硕七学位论文 a b s t r a c t a sa na c t i v es e c u r “y d e f e n c et e c h n i q u e ，i n t 兀l s i o n d e t e c t i o no 丘e r s r e a l t i m e p m t e c ta g a i n s t i n 把r i o ro re x t e r i o ra t t a c k ，a n dm i s t a k e n o p e r a t i o n ，a si tc a nh o l du pa n dr e s p o n di i l t m s j o nb e f o r et h en e t w o r ki s e n d a n g e r e d h o w e v e r ，n o w a d a y st h ei n t 兀l s i o nd e t e c t i o ns y s t e mi sf a c i n g 伊e a tc h a l l e n g e s w h i tt h ed e v e l o p m e n to fa t t r a c f i o nt e c h n o l o g y ，i t ，si n u r g e n tn e e do fae f i e c t i v ei n t m s i o n - d e t e c t i o nt e c l l o l o g yt op r o t e c tt h e s e c u r i t yo fi n j b n a t i o ns y s t e m t h eh i g l l l i 曲t so ft h ed i s s e f t a i i o ni n c l u d e ： t h ep a p e rb e g i nw i t hag e n e r a ld e s c r i p t i o no ft h ep r i n c i p l e ，s t r i l c t u r e a n dc l a s s e so fi n t m s i o n d e t c c t i o ns y s t e m ，a n do fr e l a t e da g r e e m e n ta n d t h es j t u a t i o no f a p p l y i n ga n i f i c i a li n t e l l i g e n c et oi n t m s i o nd e t e c t i o n t h e n t h ep r i n c i p a lp a no ft h ep 叩e rd i s c u s s e st h ep r i n c i p a lc o m p o n e n t sa n a i y s i s ( p c a ) 柚de x p e c t a i i o nm a x i m i z a t i o n ( e m ) a l g o r i t h m su s e d i nt h e a n t i t y p es y s t e m ，a n dd e t a i l st h ed e d u c i n ga n dr e l a t i v ek n o w l e d g eo ft w o a l g o r i t h m s p c a a l g o r i t h mi su s e dt od e a lw i t ht h ep r o b l e mo fe x t r a c t i o no f f 色a t u r e sb a s e do ns t a t i s t i c a lt o o i b o x e so fm a u a b f h ed i m e n s i o no f h j g h - d i m e n s i o nf e a t u r e sa r er e d u c e db yc o r r e l a t i o nf u n c t i o nc a m ef m m p f i n c i p a lc o m p o n e n t sa n a l y s i s t h ea i mi st oc o m p r e s st h es i z eo ft h ed a t a ， a n dp m v i d et h ed a t ab a s i sf b fe m w bu s ee m a l g 喇t h mt oe s l j m a t et h ep a r 锄e t e r so fm i x e d g a u s s i a n m o d e l ，a n dt h e nd i f f e r e n t i a t et h en o r m a la i l da b n o 珊a ld a t ab a s e do n e s t i m a t e dr e l a t i v ed j s t a n c ea dp r o b a b i l i t y 1 1 a b s t r a c t t h ep a p e rm a k e sac o m p a r a t i v e l yo b j e c t i v ea n a l y s i st ot h eo u t c o m e o ft h ee x p e r i m e n t s t h ea i l a l y s i ss h o w st h ee x p e r i m e n t a lr e s u l ii sf a 主r l y s a t j s f a c t o r y w h i c hs h o w st h ei n t n l s i o n - d e t e c t i o nm e t h o db a s e do n s t a t i s t i ca n a l y s i si sv e r ye 行e c t i v e k e y w o r d s ：n e t w o r k s e c u r i t y i n t m s i o n d e t e c “o n ， p r i n c i p a l c o m p o n e n t sa j l a l y s i s ( p c a ) ，e x p e c t a t i o nm a x i m i z a t i o n ( e m ) l i i 独创性声明 v8 7 9 1 6 7 本人声明，所呈交的学位论文是我个人在导师指导 下进行的研究工作及取得的研究成果。尽本人所知，除 了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北 京交通大学或其他教学机构的学位或证书而使用过的 材料。与我一起工作的同志对本研究所做的任何贡献已 在论文中作了明确的说明并表示了谢意。 本人签名：墨壶盘 日期：塑近年王月盟日 关于论文使用授权的说明 本人完全了解北京交通大学有关保留、使用学 位论文的规定，即：学校有权保留送交论文的复印 件，允许论文被查阅和借阅；学校可以公布论文的 全部或部分内容，可以采用影印、缩印或其他复制 手段保存论文。论文中所有创新和成果归北京交通 大学计算机与信息技术学院所有。未经许可，任何 单位和个人不得拷贝。版权所有，违者必究。 本人签名：墨j 缢一 日期：兰堕丛年。王月上主日 第章绪论 1 1 研究背景 第一章绪论 在我国，随着近年来计算机网络技术的飞速发展，对基于计算机 网络的应用需求也越来越多。瓦连网络以惊人的速度改变着人们的生 活和工作效率。然而，正是由于互联网的一些开放特性，产生了许多 安全问题。信息系统的安全问题是一个十分复杂的问题，可以说信息 系统有多复杂，信息系统安全问题就有多复杂；信息系统有什么样的 特性，信息系统安全就同样具有类似的特性。当互联网把触角伸向世 界的每一个角落时，所有接触到网络的人都成为近在咫尺的邻居。在 网络环境中，些组织或个人出于某种特殊目的，进行信息泄密、信 息破坏、信息侵权和意识形态的信息渗透，甚至通过网络进行政治颠 覆等活动，使国家利益、企业利益和个人的合法权益受到威胁。 网络攻击入侵事件时时发生。据美国g e n e r a la c c o u n t i n g 0 m c e ( g a o ) 的报告，在1 9 9 5 1 9 9 6 年，有2 5 0 0 0 次对美国政府机关 计算机系统的入侵，至少有1 0 个关系到9 8 的政府预算的主要部门， 而其中仅1 4 的入侵被检测出，有报告的只有1 。在s p a 舶r d 报 告中显示：信息窃贼在过去5 年中以2 5 0 速度增长；9 9 的大公司都 发生过大的入侵事件；电信与计算机欺诈行为共造成1 0 0 亿美元的损 失。 然而，网络安全问题在我国还没有得到普遍和充分的重视。我国 的计算机网络系统却还普遍存在着安全隐患多、入侵防范和入侵检测 北京交通大学硕 ：学位论文 的能力弱、入侵信息和入侵证据的收集手段少等问题。对网络安全的 信任程度已经成为了各种i n t e r n e t 应用能否实施的基础。 在计算机安全的发展中，系统安全模型在逐步的实践叶1 发生变 化。由一丌始的静念的系统安全模型逐渐过渡到动态的安全模型，如 p d r 2 模型。p d r 2 表示p r o t e c t i o n 、d e t e c t i 彻、r e c o v e r y 和r e s p o n s e ， 即保护、检测、恢复和响应。检测已经是系统安全模型中非常重要的 部分。 入侵检测技术是动态安全技术的最核心技术之一。它采取的不是 被动防御的策略，而是主动监视、检测和识别正在进行的入侵企图或 已经成功的入侵者和入侵行为，为阻止入侵事件的发生和发展、为防 止入侵所造成损失的扩大、为系统或数据的恢复以及为入侵事件的处 理提供信息和证据。入侵检测作为一种积极主动地安全防护技术，提 供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危 害之前拦截和响应入侵。从网络安全立体纵深、多层次防御的角度出 发，入侵检测理应受到人们的高度重视，这从国外入侵检测产品市场 的蓬勃发展就可以看出。目前入侵检测品主要厂商有i s s 公司 ( r e a l s e c u r e ) 、a x e n t 公司( 1 1 a 、e s m ) ，以及n 舢( c y b e r c o pm o n i t o r ) 。 他们都在入侵检测技术上有多年的研究。国外对入侵检测的模型和技 术进行了大量的研究工作，同时研制开发了大量采用不同实现技术的 入侵检测系统，并被应用于一些重要的政治、军事和经济网络，以对 非法入侵实施监控。 在国内，随着上网的关键部门、关键业务越来越多，迫切需要具 有自主版权的入侵检测产品。目前的研究主要集中在加密、认证、防 火墙和网络监控等技术和系统的实现上，投入较大且应用也较多，而 2 第一章绪论 对主动性的网络入侵检测系统的研究力度不够特别是对智能化的、 自适应的、分布式的、可演化的入侵检测系统的基础理论和应用技术 的研究尤其不足。相应地，我国商业入侵检测系统产品的技术和性能 水平很低，市场几乎全部为国外厂商所占据。可见，入侵检测技术应 该进行进一步的研究。 入侵检测系统在未来的网络安全和军事斗争中将起到非常重要 的作用。涉及到一个国家的国防军事安全和政治经济稳定，因此，在 关于网络入侵检测系统的理论分析和技术实现的研究过程中，必须学 习借鉴国外的先进理论和技术，走自力更生的道路，研究具有国际先 进甚至领先水平的网络安全技术，研制具有自主知识产权的困产网络 安全产品。在经济领域中它可以及时发现、阻拦入侵行为，保护保护 企业来自不满员工、黑客和竞争对手威胁，保证企业信息信息平台的 正常运转。入侵检测系统作为一种商品也具有非常大的市场和效益。 网络不是固定不变的，计算机系统也在不断更新换代，旧的漏洞 刚被堵住，新的弱点又被发现。有人统计，系统漏洞被发现和利用的 速度远远超过了关于计算机能力发展的摩尔定律。因此，想一劳永逸 解决安全问题是不现实的。安全问题需要人们不断地引起重视，做好 一切准备，任重而道远。 1 2 网络安全模型 网络的安全是一个动态的概念。网络的动态安全模型【1 】能够提供 给用户更完整、更合理的安全机制，全网动态安全体系可由下面的公 式概括： 网络安全= 风险分析+ 制定策略+ 防御系统+ 实时监测+ 实时 3 北京交通大学硕士学位论文 响应+ 灾难恢复 即：网络的安全是一个“a p p d r r ”的动态安全模型，如下图图1 1 所示。 圉1 1 网络动态安全模型图 从安全体系的可实施、动态性角度，动态安全体系的设计充分考 虑到风险评估、安全策略的制定、防御系统、监控与检测、响应与恢 复等各个方面，并且考虑到各个部分之间的动念关系与依赖性。 进行风险评估和提出安全需求是制定网络安全策略的依据。风险 分析( 又称风险评估、风险管理) ，是指确定网络资产的安全威胁和脆 弱性、并估计可能由此造成的损失或影响的过程。风险分析有两种基 本方法：定性分析和定量分析。在制定网络安全策略的时候，要从全 局进行考虑，基于风险分析的结果进行决策，建议公司究竟是加大投 入，采取更强有力的保护措施，还是容忍一些小的损失而不采取措施。 因此，采取科学的风险分析方法对公司的网络进行风险分析是非常关 键的。 一旦确定有关的安全要求，下一步应是制定及实施安全策略，来 保证把风险控制在可接受的范围之内。安全策略的制定，可以依据相 关的国内外标准或行业标准，也可以自己设计。有很多方法可以用于 4 第一章绪论 制定安全策略，但是，并不是每一组安全策略都适用于每个信息系统 或环境，或是所有类型的企业。安全策略的制定，要针对不同的网络 应用、不同的安全环境、不同的安全目标而量身定制，各公司应该按 照自己的要求，选择合适的安全体系规划网络的安全。制定自己的安 全策略应考虑以下三点内容：( 1 ) 评估风险。( 2 ) 企业与合作伙伴、供应 商及服务提供者共同遵守的法律、法令、规例及合约条文。( 3 ) 企业为 网络安全运作所订立的原则、目标及信息处理的规定。 上图的安全模型为网络建立了四道防线：安全保护是网络的第一 道防线，能够阻止对网络的入侵和危害；安全监测是网络的第二道防 线，可以及时发现入侵和破坏；实时响应是网络的第三道防线，当攻 击发生时维持网络“打不垮”；恢复是第四道防线，使网络在遭受攻击 后能以最快的速度“起死回生”，最大程度上降低安全事件带来的损失。 1 3 入侵检测的产生和发展 入侵检测技术自2 0 世纪8 0 年代早期提出以来，经过2 0 多年的 不断发展，从最初的一种有价值的研究想法和单纯的理论模型，迅速 发展出种类繁多的各种实际原型系统，并且在近1 0 年内涌现出许多 商用入侵检测系统产品，成为计算机安全防护领域内不可缺少的一种 重要的安全防护技术。入侵检测的发展经历了如下的几个重要阶段【2 】： 1 9 8 0 年4 月，j 锄e s p - a n d e r s o n 第一次详细阐述了入侵检测的概 念。他将入侵尝试( i t n l s i o na 士t e m p t ) 或威胁c _ r h r e a t ) 定义为：潜在的、有 预谋的、未经授权的访问信息、操作信息，致使系统不可靠或无法使 用的企图。 1 9 8 6 年，乔治敦大学的d o r o t h y d e n n i n g 和s r i c s l 的 5 北京交通大学硕十学位论文 p e t e r n e u m a l l n 研究出了第个实时入侵检测系统模型，取名为工 d e s i n t 兀l s i o nd e t e c t i o n e x p e r is y s t e m ) 。 1 9 8 8 年的莫罩斯蠕虫韦件发生之后，网络安全才真正引起了军 方、学术界和企业的高度重视。导致了许多入侵检测系统的研究开发。 其中d i d s 分布式入侵检测系统、是入侵检测系统发展历史上的一个里 程碑，它的检测模型采用了分层结构。 1 9 9 0 年，加州大学戴维斯分校的lt h e b e r l e i n 等人丌发出了 n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。该系统第一次自接将网络流作为数据 来源。从此之后，入侵检测系统发展史翻开了新的一页。 1 9 9 1 年，n a d i r ( n e t w o r ka n o m a l yd e t e c t i o na n dh l t r u s i o nr e p o f t e r ) 与d i d s ( d j s t r i b u t ei i l t r u s j o nd e t e c t j o ns y s t e m ) 提出了收集和合并处理 来自多个主机的审计信息以检测一系列主机的协同攻击。 1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f 如r d 建议使用自治代理 ( a u t o n o m o u sa g e n t s ) 以便提高i d s 的可伸缩性、可维护性、效率和容 错性，该理念非常符合正在进行的计算机科学其他领域f 如软件代理， s o f t w a r e a g c n t ) 的研究。 1 9 9 5 年，i d e s 后续版本一n d e s m e x t g e n e r a t i o ni n t m s i 咖 d e t e c t i o n e x p e r ts y s t e m ) 实现了可以检测多个主机上的入侵。 1 9 9 6 年，新墨西哥大学的f o e s t 提出了基于计算机免疫学的入 侵检测技术。 1 9 9 7 年，c i s 公司开始将入侵检测技术嵌入到路由器，同时， i s s 公司发布了基于w i n d o w s 平台的r e a l s e c u r e 入侵检测系统，自此 拉开商用网络入侵检测系统的发展序幕。 1 9 9 8 年，m i t 的r i c h a r dl i p p m 枷等人为d a r p a 进行了一次入 6 第一章绪论 侵检测系统的离线评估活动，该评估活动使用的是人工合成的模拟数 据，最后的测试结果对于后来的入侵检测系统的丌发和评估工作都产 生了较大影响。 1 9 9 9 年，h s 舢啪o s 的vp a x s o n 开发了b r o 系统，用于高速网 络环境下的入侵检测。b m 系统在设计上考虑了鲁棒性、安全性，并 处理了许多反规避的技术问题。同年，加州大学的d a v i s 分校发布了 g r i d s 系统，该系统试图为入侵检测技术扩展到大型网络环境提供了 一个实际的解决方案。w e n k ek e 提出了用于入侵检测的数据挖掘技 术框架。 近年的研究成果，主要有普渡大学的d i e g oz a m b o n i 和es p a 肋r d 提出了入侵检测的自治代理结构，并实现了原型系统a f f l d 系统。 1 4 入侵检测技术的发展方向 可以看到，在入侵检测技术发展的同时，入侵技术也在更新，一 些地下组织已经将如何绕过i d s 或攻击i d s 系统作为研究重点。高速 网络，尤其是交换技术的发展以及通过加密信道的数据通信，使得通 过共享网段侦听的网络数据采集方法显得不足，而大量的通信量对数 据分析也提出了新的要求。随着信息系统对一个国家的社会生产与国 民经济的影响越来越重要，信息战己逐步被各个国家重视，信息战中 的主要攻击“武器”。之一就是网络的入侵技术，信息战的防御主要 包括”保护”、“ 佥测”与“响应”，入侵检测则是其中“检测”与“响 应”环节不可缺少的部分。 近年对入侵检测技术有几个主要发展方向： ( 1 ) 分布式入侵检测与通用入侵检测架构 7 北京交通大学硕十学位论文 传统的i d s 一般局限于单一的主机或网络架构，对异构系统及大 规模的网络的监测明显不足，同时不同的i d s 系统之间不能协同工作。 为解决这一恫题，需要分布式入侵检测技术与通用入侵检测架构。 c i d f 【3 】以构建通用的i d s 体系结构与通信系统为目标，g r i d s 跟踪与 分析分前j 系统入侵，e m e r a l d 实现在大规模的网络与复杂环境中的 入侵检测。 ( 2 ) 应用层入侵检测 许多入侵的语义只有在应用层才能理解，而目前的i d s 仅能检测 如w e b 之类的通用协议，而不能处理如l 0 t u s n o t e s ，数据库系统等 其他的应用系统。许多基于客户、服务器结构与中间件技术及对象技 术的大型应用，需要应用层的入侵检测保护。s i l l i e 瑚a t l 等人己经开始 对c o r b a 的i d s 研究。 ( 3 ) 智能的入侵检测 入侵方法越来越多样化与综合化，尽管已经有智能体、神经网络 与遗传算法在入侵检测领域应用研究，但是这只是些尝试性的研究 工作，需要对智能化的i d s 加以进一步的研究以解决其自学习与自适 应能力。 ( 4 1 入侵检测的评测方法 用户需对众多的i d s 系统进行评价，评价指标包括i d s 检测范围、 系统资源占用、i d s 系统自身的可靠性与鲁棒性。从而设计通用的入 侵检测测试与评估方法与平台，实现对多种i d s 系统的检测已成为当 前i d s 的另一重要研究与发展领域。 ( 5 ) 网络安全技术相结合 结合防火墙、安全电子交易s e r r 等新的网络安全与电子商务技 8 第一章绪论 术，提供完整的网络安全保障。 1 5 论文的研究内容 如今，入侵检测系统( i d s ，i n t n l s i o nd e t e c t i o ns y s t e m ) 已经不仅仅是 应用于实验和科研的软件系统了，它的最终目标是能够在实际的网络 环境中发挥作用。 我所选的课题是在目前的网络入侵检测技术基础上研究主分量 分析、混合高斯模型以及期望最大化方法在入侵检测中的应用。目的 是希望用混合高斯模型的优势来改进现存入侵检测系统中的一些不 足之处，是入侵检测系统具有更强的适应能力和更广阔应用前景。 本文主要做了一下方面的工作： ( 1 ) 研究主成分分析( p r i n c i p a lc o m p o n e n t sa n a l y s i s ，简称p c a ) 的 原理及其在大规模的分类识别过程中的应用和解决特征提取问题的 方法，通过实验分析并验证p c a 方法在提取入侵检测样本特征问题上 的可行性。 ( 2 ) 分析混合高斯分布函数，根据实际样本数据的分布特点，将混 合高斯模型用于描述样本数据的分布，进而完成入侵检测。并分析其 在入侵检测中应用的优缺点。 ( 3 ) 研究期望最大化算法( e x p e c t a t i o nm a x i m i z a t i o n ，简称e m ) ，并 将其用于求解混合高斯模型的参数。通过编程实现e m 算法。 把基于p c a 与e m 算法的入侵检测同现有的系统合并在一起。用 e m 算法确定的概率模型来过滤接受数据中的可疑事件，并把这些事 件交给系统作进一步的处理。这种结构可以减少系统的开销和i d s 误 报来提高检测系统的效用。 9 北京交通人学硕士学位论文 1 6 论文的组织安排 本沦文主要讲述i d s 和概率统计理论在i d s 中的应用，除本章绪 论外，其它各章的内容安排如下： 第二章，入侵检测概述。本章介绍了入侵和入侵检测系统的基本 概念，分析了现有入侵检测系统所采用的体系结构、模型以及主流入 侵检测系统所使用的分析技术，介绍了神经网络、概率统计等技术在 入侵检测中的应用。 第三章：统计分析方法理论基础。本章简要介绍了主分量分析方 法( p c a ) 和期望最大化算法( e m ) ，它们是统计分析方法中两种重要的 分析方法，论文在入侵检测系统研究中将主要应用这两种方法。本章 对论文中涉及到的这两种统计分析方法的理论基础进行综述。 第四章：基于p c a ，e m 的1 d s 的设计与研究。本章介绍了如何众 多的网络数据中提取出安全特征，首先利用p c a 方法对高达4 1 维的 数据进行分析，提取出其主要分量，舍弃对检测贡献较小的部分，从 而达到降维的目的，然后己降维后新的数据作为输入，设计了基于e m 期望最大化思想的入侵检测方法 第五章：实验分析与讨论：描述了基于e m 算法的入侵检测的实 验过程，并对结果进行分析，提出一些问题和看法。 第六章：结束语。 1 0 第二章入侵检测概论 第二章入侵检测概论 2 1 入侵简介 入侵是指系统的未授权用户试图或已经窃取了系统的访问权限， 以及系统的授权用户超越或滥用了系统所授予的访问权限，从丽威胁 或危害了网络资源的完整性、机密性或有效性的行为集合 4 】。完整性 是指防止网络资源被非法删改和破坏；机密性是指防止网络系统内信 息的非法泄漏；有效性是指网络系统数据资源可以被授权用户随时正 常地访问，以及程序资源能够按期望的方式和作用正常地运行 5 】。从 分类角度可将入侵划分为信息收集( 如路由探测、拓扑重建、系统探 查、端口扫描等) 、系统侵入、系统渗透、伪装隐形、系统攻击( 如 洪流、邮件炸弹等) 和恶意使用等类型【6 】。 2 1 1 探测技术 探测是黑客在攻击开始前必需的情报收集工作，攻击者通过这个 过程需要尽可能多的了解攻击目标安全相关的方方面面信息，以便能 够集中火力进行攻击。探测又可以分为三个基本步骤：踩点、扫描和 查点。踩点指攻击者结合各种工具和技巧，以j 下常合法的途径对攻击 目标进行窥探，对其安全情况建立完整的剖析图。常用的方法有通过 搜索引擎对开放信息源进行搜索、域名查询、d n s 查询、网络勘察等。 扫描则是攻击者获取活动主机、开放服务、操作系统、安全漏洞等关 1 l 北京交通大学硕十学位论文 键信息的重要技术。扫描技术包括p i n g 扫描( 确定哪些主机j 下在活动) 、 端口扫描( 确定有哪些丌放服务) 、操作系统辨识( 确定目标主机的操作 系统类型】和安全漏洞扫描( 获得目标上存在着哪些可利用的安全漏 洞) 。著名的扫描工具包括n m a p ，n e t c a t 等，知名的安全漏洞扫描一1 二 具包括开源的n e s s u s 及一些商业漏洞扫描产品如i s s 的s c a 衄e r 系 列产品。查点是攻击者常采用的从目标系统中抽取有效帐号或导出资 源名的技术，查点的信息类型大体可以归为网络资源和共享资源、用 户和用户组和服务器程序及其它三类。 2 1 2 攻击技术 在攻击阶段，攻击者通过探测阶段掌握的有关攻击目标的安全情 况会选择不同的攻击方法来达成其攻击目的。攻击方法层出不穷，可 以将其归为以下四类，即窃听技术、欺骗技术、拒绝服务和数据驱动 攻击。 窃听技术指攻击者通过非法手段对系统活动的监视从而获得 些安全关键信息。目前属于窃听技术的流行攻击方法有键击记录器、 网络监听、非法访问数据和攫取密码文件。窃昕行为大多发生在攻击 者的本地机器或者已经成功入侵并受其控制的代理机上。对于发生在 入侵者本地机器上的攻击本身入侵检测并没有什么显著的效果，因为 它只是被动的纪录与监昕行为。对于发生在手控机器上的监听行为本 身入侵检测虽然也不能发挥作用，但应该在受控机器被入侵控制前， 发现入侵者的入侵行为，从而阻止下一步对目标网络与机器的窃听。 欺骗技术是攻击者通过冒充正常用户以获取对攻击目标访问权 或获取关键信息的攻击方法，属于此类的有获取口令、恶意代码、网 1 2 第一章入侵检测概论 络欺骗等攻击手法。获取口令的方式有通过缺省口令、口令猜测和口 令破解三种途径。某些软件和网络设备在初始化时会设置缺省的用户 名和密码，意在允许厂家有能力绕过被锁闭或遗忘的管理员帐号，这 也为攻击者进行口令猜测提供了可能。口令破解技术则提供了进行口 令猜测的自动化工具，通常需要攻击者首先获取密码文件，然后遍历 字典( 高频密码列表) 从而找到正确的口令。恶意代码包括特洛伊木马 应用程序、邮件病毒、网页病毒等，通常冒充成有用的软件工具、重 要的信息等，诱导用户下载运行或利用邮件客户端和浏览器的自动运 行机制，在启动后安装恶意的或破坏性的软件程序。网络欺骗指攻击 者通过向攻击目标发送冒充其信任主机的网络数据包，达到获取访问 权或执行命令的攻击方法，例如i p 欺骗、会话劫持、a r p ( 地址解析 议) 重定向和r 口( 路由信息协议1 路由欺骗等。 拒绝服务攻击指中断或者完全拒绝对合法用户、网络、系统和其 他资源的服务的攻击方法，被认为是最邪恶的攻击，其意图就是彻底 地破坏，而这往往比真正取得他们的访问权要容易得多，同时所需的 工具在网络上也唾手可得。因此拒绝服务攻击，特别是分布式拒绝服 务攻击对目前的互联网络构成了严重的威胁，造成的经济损失也极为 庞大。拒绝服务攻击的类型按其攻击形式划分包括导致异常型、资源 耗尽型、欺骗型。另外分布式拒绝服务攻击( d d o s ) 采用资源耗尽型的 攻击方式，但由于其特殊性，我们将其另归为一类。导致异常型拒绝 服务攻击利用软硬件实现上的编程缺陷，导致其出现异常，从而使其 拒绝服务。资源耗尽型拒绝服务攻击则通过大量消耗资源使得攻击目 标由于资源耗尽不能提供正常的服务。视资源类型的不同可分为带宽 耗尽和系统资源耗尽两类。带宽耗尽攻击的本质是攻击者通过各种技 北京交通大学硕士学位论文 巧消耗掉目标网络所有的可用带宽。系统资源耗尽攻击指对系统内 存、c p u 或程序中的其他资源进行消耗，使其无法满足正常提供服务 的需求。分布式拒绝服务攻击则是通过控制多台傀儡主机，利用他们 的带宽资源集中向攻击目标发动总攻，从而耗尽其带宽或系统资源的 攻击形式。 数据驱动攻击1 7 ，8 】是通过向某个程序发送数据，以产生非预期结 果的攻击，通常为攻击者给出访问目标系统的权限，数据驱动攻击分 为缓冲区溢出攻击、格式化字符串攻击、输入验证攻击、同步漏洞攻 击、信任漏洞攻击等。缓冲区溢出攻击的原理是通过往程序的缓冲区 写入超出其边界的内容，造成缓冲区的溢出，使得程序转而执行其他 攻击者指定的代码，通常是为攻击者打开远程连接的s h e l l c o d e ，以达 到攻击目标。格式化字符串攻击主要是利用由于格式化函数的微妙程 序设计错误造成的安全漏洞，通过传递精心编制的含有格式化指令的 文本字符串，以使目标程序执行任意命令。输入验证攻击针对程序未 能对输入进行有效的验证的安全漏洞，使得攻击者能够让程序执行指 定的命令。同步漏洞攻击利用程序在处理同步操作时的缺陷，如竞争 状态。信号处理等问题，以获取更高权限的访问。发掘信任漏洞攻击 则利用程序滥设的信任关系获取访问权的一种方法。 2 1 3 各种攻击技术的融合 目前复杂的攻击工具往往融合了多种不同的攻击技术，特别是计 算机蠕虫等能够自动运行、传播并造成破坏的a g e n t 。蠕虫指的是能 够在网络上完全地复制自身的独立可执行代码，而病毒则需要宿主程 序通过某种方式将其激活。蠕虫技术融合了自复制技术、扫描技术以 1 4 第一二章入侵检测概论 及缓冲区溢出等攻击技术。 2 2 入侵检测的概念及功能 入侵检测系统( i n t 邝s i o nd e t e c t i o ns y s t e m ) ，顾名思义，是对入侵 行为的发觉。可以被定义为对计算机和网络资源上的恶意使用行为进 行识别和响应的处理系统。它通过对计算机网络或计算机系统中的若 干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违 反安令策略的行为和被攻击的迹象，提供实时的入侵检测并采取相应 的防护手段，其目的在于检测可能存在的攻击行为。 1 d s 最主要的功能当然是检测入侵。如何智能地报告出入侵者的 动作就成了检验i d s 功能的首要条件。入侵检测被认为是防火墙之后 的第二道安全闸门，在不影响网络性能的情况下能对网络进行监测， 从而提供对内部攻击、外部攻击和误操作的实时保护。这些都是通过 完成以下任务来实现的： 监视、分析用户及系统活动； 系统构造和弱点的审计： 检查关键系统和数据文件的完整性； 识别反映己知进攻的活动模式并向相关人士报警： 异常行为模式的统计分析： 评估重要系统和数据文件的完整性： 操作系统的审计跟踪管理，并识别用户违反安全策略的行为 对一个成功的入侵检测系统来讲，它不但可使系统管理员时刻了 解网络系统( 包括程序、文件和硬件设备等) 的任何变更，还能给网络 安全策略的制订提供指南。更为重要的一点是，它应该管理、配置简 北京交通人学硕士学位论文 单，从而使非专业人员非常容易地获得网络安全。而且，入侵检测的 规模还应根据网络成胁、系统构造和安全需求的改变而改变。入侵检 测系统在发现入侵后，会及时作出响应，包括切断网络连接、记录事 件和报警等。入侵检测系统的优点在于： 提高了信息安全体系其它部分的完整性 提高了系统的监察能力 跟踪用户从进入到退出的所有活动或影响 识别并报告数据文件的改动 发现系统配置的错误，必要时予以更正 识别特定类型的攻击，并向相应人员报警，以作出防御反应 可使系统管理人员最新的版本升级添加到程序中 允许非专家人员从事系统安全工作 - 为信息安全策略的创建提供指导，但我们也必须修正对入侵检 测系统不切实际的期望，这些产品并不是无所不能的，它们无法弥补 力量薄弱的识别和确认机制 在无人干预的情况下，无法执行对攻击的检查 无法感知公司安全策略的内容 不能弥补网络协议的漏洞 不能弥补由于系统提供信息的质量或完整性的问题 不能分析网络繁忙时所有事务 不能总是对数据包级的攻击进行处理 不能应付现代网络的硬件及特性 网络i d s 的机制是监视网络上的流量，这样决定了如果所要监视 的网络不止一个h u b 或交换机的话，就要在每个h u b 或交换机上面 第二章入侵检测概论 安装嘲络引擎。这样我们就需要一个控制台和f 1 志分析程序来管理和 分析多个网络引擎及它们产生的告警。坐在办公室中实时查看和管理 机房里的入侵检测系统，用户有权要求这样的功能。 l d s 还会提供各种各样的告警方式，如打电话，发邮件等，这样 用户也可以远程得到告警。这个交流大多是单向的，用户只能被动的 得到信息，而不能主动的控制远程的网络引擎。 随着技术的发展，交互式的l d s 系统将给远程管理带来更大的便 利。 i d s 要抓住入侵者，入侵者就会想方设法逃避i d s 。逃避i d s 的 方法很多。总结起来可以分成两大类：让l d s 误报和漏报。 ( 1 ) i d s 误报 i d s 误报的初衷是：明明没有这个攻击，但是入侵者让l d s 拼命 告警，让不断增长告警日志塞满硬盘，让翻滚的告警屏幕把管理者的 眼睛绕花。这样真正的攻击就可以夹杂在数不清的虚假告警中蒙混过 关了，因为这个时候i d s 已经没有精力从众多的告警中发现真j 下的入 侵了。 c o r e t e zg j o v a n n j 发现了让i d s 误报的另外一个功能：快速的告警 信息的产生会让l d s 反应不过来而产生失去反应甚至死机现象。 c o r e t e z 写了个叫做s t i c k 的程序，本来是作为i d s 产品的测试用例的。 这个程序读入s n o n 的规则，然后按照s n o n 的规则组包，因为s n o r t 的规则涵盖了大多数的攻击，所以l d s 匹配了这些报文就告警。比较 有名的i d s 如i s s 和s n o n 首当其冲被披露能造成3 0 秒以上的停顿。 ( 2 ) 漏报 和误报相比，漏报其实更有危险性。建立i d s 就是为了旦有入 1 7 北京交通大学硕十学位论文 侵就产牛告警，如果入侵者入侵成功而让i d s 不告警，则i d s 就成了 摆设。i d s 想要防止欺骗，就要尽可能的模仿t c p l p 栈的实现。 近年，出了个让i d s 漏报的程序a d m m u t a l e ，它可以动态改变 s h e hc o d e 。溢出程序经它一改，就可以摇身一变，本来i d s 依靠提取 公开的溢出程序的特征码来报警。特征码变了后i d s 就报不出来了。 但是程序还一样起作用，服务器一样被黑。 这个程序只能对依靠检查字符串匹配告警的l d s 起作用，如果 i d s 依靠欧度，可打印字符等等综合判断，则a d m m u t a t e 还是不能逃 脱l d s 的监控。 i d s 的实现总是在漏报和误报中徘徊，漏报率降低了，误报率就 会提高，同样误报率降低了，漏报率就会提高。产品一般会在两者中 取一个折中，并且要能进行调整以适应不同的网络环境。 另外，毫无疑问，i d s 程序本身的健壮性是i d s 系统好坏的重要 指标。 l d s 的健壮性体现在两个方面：一是程序本身在各种网络环境下 都能正常工作。二是程序各个模块之间的通信能够不被破坏，不可仿 冒。 i d s 因为是各个模块间远程通信和控制的，如果通信被假冒，比 如假冒一个停止远程探测器的命令或者假冒告警信息都是釜底抽薪 的狠招。这就需要在模块间的通信过程中引入加密和认证的机制。并 且这个加密和认证的机制的健壮性也要受到考验。如果模块间的通信 被切断，则需要良好的恢复重传机制。告警信息暂时没有发送出去并 不是丢弃，而要本地保存，适当的时候再发送。 1 8 第二章入侵检测概论 2 3 入侵检测系统的原理与模型 要想能够成功的检测出入侵，一个重要的前提就是，假设入侵行 为和t f 常的合法行为是可区分的，在以这些行为为基础提取出的数字 特征上必须具备某种差异性。需要解决的两个重要问题就是相应就是 如何从这些行为中提取能够代表其行为特征的数据和如何对这些数 据进行高效准确的判定。这是设计一个入侵检测系统要考虑的两个核 心问题。 2 3 1c i d f 通用入侵检测框架 c i d f ( c o m m o ni n t n l s i o nd e t e c t i o nf r a m e w o r k ) 【9 】是为了在不同的 入侵检测系统、入侵响应系统之间共享信息而制定的一套标准。这个 项目最初由d a r p a ( d e f e n s ea d v a i l c e dr e s e a r c ha g e n c y ) 发起，后期主 要由商业公司和组织参与。参与者们希望通过c i d f 标准达到如下目 标： 使得i d s 系统各个不同部件或者不同i d s 部件之间所共享的信息 尽可能的多。 使得i d s 系统的部件能在不同的环境中方便的重用。在c i d f 中， 入侵检测系统被分为几个通过消息通讯的独立部件，包括：事件产生 器( e _ b o x e s ) 、事件分析器( a b o x e s ) 、事件数据库( d _ b o x e s ) 和响应单元 ( r - b o x e s ) 。 这些部件之间通过c i d f 所定义的c i s “c o m m o n i n t m s i o n s p e c i f c a t i o nk n g i l a g e ) 来相互通信。c i s l 定义了通讯时所要 遵循的语法以及消息格式。组件之间交换信息是通过通用入侵检测对 1 9 l 京交通大学硕十学位论文 象( g e n e r a l j z e di n t r u s j o nd e t e c l i o no b j c c t s ，简称西d o s ) 来进行的。一个 g i d o s 对象通过一定编码携带如下信息之一：在某个时间产生的某个事 件、通过一系列的事件得出某种结论或者进行某种响应动作的指令。 g i d o s 对象的格式由c i s l 定义。 事件产生器用来产生百d o s 对象，供其它部件使用。事件分析器 对产生器所产生的g i d o s 对象进行分析，判断是否发生了某种异常、 是否有特定的入侵发生等等。分析的结果也封装到西d o s 中去。事件 数据库用来存储g i d o s 。 2 3 2d e n n i n g 模型 入侵检测技术模型最早由d o m t h yd e 仰i n g 于1 9 8 7 年提出【1 0 】。 该模型由以下六个主要部分构成： ( 1 ) 主体( s u b j e c t s ) ：启动在目标系统上活动的实体，如用户。 ( 2 ) 对象( o b j e t s ) ：即客体，指系统资源，如文件、设备、命令等。 ( 3 ) 审计记录( a u d i t r e c o r d s ) ：主体对客体实施操作时系统产生的数 据，如用户注册、命令执行等。审计记录的格式由六元组构成： 。 ( 4 ) 活动档案(