（计算机软件与理论专业论文）样条权函数神经网络用于入侵检测的研究.pdf

南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作 所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含 任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉 及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学 位论文原创性声明的法律责任由本人承担。 学位论文作者签名：鄹韦 7 纺厂年t - 月多日 摘要 摘要 网络和计算机越来越广泛地应用于当今社会，使人们享受着网络带来的诸 多好处。与此同时，网络安全问题也愈发突出。入侵检测系统正是一种积极主 动的安全防护技术，作为防火墙、数据加密等传统安全防护措施的合理补充， 它可以监视主机系统或是网络上的用户活动，发现可能存在的入侵行为。 入侵检测工作中存在着大量的非线性问题，因此入侵检测系统的智能性逐 渐成为研究热点之一。人工神经网络是对人脑生理结构和工作机理的模拟，在 求解难以建模的复杂问题方面发挥着不可替代的作用。神经网络对不确定性问 题的自学习和自适应能力恰好能够满足入侵检测工作的要求。将神经网络技术 用于入侵检测系统中，利用经过训练的神经网络所具有的自适应能力，可以较 好地识别已知的攻击，也具有一定的检测未知攻击的能力。 本文首先介绍入侵检测系统的概念、入侵检测技术、神经网络等方面的知 识。随后引用了学术界最新提出的“样条权函数神经网络”，并对其体系结构 和学习算法进行了描述。“样条权函数神经网络克服了传统神经网络的部分 。缺陷，并把常数权值变成权函数。为把“样条权函数神经网络”应用于入侵检 测系统，本文又提出了利用“行为特征曲线”的概念来描述用户行为特征的轮 廓。最后通过设计并实现一个用于入侵检测系统的“样条权函数神经网络 ， 利用实验数据包对该系统进行了训练和测试。最终的实验结果表明，“样条权 函数神经网络”用在基于网络的入侵检测系统方面具有很大的优势。 关键字：入侵检测神经网络特征样条权函数 a b s t r a c t a b s t r a c t n o w a d a y s ，i n t e m e ta n dc o m p u t e rh a sb e c o m em o r ea n dm o r ee x t e n s i v eu s e d a n dp e o p l ee n j o yt h ea d v a n t a g e so ft h en e t w o r kv e r ym u c h a l o n gw i t ht h e s e a d v a n t a g e s ，t h ep r o b l e mo fs e c u r i t yb e c o m em o r ea n dm o r eo u t s t a n d i n g i n t r u s i o n d e t e c t i o ns y s t e mi sat e c h n o l o g yw h i c hc a np r o t e c to u ri n f o r m a t i o ns a f e a sa r e a s o n a b l es u p p l e m e n tt ot h et r a d i t i o n a lm e a s u r e s ，s u c ha sf i r e w a l l ，d a t ae n c r y p t i o n ，i t c a l lm o n i t o ro u rs y s t e m sa n dn e t w o r k s ，a n df i n di n t r u s i o n s t h e r ea r em a s s i v en o n l i n e a rp r o b l e mi nt h ei n t r u s i o nd e t e c t i o nw o r k s ，t h e r e f o r e , i n t e l l i g e n ti n t r u s i o nd e t e c t i o ns y s t e mi sah o t s p o ti nr e c e n ts t u d i e s a r t i f i c i a ln e u r a l n e t w o r ki sas i m u l a t i o no fp h y s i o l o g i c a ls t r u c t u r ea n dm e c h a n i s mo fh u m a nb r a i n i t p l a y sa ni r r e p l a c e a b l er o l ei ns o l v i n gc o m p l e xp r o b l e mw h i c ha r ed i f f i c u l tt om o d e l t h en e u r a ln e t w o r k sa b i l i t i e so fl e a r n i n ga n da d a p t a t i o nt ou n c e r t a i n t yc a l le x a c t l y s a t i s f yt h en e e do fi n t r u s i o nd e t e c t i o n w i t hc a p a b i l i t yo fs e l f - a d a p t a b i l i t y , n e u r a l n e t w o r kc a nn o to n l yi d e n t i f yt h ek n o w n a t t a c k ，b u ta l s oc a nd e t e c tn e wa t t a c ke v e n t s i ns o m ee x t e n t t h i sp a p e rb e g i n si td i s c u s s i o nb yi n t r o d u c i n gs o m ec o n c e p t sa n dt e c h n o l o g i e s o fi n t r u s i o nd e t e c t i o ns y s t e m ，t h en e u r a ln e t w o r ka n ds oo n a n dt h e n ，t h ep a p e r p r e s e n t s t h e s p l i n e f u n c t i o nw e i g h tn e u r a ln e t w o r k a n d i t ss t r u c t u r ea n d a l g o r i t h m ，w h i c hi st h el a t e s tr e s e a r c hi nt h es c o p eo fn e u r a ln e t w o r k s p l i n e f u n c t i o nw i g h tn e u r a ln e t w o r k o v e r c o m e ss o m ef a u l t so ft r a d i t i o n a l n n ，a n d c h a n g et h ew e i g h tf r o mc o n s t a n tt of u n c t i o n i no r d e rt oa p p l y s p l i n ef u n c t i o n w e i g h tn e u r a ln e t w o r k t oi n t r u s i o nd e t e c t i o ns y s t e m ，t h ec o n c e p t i o no f b e h a v i o r s i g n a t u r ec u r v e i si n t r o d u c e dt oo u t l i n eu s e r s b e h a v i o r l a s t l y , a s p l i n ef u n c t i o n w i g h tn e u r a ln e t w o r k u s e df o ri n t r u s i o nd e t e c t i o n s y s t e m i s d e s i g n e da n d i m p l e m e n t e d ，t h ep a p e ru s e se x p e r i m e n t a ld a t ap a c k a g ef o rt h en e u r a ln e t w o r k s t r a i n i n ga n dt e s t i n g t h ef i n a lr e s u l ti n d i c a t e st h a tt h e s p l i n ef u n c t i o nw e i g h tn e u r a l n e t w o r k h a sag r e a ta d v a n t a g ei ni n t r u s i o nd e t e c t i o ns y s t e m a b s t r a c t k e y w o r d s ：i n t r u s i o nd e t e c t i o n n e u r a ln e t w o r k s i g n a t u r es p l i n ef u n c t i o n w e i g h t 目录 目录 第一章绪论1 第一节网络安全的含义l 第二节网络安全现状2 1 2 1 网络安全威胁3 1 2 2 网络安全技术4 1 2 3 入侵检测技术的必要性。6 第三节论文的研究内容7 第四节论文组织结构7 第二章入侵检测技术9 第一节入侵检测概述9 2 1 1 入侵检测的发展历史9 2 1 2 入侵检测体系结构1 1 第二节入侵检测系统分类“1 2 2 2 1 基于主机的入侵检测系统1 2 2 2 2 基于网络的入侵检测系统1 2 2 2 3 混合型入侵检测系统1 3 第三节入侵检测技术”1 3 2 3 1 异常入侵检测技术1 3 2 3 2 误用入侵检测技术1 4 2 3 3 完整性分析1 4 第四节入侵检测技术的发展趋势”1 5 2 4 1 宽带高速网络的实时入侵检测技术1 5 2 4 2 大规模分布式入侵检测技术1 5 2 4 3 入侵检测的数据融合技术1 6 i v 目录 2 4 4 先进检测算法的应用。1 6 第三章人工神经网络1 8 第一节人工神经网络概述”1 8 3 1 1 人工神经网络发展历史1 8 3 1 2 人工神经元模型2 0 3 1 3 人工神经网络的基本特征2 l 3 1 4 人工神经网络的研究内容2 l 第二节几种典型人工神经网络2 2 第三节神经网络在i d s 中的应用一2 4 第四章样条权函数神经网络2 6 第一节传统人工神经网络的局限性2 6 第二节权函数神经网络2 6 4 2 1 权函数神经网络的相关概念2 7 4 2 2 样条权函数神经网络的数学基础2 9 4 2 3 权函数神经网络的拓扑结构3 3 4 2 4 样条权函数建立与求解3 6 4 2 5 拓扑结构与训练算法的一般情况3 9 第三节对奇异样本的处理4 3 第四节样条权函数神经网络的特点”4 6 第五章样条权函数神经网络用于入侵检测4 7 第一节行为特征曲线4 7 5 1 1 入侵特征4 7 5 i 2 行为特征曲线4 9 第二节实验数据设计5 0 第三节实验网络设计”5 3 第四节实验结果5 4 5 4 1 实验结果数据5 4 v 目录 5 4 2 实验结果分析5 6 第六章总结与展望5 7 参考文献5 9 致谢6 1 个人简历6 2 v i 第一章绪论 第一章绪论 本章以网络安全作为全文的背景，讨论网络安全现状和入侵检测技术的必 要性，并介绍论文的研究内容和组织结构。 第一节网络安全的含义 随着计算机网络的广泛使用和网络之间信息传输量的急剧增长，数据的安 全性受到了严重的威胁。攻击者可能窃听网络上的信息，窃取用户的口令、数 据库中的信息，还可能篡改数据库的内容，伪造用户身份，否认自己的签名。 更为严重的是攻击者可能删除数据库内容，破坏网络节点，释放计算机病毒， 甚至是瘫痪整个网络。因此，能否成功阻止这些入侵行为，保证计算机和网络 系统的安全运行是当前面临的一个极为重要的问题。 网络安全是指利用网络管理和控制技术，保证网络系统环境中信息数据的 机密性、完整性及可用性，即保护在网络上保存和流动的数据不被他人偷看、 窃取和修改。 安全的计算机网络信息系统就是可信赖的按照期望方式运行的系统，它必 须能够保护整个系统免受任何形式的入侵。这种系统应该具有以下几个特征【l 】： 1 机密性 机密性是指数据不会泄露给非授权的用户、实体，也不会被非授权用户使 用，只有合法的授权用户才能对机密的或受限的数据进行存取。 2 完整性 完整性是指数据未经授权不能改变。完整性要求保持系统中数据的正确和 一致，保护数据不受破坏或篡改。 3 可用性 可用性是指计算机资源和系统中的数据信息在系统合法用户需要使用时必 须是可用的。即对授权用户，系统要尽量避免系统资源被耗尽或服务被拒绝的 情况出现。 4 可控性 第一章绪论 可控性是指可以控制授权范围内的信息流向及行为方式，对信息的访问、 传播以及具体内容具有控制能力。同时它还要求系统审计针对信息的访问，当 泄密现象被检测出以后，安全系统必须能够保存足够的信息以追踪、识别入侵 者，入侵者对此不能抵赖。 5 准确性 准确性是指系统要尽量减少由于对事件的不正确判断所引起的虚警现象， 系统应具有较高的可靠性。虚警率太高会使合法的用户行为经常被打断或被禁 止，使系统的可用性降低。 总之，研究网络安全的目的就是为了建立能够提供对系统数据、信赖关系、 网络传输能力和端系统处理能力有效保护的安全机制，保证系统按照期望的方 式运行。 第二节网络安全现状 根据中国互联网络信息中心2 0 0 7 年发布的第2 1 次中国互联网络发展状 况统计报告中的数据【2 】，截至2 0 0 7 年1 2 月，网民数已达到2 1 亿人。中国网 民数增长迅速，2 0 0 7 年一年增加了7 3 0 0 万，年增长率为5 3 3 。中国的宽带网 民数量增长迅速，2 0 0 7 年1 2 月的宽带网民数已经达到1 6 3 亿，占网民总体的 7 7 6 ，比2 0 0 7 年6 月增加了4 0 9 4 万人，比2 0 0 6 年1 2 月的1 0 4 亿增加了5 9 3 8 万人。宽带的快速发展是众多互联网应用快速扩大发展的基础。 互联网基础资源增长迅猛，年增长率均超过3 8 ，尤其是域名、网站和网 页数量，年增长率均超过了6 0 。中国的m 地址数达到1 3 5 亿个，年增长率为 3 8 。目前每万人拥有的i p 地址是1 , 0 2 9 个，每万个网民拥有的口地址则是6 , 4 4 2 个。中国域名总数是1 1 9 3 万个，年增长率达到1 9 0 4 。中国网站数量已有1 5 0 万。中国网页总数已经有8 4 7 亿个，年增长率达到8 9 4 ，是2 0 0 7 年互联网基 础资源中增长最快的一项，互联网上的信息资源数量日趋丰富。中国互联网国 际出1 3 带宽数达到3 6 8 ，9 2 7 m b p s ，年增长率为4 3 7 。 然而，随着网络应用的普及，网络安全问题日益突出。i n t e m e t 的开放性、 互连性、共享性以及其它方面的因素导致网络环境下的计算机系统不可避免地 存在很多安全问题。这些安全隐患为黑客采用非正常手段侵入系统提供了机会。 2 第一章绪论 近年来计算机系统漏洞的发现速度加快，大规模蠕虫攻击不断爆发，使得网络 的安全受到了极大的威胁。 根据国家计算机网络应急技术处理协调中心2 0 0 7 年上半年接收和处理的网 络安全事件统计【3 】，中国的互联网安全实际状况不容乐观。各种网络安全事件与 2 0 0 6 年同期相比都有明显增加。半年时间内，c n c e r t c c 接收的网络仿冒事 件和网页恶意代码事件已分别超出2 0 0 6 年全年总数的1 4 6 和1 2 5 。我国大 陆地区被植入木马的主机p 远远超过去年全年，增幅达2 l 倍。我国大陆被篡改 网站数量比去年同期增加了4 倍，比去年全年增加了近1 6 9 。 网络安全问题在其他国家也造成了巨大的经济损失。据美国联邦调查局统 计，美国每年因网络安全造成的损失高达7 5 亿美元，而且损失还在以惊人的速 度增长。 1 2 1 网络安全威胁 网络的迅速发展以及网络的开放特性使网络面对的安全威胁不断增加，可 以把这些威胁归为如下几类【4 】【5 】： 1 数据攻击 数据是维持系统正常运行的要素，也是攻击者关注的目标之一。针对数据 的攻击包括信息获取、非法获得数据、篡改数据等。 信息获取主要是利用诸如地址扫描、端口扫描等技术或者使用网络服务获 取网络的一些信息；非法获取数据是指超越主体所具有的权限来获取数据，包 括主机数据的获取与网络传输数据的获取；篡改数据就是修改主机或者网络上 传输的数据，其目的是达到隐藏痕迹和保证再次侵入的效果等。 2 身份冒充 身份冒充攻击着眼于网络中的信任关系，主要有地址伪装、会话重放、特 洛伊木马、陷阱门等。 地址伪装的手段主要是基于口地址利用已建立的信任关系进行欺骗的行 为，一般是先瘫痪真正的源主机，然后修改自己的口地址以伪装成被信任主机 与目标主机会话；会话重放就是记录有效的会话全过程，在需要时重新发送以 达到攻击的目的；特洛伊木马是在合法的程序中加入恶意代码，通过合法程序 3 第一章绪论 的执行启动恶意代码达到攻击目的；陷阱门是在系统合法程序中加入后门代码， 利用用户对系统程序的信任达到攻击的目的。 3 非法使用 非法使用的目的是非法利用网络的能力，主要有缓冲区攻击和系统i n l 务漏 洞攻击。 缓冲区攻击是利用系统堆栈具有可执行权限的漏洞和网络服务的漏洞非法 提升用户权限的攻击行为；系统l i l t 务漏洞攻击是利用系统正常服务的各种漏洞 来获取正常情况下无法获取的数据。 4 拒绝服务 拒绝服务攻击的目的是干扰网络的正常运行，即干扰用户合法获取数据， 阻止系统提供服务。 拒绝服务攻击通过占用网络带宽、干扰服务降低服务性能、关机等手段达 到攻击目的。 1 2 2 网络安全技术 由于网络面临上面提到的种种威胁，网络管理人员不得不采取多种网络安 全措施堵塞安全漏洞、保障系统安全。当前采用较多的网络安全技术【l 】有： 1 数据加密技术 加密是一种最基本的安全机制，它能防止信息被非法读取。加密是一种在 网络环境中对抗被动攻击的行之有效的安全机制。数据加密是保护数据的最基 本的方法。但是，这种方法只能防止第三者获得真实数据，仅解决了安全问题 的一个方面。而且，加密技术并不是牢不可破的。一般来说，数据加密技术分 为对称型加密、不对称型加密和不可逆加密3 类。 2 数据签名技术 签名与加密相似，一般是签名者利用密钥对需签名的数据进行加密，验证 方利用签名者的公开密钥对签名数据作解密运算。签名可以实施在一个完整的 数据包上，也可以实施在某条消息的校验和上，这可以根据不同的应用需求来 确定。如果能保证一个签名者的签名只能唯一地从自己产生，那么当收发双方 发生争议的时候，仲裁机构就能够根据消息上的数字签名来裁定这条消息是否 确实是由发送方发出的。 4 第一章绪论 3 访问控制技术 访问控制技术是按照事先确定的规则决定主体对客体的访问是否合法。它 要确定合法用户对哪些系统资源享有何种权限、可进行什么类型的访问操作， 防止非法用户进入计算机系统和非法使用系统资源。当一个主体试图非法使用 一个未经授权的客体时，访问控制功能将拒绝这一企图，并向审计跟踪系统报 告。若系统具有相应的安全控制策略和保护机制，便可将非法入侵者拒之门外。 否则，非法入侵者便可攻破设防获取资源。访问控制是维护系统运行安全、保 护系统资源的重要技术手段。访问控制技术的实现一般有4 种策略：程序权限 限制、用户权限限制、文件属性限制和留痕技术。 4 数据完整技术 数据完整技术是指识别有效数据的一部分或全部信息被篡改的技术。数据 完整机制包括文件系统完整控制及网络传输信息的完整性控制。文件系统完整 性控制检测系统关键应用程序、重要数据的完整性，以免被非法修改；网络传 输信息的完整性控制通过报文认证和通信完整性控制来实现。数据完整性技术 可以发现网络上传输的数据是否已经被非法修改，从而使用户不会被非法数据 所欺骗。 5 认证技术 认证就是将特定实体从任意实体的集合中识别出来的行为。它是以交换信 息的方式来确认实体身份的机制，它是进行存取控制所必不可少的条件，因为 不知道用户是谁，就无法判断其存取是否合法。用于认证的技术有：口令机制、 安全协议机制、密码技术以及使用实体特征或实体所有的物件的技术等。 6 安全漏洞扫描技术 漏洞是指任意地允许非法用户未经授权获得访问或提高其访问层次的硬件 或软件特征。漏洞扫描是自动检测远端或本地主机安全脆弱点的技术，它通过 对系统当前的状况进行扫描、分析，找出系统中存在的各种脆弱性，在此基础 上进一步考虑对脆弱性的修补与消除。利用安全漏洞扫描技术可以发现许多常 见的安全问题，用户可参考安全漏洞扫描的结果采取相应的安全措施。 7 防火墙技术 防火墙是指安装在内网与外网之间或者网络与网络之间的可以限制相互访 问的一种安全保护措施。防火墙是在被保护网络周边建立的，分割被保护网络 与外部网络的系统，它在内部网与外部网之间形成了一道安全保护屏障。 5 第一章绪论 防火墙技术是通过对网络作拓扑结构和服务类型上的隔离来加强网络安全 的一种手段，它应该是不同网络之间的唯一出入口。其目的是保护一个网络不 受来自另一个网络的攻击。防火墙技术的特征是通过在网络边界上建立相应的 网络通信监控系统，根据制定的安全策略，检测、限制或更改跨越防火墙的数 据流，尽可能地对外部网络屏蔽有关被保护网络的信息和结构，实现对网络的 安全保护，降低安全风险。它的保护对象是网络中有明确闭合边界的一个网段， 防范对象则是来自被保护网段外部的安全威胁。 防火墙作为一种边界安全，能够有效保护网络内部的安全，在网络安全体 系中起到了重要的作用。 1 2 3 入侵检测技术的必要性 h e a d y 给出的入侵定义是指有关试图破坏资源的完整性、机密性及可用性的 活动集合。s m a h a 从分类角度指出入侵包括尝试性闯入、伪装攻击、安全控制系 统渗透、泄露、拒绝服务、恶意使用等6 种类型【5 】。 随着网络连接的迅速扩展，越来越多的系统遭到入侵攻击的威胁，这些威 胁大多是通过挖掘操作系统和应用服务程序的弱点或缺陷来实现的。对付这种 破坏系统企图的理想方法是建立一个完全安全系统。这要求所有用户能识别和 认证自己，还要求用户采用各种加密技术和强访问策略来保护数据。可是由于 加密技术自身的问题、访问控制和保护模式自身的问题、内部用户滥用特权， 以及软件开发测试本身的局限等原因，构造完全安全系统是不现实的。 一个比较实用的方法是建立比较容易实现的安全系统，同时按照一定的安 全策略建立相应的安全辅助系统，入侵检测系统就是这样一类系统。 在网络与信息安全策略中引入入侵检测系统，主要有两方面的原因：【7 】【8 】 第一个原因是网络和系统中存在着入侵行为，并且这种行为越来越多，危 害越来越大。入侵行为的存在是因为网络及系统存在漏洞。这些漏洞包括软硬 件设计的漏洞、操作系统的漏洞、软件的缺陷、数据库的漏洞、管理的漏洞等。 第二个原因是其他安全策略不能完成所有的保护功能，需要入侵检测系统 的加入。传统的安全技术手段如加解密技术、防火墙技术和认证技术等都可以 在某些方面，在一定程度上保护系统和网络的安全。如果攻击者绕开或攻破这 些预防性的安全技术，这些安全技术就完全失效了。入侵检测作为主动防护技 6 第一章绪论 术，可以在攻击发生时记录攻击者的行为，发出报警或做出其他适当响应。它 既可以独立运行，又可以与防火墙等安全技术协同工作，更好地保护网络和系 统。 和传统的预防性安全机制相比，入侵检测是事后处理方案，具有智能监控、 实时探测、动态响应、易于配置等特点。随着入侵和攻击不断增多，网络规模 不断扩大，入侵检测技术越来越受到重视，入侵检测系统也越来越多地被使用。 它可以在不影响网络性能的情况下对网络进行监测，从而提供对内部攻击、外 部攻击和误操作的实时检测。入侵检测技术的引入使得网络和系统的安全性得 到进一步提高，入侵检测系统是传统网络安全技术的重要且必要的补充。 第三节论文的研究内容 本文从介绍网络安全现状入手，对传统的网络安全技术存在的不足进行深 入分析。对神经网络的研究表明，神经网络具有的自学习、自组织和自适应特 性，以及其高度并行的计算能力能够很好地满足入侵检测系统要求的实时性、 适应性和自学习等方面的需求。本论文设计了一个用于入侵检测的样条权函数 神经网络，使用k d d c u p 9 9 数据集训练和测试该神经网络，并给出了仿真实验 结果和对结果的分析。 论文的主要工作包括： 1 对入侵检测技术和人工神经网络的探究。 2 设计并实现一个可用于入侵检测的样条权函数神经网络。 3 为描述入侵行为的特征提出行为特征曲线的概念。 4 使用k d d c u p 9 9 数据集对网络进行训练和测试，并对结果进行整理和 分析。 第四节论文组织结构 本论文共分6 章。 第l 章以网络安全现状为背景，以传统安全威胁和安全技术为铺垫，分析 入侵检测技术在网络安全中的地位和作用。然后提出本论文的工作内容和论文 结构。 7， 第一章绪论 第2 章是对入侵检测技术的综述，介绍了入侵检测的发展、入侵检测分类、 入侵检测技术以及未来发展方向等内容。 第3 章介绍了人工神经网络的发展和基本特征等内容，并列举了几种典型 的神经网络，分析人工神经网络用于入侵检测的优势。 第4 章在分析传统的神经网络的局限性之后，引入权函数神经网络，并对 其拓扑结构和训练算法等进行详细的探讨。最后讨论了样条权函数神经网络相 对于传统神经网络的特点和优势。 第5 章引入了行为特征曲线的概念，将权函数神经网络应用于入侵检测， 并设计了一个检测入侵行为的样条权函数神经网络，通过对神经网络的训练和 测试给出实验结果，并对实验数据进行分析。 第6 章总结本文所做的工作，指出了有待进一步改善的地方和今后工作努 力的方向。 表1 1 是对论文中数学公式使用的数学符号的说明。 表1 1 论文中使用的数学符号的说明 序号名称描述示例 1 变量斜体的t i m e sn e wr o m a n 字体，小写字母 口bc 2 函数正体的t i m e sn e wr o m a n 字体，小写字母 fxs 3 向量粗体的t i m e sn e wr o m a n 字体，小写字母 svx 4 矩阵粗体的t i m e sn e wr o m a n 字体，大写字母clx 第二章入侵检测技术 第二章入侵检测技术 本章介绍了入侵检测技术的基本概念、发展历史和入侵检测技术的分类及 未来的发展趋势等内容。 第一节入侵检测概述 美国国际计算机安全协会( i c s a ) 对入侵检测的定义是：通过从计算机网 络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现网络或系 统中是否有违反安全策略的行为和遭到袭击迹象的一种安全技术。违反安全策 略的行为有入侵( 非法用户的违规行为) 和滥用( 合法用户的违规行为) 。 入侵检测是一种动态地监控、预防或抵御系统入侵行为的安全机制。主要 通过监控网络、系统状态、行为以及系统的使用情况来检测系统内用户的越权 使用以及系统外的利用系统安全缺陷对系统进行入侵的企图。和传统的预防性 安全机制相比，入侵检测是一种事后处理方案，具有智能监控、实施探测、动 态响应、易于配置等特点。由于入侵检测所需要的分析数据源仅是记录系统活 动轨迹的审计数据，所以入侵检测几乎适用于所有的计算机系统。入侵检测是 对传统计算机安全机制的一种补充，它的开发应用加强了网络与系统安全的保 护纵深，成为动态安全工具的研究和开发的主要方向。 2 1 1 入侵检测的发展历史 1 9 8 0 年4 月，j a m e sp a n d e r s o n 为美国空军做了一份题为( ( c o m p u t e rs e c u r i t y t h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ) 1 9 】的技术报告，第一次详细阐述了入侵检测 的概念。他提出了种对计算机系统风险和威胁的分类方法，并将威胁分为外 部渗透、内部渗透和不法行为三种；他还提出利用审计跟踪数据监视入侵活动 的思想。随着这篇文章的发表，误用检测和特定用户事件的概念得到融合。他 对审计数据的独到见解和审计数据的重要性导致每个操作系统的审计子系统都 有很大的改善。a n d e r s o n 的想法为以后的入侵检测的设计和发展奠定了基础。 9 第二章入侵检测技术 他的工作总体上勾画了入侵检测系统的轮廓，也开创了基于主机的入侵检测的 先河。j a m e sp a n d e r s o n 在该报告中提出了一个基于审计跟踪数据的监视系统。 1 9 8 7 年，d o r o t h yd e n n i n g 博士提出了一个实时入侵检测系统模型1 0 】，它独 立于特定的系统平台、应用环境、系统弱点以及入侵类型，为构建入侵检测系 统提供了一个通用的框架。它的划时代意义在于提出了反常活动和计算机不正 当使用之间的相关性。按照这个思路，利用审计记录建立用户或者用户组活动 的特性，通过与当前会话的审计数据进行比较，从而发现异常。该方法的优点 是无需了解入侵者所使用的特定机制，就可以检测入侵。但存在的问题包括： 特征的不确定性难以准确判断异常；有耐心的攻击者可以逐渐更改行为特征导 致检测失败等等。针对这个情况，当时提出了第二种工作原理：利用专家系统 和既定规则，查找活动中的已知攻击，这个方法可以准确地描述异常行为，进 行匹配，从而发现入侵行为。前一种方法后来被称为异常检测( a n o m a l y d e t e c t i o n ) ，后一种方法则被称为误用检测( m i s u s ed e t e c t i o n ) 。 1 9 8 8 年，s r f c s l ( s r i 公司计算机科学实验室) 的t e r e s al u n t 等人改进 了d e n n i n g 的入侵检测模型，并开发出了一个新的i d e s 1 0 1 。该系统包括一个异 常检测器和一个专家系统，分别用于统计异常模型的建立和基于规则的特征分 析检测。 1 9 9 0 年，加州大学戴维斯分校的l t h e b e r l e i n 等人开发出了n s m ( n e t w o r k s e c u r i t ym o n i t o r ) 。该系统第一次直接将网络流作为审计数据来源，因而可以在 不将审计数据转换成统一格式的情况下监控异种主机。基于网络的入侵检测系 统n s m 的引入在入侵检测领域掀起了一场革命，形成了基于主机和基于网络的 两种入侵检测系统。 h e b e r l e i n 的贡献还在于他提出了d i d s ，首次引入了混合入侵检测的概念。 8 0 年代末9 0 年代初，美国空军、国家安全局和能源部共同资助加州大学戴维斯 分校、空军密码支持中心、劳伦斯利弗摩尔国家实验室以及h a y s t a c k 实验室， 展开了对分布式入侵检测系统( d i d s ) 的研究。d i d s 是一个大规模的合作开发， 它第一次尝试将主机入侵检测和网络入侵检测的能力集成，以便于一个集中式 的安全管理小组能够跟踪安全侵犯和网络问的入侵。在大型网络互联环境下跟 踪网络用户和文件一直是一个棘手的问题，但是这很关键，因为入侵者通常会 利用计算机系统的互连来隐藏自己真实的身份和地址，一次分布式攻击往往是 1 0 第二章入侵检测技术 每个阶段从不同系统发起攻击的组合结果，d i d s 是第一个具有此类攻击识别能 力的入侵检测系统。 从2 0 世纪9 0 年代到现在，入侵检测系统的研发呈现出百家争鸣的繁荣局 面，并在智能化和分布式两个方向取得了长足的进展。 2 1 2 入侵检测体系结构 入侵检测是检测计算机网络和系统以发现违反安全策略事件的过程。作为 入侵检测的系统至少应该包括3 个功能模块：提供事件记录流的信息源、发现 入侵迹象的分析引擎和基于分析引擎的响应部件。 美国国防部高级研究计划署( d a r p a ) 提出c i d f ( 公共入侵检测框架) e 1 1 。 该框架阐述了一个入侵检测系统的通用模型，即入侵检测系统分为4 个组成部 分：事件产生器、事件分析器、响应单元和事件数据库。c i d f 将需要分析的数 据统称为事件，可以是网络中的数据包，也可以是从系统日志等其它途径得到 的信息。如图2 1 所示。 图2 1 通用入侵检测模型 事件产生器的目的是从整个计算环境中获得事件，并向系统的其它部分提 供此事件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分 析结果做出反应的功能单元，可以做出切断连接、改变文件属性、报警等反应。 事件数据库是存放各种中间和最终数据的地方的统称，可以是复杂的数据库， 也可以是简单的文本文件。 第二章入侵检测技术 第二节入侵检测系统分类 根据入侵检测系统审计数据来源的不同，入侵检测系统可分为基于主机的 入侵检测系统、基于网络的入侵检测系统和混合型入侵检测系统。 2 2 1基于主机的入侵检测系统 这些 它可以 第二章入侵检测技术 输的信息，能够实时得到目标系统与外界交互的所有信息，包括一些很隐藏的 端口扫描和没有成功的入侵尝试。其缺点是：缺乏诊断系统对特定数据包处理 方法的信息，使得从原始数据包中重构应用层信息很困难，因此难以检测发生 在应用层的攻击，对于加密传输方式进行的入侵也无能为力；只检查直连网段 的通信，不能检测在不同网段的数据包，难以获得位于不同交换端口的网络信 息；必须对数据帧解码，数据处理量太大会造成处理能力不足。 2 2 3 混合型入侵检测系统 混合型入侵检测系统融合了h i d s 与n i d s 的特点，对基于主机和网络的入 侵检测设备进行综合管理，在逻辑上实现了网络和主机的互补一一中央入侵检 测管理。混合型入侵检测系统大幅提高了网络对攻击和错误使用的抵抗能力， 使安全措施的实施更加有效，设置选项更加灵活。 第三节入侵检测技术 入侵检测技术就是c i d f 模型中事件分析器使用的技术，是入侵检测系统的 核心，其效率高低直接决定了整个入侵检测系统的性能。根据所采用检测技术 的不同，入侵检测分为异常入侵检测技术、误用入侵检测技术和完整性分析3 种。【1 2 】【1 3 】 2 3 1异常入侵检测技术 异常入侵检测也称为基于统计行为的入侵检测。这种方法首先给系统对象 ( 如用户、文件、目录和设备等) 创建一个统计描述，统计正常使用时的一些 测量属性( 如访问次数、操作失败次数和延时等) 。测量属性的平均值将被用 来与网络、系统的行为进行比较，任何观察值在正常值范围之外时，就认为有 入侵发生。 异常入侵检测是建立在如下假设基础上的，即任何一种入侵行为都能由于 其偏离正常或者期望的系统和用户的活动规律而被检测出来。描述正常或合法 活动的模型是从对过去收集到的大量历史活动资料的分析中得出来的。入侵检 测系统将它与当前的活动情况进行对比，如果发现了当前状态偏离了正常的模 1 3 第二章入侵检测技术 型状态就发出警告信号。就是说任何不符合以往活动规律的行为都将被视为入 侵行为。因此异常入侵检测的检测完整性很好，但是很难保证它具有很高的正 确率。 用于异常入侵检测的技术有统计分析、统计度量和量化分析等。 2 3 2 误用入侵检测技术 误用入侵检测又称为基于规则知识的入侵检测，就是将收集到的信息与已 知的网络入侵和系统误用模式数据库进行比较，从而发现违背安全策略的行为。 该过程可以很简单( 如通过字符串匹配以寻找一个简单的条目或指令) ，也可 以很复杂( 如利用正规的数学表达式来表示安全状态的变化) 。通过分析入侵 过程的特征、条件、排列以及事件间的关系，具体描述入侵行为的迹象，不仅 对分析已经发生的入侵行为有帮助，而且对即将发生的入侵也有警戒作用。 误用入侵检测系统的应用建立在对过去各种已知网络入侵方法和系统缺陷 知识的积累之上，它需要首先建立一个包含上述已知信息的数据库，然后在收 集到的网络活动信息中寻找与数据库项目匹配相关的蛛丝马迹。当发现符合条 件的活动线索后，它就会出发一个警告。就是说任何不符合特定匹配条件的活 动都将会被认为是合法和可接受的。因此误用入侵检测系统具备较高的检测准 确性。但是系统监测入侵行为的能力取决于数据库的及时更新程度。 专家系统、特征分析和状态转移分析等技术都被用于误用入侵检测技术。 2 3 3 完整性分析 完整性分析主要关注某个文件或对象是否被更改，包括文件和目录的内容 及属性。这种分析方法在发现被更改的、被特洛伊化的应用程序方面特别有效。 完整性分析利用强有力的加密机制，称为消息摘要函数，能识别哪怕是微小的 变化。 异常入侵检测可以检测到未知的和更为复杂的入侵，缺点是误报率高。异 常入侵检测一般具有自适应功能，但入侵者也可以利用这种功能通过逐渐改变 自己的行为模式来逃避检测。异常入侵检测也不适应用户正常行为的突然改变， 而且在实际系统中，统计算法的计算量庞大，效率很低，统计点的选取和参考 库的建立也比较困难。误用分析的准确率和效率都非常高，只需收集相关的数 1 4 第二章入侵检测技术 据集合，可以显著减少系统负担，但它只能检测出模式库中已有的攻击类型， 不能检测从未出现过的攻击手段。随着新攻击类型的出现，模式库需要不断更 新，而在其攻击模式添加到模式库以前，新类型的攻击就可能会对系统造成很 大的危害。完整性分析的优点是不管前两种方法能否发现入侵，只要是成功的 攻击导致了文件或其他关注对象的任何改变，它都能够发现；缺点是一般以批 处理方式实现，不用于实时响应。尽管如此，完整性检测方法还应该是网络安 全产品的必要手段之一。 所以，入侵检测系统只有同时使用这三种入侵检测技术才能避免各自的不 足。其中，前两种方法用于实时的入侵检测，第三种则用于事后分析。目前国 际顶尖的入侵检测系统主要以模式发现技术为主，并结合异常发现技术同时 也加入了完整性分析技术。 第四节入侵检测技术的发展趋势 入侵检测系统的发展非常迅速，但是与理想还有非常大的差距。随着网络 和计算机系统的不断发展，以及其它新技术的出现推动入侵检测不断发展，其 发展可大体为以下四个方向【15 1 。 2 4 1 宽带高速网络的实时入侵检测技术 大量高速网络技术在近年内不断出现，在此背景下各种宽带接入手段层出 不穷，并得到了广泛的应用。如何实现高速网络下的实时入侵检测系统成为一 个现实的问题。首先，需要重新设计适应高速网络环境的入侵检测系统的软件 结构和算法，重点是提高运行速度和效率；其次，新的高速网络协议的设计也 是未来的一个发展趋势，现有的入侵检测系统如何适应和利用未来新的网络协 议结构也是一个不可避免的问题。 2 4 2 大规模分布式入侵检测技术 传统的入侵检测系统局限于单一的主机或网络架构，对异构系统及大规模 的网络检测不是很好，不同的入侵检测系统之间及与其他网络安全系统不能协 同工作