（计算机软件与理论专业论文）基于模式匹配的网络入侵检测系统——mids的设计与实现.pdf

基于模式匹配的网络入侵检测系统m i d s 的设计与实现 摘要 ( 随着计算机网络的不断发展，全球信息化已成为人类发展的大趋势，计算机 及网络信息的安全和保密随之成为一个重要的问题。对于军用自动化指挥网络、 c 3 i 系统和银行等传输敏感数据的计算机网络系统而言，其信息的安全和保密显 得尤为重要。 因此，为保证计算机系统的安全，我们需要一种能及时发现入侵，成功阻止 入侵，并在事后对入侵进行分析，查明系统漏洞的网络安全技术，这就是入侵检 测系统。r 矿 本论文分析了计算机系统及网络安全研究现状，讨论了目前常见的入侵手 1 - _ _ _ - 一 段，指出了入侵检测在军事领域应用的重要意义：在对入侵检测技术及其系统进 行深入分析的基础上，提出了一种基于模式匹配的网络入侵检测系统的体系结 构，研究了构成基本框架的各个子系统在整个入侵检测体系中的作用及其相互关 系，并给出了各自的具体实现方法。同时，结合入侵检测系统的特点，在对传统 模式匹配算法进行细致研究分析的基础上，论文提出了一种新颖的、有针对性的、 高效率的精确模式匹配算法，并将其应用于入侵检测系统之中，使整个系统的性 能得到了令人满意的提高。 关键字：计算机安全，入侵检测，模式匹配 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e m e ta n dt h et e n d e n c yo fi n f o m a a t i o n g l o b a l i z a t i o n ， m o d e r n c o m p u t e r a n dn e t w o r k s y s t e m s a r e p l a g u e db ys e c u r i t y a n d p r i v a c y v u l n e r a b i l i t i e s e s p e c i a l l y , i ti sm o r ev i t a lt op r o t e c tt h ec r i t i c a ld a t at h a tt r a n s m i to n t h em i l i t a r yc 3 is y s t e m ，t h eb a n k s y s t e ma n ds o o n i nf a c t ，w ec a n i n c r e m e n t a l l yi m p r o v ec o m p u t e ra n dn e t w o r ks e c u r i t yt h r o u g h t h eu s e o fc o m p u t e rs e c u r i t yt o o l ss u c ha si n t r u s i o nd e t e c t i o ns y s t e m ，w h i c hc a l ld e t e c tt h e a t t a c ki nr e a lt i m e ，s u p p r e s st h ea t t a c kn e a r l ya b s o l u t e l ya n d d i a g n o s et h es y s t e mf a u l t p r o m p t l y t h e r ea r em a n yd i f i e r e n tm e t h o d so nw h i c ha ni d sc a nm o n i t o rs y s t e ma n dn e t w o r k b e h a v i o r , i nt h ew o r kr e p o r t e di nt h i sd i s s e r t a t i o n ic h o s et h e “s i g n a t u r e - b a s e d ” n e t w o r ki d sa n dt r i e dt oe x p a n do nt h ef u n c t i o n sa n di n t e r a c t i o n so fi t ss u b s y s t e m s n i d so f t e nr e l yo ne x a c ts t r i n gm a t c h i n gt e c h n i q u e s t ok e e pu dw i t hi n c r e a s i n g n e t w 0 1 ks p e e d sa n dt r a f f i c ip r e s e n tan e w l i g h t - w e i g h te x a c tp a r e m m a t c ha l g o d t h m i nt h i sd i s s e r t a t i o n ia l s od e s c r i b e dt h ee f f e c t i v e n e a so f i t sa p p r o a c hi no u rn i d s k e y w o r d s ：c o m p u t e rs e c u r i t y , i n t r u s i o nd e t e c t i o n ，p a t t e r nm a t c h 、 基于模式匹配的网络入侵榆测系统m l d s 的设计与实现 第一章引言 1 1 计算机网络安全研究现状 随着计算机网络的不断发展，全球信息化成为人类发展的大趋势，信息网 络已经成为社会发展的重要保证。信息网络涉及到国家的政府、军事、文教等 诸多领域，其中存贮、传输和处理的信息有许多是重要的政府宏观调控决策、 商业经济信息、银行资金转账、股票证券、能源资源数据、科研数据等重要信 息。这其中有很多是敏感信息，甚至是国家机密。但是由于计算机网络具有联 结形式多样、终端分布不均匀以及很强的开放性、互连性等特征，致使网络易 受骇客、黑客、恶意软件和其他不轨行动的攻击，所以计算机和网络信息的安 全和保密成为当前影响计算机应用的一个重要问题。对于军用的计算机作战网 络、c 3 i 系统等传输特别敏感数据的计算机网络系统而言，其网络信息的安全和 保密显得尤为重要。因此，计算机网络必须有足够强的安全措旌，否则该网络 将是无用的、甚至还会危及国家安全。 国际上信息安全研究起步早，力度大，积累多，应用广。2 0 世纪8 0 年代， 美国国防部基于军事计算机系统的保密需要，在7 0 年代的基础理论研究成果一 一计算机保密模型( b e l l l ap a d u l a 模型) 的基础上，制订了“可信计算机系 统安全评价准则”( t c s e c ) ，其后又制订了关于网络系统、数据库等方面的一 系列安全解释，形成了安全信息系统体系结构的最早原则。至今美国已研究出 达到t c s e c 要求的安全系统( 包括安全操作系统、安全数据库、安全网络部件) 的产品多达l o o 多种。9 0 年代初，英、法、德、荷四国针对t c s e c 准则只考虑 保密性的局限，联合提出了包括保密性、完整性、可用性概念的“信息技术安 全评价准则”( t i s f c ) ，但是该准则中并没有给出综合解决以上问题的理论模型 和方案。近年来六国七方( 美国国家安全局和国家技术标准研究所、加、英、 法、德、荷) 共同提出了“信息技术安全评价通用准则”( c cf o ri ts e c ) 。c c 综合了国际上已有的评审准则和技术标准的精华，给出了框架和原则要求。然 而，作为将取代t c s e c 用于系统安全评测的国际标准，它仍然缺少综合解决信 息的多种安全属性的理论模型依据。同时，某些高安全级别的产品对我国是封 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 锁禁售的。 我国信息安全研究经历了通信保密、计算机数据保护两个发展阶段，正在 进入网络信息安全的研究阶段。在安全体系的构建和评估方面，我国通过学习、 吸收、消化t c s e c 标准进行了安全操作系统、多级安全数据库的研制，但由于 系统安全内核受控于人，以及国外产品的不断更新升级，基于具体产品的增强 安全功能的成果，很难保证没有漏洞，难以得到推广应用。在学习借鉴国外技 术的基础上，国内一些部门也开发研制了一些防火墙、安全路由器、安全网关、 黑客入侵检测、系统脆弱性扫描软件等。但是，这些产品安全技术的规范性、 完善性、实用性还存在许多不足，特别是在多平台的兼容性、多协议的适应性、 多接口的满足性方面与国外先进产品存在很大差距，理论基础和自主的技术手 段也亟待发展和强化。总的来说，我国的网络信息安全研究起步晚，投入少， 研究力量分散，与技术先进国家相比还有不小的差距。 1 2 入侵检测及其研究现状 1 2 1 入侵和入侵检测 1 - 2 - 1 1 入侵的定义和常用方法 本文中的“入侵”( i n t r u s i o n ) 是个广义的概念，不仅包括攻击者( 如恶意 的黑客) 取得超出合法范围的系统控制权，也包括信息泄漏，拒绝访问( d e n i a l o fs e r v i c e ) 等对计算机系统造成危害的行为。按照最终实施攻击的手段可将网 络入侵技术分为获取技术和破坏技术两大类： 获取技术 网络信息获取技术就是利用非正常、非授权的途径获取目标网络系统中的 程序、数据、运行结果甚至运行过程，其常用技术包括： 一、嗅探器技术 嗅探器使网络接口处于广播状态，从网络上截获传输的内容，其中可能包 括网络上传输的秘密信息( 如电子邮件，作战计划) 、用户注册的i d 及口令等。 嗅探器既可以用作进攻武器，也可以用作防御工具。当作为进攻武器时，它可 以截获流经本地的数据，然后利用它们进入未授权系统。当作为防御工具时， 基于模式匹配的网络入侵检测系统m 1 d s 的设计与实现 它可以发现部分对本机的进攻信息，以便做出诊断和对策。嗅探器对信息的窃 取是被动的，在网络上不会留下明显的痕迹。但其嗅探范围相当有限，仅对本 网段或其它网段流经嗅探器的数据包有效。 二、扫描器技术 扫描器是一种重要的信息获取工具，根据其扫描的范围可分为网络扫描器 ( n e t w o r ks c a n n e r ) 和系统扫描器( s y s t e ms c a n n e r ) 。网络扫描器能自动监测任 意规模的网络，发现其安全弱点，分析易损性条件，提供一系列纠正措施、趋 势分析、配置数据等，网络扫描器在网络级通过对网络设备进行扫描来完成任 务。系统扫描器与网络扫描器不同，它在系统级对系统进行扫描以发现其易损 性，并提供详细的扫描结果。般而言，网络扫描器主要用于获取对方网络的 配置信息和设备信息，辅助对其实施攻击，而系统扫描器主要用作防御工具。 三、特洛伊木马 特洛伊木马( t r o j a nh o r s e ) 是一个“伪装友善的、恶意攻击安全系统的程 序”，在运行这些程序时隐藏于其中的代码会发起攻击，如窃取帐户和1 ：3 令，修 改磁盘上的文件，用受害计算机对其它系统实施进一步的攻击等。特洛伊木马 与病毒类似，都是一旦受到“感染”，攻击效果非常明显，而且可以在宿主计算 机毫无知觉的情况下传播给其它计算机。 四、密码分析技术 随着网络发展的急剧膨胀，各种更复杂、更安全、更保密的密码算法层出 不穷，为正确无误地截取敌方的机密信息，需对加密信息加以分析破译。我们 应在深入研究各种加密算法的基础上，力求找出一种简单的、实用的、可行的 解密方法，同时建立一套精确的评估系统，对各种解密算法的数据复杂性、处 理复杂性和存储复杂性进行评估分析。 破坏技术 网络信息破坏技术旨在导致数据完整性失效或者服务可用性降级。其常用 技术包括： 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 一、逻辑炸弹 逻辑炸弹可以理解为在特定逻辑条件满足时实施破坏功能的计算机程序。 与病毒相比，逻辑炸弹强调破坏作用本身，而实施破坏的程序本身不会传播。 与典型的特洛伊木马程序相比，逻辑炸弹一般是隐含在具有正常功能的软件中， 而特洛伊木马程序可能一般仅仅是模仿程序的外表，而没有真正的实际功能。 当然，这些概念本身都具各一定的灵活性，在一定的条件下可以相互产生和相 互转化。 二、病毒和蠕虫 病毒和蠕虫在原理上可以说是同一类技术，都是可以自我复制的恶意代码。 但是在实际使用上它们采用的技术和需要的宿主环境并不完全相同。随着个人 计算机和多任务工作站的发展，计算环境的差别在不断缩小，病毒和蠕虫技术 也在相辅相成，共同发展。 三、干扰技术 干扰技术在信息攻击手段中有传统的优势，干扰与抗干扰的斗争一直是各 国军事系统中不可缺少的部分。遍布全球的无线通信网和卫星网是现在各国通 信的主要信道，干扰可以使传输的信号变形、失真，甚至制造假信号来干扰对 方通信系统的正常工作。目前有很多技术针对无线传输的特点对信号发起攻击， 例如一种叫做i n f r a s t r u c t u r ei n t e r f e r e n c e 的技术就是向卫星或者微波系统发送错 误的信号从而达到干扰的目的。 从计算机网络的物理层来看，铺设的各种线路以及计算机本身也可以成为 干扰的对象。例如e a v e s d r o p p i n g o ne m a n a t i o n s 技术可以监听计算机和网络设备 周围发出的电磁信号( v a n e c k r a d i a t i o n ) 。利用w i r e t a p p i n g 技术，监听网络上的 数据流，然后采取进一步的攻击行动，包括截取并删除数据流，加入多余的假 信息或者干扰信息，以及将截获的数据流进行数据重放等。 四、欺骗技术 欺骗技术中最典型的是i p 欺骗，它通过伪造可信任i p 地址的数据分组，利 用主机间的自动认证机制，使对方主机信任攻击者，从而使攻击者有机会破坏 目标系统。由于i p 的身份认证仅仅通过地址来完成，所以伪造i p 分组比较容易， 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 而猜测t c p 序列号则相对比较困难。由此防御i p 欺骗可以用随机产生序列号、 数据加密等措施。i p v 6 中采用的i p s e c 机制也可以抵御i p 欺骗的攻击。与i p 欺 骗类似的还有d n s 欺骗、e m a i l 欺骗、w e b 欺骗攻击等。 w e b 欺骗是一种新的入侵手段，攻击者可以监视和修改所有传给目标主机 的w e b 页面，监视所有填入表格的信息，所以采用所谓安全的连接无法阻止攻 击，而且攻击者很难被发现。 w e b 欺骗攻击用j a v a s c r i p t 和w e b 服务器的p l u g i n s 来实现。首先，将在目 标主机上启动的浏览器中的状态和菜单信息替换成攻击者提供的内容。然后， 让所有传向目标主机的w e b 页面都通过攻击者的服务器路由，在这里页面没有 修改，但目标主机的所有动作都记录下来。 目前的浏览器还没有有效的方法防御这种进攻，如果所有的页面都经过攻 击者的路由，那么加入恶意代码就非常容易了。 五、拒绝服务攻击技术 用户对计算机系统安全的最低要求就是“可用性”，软硬件必须能够协调地 工作并提供一定的服务。拒绝服务攻击正是破坏系统的可用性，有意阻塞、降 级计算机或网络资源的服务，达到攻击目的。这种攻击方式并不一定是直接、 永久地破坏数据本身，而是破坏资源的可用性。 1 2 1 2 入侵检测的定义 有矛就有盾，有攻击就有防御。目前我们使用了防火墙、用户认证和授权 ( i & a ) 、访问控制、信息加密、虚拟专用网( v p n ) 等安全技术来提高信息系 统的安全性能，但由于如下原因它们仍不足以完全抵御入侵：仅有防火墙的 防护措施是不够的。因为防火墙完全不能阻止内部攻击，对于别有用心的内部 人员来说防火墙形同虚设；由于用户的口令设置过于简单或管理不善，很容 易被攻破，所以许多基于口令的认证系统并不安全；t c p t p 协议标准i p v 4 在设计上对安全问题考虑不足，导致存在许多协议实现漏洞，使得路由攻击、 a r p 攻击、i p 欺骗和多种拒绝服务攻击不可避免，不少应用协议( 如f t p 、t e l n e t 等) 的认证口令采用明文传输，极易被窃听。虽然现在出现了i p s e c 来克服上述 设计缺陷，但目前还没有得到广泛应用；授权用户滥用权限，危害信息安全。 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 因此，为保证计算机系统的安全，一种能及时发现入侵，成功阻止入侵， 并在事后对入侵进行分析，查明系统漏洞并及时修补的网络安全技术入侵 检测系统应运而生。 久房捡删( i n t r u s i o nd e t e c t i o n ) ，顾名思义，是对入侵行为的发觉。它通过 在计算机网络或计算机系统中的若干关键节点收集信息并对其进行分析，判断 网络或系统中是否有违反安全策略的行为和被攻击的迹象。进行入侵检测的软 件与硬件的组合便是久缓检施身彰声( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 。 入侵检测技术是继“防火墙”、“数据加密”等传统安全保护措施后新一代 的安全保障技术。计算机系统各部分在设计、实现和部署使用中会给系统带来 漏洞，因为没有经济可行的手段完全消除这些隐患，所以有效的入侵检测手段 对于保证系统安全是必不可少的。即使一个系统中不存在某个特定的漏洞，入 侵检测系统仍然可以检测到相应的攻击事件，并调整系统状态对未来可能发生 的入侵发出警告。 入侵检测是防火墙的合理补充，能够帮助系统对付网络攻击，扩展了系统 管理员的安全管理能力( 包括安全审计、监视、进攻识别和响应) ，提高了信息 安全基础结构的完整性。入侵检测被认为是防火墙之后的第二道安全闸门，在 尽量不影响网络性能的情况下能对网络进行监测，从而提供对内部攻击、外部 攻击和误操作的实时保护。这些都通过入侵检测系统执行以下任务来实现： 令监视、分析用户及系统活动； 夺系统构造和弱点的审计； 夺识别反映已知进攻的活动模式并向相关人士报警； 令异常行为模式的统计分析； 夺评估重要系统和数据文件的完整性； 夺操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 对一个成功的入侵检测系统来讲，它不但可使系统管理员时刻了解网络系 统( 包括程序、文件和硬件设备等) 的任何变更，还能给网络安全策略的制订 提供指南。更为重要的一点是，它应该宜于管理、配置简单，从而使非专业人 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 员也能非常容易地获得网络安全。而且，入侵检测的规模还应根据网络威胁、 系统构造和安全需求的改变而改变。入侵检测系统在发现入侵后，会及时做出 响应，包括切断网络连接、记录事件和报警等。 1 2 2 入侵检测的研究现状 国外一些机构早在2 0 世纪8 0 年代就开展了相关的早期基础理论研究工作。 随着计算机系统软、硬件的飞速发展，以及网络技术、分布式计算、系统工程、 人工智能等计算机新兴技术与理论的不断发展与完善，入侵检测理论本身也处 于发展变化中，至今还未形成一个比较完整成熟的理论体系。 在近二十年期间，入侵检测逐渐成为计算机网络安全研究领域的一个热点。 这次热潮是由j a m e sp a n d e r s o n 在1 9 8 0 年发表的一篇文章计算机安全威胁监 测( “c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n g a n ds u r v e i l l a n c e ”) 掀起的。a n d e r s o n 在文中给出了入侵的定义：入侵是指在非授权的情况下，试图存取信息、处理 信息或破坏系统，导致系统不可靠、不可用的故意行为。入侵检测的目的就是 为了识别系统中入侵者的非授权使用及系统合法用户的滥用行为。 】9 8 7 年，d o r o t h yd e n n i n g 的论文入侵检测模型( “a n i n t r u s i o nd e t e c t i o n m o d e l ”) 提出的理论构架启发了很多研究者，并奠定了近期商业产品的基础。 d o r o t h yd e n n i n g 在文中介绍了一个不依赖于特殊系统、应用环境、系统缺 陷和入侵类型的通用型入侵检测模型，如图1 1 所示。其基本思路为：入侵者的 行为和合法用户的异常行为是可以从系统合法用户的正常行为中区别出来的。 为了定义一个用户的正常行为就必须为这个用户建立和维护一系列的行为轮廓 配置，这些配置描述了用户正常使用系统的行为特征。i d s 可以利用这些配置来 监控当前用户活动并与以前的用户活动进行比较，当一个用户的当前活动与以 往活动的差别超出某些预定义的“边界”条件( 轮廓配置的各项的门限值) 时， 这个当前活动行为就被认为是异常的，并且它很可能就是一个入侵行为。 基于模式匹配的网络入侵检测系统m i d s 的i 艾计与实现 审计记录、网络包、应用程序记录 定义新规则，修改旧规则动态产生活动记录 图1 1 通用的入侵检测模型 在2 0 世纪8 0 年代早期，通常认为入侵检测最好的方法是创建所有与安全 相关的活动的日志或者审计追踪。据此，大多的操作系统、数据库、路由器和 关键应用生成审计追踪。最初的想法是，由安全管理员审阅审计日志，从中发 现可疑事件。当一个团体只有少量系统和用户时，这不失为一个好办法。 但是业界很快就认识到没人有时间来阅读所有的审计数据。因此，一些开 发者开发出查询和报告程序来帮助分析审计追踪，并试图找出可能有问题的地 方。 随着人工智能、分布式技术等等的引入，特别是i n t e m e t 的膨胀，入侵、攻 击事件的频繁发生，网络用户迫切要求实时的、智能的入侵检测系统，这些需 求进一步推动了入侵检测的发展。在国内，随着上网的关键部门、关键业务越 来越多，更需要具有自主版权的入侵检测产品。但现状是我国的入侵检测研究 仅仅停留在实验室和实验样品( 缺乏升级和服务) 阶段，或者是防火墙中集成 较为初级的入侵检测模块。可见，入侵检测技术仍具有较大的发展空间。 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 1 3 课题来源及论文贡献 随着信息战理论的提出和网络安全问题的日益突出，我国政府和军队也认 识到保证网络( 尤其是军用网络) 安全的重要性和迫切性，因此十分重视网络 安全的研究工作。我设计的这个被称之为m i d s 的基于模式匹配的网络入侵检 测系统就是电子科技大学网络技术与应用四川省重点实验室承担的9 7 3 国防重 大基础研究项目信息战网络攻防总体技术研究( 9 7 3 1 4 2 ) 中的一个 课题。 本论文旨在： ( 1 ) 提出入侵检测技术的基本框架； ( 2 ) 研究构成基本框架的各个子系统在整个入侵检测体系中的作用； ( 3 ) 研究构成基本框架的各个子系统之间的交互关系； ( 4 ) 研究各个子系统的具体实现技术以及它们未来的发展趋势，为军方发展 军用入侵检测系统提供参考。 1 4 本文主要内容及结构安排 本文围绕基于模式匹配的网络入侵检测系统进行研究，主要内容安排如下： 第一章分析了计算机及网络安全研究现状，讨论了目前常见的入侵手段， 给出了入侵检测的定义及其在军事领域应用的重要意义，提出了论文所要解决 的问题； 第二章对入侵检测系统的分类、体系结构、使用策略等进行了深入细致的 研究与分析；在总结目前主要的入侵检测技术的基础上，我们发现模式匹配是 目前最有效，使用最为广泛的入侵检测算法。所以我们就采用了模式匹配作为 m i d s 的核心；通过对目前已有的入侵检测协议和模型的分析，力图使m i d s 与 现有的协议和模型保持一定的一致性与兼容性； 第三章对入侵检测系统中最有效也是最常用的一种分析方法一一模式匹 配的基本算法进行了分析。在此基础上，提出了一种有针对性的模式匹配算法 y b m ，通过理论分析及实验表明这是一种合理的、高效的改进算法： 基于模式匹配的网络入侵检测系统m 1 d s 的设计与实现 第四章提出m i d s 的整体结构，详细论述了其三个组成部分：数据包捕获 和解析子系统、检测引擎子系统、日志和报警子系统的功能及其实现方法； 第五章给出m i d s 的性能测试报告，将y b m 算法与传统模式匹配算法在 时间、空间复杂度上进行了定量的比较分析； 第六章全文总结。 基于模式匹配的网络入侵检测系统m 1 d s 的设计与实现 第二章入侵检测研究 2 1 入侵检测系统的一般工作流程 一、信息收集 入侵检测的第一步是信息收集，内容包括系统、网络、数据及用户活动的 状态和行为。而且需要在计算机网络系统中的若干不同关键点( 不同网段和不 同主机) 收集信息，这除了尽可能扩大检测范围的因素外，还有一个重要的原 因就是从一个源来的信息有可能看不出疑点，但从几个源来的信息的不一致性 却是可疑行为或入侵的最好标识。 入侵检测在很大程度上依赖于收集到的信息的可靠性和正确性。因此，有 必要只使用经确认的真正的和精确的软件来报告这些信息。因为入侵者经常替 换软件以混淆和修改这些信息，例如替换被程序调用的子程序、库和其它工具。 入侵者对系统的修改可能使系统功能看起来跟正常的一样，而实际上不是。例 如，u n i x 系统的p s 命令可以被替换为一个不显示入侵过程的指令，或者是编辑 器被替换成一个读取不同于指定文件的文件( 入侵者隐藏了原始文件并用另一 版本代替) 。这就需要保证用来检测网络系统的软件的完整性，特别是入侵检测 系统软件本身应具有相当强的坚固性，防止因为被篡改而收集到错误的信息。 入侵检测利用的信息一般来自以下四个方面： 1 系统和网络日志文件 入侵者经常会在不留心的情况下在系统日志文件中留下他们的踪迹。因此， 充分利用系统和网络日志文件信息是检测入侵的必要条件。日志中包含发生在 系统和网络上的不寻常或不期望活动的证据，这些证据可以指出有人正在入侵 或试图入侵系统。通过查看日志文件，能够发现成功的入侵或入侵企图，并很 快地启动相应的应急响应程序。日志文件中记录了各种行为类型，每种类型又 包含不同的信息，例如记录“用户活动”类型的日志，就包含用户登录、用户 i d 改变、用户对文件的访问、授权和认证信息等内容。显然，对用户活动来讲， 不正常的或不期望的行为就是重复登录失败、登录到不期望的位置以及非授权 基于模式匹配的网络入侵检测系统m 】d s 的设计与实现 的访问重要文件企图等等。 2 目录和文件中不期望的改变 网络环境中的文件系统包含很多软件和数据文件，包含重要信息的文件和 私有数据文件经常是入侵者修改或破坏的目标。目录和文件中的不期望的改变 ( 包括修改、创建和删除) ，特别是那些在正常情况下限制访问的，很可能就是 入侵产生的指示信号。入侵者经常替换、修改和破坏他们获得访问权的系统上 的文件，同时为了隐藏系统中他们的表现及活动痕迹，都会尽力去替换系统程 序或修改系统日志文件。 3 程序执行中的不期望行为 网络系统上的程序执行一般包括操作系统、网络服务、用户启动的程序和 特定目的的应用，例如数据库服务器。每个在系统上执行的程序由一个或多个 进程来实现。每个进程执行在具有不同权限的环境中，这种环境控制着进程可 访问的系统资源、程序和数据文件等。一个进程的执行行为由它运行时执行的 操作来表现，操作执行的方式不同，它利用的系统资源也就不同。操作包括计 算、文件传输、设备使用以及与其它进程( 包括网络问其它进程) 的通讯。入 侵者可能会将程序或服务的运行分解，从而导致它失效，或者是以非用户或管 理员意图的方式操作。 4 物理形式的入侵信息 这包括两个方面的内容，一是对网络硬件的未授权连接：二是对物理资源 的未授权访问。入侵者会想方设法去突破网络的周边防卫，如果他们能够在物 理上访问内部网，就能安装他们自己的设备和软件。因此，入侵者就可以知道 网络上由用户擅自加上去的不安全( 未授权) 设备，然后利用这些设备访问网 络。例如，用户在家里可能安装m o d e m 以访问远程办公室，与此同时入侵者正 在利用自动工具来识别在公共电话线上的m o d e m ，如果拨号访问流量经过了这 些自动工具，那么这一拨号访问就成为了威胁网络安全的后门。入侵者就会利 用这个后门来访问内部网，从而越过了内部网络原有的防护措施，然后捕获网 络流量，进而攻击其它系统，并窃取敏感的私有信息等等。 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 二、信息分析 对上述四类收集到的有关系统、网络、数据及用户活动的状态和行为等信 息，一般通过三种技术手段进行分析：模式匹配，统计分析和完整性分析。其 中前两种方法用于实时的入侵检测，而完整性分析则多用于事后分析。 1 模式匹配 模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据库进 行比较，从而发现违背安全策略的行为。该过程可以很简单( 如通过字符串匹 配以寻找一个简单的条目或指令) ，也可以很复杂( 如利用正规的数学表达式来 表示安全状态的变化) 。一般来讲，一种进攻模式可以用一个过程( 如执行一条 指令) 或一个输出( 如获得权限) 来表示。该方法的一大优点是只需收集相关 的数据集合，显著减少系统负担。它与病毒防火墙采用的方法一样，检测准确 率和效率都相当高。但是，该方法存在的弱点是需要不断的升级以对付不断出 现的入侵手法，不能检测到从未出现过的入侵手段。 2 统计分析 统计分析方法首先给系统对象( 如用户、文件、目录和设备等) 创建一个 统计描述，统计正常使用时的一些测量属性( 如访问次数、操作失败次数和时 延等) 。测量属性的平均值将被用来与网络、系统的行为进行比较，任何观察值 在正常值范围之外时，就认为有入侵发生。例如，统计分析可能标识一个不正 常行为，因为它发现一个在晚八点至早六点从不登录的帐户却在凌晨两点试图 登录。其优点是可检测到未知的入侵和更为复杂的入侵，缺点是误报、漏报率 高，且不适应用户正常行为的突然改变。 入侵检测中常用的5 种统计模型为： 夺操作模型，该模型假设异常可通过测量结果与一些固定指标相比较得 到，固定指标可以根据经验值或一段时间内的统计平均得到。举例来说， 在短时间内的多次失败的登录很有可能是1 ：3 令尝试攻击； 夺方差，计算参数的方差，设定其置信区间，当测量值超过置信区间的范 围时表明有可能是入侵； 基于模式匹配的网络入侵检测系统m l d s 的设计与实脱 夺多元模型，操作模型的扩展，通过同时分析多个参数实现检测： 令马尔柯夫过程模型，将每种类型的事件定义为系统状态，用状态转移矩 阵来表示状态的变化，当一个事件发生时，或状态矩阵该转移的概率较 小则可能是异常事件； 夺时间序列分析，将事件计数与资源耗用根据时间排成序列，如果一个新 事件在该时间发生的概率较低，则该事件可能是入侵。统计方法的最大 优点是它可以“学习”用户的使用习惯，从而具有较高检出率与可用性。 但是它的“学习”能力也给入侵者以机会通过逐步“训练”使入侵事件 符合正常操作的统计规律，从而穿透入侵检测系统。 3 完整性分析 完整性分析主要关注于某个文件或对象是否被更改，通常包括文件和目录 的内容及属性，它在发现被更改的、被特洛伊化的应用程序方面特别有效。完 整性分析利用强有力的加密机制称为消息摘要函数( 例如m d 5 ) ，能够识别 哪怕是极微小的变化。其优点是不管模式匹配方法和统计分析方法能否发现入 侵，只要是成功的攻击导致了文件或其它对象的任何改变，它都能够发现。缺 点是它一般以批处理方式实现，不适用于实时响应。尽管如此，完整性检测方 法还是网络安全产品的必要手段之一。例如，可以在每一天的某个特定时间内 开启完整性分析模块，对网络系统进行全面地扫描检查。 三、信息存储 为了便于系统管理员对攻击信息进行查看和分析，我们需要将入侵检测系 统收集到的信息进行保存。存储的信息同时也为攻击保留了数字证据。 四、攻击响应 在对攻击信息进行分析并确定攻击的类型后，我们要对攻击进行相应的处 理：如利用发出警报、给系统管理员发出邮件等手动干预的方式来对付攻击； 或是利用自动装置直接处理：如切断连接，过滤攻击者的i p 地址等。 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 2 2 入侵检测系统采取的策略 入侵检测系统的目标是从信息特征中鉴别出攻击但不误报。入侵检测可以 看作是传统的信号检测问题。入侵相当于被检测的信号，而“正常情况”相当 于噪声。决策过程就是要分辨出观察到的是只有噪声还是噪声中有信号。典型 的入侵检测器的判断是基于信号特征( 基于特征的检测器) 或是噪声( 基于异 常的检测器) 。 基于特征的入侵检测系统 基于特征的入侵检测系统( s i g n a t u r e b a s e di d s ) ，必须从一个或多个网络数 据包中提取出特定的模式。如果发现这些模式中有与已知模式相匹配的，入侵 检测系统就能检测出攻击的发生。但既然它只能鉴别已知的模式，基于特征的 系统就不能检测新型的攻击。同时，对特征的错误理解会产生误报。特征可以 通过多种方法取得，从手工提取特征到用传感器进行自动训练或学习取得。因 为一个特征是从一种已知的攻击抽象而来，对基于特征的检测器来说相对容易 鉴别出攻击的类型。当前基于特征的入侵检测分析工具在特定情形下比较有用， 但因不能检测新型的攻击模式，它们不能提供一个完全的入侵检测解决方案。 基于异常的入侵检测系统 基于异常的入侵检测系统( a n o m a l y b a s e di d s ) ，是基于以下思想：正常工作 下的系统有一“基准”，例如c p u 利用率、磁盘活动、用户注册、文件活动等等。 一旦偏离这一“基准”，检测系统就被触发。基于异常的检测器把正常的系统环 境当作没受干扰的噪声。异常检测的主要优点是能识别新的攻击。但正常的操 作产生的变化会导致误报，而入侵行为表现为正常而导致漏报。并且系统很难 确定攻击的类型。 2 3 入侵检测系统的分类 根据检测方法来分类，现在的入侵检测产品基本可以分为以下三类：事后 审计追踪分析，实时包分析和实时行为监测。 基于模式匹配的网络入侵检测系统m i d s 的设计与实j ；| 1 1 2 3 1 事后审计追踪分析 早期的入侵检测的实施运用了审计追踪分析，如s a i c 的c m d s 就是分析 u n i x 的审计记录中的可疑行为。如果这类产品同时实现了i 身动审计追踪和管理 的话，就更有价值，这样的话可以将信息提取或存档，而去掉旧的和不再需要 的审计数据。 这类产品有两个主要的优点。一是减少了检查和管理大量的审计数据的巨 大困难。另一个是检测人员可以及时地回顾并做历史事件分析。更复杂的产品 把结果用图表来显示，显示出入侵的趋势，这对在较长时间内发生的入侵特别 有用。 从基于网络的安全观点来看，纯粹的“事后”的产品缺点是在检测到安全 问题时再作响应和保护往往已经太迟，入侵可能已经造成了进一步的破坏。另 外，大多入侵者懂得如何掩盖他们的行动，可以篡改审计数据，因此事后分析 常常会漏掉攻击事件。 2 3 2 实时包分析 最初，在网络范围实现实时检测似乎是不可行的，系统做不到既能实时分 析又能保持可接受的系统性能。而现在，已有了不少实时检测及响应的入侵检 测产品。 实时入侵检测的一种做法是采用嗅探器( s n i f f e r ) 捕获在一个网段中传输的 所有数据包。入侵检测系统将网卡设置成“乱模式”，就可以捕获所有的通信数 据。入侵检测系统有一个分析机，通过分析数据包的报头和包的内容查找特定 的网络攻击的特征，如i p 欺骗、数据报淹没等等。当检测到可能的危险时，系 统马上通过呼叫提醒，发送e m a i l 等方式向控制台报警，甚至切断网络会话。 嗅探器可放置在放火墙外以检测来自i n t e r n e t 的入侵企图。同时也可以在本 地网内放置嗅探器，检测穿过防火墙的入侵和发生在内部的攻击和威胁。应该 在每一网段放置嗅探器以覆盖整个集团范围。并且，对嗅探器还应做到远程管 理，并收集信息，在控制台显示整个集团范围的信息。 实时包分析技术的优点在于：对于基于网络的攻击最好的办法是通过数据 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 包检查。而且，不用在网络中的每一个主机上都放置检测软件。 当然，基于实时包分析的入侵检测也有不足之处： 夺基于数据包分析的入侵检测远离关键应用和它要保护的数据。这样难以 清楚入侵在这些地方到底会做些什么动作。 夺数据包分析检测不到( 或较难做到) 一些攻击，如：在u n i x 上用缓冲 区溢出取得r o o t 权限；浏览用户不应当接触的文件：通过拨号攻击关键 任务服务器；在系统中插入特洛伊木马；非法使用关键应用；篡改网页 内容：非法访问数据库等等。 夺嗅探器需要硬件开销，并且硬件的开销的代价依赖于网络的速度。 夺嗅探器对加密的数据包的分析用处不大。 2 3 3 实时行为监测 实时入侵监测的一种有效的方法是监视不同系统上的与安全相关的行为。 这种方法距离要保护的资源更近了。除了监视操作系统的审计数据外，还有： 夺跟踪应用、数据库、w e b 服务器、路由器、防火墙等的审计数据； 夺监视关键文件，以发现特洛伊木马、非授权变化等； 夺监视t c p 和u d p 端口的活动。 实时行为监测可检测的攻击诸如：非授权访问敏感文件的企图，替代登录 程序等。与包嗅探不同的是，它能检测用户非法取得“r o o t ”或管理员访问权限。 当发现可疑的行为的时候，在造成危害之前就马上采取行动，响应的方法包括 在控制台提醒、发送e m a i l 、冻结帐户、中断入侵进程和中断入侵者的会话、关 闭系统或者执行响应命令过程。 实时行为监测的优点在于：它的工作的展开更接近关键任务数据和应用。 而且所有的设备所在监视之中，从网络内外监视攻击的发生变的更容易。还有 就是，在数据包的层次不能发现应用和操作系统层次发生的攻击。 基于模式匹配的网络入侵检测系统m i d s 的驶汁j 实现 与实时包分析的做法相比，实时行为检测是在较高的层次来实施的，对于 在网络层实施的攻击( 如拒绝服务、协议栈攻击) 就显得力不从心。 2 4 入侵检测体系结构 在网络环境中存在三种主要的入侵检测体系结构：基于主机( h i d s ) 、基于 网络( n i d s ) 和混合分布式( d i d s ) 。 2 4 1 基于主机的入侵检测系统 基于主机的入侵检测系统历史最久，在多用户计算机系统出现不久就已有 雏形。它最早用于审计用户的活动，比如用户的登陆、命令操作、应用程序使 用资源情况等。此类系统一般主要使用操作系统的审计跟踪日志作为输入，某 些也会主动与主机系统进行交互以获得不存在于系统日志中的信息。其收集的 信息集中在系统调用和应用层审计上，试图从日志中判断滥用和入侵事件的线 索。基于主机的入侵检测系统用于保护关键应用的服务器，实时监视可疑的连 接、系统日志检查、非法访问的闯入等，并且提供对典型应用( 如w e b 服务器 应用) 的监视。 基于主机的入侵检测要依赖于特定的操作系统和审计跟踪日志获取信息， 此类系统的原始数据来源受到所依附的具体操作系统平台的限制，系统的实现 主要针对某种特定的系统平台，在环境适应性、可移植性方面问题较多。所以 现在的商用入侵检测产品几乎没有一种是单纯基于主机类型的。但是在获取高 层信息以及实现一些特殊功能时，如针对系统资源情况的审计方面它具有无法 替代的作用。同时，它还具有以下特点： 1 监视特定的系统活动。基于主机的入侵检测系统可以监视用户访问文件 的活动，包括文件访问、改变文件权限，试图建立新的可执行文件或者试图访 问特殊的设备。例如，基于主机的入侵检测系统可以监督所有用户的登录及注 销情况，以及每位用户在联结到网络以后的行为。 2 监视只有管理员才能实施行为。操作系统记录了任何有关用户帐号的增 加、删除、更改的情况，只要发生改动，基于主机的入侵检测系统就能检察测 到这种不适当的改动。基于主机的入侵检测系统还可审计能影响系统记录的校 基于模式匹配的网络入侵检测系统m j d s 的啦汁与实现 验措施的改变。基于主机的系统可以监视主要系统文件和可执行文件的改变。 系统能够查出那些欲改写重要系统文件或者安装特洛伊木马或后门的尝试并将 它们中断。 3 能够检测到来自于本地的攻击。例如，来自主要服务器控制台键盘的攻 击。 4 适用于被加密的和交换的环境。由于基于主机的系统安装在遍布企业的 各种主机上，它们比基于网络的入侵检测系统更加适于交换的和加密的环境。 交换设备可将大型网络分成许多的小型网络部件加以管理。所以从覆盖足够大 的网络范围的角度出发，很难确定配置基于网络的入侵检测系统的最佳位置。 虽然业务映射和交换机上的管理端口有助于此，但这些技术并不具有普遍适用 性。基于主机的入侵检测系统可安装在所需的重要主机上，在交换的环境中具 有更高的能见度。某些加密方式也仅能通过基于主机的入侵检测系统发现，由 于加密方式位于协议堆栈内，所以基于网络的系统可能对某些攻击没有反应。 基于主机的入侵检测系统则没有这方面的限制，当操作系统及基于主机的入侵 检测系统看到即将到来的业务时，数据流已经被解密了。 5 近于实时的检测和响应。尽管基于主机的入侵检测系统不能提供真正实 时的反应，但如果应用正确，反应速度可以非常接近实时。老式系统利用一个 进程在预先定义的间隔内检查登记文件的状态和内容，而现在这种新的记录可 以被立即处理，显著减少了从攻击验证到做出响应的时间。在操作系统做出记 录到基于主机的入侵检测系统得到辨识结果之间有一段时间延迟，但大多数情 况下，在破坏发生之前系统就能发现入侵者，并中止他的攻击。 6 不要求额外的硬件设备基于主机的入侵检测系统存在于现行网络结 构之中，包括文件服务器，w e b 服务器及其它共享资源。这些使得基于主机的 系统效率很高。因为它们不需要在网络上另外安装登记，维护及管理的硬件设 备。 2 4 2 基于网络的入侵检测系统 由于来自网络的攻击事件逐渐成为信息系统的最大威胁，因而基于网络的 入侵检测系统具有更加重要的使用价值。基于网络的入侵检测系统在网络中的 基于模式匹配的网络入侵检测系统m i d s 的设计与实现 某一点被动地