（计算机应用技术专业论文）入侵检测系统的设计与实现.pdf

入侵检测系统的设计与实现 摘要 随着经济和技术的发展，计算机网络在人们的生活中占有越来越 重要的位置，同时由网络引起的安全问题越来越引起人们的重视，每 年由于网络安全问题，比如黑客入侵，病毒感染等造成的经济损失逐 年递增，已经达到成千上万美元。这就要求我们必须加大力度开展网 络安全技术研究，设计出更有效的网络安全系统。入侵检测系统作为 种积极主动的安全防护工具，提供了对内部攻击和外部攻击的实时 防护，在计算机网，络遭受危害之前进行报警、拦截和响应。 论文首先对入侵检测系统进行了概述性介绍。入侵检测的分析技术 主要为误用入侵检测和异常入侵检测，目前国内外流行的网络入侵检 钡 系统大都采用误用入侵检测技术。误用检测使用模式匹配方法，它 是对已知的攻击技术进行分析，提取攻击的特征，然后对收集到的网 络数据包与建立的入侵规则进行匹配，判断是否有攻击事件发生。本 文采用误用检测技术，实现了基于网络数据包的检测。 其次，在介绍常用入侵手段和网络入侵检测系统研究现状的基础 上，讨论了当前入侵检测技术面临的挑战和发展趋势。 最后，设计实现了采用协议分析和模式匹配方法的网络入侵检测引 擎系统。本课题使用s n o r t 系统定义的规则库，实现了规则解析程序， 通过建立规则选项索引链表，动态调整规则顺序，有效地提高了规则 检测的速度和效率。对于捕获的数据包根据不同的协议进行解码，预 处理模块则能对i p 分片进行重组和对t c p 流数据还原，规则检测模块 采用了改进的模式匹配算法，使系统具有较快的字符串匹配速度。 关键字：网络安全入侵检测模式匹配协议分析规则解析 d e s i g na n dr e a l i z a t i o no fi n t r u s i o nd e t e c t i o ns y s t e m a b s t r a c t a l o n gw i t he c o n o m i c a la n dt e c h n i c a ld e v e l o p m e n t ，n e t w o r ko c c u p y t h em o r ea n dm o r ei m p o r t a n tp o s i t i o ni nt h el i f eo fp e o p l e ，a tt h es a m e t i m e ，t h es e c u r i t yp r o b l e mw h i c hn e t w o r kc a u s em a k em o r ea n dm o r e p e o p l en o t i c e ，e v e r yy e a r b e c a u s eo fs a f e p r o b l e m i nn e t w o r k ，f o r e x a m p l e ，h a c k e ri n v a d e s ，t h ev i r u si n f e c t i o ne t c t h e s er e s u l ti ne c o n o m i c e x p e n s ew h i c hi n c r e a s ea n n u a l l y ，i th a sa t t a i n e dt h o u s a n d so fm i l l i o n d o l l a r ，t h i sw i l lr e q u i r ew em u s tp a ya t t e n t i o nt ot h en e t w o r ks e c u r i t y a s ak i n do fa c t i v en e t w o r k s e c u r i t yp r o t e c t i o nt e c h n o l o g y ，i n t r u s i o n d e t e c t i o ns y s t e mn o to n l yd e t e c t st h ei n t r u s i o nf r o mt h ee x t r a n e th a c k e r b u ta l s om o n i t o r si n t r a n e tu s e r s i ti d e n t i f i e sa n d r e s p o n s e s v i c i o u s b e h a v i o ro fu s i n gh o s ta n dn e t w o r kr e s o u r c e s t h et h e s i sc a r r i e do ni n t r o d u c t i o nt o w a r d si n t r u s i o nd e t e c t i o ns y s t e m f i r s t t h ei n t r u s i o nd e t e c t i o na n a l y s i sm e t h o d sh a v et w ok i n d s ：o n ei s m i s u s ed e t e c t i o na n dt h eo t h e ri sa n o m a l yd e t e c t i o n n o w a d a y s ，t h em o s t p o p u l a ri d si sn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mu s i n gm i s u s ed e t e c t i o n m e t h o d m i s u s ed e t e c t i o n t e c h n o l o g y i su s e dt o i m p l e m e n t i n t r u s i o n d e t e c t i o ns y s t e mb a s e do nn e t w o r k p a t t e r nm a t c hi su s e di nm i s u s e d e t e c t i o n m i s u s ed e t e c t i o n t e c h n o l o g y f i r s ti st o a n a l y z e k n o w r n a t t a c k ，p i c ku p c h a r a c t e r so fa t t a c k s ，a n dd e t e c tw h e t h e rt h en e t w o r k p a c k e ta p p e a r si nt h ei n t r u s i o nr u l es e tt od e t e r m i n ew h e t h e ri n t r u s i o nh a s h a p p e n e d 。 s e c o n d l y ，o nt h eb a s i so fi n t r o d u c t i o nt ot h en o r m a li n t r u s i o nm e t h o d s a n ds t a t eo fa r to fn e t w o r ki d s ，c o n t e m p o r a r yc h a l l e n g e sa n dt r e n d sa r e d i s c u s s e da b o u ti d s f i n a l l y ，t h ea u t h o rp l a n sa n dc o m p l e t e san e t w o r ki d sw h i c ha d o p t t h ep r o t o c o la n a l y s i sa n dp a t t e r nm a t c hm e t h o d t h i sp a p e ru s e st h er u l e s d e f i n e di n s n o r t ，a n dt h ep a r s i n gp r o g r a m f o rt h er u l e sh a sb e e n i m p l e m e n t e d i m p r o v i n gt h es p e e da n de f f i c i e n c y o fr u l ed e t e c t i o nb y e s t a b l i s hr u l eo p t i o n si n d e x e dl i n kl i s ta n da d j u s tr u l eo r d e rd y n a m i c a c c o r d i n gt ot h e d i f f e r e n tp r o t o c o l ，p r e p r o c e s s i n gm o d u l ei n c l u d e st h e p a r to fd e c o d e ro fp r o t o c o l d a t a ，i pf r a g m e n t sr e a s s e m b l i n ga n dt c p s t r e a md a t ar e a s s e m b l i n g t h er u l ed e t e c t i o nm o d u l e ，w h i c hi m p r o v e s m a t c h i n ga r i t h m e t i ca n di n c r e a s e st h es y s t e m sp e r f o r m a n c e ，m a k e st h e s y s t e mr u nf a s t e r k e y w o r d s ：n e t w o r ks e c u r i t y 、i n t r u s i o nd e t e c t i o n 、p a t t e r nm a t c h i n g 、 p r o t o c o la n a l y s i s 、 r u l ep a r s i n g 插图清单 图1 t ：事件报告数量比较图一一1 图2 1 ：改进d e n n i n g 入侵检钡9 模型一一一一一一一6 图2 2 ：d i d s 总体结构一一一一一一6 图2 3 ：i d s 分类一一一一一7 图3 1 ：模式规贝0 构成树一一一一一一1 6 图4 1 ：个典型的网络系统一一1 9 图4 2 ：系统架构一一一2 0 图4 3 ：i d s 分布位置一一一一一一2 0 图4 4 ：检钡4 弓i 擎工作流程一一一一2 2 图5 1 ：规贝0 链表的基本结构一一一一2 8 图5 2 ：规贝u 解析算法流程图一一一一一一3 2 图5 3 ：规贝4 选项索弓i 链表示意图一一一一3 3 图5 4 ：i p 数据包解码流程图一一一一一3 6 图5 5 ：i p 分片控带0 说明一一一一3 7 图5 6 ：i p 分片重组流程图一一一一一4 0 图5 7 ：t c p 三次握手连接示意图一一一4 1 图5 8 ：t c p 流重组流程图一一一一一4 5 图5 9 ：规贝匹配算法流程图一一一一4 7 表格清单 表6 1 ：检澳0 主机的配置一一一一一一5 0 表6 2 ：三种算法钡0 试结果对比一一一5 1 表6 3 ：本系统与s n o r t 2 0 性自检钡4 对比一一一一一5 2 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作所取得 的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得盒胆王些左堂或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：争c 磅哗签字日期：矽红扫月甲日 学位论文版权使用授权书 本学位论文作者完全了解 佥胆王些太堂 有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被 查阅和借阅。本人授权 盒胆王些左堂 可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学 位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者虢刍f 磅啐 签字日期：矽辞f 扫月4 日 学位论文作者毕业后去向 工作单位： 通讯地址： 导师签名： 7 签字日期：卢 电话 邮编 致谢 首先感谢我的导师周健副教授，我的课题研究和论文工作的完成， 得益于您的悉心指导和帮助，您严谨的治学态度、渊博的知识、宽厚 的秉性、平易近人的风格和对学生无微不至的关怀给我留下了深刻的 印象，使我受益非浅。在此向周老师表示衷心的感谢! 感谢郭晓树同学等在课题研究工作中对我的无私帮助。 感谢单位领导和同事在我学习期间的支持和帮助。 感谢各位评委在百忙之中抽出宝贵时间评阅本论文! 最后，我也要感谢我的父母和家人，感谢他们给我的支持和在生 活上的关怀，这是我能顺利完成学业的很重要的精神支柱和物质保证。 作者：支4 修峰 2 0 0 6 年1 1 月 第一章绪论 1 1 选题背景及研究意义 随着i n t e r n e t 的迅猛发展，网络正在影响社会的政治、经济、文化、军事 和社会生活等各方面。然而，由于对i n t e r n e t 依赖程度的不断提高，网络和信 息安全正在成为人们不得不面临的严峻问题。美国g e n e r a a c c o u n t i n g o f f i c e ( g a o ) 1 9 9 6 年的报告称，在9 5 年到9 6 年，有2 5 0 0 0 次对美国政府机关计 算机系统的入侵，至少有1 0 个关系到9 8 政府预算的主要部门曾受到攻击。在 我国，据c n c e r t 数据表明，2 0 0 5 年c n c e r t c c 接收的无论是非扫描类还 是扫描类事件报告，与2 0 0 4 年相比，数量都增长了一倍左右。与2 0 0 3 年相比， 0 4 年和0 5 年事件报告数量的增长更加明湿。2 0 0 3 年至2 0 0 5 年事件报告数量比 较情况如图1 1 所示。 图1 1 ：事件报告数量比较图 网络安全是信息安全的重要组成部分。保证网络系统的安全性，是一个系 统化的工程，需要从实体、软件、数据及网络运行体系等全方位的安全性来考 虑。 然而，随着计算机系统和网络系统的日益复杂化，信息安全的内涵也在不 断地深化和拓延，己从最初的保护和防范发展到目前的保护、检测、反应和恢 复等多方面的理论和实施技术。传统的安全保护技术采用认证、授权、访问控 制和加密机制，但这些对于利用计算机软硬件系统缺陷进行的攻击行为无能为 力；而防火墙技术则采用包过滤、应用层网关及虚拟网技术防止诸如协议实现 漏洞、源路由、地址仿冒等多种攻击手段，但它不能对付层出不穷的应用设计 缺陷和通过加密通道的攻击，尤其对来自局域网内部的攻击无能为力。因此，入 侵检测系统i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 作为防火墙之后的第二道安全闸门 逐渐受到人们的重视。 目前的i d s 仍存在许多不理想的地方。首先是有效性，即误报率和漏报率 的问题，这是由于目前大部分入侵检测系统属于异常检测或误用检测，误用检 测有较高的漏报率，而异常检测有较高的误报率；其次是实时检测的问题，多 数i d s 是准实时检测系统，是对系统历史数据的分析，常常对新的攻击无能为 力；再次，目前i d s 的自适应性也是不能尽如人意，常常不能即时更新规则库。 综上所述，各类事件的频频发生，使得计算机网络不断被非法入侵，重要情 报资料被窃取，甚至造成网络系统的瘫痪，造成巨大的经济损失，严重的已经 危害到国家和地区的安全。目前我国信息与网络安全的防护能力处于发展的初 级阶段，当务之急是要用我国具有自主技术的安全设备加强信息与网络的安全 性，大力发展基于自主技术的信息安全产业。而自主技术的发展又必须从信息 与网络安全的基础研究着手，全面提高创新能力。对入侵攻击的检测与防范、 保障计算机网络系统及整个信息基础设施的安全己经成为网络安全技术人员刻 不容缓的研究课题。 1 2 国内外研究现状 目前，国内外一些研究机构和企业已研究或开发出了多种类型的入侵检测 系统。下面简单介绍已出现的几种典型的入侵检测系统。 l 。研究用的入侵检测系统 9 0 年代初开始的i d s 研究产生了很多新的工具，并且其中的大多数工具 是由学生开发的，主要用来验证一些概念和算法，研究完了就不再对它进行维 护。但是，这些工具极大地影响了后来开发的入侵检测系统。这些工具一开始 主要集中于基于主机的入侵检测，后来随着网络的快速增长，很多工具集中于 基于网络的入侵检测。下面介绍三个代表性的研究用i d s 系统。 ( i ) e m e r a l d 。e m e r a l d ( e v e n tm o n i t o r i n ge n a b l i n gr e s p o n s e st o a n o m a l o u sl i v e d i s t u r b a n c e s ) 是由d r i i n t e r n a t i o n a l 开发的入侵检测工具。它的 主要功能是检测非正常的用户行为和已知的入侵模式。它由三个层次的监控器 组成：服务监控器，域监控器，企业级监控器。 ( 2 ) n e t s t a t 。n e t s t a t 是由加州大学圣吧吧拉分校开发的入侵检测系统。它 的主要功能是实时入侵检测，采用的技术是基于状态转换的入侵检测。大多数 基于主机的入侵检测系统主要通过分析计算机中的审计信息来进行入侵检测， 而n e t s t a t 则首先将计算机中的审计信息进行分析、处理和抽象成一种格式，这 种抽象更易于分析，移植和理解。在n e t s t a t 中，一次入侵由一个状态序列组成， 通过状态转移和匹配就能实时检测入侵行为。它主要由以下几部分组成：预处理 器；知识库：推理机：决策机。 2 ( 3 ) b r o 。b r o 是由美国l a w r e n c e l i v e m o r e 国家实验室开发的入侵检测工具。 开发它的主要目的是研究入侵检测系统的健壮性，即研究采用何种措施可以防 止入侵检测系统本身被攻击。它有以下一些特点：高负载下的监控：实时入侵通 知；系统有良好的可扩展性；抵御对自身的攻击。 2 商用入侵检测系统 下面介绍几个流行的商用i d s 。 ( d c m d s 。c m d s ( c o m p u t e rm i s u s ed e t e c t i o ns y s t e m ) 最开始由科学应用国 际公司( s c i e n c ea p p l i c a t i o n si n t e r n a t i o n a lc o r p o r a t i o n ) 开发的，现在由o d s 网络 公司( o d sn e t w o r k si n c ) 负责产品的维护和销售。它是一个基于主机的入侵检 测系统，支持非正常行为和入侵模式的检测，同时还能产生预测报告。c m d s 利用统计分析的方法来检测入侵行为。 ( 2 ) n e t p r o w l e r 。n e t p r o w l e r 由a x e n t 公司开发的基于网络的入侵检测系统。 它支持对入侵行为的自动响应，如标记日志，终止会话，提供事件报告到控制 台，发e m a i l 、寻呼来告警。n e t p r o w l e r 通过匹配已知的入侵模式来检测入侵， 它还支持用户定义入侵模式，提供了较好的扩展能力。 ( 3 ) n e t r a n g e r 。n e t r a n g e r 是c i s c o 系统有限公司开发的基于网络的入侵 检测系统。它支持实时入侵检测，并具有很好的可伸缩性。n e t r a n g e r 由一组 传感器( s e n s o r ) 和一个或多个定向器( d i r e c t o r s ) 组成。传感器是在c i s c o 硬件平 台上开发的，而定向器则是一个软件产品，它的主要功能是提供对n e t r a n g e r 系统的集中管理。n e t r a n g e r 能检测三种攻击：已知的攻击，已知攻击的变种， 复杂的组合攻击。除了提供大量的已知攻击模式定义外，它也支持用户定义入 侵模式。 ( 4 ) r e a l s e c u r e 。r e a l s e c u r e 是i s s ( i n t e r n e ts e c u r i t ys y s t e m s ) 公司的实时入 侵检测系统。它由三部分组成：基于网络的识别引擎，基于主机的识别引擎，管 理员模块。它支持基于主机的入侵检测和基于网络的入侵检测。并且还支持对 入侵的自动响应。i s s 公司是最著名的网络安全公司。它的其它的入侵检测产 品还包括：数据库扫描器，w e b 扫描器等。 除此之外，还有很多可以免费获得的入侵检测工具，比较著名的有 s h a d o w ，n e t w o r kf l i g h t r e c o r d e r ，t r i p w i r e 等。 1 3 论文的组织结构 本文做的主要工作有：参考国内外先进i d s 的设计思想，设计了一个采用 协议分析和模式匹配的网络入侵检测系统，通过对模式匹配算法深入研究，比较 目前流行的几种模式匹配算法的优缺点，使用了一种高效的多模式匹配算法， 以期得到更高的检测效率；解决工作中遇到的具体问题，提高i d s 的整体性能； 通过实验测试验证运用改进算法后的i d s 性能的优越性。本文的内容安排如下： 第一章对选题背景和国内外研究现状进行了论述，分析了目前国内外主要 的网络安全问题；在此基础上指出了广泛展开入侵检测相关课题研究的必要性 和紧迫性。 第二章系统介绍入侵检测的基本概念、发展历程、分类模型、常用入侵检 测技术等。在对现有的常用入侵检测手段进行分析和总结的基础上，给出了入 侵检测技术的发展趋势。 第三章主要研究几种经典的模式匹配算法的技术及特点，并分析比较它们 的优缺点。同时，结合各种模式匹配的技术特点着重介绍了一种高效的多模式 匹配算法( e b m 算法) ，给出了此算法的设计思想。 第四章通过对一个典型网络系统的分析，给出了入侵检测的总体设计思想 及系统架构。并重点对检测引擎的流程进行设计。 第五章按照上一章的总体设计目标，给出了入侵检测系统的检测引擎的具 体设计，分别对规则解析、协议解析、预处理、规则匹配各模块设计进行介绍， 并给出一些关键数据结构。 第六章对本文所介绍的系统按整体性能、改进算法有效性、实际工作能力 进行测试，给出了实验数据。证明本系统基本具备了实际工作能力。 4 第二章入侵检钡技术概述 防火墙作为一种重要的访问控制技术得到了广泛的应用。防火墙是积极的 安全性产品，它们实时运行能够检测出某些种类的黑客袭击，特别是当这些袭 击都是网络探测时。然而，一旦攻击者闯过或绕过( 如通过拨号连接) 防火墙， 防火墙就无法知道正在发生的事情，而且，防火墙本身也会遭受攻击。 另外，并非所有的威胁都存在于外部网，很多安全问题是由内部的误用和 滥用造成的。 因此，为实现系统的安全防护，必须建立一种网络防火墙的逻辑补偿技术， 即入侵检测( i n t r u s i o nd e t e c t i o n ) 技术，该技术把系统安全管理能力扩展到安全 审计、安全检测、攻击识别和响应等范畴。 入侵检测系统( i d s ：i n t r u s i o nd e t e c t i o ns y s t e m ) 通过从计算机网络系统中 的若干关键点收集信息，并分析这些信息，检查网络中是否有违反安全策略的 行为和遭到袭击的迹象。入侵检测系统被认为是防火墙之后的第二道安全闸门， 它能在不影响网络性能的情况下对网络进行监测，从而提供对内部攻击、外部 攻击和误操作的实时保护。它是防火墙的合理补充，帮助系统对付网络攻击， 扩展了系统管理员的安全管理能力( 包括安全审计、监视、进攻识别和响应) ， 提高了信息安全基础结构的完整性。 2 1 入侵检测的发展历程 从实验室原型研究到推出商业化产品、走向市场并获得广泛认同，入侵检 测系统( i d s ) 已经走过了二十多年的风雨坎坷路。 1 概念的诞生 1 9 8 0 年4 月，j a m e sp a n d e r s o n 为美国空军做了一份题为c o m p u t e r s e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ) ( 计算机安全威胁监控与监视) 的 技术报告，第一次详细阐述了入侵检测的概念。他提出了一种对计算机系统风 险和威胁的分类方法，并将威胁分为外部渗透、内部渗透和不法行为三种，还 提出了利用审计跟踪数据监视入侵活动的思想。这份报告被公认为是入侵检测 的开山之作。 2 模型的发展 从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s r i c s l ( s r i 公司计算机科学实验室) 的p e t e r n e u m a n n 研究出了一个实时入侵检测系统模 型，取名为i d e s ( 入侵检测专家系统) 。该模型由六个部分组成：主体、对象、 审计记录、轮廓特征、异常记录、活动规则。它独立于特定的系统平台、应用 环境、系统弱点以及入侵类型，为构建入侵检测系统提供了一个通用的框架。 1 9 8 8 年，s r i c s l 的t e r e s al u n t 等人改进了d e n n i n g 的入侵检测模型， 了一个i d 并开发出e s 。该系统包括一个异常检测器和一个专家系统，分 别用于统计异常模型饷建立和基于规则的特征分析检测( 如图2 1 所示) 。 图2 1 ：改进d e n n i n g 入侵检测模型 3 繁荣时期 1 9 9 0 年是入侵检测系统发展史上的一个分水岭。这一年，加州大学戴维斯 分校的l t h e b e r l e i n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。该系统 第一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一 格式的情况下监控各种主机。从此之后，入侵检测系统发展史翻开了新的一页， 两大阵营正式形成：基于网络的i d s 和基于主机的i d s 。 1 9 8 8 年的莫里斯蠕虫事件发生之后，网络安全才真正引起了军方、学术界 和企业的高度重视。美国空军、国家安全局和能源部共同资助空军密码支持中 心、劳伦斯利弗摩尔国家实验室、加州大学戴维斯分校、h a y s t a c k 实验室，开 展对分布式入侵检测系统( d i d s ) 的研究，将基于主机和基于网络的检测方法 集成到一起，其总体结构如图2 2 所示。 图2 2 ：d i d s 总体结构 d i d s 是分布式入侵检测系统历史上的一个里程碑式的产品，它的检测模 型采用了分层结构，包括数据、事件、主体、上下文、威胁、安全状态等6 层。 从2 0 世纪9 0 年代到现在，入侵检测系统的研发呈现出百家争鸣的繁荣局 面，并在智能化和分布式两个方向取得了长足的进展。目前，s r i c s l 、普渡 大学、加州大学戴维斯分校、洛斯阿拉莫斯国家实验室、哥伦比亚大学、新墨 西哥大学等机构在这些方面的研究代表了当前的最高水平。 6 2 2 入侵检测的分类 随着入侵检测技术的发展，出现了大量的入侵检测系统，不同的入侵检测 系统根据不同的应用具有不同的侧重点。当前，学术界根据不同的分类标准，将 入侵检测系统分成不同的类别。如图2 3 所示。按体系结构和检测方法的分类 是当前应用比较广泛的，所以本章只对这两种作详细介绍。“” 图2 3 ：i d s 分类 2 2 1 按数据来源分类 根据数据来源不问，分为三种主要的入侵检测系统：基于主机的 i d s ( h i d s ) 、基于网络的i d s ( n i d s ) 和混合型i d s ( d i d s ) 。 1 基于主机的入侵检测系统( h i d s ) 基于主机的入侵检测系统历史最久，多用户计算机系统出现不久已有雏 形。最早用于审计用户的活动，比如用户的登录、命令操作、应用程序使用资 源情况等。此类系统一般主要使用操作系统的审计跟踪日志作为输入，某些也 会主动与主机系统进行交互以获得不存在于系统日志中的信息。其所收集的信 息集中在系统调用和应用层审计上，试图从日志判断滥用和入侵事件的线索。 2 基于网络的入侵检测系统( n i d s ) 由于来自网络的攻击事件逐渐成为信息系统的最大威胁，因而基于网络的 入侵检测系统具有重要价值。基于网络的入侵检测系统在网络中的某一点被动 地监听网络上传输的原始流量，通过线路窃听的手段对捕获的网络分组进行处 理，从中获取有用的信息。基于网络的入侵检测系统通过对流量分析提取特征 模式，再与己知攻击特征相匹配或与正常网络行为原型相比较来识别攻击事件。 与基于主机的入侵检测不同，基于网络的i d s 非常适用于检测系统应用层以下 的底层攻击事件。 3 混合分布式入侵检测系统( d i d s ) 混合分布式入侵检测系统可以从不同的主机系统、网络部件祀通过网络监 昕方式收集数据，这些系统综合利用网络数据和来自主机系统中的审计信息来 发现入侵行为。 4 几种体系结构的比较 基于主机的入侵检测要依赖于特定的操作系统和审计跟踪日志获取信息， 此类系统的原始数据来源受到所依附操作系统平台的限制，系统的实现主要针 对某种特定的系统平台，在环境适应性、可移植性方面问题较多。另外，审记 信息的粒度的选择也是一个很难的问题：当审计信息粒度较细时，数据量过于庞 大和细化，而将有用的信息淹没在其中，反之，会漏掉有用的信息。所以现在 的商用入侵检测产品几乎没有一种是单纯基于主机类型的。但是在获取高层信 息以及实现一些特殊功能时，如针对系统资源情况的审计方面具有无法替代的 作用。 基于网络监听方式实现的入侵检测系统同基于主机的系统相比，在实时 性、适应性、可扩展性方面具有其独特的优势，但此类系统也存在一些固有的 弱点，比如更容易受到基于网络的拒绝服务等恶意攻击，在高层信息的获取上 更为困难，在实现技术上更为复杂等。但是也只有此类系统可以检测到某些种 类的攻击，比如远程缓冲区溢出、网络碎片攻击等大量针对协议栈或特定网络 服务的攻击手段。 可以这样认为，基于主机的系统一般是根据攻击对系统的影响来判断攻击 事件的，比如用户是否多次使用错误口令，文件状态是否非法改变等，时间上 滞后于攻击本身。而基于网络的系统强调通过网络行为过程进行分析，不是依 靠审计攻击事件对目标系统带来的实际影响，而通过行为特征来发现攻击事件。 比如网络上一旦发生了针对w i n d o w s n t 系统的攻击行为，即使其保护网络中 没有n t 系统，基于网络的入侵检测系统一样可以检测到该攻击。此类系统侧 重于网络活动进行检测因而得以实时地发现攻击企图，许多情况下可以做到防 范于未然。 由于基于网络监听方式的入侵检测系统直接从数据链路层获取信息，因而 从理论上它可以获取所有的网络信息，原始数据来源丰富，只要传输数据不是 底层加密的，就可检测到一切通过网络发动的攻击事件，包括一些高层应用的 信息。如：我们目前已经可以完全通过网络监听的方式对通过网络登陆到特定系 统的用户名和口令进行审计，故也可分析其他系统相关的高层事件。 虽然基于网络的入侵检测系统实现的功能很强大，如要适应现代千兆比特 的高速网络和交换式网络方面也有许多难以克服的困难。而且基于主机的入侵 检测系统也有其独特功能，所以未来的入侵检测系统要想取得成功必须将基于 主机和基于网络的两种入侵检测系统无缝结合起来，这就是混合分布式入侵检 测系统，在基于主机和基于网络的两种入侵检测系统都发展到一定成熟度后， 8 混合分布式系统就自然出现了，它兼有两种入侵检测系统的优点。 2 2 2 按检测方法分类 入侵检测方法一般可以分为基于异常( a n o m a l yb a s e d ) 的入侵检测与基于 特征( s i g n a t u r e b a s e d ) 的入侵检测两类。而基于不同方法的入侵检测系统也就被 分为两类。 1 异常( a n o m a l y ) 入侵检测 异常入侵检测系统记录用户在系统上的活动，并且根据这些记录创建活动 的统计报告。如果报告表明它与正常用户的行为有明显的不同，那么检测系统 就会将这种活动视为入侵。 异常入侵检测系统试图建立一个对应“正常的活动”的特征原型，然后把 所有与所建立的特征原型中差别“很大”的行为都标志为异常。显而易见，当 入侵集合与异常活动集合存在相交情况时，一定会存在“漏报”和“误报”问 题。为了使“漏报”和“误报”的概率较为符合实际需要，该系统的主要问题 是选择一个区分异常事件的“闽值”。而调整和更新某些系统特征度量值的方法 非常复杂，开销巨大。在实际情况下，试图用逻辑方法明确划分“正常行为” 与“异常行为”两个集合非常困难，几乎不可能。另外，这类系统必须能够准 确描述系统的所有正常行为才能保证检测到所有的攻击，而做到这一点同样是 很困难的。 2 特征( s i g n a t u r e ) 入侵检测 特征入侵检测是事先对已知的入侵方式进行定义( 即定义入侵方式的特 征) ，并且将这些方式写进系统中，将网络上检测到的攻击与系统定义的已知入 侵方式进行对比，如果两者相同，则认为发生了入侵。 基于特征的入侵检测系统是建立在使用某种模式或者特征描述方法能够 对任何已知攻击进行表达这一理论基础上的。特征检测系统的主要问题是如何 确定所定义的攻击特征模式可以覆盖与实际攻击相关的所有要素，以及如何对 入侵活动的特征进行匹配。另外，这种方式要求事先知道所有可能攻击的特征。 可以说，要想实现一个理论上能够百分之百正确检测所有攻击活动的特征检测 系统，首先必须保证能够用数学语言百分之百正确地描述所有的攻击活动。 3 两种方法的比较 这里从下面几个方面来比较两种方法盼不同： ( 1 ) 知识基础。基于特征的入侵检测必须了解所有攻击的攻击特征，而基于 异常的入侵检测则必须了解系统期望的所有正常的使用行为。在现实中，这两 者都是很难做到的。 ( 2 ) 配置的难易程度。基于特征的入侵检测系统配置起来比较容易一些，因 为基于异常的入侵检测系统一般要求较多的数据采集、分析和更新。另外，定 义攻击特征比定义系统期望的正常行为要容易。 ( 3 ) 产生的结果。基于特征的入侵检测系统一般通过模式匹配来发现入侵事 件。而基于异常的入侵检测系统一般通过行为间的统计关联来发现入侵事件， 它能提供更多的与入侵事件有关的数据。 r 4 ) 准确性。因为两种方法所依赖的知识基础的不完整性，两种方法都可能 产生大量的误报和漏报事件。 上述两种检测方法所关心的数据各有侧重，即使对来自同一数据源的信息 也会有不同的采集重点和处理方式，为了提高检测结果的准确性，数据源在提 交数据之前需要预处理，去掉无用和干扰数据，这样也能提高检测的效率。对 于误用检测，需要为模式匹配机准备好入侵的签名库，或称模式库；而对于异 常检测，则首先利用收集的数据，采取一定的统计方法建立相应的系统剖析模 型，作为系统正常运行的参考基准，这个过程由系统的剖析引擎完成。而异常 检测器则不断地计算相应统计量的变化情况，一旦系统偏移参考基准超过许可 范围，就认为系统发生异常。只有将两种方法有机地结合起来，才能提高系统 的入侵检测能力。 2 。3 常用入侵检测技术 2 3 1 统计方法 基于统计的i d s 是利用统计模型、概率模型和随机过程等来识别入侵行为 的，也称为s b i d s ( s t a t i s t i c a l - b a s e di n t r u s i o nd e t e c t i o ns y s t e m s l 。s b i d s 利用分 析审计数据，比较与典型轮廓或预测轮廓的偏离程度来发现违反安全规则的行 为。s b i d s 最大的优点是可以在没有系统缺陷和攻击手段的先验知识的情况下， 检测出攻击行为。s b i d s 典型情况下被应用于基于统计异常检测中。统计检测 算法在1 9 8 8 年前就出现了。几个原形系统被开发出来，包括h a y s t a c k 、i d e s 和m i d a 。 s b i d s 的不足之处是正常行为轮廓必须经常更新，而且对统计模型的阈值 的确定一般比较困难。 2 3 2 专家系统 专家系统用于入侵检测，首先要对己知入侵特征进行抽取与表达，并建立 一个完备的专家库系统，然后利用专家库来对当前的行为进行判断。n i d e s 就 是一个具有专家系统模块的i d s 。基于专家系统的i d s 的缺点是要建立一个完 备的专家库很困难，而且只能由专家才能完成正确的入侵特征抽取与表达。另 外，基于专家系统的i d s 一般只能对已知入侵方法有效。 2 3 3 神经网络。” 用于入侵检测的神经网络，首先搜集一定量的入侵信号数据集来训练固定 结构的神经网络，然后对入侵信号序列进行预测。神经网络在经过一定数量的 1 0 已知信号序列训练后，能够预报出下一时刻的信号。神经网络的结构是决定神 经网络的非线性映射( 包括动态与静态) 的关键，如果应用具有自动结构调整的 神经网络进行入侵检测，将会极大提高入侵检测的效率及准确性。但神经网络 的连接权系数难以确定，其输出准确性往往依赖于己知入侵信号集合的大小。 2 3 4 状态转移分析 状态转移分析法是将入侵方法转化成一系列从初始化的安全状态到危险 状态的模型。用状态转移图来代表入侵行为，而每一个状态代表入侵过程中必 须完成的关键事件。状态转移分析检测入侵的关键是要建立精确的状态转移模 型和正确识别关键事件。 2 3 5 计算机免疫系统 生物免疫系统的自我保护机制对设计入侵检溅系统具有很好的借鉴意义。 通过抽取生物免疫系统中所蕴涵的各种信息处理机制，将系统的行为分为正常 和异常行为，分别对应为系统的自我与非自我。系统中蕴涵的生物免疫机制主 要有非自我识别机制和免疫进行机制等。生物免疫的自我保护机制在入侵检测 系统方面具有很好的应用前景。 2 3 6a g e n t 为了i d s 能在分布式环境中更好地工作，解决传统i d s 在分布环境中的可 配置性、可扩展性、可协调性和高效率等问题，a g e n t 技术在i d s 中成为一个 研究的热点。其主要思想是利用相对独立的自治的实体a g e n t 来完成审计数据 收集或数据分析工作以及i d s 在分布式环境中的协同工作，消除不同系统的差 别因素等。 2 3 7 数据挖掘 用数据挖掘技术处理收集到的审计数据，为各种入侵行为和正常行为建立 精确的行为模式，将数据挖掘应用在入侵检测中，其算法主要有关联规则、序 列模式、分类分析和聚类分析等。 2 4 入侵检测技术发展趋势 入侵检测技术在不断地发展更新，近年来入侵检测技术沿着以下几个方向 发展“1 ( 1 ) 分布式入侵检测与入侵检测架构 传统的i d s 一般局限于单一的主机或网络架构，对异构系统及大规模的网 络的检测明显不足。同时，不同的i d s 系统之间不能协调工作，为了解决这一 问题，需要分布式入侵检测技术与通用入侵检测架构( c i d f ：c o m m o n i n t r u s i o n d e t e c t i o nf r a m e w o r k ) ，c i d f 是由d a r p a ( 国防高级研究项目部) 在1 9 9 7 提出 的通用入侵检测框架，它计划实现几个目标：第一目标是为了实现入侵检测和网 络管理来共享组成入侵检测系统的事件，分析数据库和回应组件：第二个目标 是实现入侵检测和网络管理公平共享审计记录，报告信息，和入侵模式信息等； 第三就是要实现协作性标准和a p i 集来统一实现和管理i d s ；最后就是设计开 放入侵检测框架标准，独立于实现语言，操作语言，和网络协议。目前，c i d f 仍然在研究中。 r 2 ) 智能化入侵检测 所谓智能化方法，现阶段常用的神经网络、遗传算法、模糊技术、免疫原 理等方法，这些方法常用于入侵特征辨别与泛化。但这些工作还远远不足，还 需进一步的工作来提高其自学习与自适应能力。 ( 3 ) 与其他网络安全技术相结合 结合防火墙、v p n 、p k i n 、安全电子交易s e t 等新的网络安全与电子商 务技术，提供完整的网络安全保障。 2 5 小结 入侵检测是防火墙之后的第二道信息安全的闸门，是保护信息系统安全的 重要途径，对计算机、网络的安全有着重要的意义。本章首先介绍了入侵检测 的起源，并从不同角度对入侵检测进行了分类，接着简述了入侵检测的模型发 展，然后详细介绍了目前入侵检测系统常用的检测技术，最后介绍了入侵检测 的发展趋势。 第三章模式匹配算法的研究 模式匹配方法将存放在i d s 规则库中的入侵规则( 模式、与系统正在检测的 网络数据包的有效载荷进行匹配，这些数据可能是文本也可能是二进制数据， 但本质上都是入侵的有效特征值，如果成功匹配这些数据，就可以断定发生了 入侵行为”“。目前实用的网络入侵检测系统中的关键是模式匹配运算因此提 高模式匹配算法的效率是提高系统检测能力的关键所在。本章主要研究模式匹 配算法，分析了经典的b m 算法、a c 算法和a