（计算机应用技术专业论文）分布式入侵检测系统通信机制的研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 在网络技术越来越普及的今天，入侵检测系统作为一种新型的网络安全工具，已经得 到了广泛的研究和应用。入侵检测系统可以弥补传统网络安全手段如防火墙等的一些不足 之处，因而能够提供更好的网络安全保证。传统上来说，入侵检测系统主要分为基于主机 的入侵检测系统和基于网络的入侵检测系统两大类型。然而随着网络规模的不断扩大和网 络速度的不断提高，原本基于单一系统的入侵检测系统已经表现出越来越多的弱点，因此 分布式入侵检测系统逐渐成为当前网络安全研究领域的热点问题。在分布式入侵检测系统 中，各个部件之间或者不同的入侵检测系统之间的通信保障是一个十分重要的问题，建立 一个安全可靠且有效率的通信体系是分布式入侵检测系统成功部署的关键。本文的主要工 作就是对分布式入侵检测系统的通信架构部分进行了研究，提出了一种三层的通信架构， 并对安全通信协议及报文传输进行了研究和改进。 在通信架构设计中，本文将整个通信系统分为了代理层、聚合层和关联层，将不同的 任务分配到相应的层次中完成，带来了结构清晰以及稳定的优点。在实际网络传输中，研 究了相应的行业标准i d m e f ，发现了其基于x m l 语言描述的不足之处，进而设计了改进 算法对其编码进行了压缩。另外在对报文之间存在的冗余进行研究之后，设计了算法对其 进行改进。在聚合层上，本文设计了聚合算法，对相同性质的告警进行了聚合处理。在理 论研究的基础上，我们模拟了现实中的攻击场景，设计了仿真实验，取得了良好的效果， 验证了本文所设计的架构及一系列改进算法在提高分布式入侵检测网络通信效率方面的 有效性。 关键词：网络安全：分布式入侵检测；通信机制：入侵检测数据交换标准；报警聚合 南京邮电大学硕士研究生学位论文a b s t r a c t a bs t r a c t w i t ht h er a p i dp o p u l a r i t yo fn e t w o r k i n gt e c h n o l o g y , t h ei n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) ， w h i c hi san e wt o o lf o rn e t w o r ks e c u r i t y , i sb e i n gw i d e l yr e s e a r c h e da n da p p l i e d t h ei d si s c a p a b l eo fp r o v i d i n gam o r es e c u r i t ye n v i r o n m e n tf o ri t sa b i l i t yt om a k eu ps o m eo ft h e d e f i c i e n c i e so ft h ec o n v e n t i o n a ln e t w o r k i n gs e c u r i t ym e c h a n i s m ss u c ha st h ef i r e w a l l t r a d i t i o n a l l y , t h ei d sc o u l db ed i v i d e di n t ot w oc a t e g o r i e s ，t h eh o s t - b a s e di d sa n dt h e n e t w o r k - b a s e di d s h o w e v e r , w i t hb o t ht h es c a l ea n dt h es p e e do ft h en e t w o r kd e v e l o p i n gi na v e r yf a s tp a c e ，t h ei d sb a s e do ns i n g l es y s t e mi sb e c o m i n gm o r ea n dm o r ev u l n e r a b l e ，s ot h e r e s e a r c ho ft h ed i s t r i b u t e di d si sg e t t i n gp o p u l a ri nt h en e t w o r ks e c u r i t yf i e l d i nt h ed i s t r i b u t e d i d s ，t h ec o m m u n i c a t i o nb e t w e e nd i f f e r e n tp a r t so rd i f f e r e n ti d s e si sav e r yi m p o r t a n ti s s u e ，a r e l i a b l e ，s e c u r ea n de f f i c i e n tc o m m u n i c a t i o na r c h i t e c t u r ei sv i t a lt ot h ed e p l o y m e n to ft h e d i s t r i b u t e d1 d s i nt h i st h e s i s ，w em a i n l ya n a l y z et h ec o m m u n i c a t i o na r c h i t e c t u r eo ft h e d i s t r i b u t e di d s ，p r o p o s eat h r e e - l a y e ra r c h i t e c t u r ea n di m p r o v et h em e s s a g ee x c h a n g ef o r m a t i nt h ed e s i g no ft h ec o m m u n i c a t i o na r c h i t e c t u r e ，t h ew h o l ea r c h i t e c t u r ei sd i v i d e di n t o t h r e ed i f f e r e n tl a y e r s ，w h i c ha r et h ep r o x yl a y e r , t h ea g g r e g a t i o nl a y e ra n dt h ec o r r e l a t i o nl a y e r d i f f e r e n tj o b sa r ea s s i g n e dt oc o r r e s p o n d i n gl a y e r s ，t h i sm a k e st h ew h o l ea r c h i t e c t u r ec l a r i t ya n d s t a b i l i z a t i o n i nt h ed a t at r a n s m i s s i o n , t h ei n t r u s i o nd e t e c t i o nm e s s a g ee x c h a n g ef o r m a t ( i d m e f ) ，w h i c hi sa ni e t fs t a n d a r d ，i sa n a l y z e d b e c a u s eo fi t sx m li m p l e m e n t a t i o n ，s o m eo f i t sd e f i c i e n c i e sa r es h o w n a na l g o r i t h mi sp r o p o s e dt oc o m p r e s si t se n c o d i n g t h e r ea r ea l s o g r e a tr e d u n d a n c i e sa m o n gi n d i v i d u a lp a c k e t s ，s oa n o t h e ra l g o r i t h mi sp r o p o s e dt om a k ea n i m p r o v e m e n t ，i nt h ea g g r e g a t i o nl a y e r , a l la l e r ta g g r e g a t i o na l g o r i t h mi sp r o p o s e dt oa g g r e g a t e t h ea l e r t so ft h es a m en a t u r e b a s e do nt h et h e o r e t i c a lr e s e a r c h ，e m u l a t i o ni sd o n et os i m u l a t e s o m ep r a c t i c a la t t a c ks c e n a r i o s t h er e s u l t ss h o wt h a tt h ea r c h i t e c t u r ea n dt h ea l g o r i t h m sw e p r o p o s e dc o u l dg r e a t l yi m p r o v et h ee f f e c t i v e n e s so f t h ew h o l en e t w o r kc o m m u n i c a t i o n k e y w o r d s ：n e t w o r ks e c u r i t y ；d i s t r i b u t e di d s ；c o m m u n i c a t i o nm e c h a n i s m ；i d m e f ； a l e r t a g g r e g a t i o n i i 南京邮电大学硕士研究生学位论文缩略词 缩略词 b e e p c i d f c i s l d o s d i d s d o m g i d o i d x p i c m p i d m e f i d e s i d w g n 1 d e s s a x t l s ) 【i l 缩略词 英文全称译文 b l o c k se x t e n s i b l ee x c h a n g ep r o t o c o l块可扩展交换协议 c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k公共入侵检测框架 c o m m o ni n t r u s i o ns p e c i f i c a t i o nl a n g u a g e通用入侵规范语言 d e n i a lo fs e r v i c e拒绝服务 d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m分布式入侵检测系统 d o c u m e n to b j e c tm o d e l文档对象模型 g e n e r a li n t r u s i o nd e t e c t i o no b j e c t统一入侵检测对象 t h ei n t r u s i o nd e t e c t i o ne x c h a n g ep r o t o c o l入侵检测交换协议 i n t e r n e tc o n t r o lm e s s a g ep r o t o c o l网际控制信息协议 i n t r u s i o nd e t e c t i o nm e s s a g ee x c h a n g ef o r m a t入侵检测信息交换 格式 i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m入侵检测专家系统 i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p 入侵检测工作组 n e x t - g e n e r a t i o ni n t r u s i o nd e t e c t i o n e x p e r ts y s t e m s i m p l ea p if o rx m l t r a n s p o r tl a y e rs e c u r i t y e x t e n s i b l em a r k u pl a n g u a g e 下一代入侵检测专家 系统 x m l 简单编程接口 传输层安全 可扩展标记语言 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：磕日期：2 7 午r l 研究生签名：隧i 型日期：三二z ：竺 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：3 茧主。一一导师签名：衅日期：三掣 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 课题背景 第一章绪论 本课题来源于江苏省高校自然科学研究计划项目一一基于智能技术的分布式入侵检 测关键技术研究。该项目主要分为四大部分：分别为“误用检测关键技术的研究，“异常 检测关键技术的研究 ，“数据挖掘在入侵检测中应用的研究及“分布式入侵检测系统架 构及通信的研究 。本论文的研究课题主要基于第四部分：“分布式入侵检测系统架构及通 信的研究”。 随着网络技术的迅猛发展，网络已经在人类社会的方方面面发挥着越来越大的作用， 然而，与此相伴，各种层出不穷的网络攻击手段也随之而来。可以说，网络发挥的作用越 大，各种攻击造成的损失也就越发的惨重。更为严重和具有讽刺意味的是，伴随着网络的 日益普及，原本颇为神秘的各种攻击手段变得随手可得，而且使用方法相当简单，毫不夸 张的说，任何一个对电脑有所了解的人，只要经过简单的学习，就可能掌握具有相当破坏 性的攻击手段，给网络造成严重的破坏。因此，各种传统的从防御角度构造的安全防护手 段，如防火墙等，已经越来越不能满足当今网络对更高安全性的要求。入侵检测技术是新 一代的安全保障技术，其对计算机和网络资源上的恶意使用行为进行识别和响应。它不仅 检测来自外部的入侵行为，同时也监督内部用户的未授权活动。入侵检测系统主要分为基 于主机的入侵检测系统和基于网络的入侵检测系统两大类型。本文讨论的主要是基于网络 的入侵检测系统。随着网络规模的不断扩大和网络速度的不断提高，原本单一的基于网络 的入侵检测系统已经表现出越来越多的弱点，如检测速度无法跟上网络速度，检测分析方 法单一，不同的入侵检测系统之间不能互操作，不能和其他网络安全产品互操作等等。在 这种情况下，分布式入侵检测系统成为了当前业界的研究焦点。本文主要对分布式入侵检 测系统的通信架构部分进行了研究，提出了一种三层的通信架构，并对安全通信协议及报 文传输进行了研究和改进。 南京邮电大学硕士研究生学位论文第一章绪论 1 2 本文工作 ( 1 ) 对分布式入侵检测系统的基本概念、发展以及研究方向进行了探讨，明确了基本 的研究的方向。 ( 2 ) 对分布式入侵检测系统各个部件之间的安全通信进行了研究，安全通信关系着入 侵检测系统自身安全性的保证，安全的通信必须满足秘密性、完整性、认证性三方面基本 的要求。本文研究了i d x p 安全通信协议，重点实现保证安全通信的t l sp r o f i l e 。同时研 究了相对应的i d m e f 报文传输结构，并根据其采用x m l 描述所带来的不足之处，对报文 传输结构进行了改进，提高了传输的效率。 ( 3 ) 对入侵检测中告警的聚合进行了研究，告警的聚合是当前入侵检测研究领域的一 个热点问题，聚合算法的好坏直接影响着通信的效率，本文利用i d m e f 本身的特性，设 计实现了一个聚合算法。同时，考虑到对告警的关联也是入侵检测的发展方向，本文将通 信架构分成了包含代理层、聚合层和关联层的三层通信架构，以满足分布式入侵检测系统 之间的通信需求。 1 3 论文组织架构 本文共分为六个部分： 第一章：主要介绍课题背景和本人承担工作： 第二章：入侵检测概述，主要介绍入侵检测系统的历史、发展等概念； 第三章：分布式入侵检测系统概述，主要讨论传统入侵检测系统的不足之处，以及分 布式入侵检测系统协同工作的优势，架构、以及国际上对入侵检测系统协同的标准化工作； 第四章：分布式入侵检测系统通信系统的设计，这部分主要分三个部分，第一部分提 出了通信部分的整体架构，即由代理层、聚合层、关联层所组成的三层架构，讨论这样设 计的必要性，优点。第二部分介绍通信所采用的i d x p 协议以及所选择的i d m e f 报文结构， 提出了报文传输时的改进优化算法。第三部分研究了告警的聚合和关联，介绍了告警关联 的相关概念，提出了一种聚合算法； 第五章：系统实现部分，完成了在实际环境中对上述通信系统的实现，解决了编程中 的一些技术问题，最后在现有的网络环境中，对系统进行了实际的性能测试，并根据得到 的数据结果，进行了分析并给出了结论； 第六章：总结与展望。 2 南京邮电大学硕士研究生学位论文第二章网络安全与入侵检测概述 第二章网络安全与入侵检测概述 2 1 网络安全现状 从2 0 世纪9 0 年代末期开始，随着因特网的成熟和广泛应用，人类社会引发了一场全 球范围内的信息革命，计算机网络在经济和生活等领域迅速普及，整个社会对网络的依赖 程度越来越大。众多的企业、组织、政府部门与机构都在组建和发展自己的网络，并连接 到i n t e m e t 上，以充分共享、利用网络的信息和资源。网络已经成为推动社会进步和经济 发展的强大动力，其地位越来越重要。然而，任何事物都有其两面性，随着网络技术的飞 速发展，其安全性问题也日益突出。在人们享受网络所带来的前所未有的便捷的时候，各 种各样的病毒及网络攻击已经给人类社会带来了巨大的损失。随着1 9 8 8 年1 1 月2 日由 r o b e r tm o r r i sj r 编写的第一只基于b s du n i x 的“i n t e m e tw o r m 蠕虫出现到2 0 0 1 年8 月5 日的红色代码“c o d er e d ”蠕虫发作，到2 0 0 3 年8 月1 2 号的冲击波“b l a s t e r 蠕虫 的大规模爆发，再到2 0 0 7 年初“熊猫烧香 病毒在中国大陆地区的肆虐，互联网本身的 安全威胁正逐渐逼近每一个普通用户。据2 0 0 7 年1 月3 1 号由北京瑞星科技股份有限公司 发布的2 0 0 6 年度中国大陆地区电脑病毒疫情& 互联网安全报告【l 】统计，2 0 0 6 年被截获 的新病毒共有2 3 4 2 1 1 个，其中9 0 以上带有明显的利益特征，有窃取个人资料、各种账 号密码等行为。如图2 1 所示，和2 0 0 4 年和2 0 0 5 年的相关统计报告相比，2 0 0 6 年新截获 的病毒数量有了爆炸性的增长。 图2 1 2 0 0 4 至2 0 0 6 年新病毒数量对比图 3 南京邮电大学硕士研究生学位论文 第二章网络安全与入侵检测概述 由上图可以清楚的看出，近年来病毒产生的速率越来越快，且速率还在上升。其中多 次重大的网络病毒爆发都造成了巨大的经济损失。然而，病毒攻击仅仅是所有网络攻击中 的种而已，具体来说，网络攻击可以分为探测类、漏洞类、控制类、欺骗类、阻塞类和 病毒类六种攻击。表2 1 显示了由中华人民共和国公安部公共信息网络安全监察局提供的 网络用户所受网络攻击类型比例。 表2 1 网络用户所受网络攻击类型统计表 从上表可以看出，目前，各种网络攻击手段已成泛滥之势，给网络用户造成了巨大的 威胁与损失。因此，对各种网络攻击手段有必要进行一定的研究，下一节简要介绍了各种 网络攻击手段。 2 2 网络攻击手段简介 按照最终实施攻击的手段可将网络入侵技术分为获取技术和破坏技术两大类。具体 来说，还可分为探测类、漏洞类、控制类、欺骗类、阻塞类和病毒类六种攻击。 探测类攻击 探测类攻击主要有嗅探器和扫描器。 嗅探器使网络接i e i 处于广播状态，从网络上截获传输的内容，其中可能包括网络上传 4 雨京邮电大学硕士研究生学位论文第二章网络安全与入侵检测概述 输的秘密信息、用户注册的i d 及口令等。 扫描器是一种重要的信息获取工具，根据其扫描的范围可分为网络扫描器( n e t w o r k s c a n n e r ) 和系统扫描器( s y s t e ms c a n n e r ) 。网络扫描器能自动检测任意规模的网络，发现 其安全弱点，分析易损性条件，提供一系列纠正措施、趋势分析、配置数据等，网络扫描 器在网络级通过对网络设备进行扫描来完成任务。系统扫描器与网络扫描器不同，它在系 统级对系统进行扫描以发现其易损性，并提供详细的扫描结果。一般而言，网络扫描器主 要用于获取对方网络的配置信息和设备信息，辅助对其实施攻击，而系统扫描器主要用作 防御工具。 漏洞类攻击 漏洞类攻击通常是利用操作系统、网络协议本身的一些漏洞，绕过常规的防护对系统 发起攻击。最典型的漏洞型攻击是缓冲区溢出攻击。它通过往程序的缓冲区写超出其长度 的内容，造成缓冲区的溢出，从而破坏程序的堆栈，使程序转而执行其它指令，以达到攻 击的目的。造成缓冲区溢出的原因是程序中没有仔细检查用户输入的参数。 控制类攻击 控制类攻击又可分为口令攻击和特洛伊木马。 在线的口令攻击主要是尝试不同的口令登陆：而离线口令攻击的主要过程在本地完 成，比如构造密码字典，再取出截取到的信息通过密码分析技术，找到加密算法的种类， 再对其它信息进行比较解密。 特洛伊木马 t r o j a nh o r s e ) 是一个“伪装友善的、恶意攻击安全系统的程序 ，在运 行这些程序时隐藏于其中的代码会发起攻击，如窃取账户和口令，修改磁盘上的文件，用 受害计算机对其它系统实施进一步的攻击等。特洛伊木马与病毒类似，都是一旦受到“感 染 ，攻击效果非常明显，而且可以在宿主计算机毫不知觉的情况下传播给其它计算机。 主要通过三个步骤完成：植入木马，执行指令进行交互，穿越防火墙反弹木马。 欺骗类攻击 欺骗技术是通过冒充通话的一方，向另一方套取一些机密信息，典型的有w e b 欺骗、 d n a 欺骗、e m a i l 欺骗和i p 欺骗。 欺骗手段都是大同小异，以w e b 欺骗为例，其过程是： ( 1 ) 使受害者得到假的w e b 地址； ( 2 ) 获取受害者w e b 数据流量并分析； ( 3 ) 转发数据包到真实的w e b 地址； ( 4 ) 接受返回正常的w e b 数据流量。 丐 南京邮电大学硕士研究生学位论文第二章网络安全与入侵检测概述 阻塞类攻击 阻塞类攻击是强行占用系统资源，使之瘫痪。用户对计算机系统安全的最低要求就是 “可用性 ，软硬件必须能够协调地工作并提供一定的服务。拒绝服务攻击正是破坏系统 的可用性，有意阻塞、降级计算机或网络资源的服务，达到攻击目的。这种攻击方式并不 一定是直接、永久地破坏数据本身，而是破坏资源的可用性。典型代表s m u r f 攻击，就是 不断构造i c m p 请求，消耗网络资源。 另外还有一类不完全阻塞类攻击干扰技术。它可以使得传输的信号变形、失真， 甚至制造假信号来干扰对方通信系统的正常工作。目前有很多技术针对无线传输的特点对 信号发起攻击，例如一种叫做i n f r a s i , r u c t u mi n t e r f e r e n c e 的技术就是向卫星或者微波系统发 送错误的信号从而达到干扰的目的。 病毒类攻击 病毒和蠕虫在原理上可以说是同一类技术，都是可以自我复制的恶意代码，其特性是 自我复制与自我传播。但是在实际使用上它们采用的技术和需要的宿主环境并不完全相 同。随着个人计算机和多任务工作站的发展，计算环境的差别在不断缩小，病毒和蠕虫技 术也在相辅相成，共同发展。典型代表是红色代码和震荡波。 2 3 入侵检测技术概述 随着越来越多的系统本身漏洞以及应用系统的漏洞被发现，以及攻击者的入侵方式更 加隐蔽，新的攻击方式层出不穷，单纯的依靠传统的网络安全手段已经无法完全防御不断 变化的入侵攻击的发生。防火墙技术是发展时间最长，也是当今防止网络入侵行为的最主 要手段，主要有包过滤型防火墙和代理网关型防火墙两类。其主要思想是在内外部网络之 间建立起一定的隔离，控制外部对受保护网络的访问，它通过控制穿越防火墙的数据流来 屏蔽内部网络的敏感信息以及阻挡来自外部的威胁。虽然防火墙技术是当今公认发展最为 成熟的一种技术，但是由于防火墙技术自身存在的一些缺陷，使其越来越难以完全满足当 前网络安全防护的要求。而入侵检测系统具有实时检测、报警和动态响应等功能，已经受 到了广泛的重视，在网络安全市场领域起到了越来越重要的作用。 2 3 1 入侵检测技术的定义 入侵检测( i n t r u s i o nd e t e c t i o n ) 是对入侵行为的发觉。它通过对计算机网络或计算机系统 中的若干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的 6 南京邮电大学硕士研究生学位论文第二章网络安全与入侵检测概述 行为和被攻击的迹象。入侵检测的软件与硬件的组合便是人侵检测系统( i n t r u s i o nd e t e c t i o n s y s t e m ，i d s ) 。与其他安全产品不同的是，入侵检测系统需要更多的智能，它必须可以将 得到的数据进行分析，并得出有用的结果。入侵检测系统是对传统安全产品的合理补充， 它帮助系统对付网络攻击，扩展了系统管理员的安全管理能力( 包括安全审计、监视、进攻 识别和响应) ，提高了信息安全基础结构的完整性。对一个成功的入侵检测系统来讲，它不 但可使系统管理员时刻了解网络系统( 包括程序、文件和硬件设备等) 的任何变更，还能 给网络安全策略的制订提供指南。更为重要的一点是，它应该管理、配置简单，从而使非 专业人员非常容易地获得网络安全。而且，入侵检测的规模还应根据网络威胁、系统构造 和安全需求的改变而改变。入侵检测系统在发现入侵后，会及时做出响应，包括切断网络 连接、记录事件和报警等。 2 3 2 入侵检测系统的历史 1 9 8 0 年4 月，j a m e sp a n d e r s o n 为美国空军做了一份题为 c o m p u t e rs e c u r i t yt h r e a t m o n i t o r i n ga n ds u r v e i l l a n c e ) ) ( 计算机安全威胁监控与监视) 2 1 的技术报告，第一次详细的 阐述了入侵检测的概念。他提出了一种对计算机系统风险和威胁的分类方法，并将威胁分 为外部渗透、内部渗透和不法行为三种，还提出了利用审计跟踪数据监视入侵活动的思想。 这份报告被公认为是入侵检测的开山之作。 从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s p i c s l ( s r i 公司计算机科 学实验室) 的p e t e rn e u m a n n 研究出了一个实时入侵检测系统模型，取名为i d e s ( 入侵检 测专家系统) 【3 】。该模型由六个部分组成：主体、对象、审计记录、轮廓特征、异常记录、 活动规则。它独立于特定的系统平台、应用环境、系统弱点以及入侵类型，为构建入侵检 测系统提供了一个通用的框架。 1 9 8 8 年，s p i c s l 的t e r e s al u n t 等人改进了d e n n i n g 的入侵检测模型，并开发了一个 i d e s l 4 1 。该系统包括了一个异常检测器和一个专家系统，分别用于统计异常模型的建立和 基于规则的特征分析检测。 1 9 9 0 年是入侵检测系统发展史上的具有里程碑意义的一年。这一年，加州大学戴维斯 分校的l t h e b e r l e i n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 5 1 。该系统第一次直接 把网络流作为审计数据来源，因而可以在无须将审计数据转换成统一格式的情况下监控异 种主机。自此，入侵检测系统发展史翻开了新的一页，两大阵营正式形成：基于网络的i d s 和基于主机的i d s 。 7 堕室墅皇奎兰堡主堕壅竺竺垡丝壅笙三童塑竺窒全量全堡丝型塑垄 1 9 8 8 年的莫里斯蠕虫事件发生之后，网络安全才真正引起了军方、学术界和企业的高 度重视。美国空军、国家安全局和能源部共同资助空军密码支持中心、劳伦斯利弗摩尔国 家实验室、加州大学戴维斯分校、h a n y s t a c k 实验室，开展对分布式入侵检测系统( d i d s ) 【6 】 的研究，将基于主机和基于网络的检测方法集成到一起。d i d s 犹如分布式入侵检测系统 历史上的一个里程碑似的产品，它的检测模型采用了分层结构，包括数据、事件、主体、 上下文、威胁、安全状态等六层。从2 0 世纪9 0 年代到现在，对入侵检测的研发工作已呈 现出百家争鸣的繁荣局面，并在智能化和分布式两个方向取得了长足的进展。 2 3 3 入侵检测技术的发展 入侵检测技术发展到现在大致经历了四个阶段： 第一代入侵检测技术是基于协议解码和模式匹配技术，它的主要缺点是高超的黑客采 用变形手法或者新技术可以轻易躲避检测，漏报率很高。 第二代入侵检测技术是基于模式匹配+ 简单协议分析+ 异常统计技术，实际上是在第一 代的基础上增加了部分对异常行为的分析，能够分析处理一部分协议，可以进行重组，缺 点是匹配效率较低，管理功能较弱。 第三代入侵检测技术是基于完全协议分析+ 模式匹配+ 异常统计技术，它的优点是误报 率、漏报率、滥报率较低，效率高，并在此基础上实现了多级分布式的检测管理，缺点是 可视化程度不够，防范及管理功能较弱，也就是说，高端的产品可能因功能、操作等方面 的不便而被束之高阁。 第四代入侵检测技术是基于安全管理+ 协议分析+ 模式匹配+ 异常统计，它的优点是入 侵管理和多项技术协同工作，建立全局的主动保障体系，以它为核心，可以构造一个积极 的动态防御体系。 入侵检测的发展过程是入侵与防御技术的抗衡过程，同时也是入侵检测自身不断超越 和完善的过程。 2 4 入侵检测系统的分类 一般来说，入侵检测系统可分为基于主机和基于网络的两大类型。 基于主机的入侵检测系统往往以系统日志、应用程序日志等作为数据源，当然也可以 通过其他手段( 如监督系统调用) 从所在的主机收集信息进行分析。主机型入侵检测系统 保护的一般是所在的系统。 堕室塑皇奎兰婴主婴窒生堂垡鲨塞釜三童旦丝窒全量全堡丝型塑垄 基于网络的入侵检测系统的数据源则是网络上的数据包。往往将一台主机的网卡设于 混杂模式( p r o m i s c u o u sm o d e ) ，监听本网段内所有的数据包并进行判断。一般网络型入侵 检测系统担负着保护整个网段的任务。 2 4 1 基于主机的入侵检测系统 基于主机的入侵检测系统的检测目标是主机系统和系统本地用户，原理是根据主机的 审计数据和系统日志发现可疑事件。它通常运行在被检测的主机或服务器上，实时检测主 机安全性，诸如对系统日志文件、审核日志文件、应用程序日志文件等的操作情况，检测 效果完全依赖于数据的准确性和对安全事件的定义。这种i d s 可以检测到网络协议栈的高 层数据，也可检测到被监视主机的本地活动。在客户端服务器通信模式下，客户端对服务 器上访问活动被服务器日志所记载。i d s 检测这些日志文件，将其与已知的用户正常行为 模式进行匹配。基于主机的i d s 又可细分为两种类型：基于应用和基于操作系统。 基于应用的i d s 在应用层搜集信息。这种方式可以更好的获取在系统上用户活动，但 也存在应用层的脆弱性会破坏监视和检测的弱点。 基于操作系统的i d s 搜集在特定系统上的活动信息，这些信息可以是操作系统产生的 审计踪迹，也包括系统日志、操作系统进程产生的日志以及那些在标准操作系统的审计和 日志中没有反映的系统对象和内容。这种方式可以监控对系统访问的主体和对象，并且可 以将可疑的活动映射到特定的用户d 上。同样，操作系统的脆弱性也会破坏i d s 监视与 入侵分析的完整性，同时基于操作系统的i d s 必须建立在特定的操作系统平台上，这就增 加了跨系统部署的开销。 基于主机的入侵检测系统具有检测效率高、分析代价小、分析速度快的特点，能够迅 速并准确地定位入侵者，并可以结合操作系统和应用程序的行为特征对入侵检测进行进一 步分析、相应。比如，一旦检测到有入侵活动，我们可以立即停止该用户的账号，中断用 户进程。基于主机的入侵检测系统尤其对独立的的服务器特别有效，其应用构造简单，易 于理解。也只有这种检测方式能检测出通过控制台的入侵活动。因此，目前基于主机的入 侵检测系统多为基于主机日志分析的入侵检测系统。 基于主机的入侵检测系统也有其不足之处：首先它在一定程度上依赖于系统的可靠 性，它要求系统本身应该具备基本的安全功能并具有合理的设置，然后才能提取入侵信息。 即使进行了正确的设置，对操作系统熟悉的攻击者仍然有可能在入侵行为完成后及时的将 系统日志删除，从而不被发觉。并且主机的日志能够提高的信息有限，某些入侵手段和途 9 南京邮电大学硕士研究生学位论文第二章网络安全与入侵检测概述 径不会在日志中有所反映，日志系统对网络层的入侵行为无能为力，例如利用网络协议栈 的漏洞进行的攻击，通过p i n g 命令发送大数据包，造成系统协议栈溢出，或者利用a r p 欺骗来伪装成其他主机进行通信等，这些手段都不会被高层的日志记录下来。另外，在数 据提取的实时性、充分性、可靠性方面基于主机日志的入侵检测系统都不如基于网络的入 侵检测系统。 2 4 2 基于网络的入侵检测系统 基于网络的入侵检测系统搜集来自网络层的信息。这些信息通常通过嗅包技术，使用 在混杂模式的网络接口来获得。图2 2 表示了基于网络的入侵检测系统的一般结构。 网络接口层 图2 2 基于网络的入侵检测系统的一股结构 理论上，网络监视可以获得所有的网络信息数据，它在没有特定的审计或日志机制的 情况下，也可以获得数据，只要时间允许，可以在庞大的数据堆中提取和分析需要的数据， 可以对一个子网进行检测，一个监视模块可以监视同一网段的多台主机的网络行为，可以 通过增加代理来监视网络，不会影响现存的数据源，不改变系统和网络的工作模式，也不 影响主机性能和网络性能，处于被动接收方式，很难被入侵者发现，隐蔽性好。可以从底 层开始分析，对基于协议攻击的入侵手段有较强的分析能力。 基于网络的入侵检测系统的主要问题是监视数据量过于庞大并且它不能结合操作系 统特征来对网络行为进行准确的判断；如果网络数据被加密，其就无法扫描协议或内容。 就像防盗系统一样，基于网络的i d s 系统通常放置于企业内部网与外部网的访问出口上， 能够监控从协议攻击到特定环境攻击的范围很广的网络攻击行为，对监控网络外部用户的 入侵和侦查行为非常理想。基于主机的i d s 则适用于那些以数据或应用服务器为中心的网 络系统，并对那些已取得系统访问权限的用户对系统的操作进行监控。 1 0 南京邮电大学硕士研究生学位论文 第二章网络安全与入侵检测概述 由于基于网络的入侵检测方式有较强的数据提取能力，因此目前很多入侵检测系统倾 向于采用基于网络的检测系统来实现。 事实上，目前许多的网络安全解决方案都同时采用了基于主机和基于网络的两种入侵 检测系统。因为这两种系统在很大程度上是互补的。实际上，许多客户在使用i d s 时都配 置了基于网络的入侵检测。在防火墙之外的检测器检测来自外部的i n t e m e t 的攻击。但是 d n s 、e m a i l 和w e b 服务器经常是被攻击的目标，而它们又必须与外部网络交互，不可能 对其进行全部屏蔽，所以应当在各个服务器上安装基于主机的入侵检测系统，其检测结果 也要向分析员控制台报告。因此，即便是小规模的网络结构也常常需要基于主机和基于网 络的两种入侵检测能力。 2 5 入侵检测技术分类 入侵检测系统进行数据分析有两种常用方法：误用检测、异常检测【刀。误用检测是将 收集到的数据与预先确定的特征知识库里的各种攻击模式进行比较，如果发现有攻击特 征，则判断有攻击。特征知识库是将已知的攻击方法和技术的特征提取出来，来建立的一 个知识库。 异常检测则是对收集到的数据进行统计分析。它首先假定所有的攻击行为与正常行为 不同，这样发现与正常行为有不同时，则判断存在攻击。这需要建立正常行为的标准，如 登录时错误次数为多少时视为正常。 2 5 1 误用检测 误用检测，也被称作基于特征的检测，它探查与具体特征相匹配的入侵行为。这些特 征是基于一组规则，它们与攻击者利用非法访问我们网络的典型模式和漏洞相匹配。技术 高超的网络工程师通过研究已知的攻击和漏洞，来为每种特征制定相应的规则。建立明确 定义的特征可以减少发出虚假警报的机会，同时还能保持较低的漏报率。一个配置得较好 的误用检测型入侵检测系统产生的虚假警报较少。如果误用检测型入侵检测系统总是产生 虚假警报，那么它的整体效能就会大大受损。误用检测有了很多优点，如：特征是基于己 知的入侵行为；被探测到的攻击有清晰的定义：系统容易理解；安装后立刻就能抗拒攻击 者。误用检测型入侵检测系统探测的是一组定义好了的攻击特征。当使用误用检测型入侵 检测系统时，我们可以确信这些定义过的入侵攻击能被探测出来。网络工程师们不断开发 新的规则来描述新型攻击的特征。而且，定义得较好的特征可以产生较少的虚假警报。在 1 1 南京邮电大学硕士研究生学位论文第二章网络安全与入侵检测概述 误用检测型入侵检测系统中，特征数据库中的每种攻击都有一个特征名和标识。用户可以 查看数据库中的所有特征，并确定入侵检测系统需要为之发警报的攻击类型。因为用户可 以了解特征数据库中的具体攻击类型，所以他们对其入侵检测系统保护网络的能力比较有 信心。当新的攻击类型出现时，用户也可以验证他们的入侵检测系统是否已被更新来探测 它们。最终，基于特征的入侵检测系统在安装之后立刻就能开始保护网络。与异常检测型 入侵检测系统不同，误用检测型入侵检测系统不需要经过初始的训练阶段。尽管误用检测 型入侵检测系统有很多优点，但它们也有一些缺点，最大的缺点包括下列这些：需要维持 状态信息；需要更新特征数据库；有些攻击能够绕过这种入侵检测系统( 漏报) ；无法检测 未知攻击。为了检测攻击，误用检测型入侵检测系统需要对数据信息进行分析，并将之与 数据库中特征进行比较。然而，这些信息有时候会跨越多个数据包。当一个特征牵涉到多 个数据包时，入侵检测系统就必须从它看到第一个数据包开始，为该特征维持相关的状态 信息，这些信息在事件视界中必须被维持。为了维持状态信息，误用检测型入侵检测系统 需要一定的存储空间。这些存储空间通常是在内存中，因为它的存储速度快。随着特征数 据库的增长，所需的存储空间也会相应增长。而且，攻击者还可能会通过用精心炮制的攻 击填满入侵检测系统的存储空间来攻击它。因为误用检测型入侵检测系统是将网络数据流 与其数据库中已知的攻击特征进行比较，所以攻击者有可能会找出办法来隐藏他们的攻 击。通过对攻击数据做一些小的改动，攻击者有时候能够让其攻击不被入侵检测系统发现， 从而导致入侵检测系统的漏报。特征定义的普适性决定了误用检测型入侵检测系统防止发 生漏报的成功程度。随着新的攻击类型的出现，误用检测型入侵检测系统所用的特征数据 库必须被不断更新。特征数据库的及时更新，对于基于特征的入侵检测系统的功效是至关 重要的。然而，保证特征数据库的不断更新在目前来说是比较困难的。 误用检测型入侵检测系统的最大的缺点是，它不能检测原先未公布的攻击。但这并不 表示基于特征的入侵检测系统不能探测任何新型攻击。当入侵检测系统的开发者在建立新 的特征时，他们会努力让这些特征尽可能的灵活一些，同时也要尽可能减少潜在的虚假警 报。通过使用这种技术，许多攻击特征能够探测一类攻击，即使它们只是基于某种特定漏 洞而建立起来的。 2 5 2 异常检测 异常检测有时候也被称作基于模型的检测，使用异常检测时，我们必须为系统中的每 个用户组建立模型。有些系统可能会自动为各个用户建立模型。不管是人工方式还是自动 1 2 南京邮电大学硕士研究生学位论文第二章网络安全与入侵检测概述 方式，模型中都应包含一个典型用户的习惯以及他们通常使用的服务等方面内容。模型对 一个正常的用户为完成其工作任务而经常执行的行为定义了一个基线，建立和更新这些模 型在部署一个基于异常检测的入侵检测系统中占据很大一部分工作比重，模型的质量与我 们的入侵检测系统检查网络攻击行为的成功程度直接相关。人们已经为构建这些模型试验 了多种技术，构建用户模型的最常见方法包括：统计抽样、基于规则的方法、神经网络等。 每个用户模型为系统中的一个用户组定义了正常的行为模式，一旦某个用户的行为与其所 属用户组的模型背离较远，入侵检测系统就会产生一次警报。 异常检测系统具有如下优点。首先，它们可以很容易地探测到许多内部攻击或账号窃 用。例如，如果属于某个办公室职员的特定账号开始尝试网络管理功能，这可能就会触发 一次警报。另外，攻击者一般很难确定什么样的行为会引起告警。在一个基于特征的入侵 检测系统中，攻击者可以在实验室环境测试哪些数据流会产生警报，通过使用这些信息， 可以制造特别的工具来越过基于特征的入侵检测系统。而在异常检测系统中，攻击者无法 知道所用的训练数据，因此，他就不能发现和探查出特别行为。 异常检测系统的最主要优点是警报不是基于特定