（计算机软件与理论专业论文）基于jxta的分布式入侵检测系统研究.pdf

哈尔滨理工大学工学硕士学位论文 基于j x t a 的分布式入侵检测系统研究 摘要 互联网的应用和广泛普及、计算机网络规模的扩大以及分布式计算的广 泛应用、海量存储和高带宽传输技术的兴起，传统的入侵检测系统早己无法 满足目前网络安全的需求。分布式入侵检测已经成为入侵检测乃至整个网络 安全领域的研究重点，它能进一步解决当前网络中存在的安全问题，为建设 高质量、高稳定性、高可靠性的安全网络提供了有力支撑。面对网络的不断 扩大和网络环境的日益复杂，分布式入侵检测系统将承担更加重要的网络分 析和检测任务，已成为当前的研究热点。 本文针对现有分布式入侵检测系统在分布式检测方面存在不足，提出了 基于j x t a 的分布式入侵检测系统模型，同时加强数据检测的能力和提高数 据的检测率，尤其是针对大规模的分布式网络攻击。本文主要是对分布式入 侵检测中出现的问题进行讨论，通过研究提高系统的通信安全性、各模块间 的数据交互、相互协作的便利。论文的研究内容主要有： ( 1 ) 提出了基于j x t a 的分布式入侵检测系统模型，借鉴j x t a 平台良 好的安全特性，对网络结构重新划分，将j x t a 中的对等组引入到入侵检测 中，并简单地阐述了各个功能模块结构，以提高整个系统的安全性。 ( 2 ) 总结了目前已有的分布式i d s 的特点，研究了基于j x t a 的分布式 入侵检测系统，从不同角度给出了系统在j x t a 平台上的系统结构，并且对 分布式入侵检测规则结构的优化和分析器的报警查询机制进行讨论，以提高 规则的匹配速度和报警的准确性。 ( 3 ) 研究了检测器和分析器，分别对两者的工作流程进行研究，并且实 现了在j x t a 平台上进行正常检测分析工作。 综上所述，本文针对分布式网络环境的特点利用j x t a 平台对分布式入 侵检测系统进行研究，经过测试，能够更好地完成分布式的网络检测任务， 有利于提高系统的检测效率。 关键词入侵检测：分布式：j x t a ；对等组 哈尔滨理工大学工学硕上学位论文 r e s e a r c ho nd i s t r i b u t e di n t r u s i o nd e t e c t i o n s y s t e m b a s e do nj x t a a b s t r a c t i n t e m e ta p p l i c a t i o n sa n ds c a l ee x p a n s i o no fc o m p u t e rn e t w o r k s ，d i s t r i b u t e d c o m p u t i n ge n v i r o n m e n t ，t h er i s eo f m a s ss t o r a g ea n dh i g h b a n d w i d t ht e c h n o l o g y , t h et r a d i t i o n a l i n t r u s i o nd e t e c t i o ns y s t e mc a n n o tm e e tt h ec u r r e n td e m a n df o rn e t - w o r ks e c u r i t y d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e mh a sb e c o m et h ef o c u si nt h e i n t r u s i o nd e t e c t i o na n de v e ni nt h ee n t i r en e t w o r ks e c u r i t y , i tc a l lr e s o l v et h ec u r - r e n tn e t w o r ks e c u r i t yi s s u e s ，f o rp r o v i d i n gaf a v o r a b l es u p p o r to fab u i l d i n gh i g h q u a l i t y , h i g hs t a b i l i t y , h i g hr e l i a b i l i t y , t h es a f e t y f o rt h ee x p a n d i n ga n dc o m p l e x o fn e t w o r k ，d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e mh a sb e c o m eah o ta c a d e m i cr e - s e a r c hn o w i nt h i sp a p e r , f o rt h ee x i s t i n gf l a w so fd i d si nd i s t r i b u t e dd e t e c t i o n ，d i d s m o d e lb a s e do nj x t ai sg i v e n , w h i l ee n h a n c i n gt h ed a t aa b i l i t ya n di m p r o v i n g t - - h ed a t ad e t e c t i o nr a t e e s p e e i a u yf o rl a r g e s c a l ed i s t r i b u t e dn e t w o r ka t t a c k s t h i s a r t i c l er e s e a r c ht h ee x i s t i n gp r o b l e m si nd i s t r i b u t e di n t r u s i o nd e t e c t i o n ，a n di m p - r o v es y s t e mo fc o m m u n i c a t i o ns e c u r i t y , s h a r ed a t ab e t w e e ne a c hm o d u l e s ，m u t u - a lc o o p e r a t i o nt h r o u g ht h er e s e a r c h t h em a i ns t u d yo ft h et h e s i sa r e - ( 1 ) t h ed i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e mb a s e do nj x t a i sg i v e n ，a n d d e s c r i b et h es t r u c t u r eo fe a c hf u n c t i o n a lm o d u l e , u s es a f e t yf e a t u r e so nj x t a p l a t f o r m ，r e c u tt h en e t w o r ks t r u c t u r e ，p u tt h ej x t ap e e rg r o u pi n t oi n t r u s i o n d e t e c t i o ni no r d e rt oi m p r o v et h es e c u r i t yo ft h ee n t i r es y s t e m ， ( 2 ) s u m m e du pt h ee x i s t i n gc h a r a c t e r i s t i c so ft h ed i s t r i b u t e di d s ，r e s e a r c h t h ed i s t r i b u t e di n t r u s i o ns y s t e mb a s e do nj x t a ，g i v et h es y s t e ms t r u c t u r eo nt h e j x t ap l a t f o r mf r o md i f f e r e n ta n g l e s ，a n a l y z et h ei n t r u s i o nd e t e c t i o nr u l e sa n d t h ea l a r mm e c h a n i s mo fa n a l y z e r , i no r d e rt oi m p r o v et h es p e e do fm a t c h i n gr u l e s a n dt h ea c c u r a c yo fa l a r m ( 3 ) d e t e c t o ra n da n a l y z e ri sr e s e a r c h e d ，a n ds t u d yw o r kf l o wb o t ho ft h e m a n di m p l e m e n tt h en o r m a lw o r ko nt h ej x t ap l a t f o r m 哈尔滨理工大学工学硕上学位论文 i ns u m m a r y , t h ep a p e ri ss t u d i e do fd i s t r i b u t e di n t r u s i o nt e c h n o l o g yo n j x t ap l a t f o r mt od i s t r i b u t e dn e t w o r ke n v i r o n m e n t i ti sa b l et ob e t t e rf u l f i l li t s m i s s i o ni nd i s t r i b u t e dn e t w o r ka n di m p r o v et h ee f f i c i e n c yo fd e t e c t i o ni n t r u s i o n s y s t e ma f t e rt e s t i n g k e y w o r d si n t r u s i o nd e t e c t i o n ，d i s t r i b u t e d ，j x t a , p e e rg r o u p ，1 1 1 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于j x t a 的分布式入侵检 测系统研究，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间独立 进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人 已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均已在 文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签名： 衫矽日期：，哆年 弓月珈日作者签名： 影印日期：哼年 弓月珈日 哈尔滨理工大学硕士学位论文使用授权书 基于j x t a 的分布式入侵检测系统研究系本人在哈尔滨理工大学攻读 硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨 理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解 哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部门 提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可以 采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。 本学位论文属于 保密口，在年解密后适用授权书。 不保密团。 ( 请在以上相应方框内打) 作者签名： 舀历 | 一引铷状 日期：砷年岁月如日 日期：砷年弓月加日 哈尔滨理工大学工学硕士学位论文 第1 章绪论 1 1论文研究的背景与意义 由于近年来计算机网络的迅速发展为全球范围内实现高效的资源共享和信 息、交换提供了方便，同时由于计算机网络的开放性和共享性，引起入侵事件 的飞速增长。相比以往出于对互联网本身的探索或检验自身的技能的目的，现 在频繁的入侵行为明显显示出其谋求经济、政治或军事等利益的目的。所以， 对日益猖撅的入侵行为的检测和防护己经成为各安全机构的一个迫切要求。 针对计算机网络的安全问题，现在国内外采用最多的一种p c 解决方案就 是的防火墙技术。但是无论从功能和性能还是易操作性上来看，单纯的防火墙 策略并不能充分满足的安全需要。这主要是由于防火墙大多采用过滤技术，需 要在数据包到达网络适配器之后和到达协议栈之前，对照规则表进行一系列的 扫描和过滤，因而不可避免的具有规则设定困难、可扩展性差和严重影响网络 效率等方面的缺陷。如果采用入侵检测技术的话，则能够有效地克服防火墙的 这些弱点。 现有的安全机制可通过访问控制，使受保护的计算机和网络不被非法攻击 和未经授权者使用。然而，如果这些访问措施被泄露或者被绕过，则一个滥用 权力者将可能获得未经授权的访问，从而导致被攻击系统遭受巨大损失。因 此，不能在所有情况下都依靠访问控制机制来防范入侵活动或来自内部的攻击 行为。几乎所有的安全系统对内部人员的滥用权利行为都是脆弱的，并且审计 记录痕迹几乎是检测授权用户的滥用行为的唯一手段。 入侵检测系统通过对计算机网络或计算机系统中的若干关键节点收集的信 息进行分析，从中发现网络或系统中是否有违反安全策略的行为和遭到攻击的 迹象，然后做出响应。 互联网的普及给网络管理人员带来了极大的挑战：随处可得的黑客工具和 系统漏洞信息使网络无时无刻不处于危险之中。一般地，一个典型的网络攻击 首先利用大量的端口扫描等手段来获取攻击对象的相关信息，这个过程必然产 生大量的异常网络流量，预示着即将到来的真正攻击，然而当前被广泛采用的 网络产品都具有一个普遍的弱点就是被动防御，即对这些重要的网络攻击先熟 视无睹，错过了最佳的防御时间。为了扭转这种不利的局面，变被动防御为积 哈尔滨理工大学工学硕士学位论文 极防御，就要求网管人员对网络的运行状态进行实时监控以便随时发现入侵征 兆并进行具体的分析，然后及时进行干预，从而起到防患于未然的效果。完成 这种功能的安全产品就是网络入侵检测系统( n e t w o r ki n t r u s i o nd e t e c t i o n s y s t e m s ，n i d s ) 【z 】o 传统入侵检测方法的缺陷：基于主机的入侵检测系统可以精确地判断出入 侵事件，其缺点是只能检测到本主机的入侵活动；基于网络的入侵检测系统只 能监视经过本网段的活动，网络不同的部分可能使用了不同的入侵检测系统， 但现在的入侵检测系统之间不能交换信息，难以检测到入侵活动；现在的很多 入侵检测系统是从原来的基于网络或基于主机的入侵检测系统不断改进得来 的，在体系结构等方面不能满足分布、开放等要求。 网络入侵检测的核心部分是数据分析的过程，它判断系统是否异常或遭到 攻击。以往的入侵检测系统都是基于中心式的数据处理机制，由于网络规模 小，通讯速度慢，因此可以做到信息的实时处理。随着网络系统日益复杂，网 络范围的拓宽且广泛采用了分布式的环境，海量存储和高带宽的传输技术，使 得集中式的i d s 越来越不能满足系统要求。分布式的攻击手段日益增多，现 有简单的基于主机或者基于网络的入侵检测手段对这些攻击方式的检测几乎无 能为力，因此有必要把检测分析过程也设计为分布式。因此，出现了分布式入 侵检测系统( d i d s ，d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) ，它将基于主机和基于 网络监视的方法集成在一起，成为i d s 系统的基本框架n 。此后，各个研究机 构和商业厂家也就开始了入侵检测系统的综合研究和开发。 当前绝大多数协同工作系统是基本集中式架构( c s 或b s ) 。一方面，这种 结构要求必须安装和维护相应的服务器并且预先配置好的协同系统架构，这往 往需要高昂的硬件和软件费用，很难适应实时的移动协同需要；另一方面，群 体协同本质上是个体与个体、个体与群体、群体与群体之间的交互，即很多行 为的完成并不都一定要通过协同服务器，集中式协同系统导致了架构本身和应 用需求之间的不匹配，协同对象之间没有自我组织和自我管理的能力，p 2 p 网 络以更自然和现实的方式来解决当前协同工作系统存在的问题。因此，研究 p 2 p 网络下协同的原理、机制及其可行性就显得很有必要。 1 2国内外研究现状 入侵检测就是通过对系统数据的分析，发现非授权的网络访问和攻击行 为。入侵检测的目标就是通过检查操作系统的审计数据或网络数据包信息来检 哈尔滨理工大学工学硕士学位论文 测系统中违背安全策略或危及系统安全的行为或活动，从而保护信息系统的资 源不受拒绝服务攻击、防止系统数据的泄漏、篡改和破坏“- 。 入侵检测是一种动态的监控、预防或抵御系统入侵行为的安全机制，主要 通过监控网络、系统的状态、行为以及系统的使用情况，来检测系统用户的越 权使用以及系统外部的入侵者利用系统的安全缺陷对系统进行入侵的企图。和 其它传统的预防性安全机制相比，入侵检测是种事后处理方案，具有智能监 控、实时探测，动态相应，易于配置等特点。 入侵检测的研究最早可追溯到1 9 8 0 年。1 9 8 0 年j a m e sp a n d e r s o n 在 一份报告中提出了入侵检测的概念，将入侵尝试或威胁定义为：潜在的有预谋 未经授权的访问信息、操作信息、致使系统不可靠或无法使用的企图，他还提 出审计追踪可应用于监视入侵活动砖，。 基于主机的i d s ，早期的系统原型有s k i 的i d e s 和n - i d e s 、h a y s t a c k 系 统、l o s a l a m o s 的n a d i r 、w i s d o m & s e n s e 系统等阳1 。其中，i d e s 系统是具备 划时代意义的原型系统，它实现了最初的理论基础，并启动了早期的入侵检测 系统研制热潮。基于网络的i d s ，早期的开山之作是u c d a v i s 研制的n s m 系 统，其基本架构仍然影响着现在的许多实际系统。 进入2 0 世纪9 0 年代后，出现了把基于主机和基于网络的入侵检测系统结 合起来的早期尝试，最早实现这种集成能力的原型系统是分布式入侵检测系统 d i d s ，它将n s m 组件和h a y s t a c k 组件集成到一起，并采用中央控制台来解决 关联处理和用户接口的问题，称此系统为“混合型”系统。自此以后，若干研 究系统沿着分布式架构的道路继续前进。最著名的明确体现分布式架构的早期 系统为s k i 的e m e r a l d 系统，它明确将分布式架构进行层次化的处理，并 实现了不同层次上的分析单元，同时提供了开放的a p i 接口，实现基本架构下 的组件互换功能。之后，u c d a v i s 设计了g r i d s 系统，这也是处理可扩展性问 题的一次有益尝试。g d d s 也是基于层次化的处理架构，各级网络和主机的活 动都以一种设计的图表形格式加以描述，然后采用基于规则的图表处理引擎加 以合并处理。规则引擎处理图表的合并、删除等操作，并能识别代表异常行为 的图表，发出警报信息。后来的p u r d u e 大学设计并原型实现的a a f i d 系统体 现了基于自治代理的分布式架构思想口。 从现有的实际商用系统看，大多数都是基于滥用入侵检测技术，不过在有 些优秀的入侵检测系统中，也采用了不同形式的异常入侵检测技术和对应的检 测模块。从最终需求看，联合采用两种技术势在必行。i d e s 系统、n a d i r 系 统等都是同时包括基于专家系统的滥用检测组件和基于统计分析的异常检测组 哈尔滨理工大学工学硕士学位论文 件。 n f r 公司的n i l ) 系统，基本上是一种基于规则检测的网络入侵检测系 统，同时具备一些异常入侵检测功能。i s s 公司的r e a l s e c u r e 系统于1 9 9 6 年开 发，目标是监控整个网段中的非法攻击模式；在1 9 9 8 年，r e a l s e c u r e 加入了 主机入侵检测功能，成为混合式入侵检测系统。n a i 公司的c y b e r c o pm o n i t o r 是混合型的入侵检测系统，通过单一控制台提供基于网络和主机的入侵检测功 能。它由两个主要组件组成：控制台和代理。 目前国外基于移动代理的i d s 研究已经有一定的成果。日本安全机构p a 提出的i d a 的最大特点是利用移动代理实现了入侵追踪，i d a 是一种层次结 构的多主机i d s ，由一个管理器、多个传感器、布告板和信息板追踪代理和信 息收集代理等组成嘲。i d a 自定义了一种可疑入侵者踪迹来检测入侵。 美国c o l u m b i a 大学提出的j a m 系统利用移动代理技术，每个代理运用数 据挖掘，如分类、关联和序列分析等，对知识和行为进行建模和推理。系统 设计包括两个核心组件：本地检测代理，主要用来在一个单一的团体信息系统 中学习检测入侵：后向学习系统，用来结合本地单个代理学习的知识，进一步 发掘有用信息。 美国l o w a 州立大学发展的m a i d s 先采用软件故障分析，对一个入侵建 模，再使用有色p e t r i 网将s f t 模型转换成入侵检测建模，再用移动代理技术 实现一个c p n ，包括一个从静态代理到移动代理转换过程n 们。m a i d s 可以对 一个即将入侵的检测建立精确的模型，对分布式入侵的检测有独到的能力。 从1 9 8 4 年到1 9 8 6 年，d o r o t h yd e n n i n g 和p e t e rn e u m a n n 研究 并开发了一个实时入侵检测系统模型入侵检测专家系统( i d e s ) 。他提出异常活 动和不正当使用之间的相关性1 。i d e s 模型基于特征轮廓，其中的数据结构 采用统计的度量和模型来描述系统主体相对于系统客体的行为。1 9 9 4 年 b i s w a n a t hm u k h e r j e e 等先后对i d s 的研究做了较为完整的回顾和分 析，对各种i d s 的系统原型进行了分析和评述n 2 1 。1 9 9 4 年m a r kc r o s b i e 和g e n es p a f f o r d 建议使用自治代理( a u t o n o m o u sa g e n t s ) 以便提高i d s 的可 伸缩性、可维护性、效率容错性，该理念非常符合正在进行的计算机科学其它 领域( 如软件代理，s o f t w a r ea g e n t ) 的研究。另一条致力于解决当代绝大多数入 侵检测系统伸缩性不足的途径于1 9 9 6 年提出，这就是g r i d s ( g r a p h b a s e d i n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和实现，该系统使得对大规模自动或协同攻 击的检测更为便利，这些攻击有时甚至可能跨过多个管理领域1 。 i d s 核心技术至今已经历三代：第一代技术是主机日志分析、模式匹配。 哈尔滨理工大学工学硕士学位论文 第二代技术突破包括网络数据包截获、主机网络数据和审计数据分析、基于网 络的i d s ( n i d s ) 和基于主机的i d s ( r i d s ) 的明确分工和合作。第三代技术出现 在2 0 0 0 年前后，代表性的突破有协议分析、行为异常分析。协议分析的出现 极大减小了计算量，减少了误报率。行为异常分析技术的出现使第三代i d s 系 统具有识别未知攻击的能力。 目前，国际顶尖的入侵检测系统主要以模式发现技术为主。1 9 9 1 年，加州 大学戴维斯分校的研究人员就提出了分布式入侵检测系统的概念，给出了一种 分布式入侵检测系统的体系结构n 钔。该体系结构将以往基于主机和基于网络的 入侵检测系统结合起来。哥伦比亚大学和北卡罗来那州立大学的研究人员在 2 0 0 0 年提出的基于数据挖掘的模型建立方法。该方法将各个传感器搜集到的数 据放入数据库，利用数据挖掘的方法提取出有效信息，自适应地建立检测模 型。我国东软开发的n e t t y ei d s 可以在理解网络协议的基础上，对网络数据进 行重组，并提供应用协议的内容恢复功能，对网络上发生的应用进行恢复和重 放，不但检测攻击事件，还重现攻击的过程。上海金诺公司的金诺网安入侵检 测系统，采用安全策略优化、事件合并、事件关联和多种检测技术相结合等方 法，来解决误报率问题。以基于数据包特征的检测技术为主体，充分结合协议 状态分析、流量异常检测等技术，在保证检测到已知最新攻击行为的前提下， 及时发现一些未知的非法入侵行为，从而确保检测的准确性和广泛性。另外， d s 也利用了t c p 流重组和i p 碎片重组等常见的技术，这些技术都可以有 效降低系统的误报率和漏报率。 d i d s ( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) 是由u cd a v i s 的s e c u r i t yl a b 完成的，它集成了基于主机和基于网络的检测方法的系统，h a y s t a c k 和 n s m 。前者针对多用户主机的检测任务而开发，数据源来自主机的系统日志。 n s m 则是由u cd a v i s 开发的网络安全监视器，通过对数据包、连接记录、应 用层会话的分析，结合入侵特征库和正常的网络流或会话记录的模式库，判断 当前的网络行为是否包含入侵或异常n 5 儿1 。 d i d s 虽然在结构上引入了分布式的数据采集和部分的数据分析，但其核 心分析功能仍然由单一的中心控制器来完成，因此并不是完全意义上的分布式 入侵检测。其入侵追踪功能的实现也要求追踪范围在系统的监控网络之内，显 然在i n t e m e t 范围内大规模地部署这样的检测系统是不现实的。基于a g e n t 的 i d s 由于其良好的灵活性和扩展性，是分布式入侵检测的一个重要研究方向。 国内外一些研究机构在这方面已经做了大量工作，其中p u r d u eu n i v e r s i t y 的入 侵检测自治代理( a a f i d ) 、s r i 的e m e r a l d 和移动a g e n t 最具代表性n 7 1 “8 1 。 哈尔滨理工大学工学硕士学位论文 g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 同样由u cd a v i s 提出并实现，该 系统实现了一种在大规模网络中使用图形化表示的方法来描述网络行为的途 径，其设计目标主要是针对大范围的网络攻击，例如扫描、协同攻击、网络蠕 虫等n 9 1 。 c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ) 可以说是最早体现分布式入 侵检测思想的系统模型，c i d f 提供了一种基础架构，使得入侵检测、分析及 响应组件之间能够共享信息啪1 。由于c i d f 在系统扩展性和规范性上的优势， 己经被许多研究人员所采用，作为构建分布式入侵检测系统的基本框架。 层次化协作模型( h i e r a r c h i c a lc o o p e r a t i o nm o d e l ，h c m ) 在每个分析器所 管辖的检测区域内，采用层次化模型，易于在管辖区域内对感应器实现方便的 管理，也有利于分析器对多个分布式感应器所上报的数据进行高层提炼，以更 好地发现入侵或异常行为拉1 1 。 t i m mb a s s 提出了数据融合( d a t af u s i o n ) 的概念，是将分布式入侵检测 任务理解为在层次化模型下对多个感应器的数据综合问题。在这个层次化模型 中，入侵检测的数据源经历了从数据( d a t a ) 到信息( i n f o r m a t i o n ) 再到知识 ( k n o w l e d g e ) - - - 个逻辑抽象层次乜钉。t i m mb a s s 认为，对于攻击来说，可以 从网络层次的角度进行分类，因此对于检测系统来说，也可以引入这种层次化 的概念，当然这种层次化并不一定要局限在网络层的角度。入侵检测数据融合 ( i od a t af u s i o n ) 的重点在于使用已知的入侵检测模板和模式识别，这与数据挖 掘不同，数据挖掘注重于发掘先前未发现的入侵中隐藏的模式，以帮助发现新 的检测模板。 针对m s 之间的互操作性，目前国际上相关组织也正在制定相应的标准， 其中最著名的是i e t f 的入侵检测工作组( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ， i d w g ) ，其工作主要集中在制定入侵检测交互协议( i n t r u s i o n d e t e c t i o n e x c h a n g ep r o t o c o l ，i d x p ) $ h 入侵检测消息交互格式( i n t r u s i o nd e t e c t i o nm e s s a g e e x c h a n g ef o r m a t ，i d m e f ) 乜3 圳。i d m e f 是为入侵检测系统之间进行事件通 知、信息共享而定义的标准数据格式，用于提高异质系统间的互操作性。 i d m e f 使用x m l 进行表述。i d x p 则是用于入侵检测实体间交换数据的应用 层协议，支持基于面向连接协议的交互式认证，用于保证数据的完整性和保密 性，可以用于i d m e f 消息、未格式化文本及二进制数据的交换。i d x p 和 i d m e f 目前均未形成正式的i 强c 2 文档，其最新版草案分别于2 0 0 2 年1 月和 2 0 0 1 年1 2 月发布。 国际上很早就开始了入侵容忍技术的研究，早在1 9 8 5 年，f r a g a 和 哈尔滨理工大学工学硕士学位论文 p o w e l l 就发表文章提到了入侵容忍的概念乜5 1 。目前，许多重要的国际研究机 构都在研究入侵容忍技术或生存技术。美国著名的学术会议a c mc c s2 0 0 3 专 门开出一个w o r k s h o p 讨论生存系统问题。入侵容忍( i n t r u s i o nt o l e r a n c e ) 的含 义：在攻击者到达系统，甚至控制部分子系统时，系统不能丧失其应该有的保 密性、完整性、真实性、可用性和不可否认性。 协同机制是分布式入侵检测系统( d i d s ，d i s t r i b u t e di n t r u s i o nd e t e c t i o n s y s t e m ) 的关键技术之一。在协同机制中，协同通信承担分布式入侵检测各个 功能模块之间警报消息交换与参数命令分配和传输的重要任务，也是实现协同 工作的前提。同时，随着网络安全技术的不断普及和发展，各种网络安全产品 也提供了各种不同的安全保障方式。不同的i d s 之间，i d s 和其它安全产品之 间必须具备协同通信与相互联动的能力，以实现相关信息的共享和协同防御。 为了解决分布式入侵检测的协同通信机制，提高i d s 产品、组件及与其他 安全产品之间的互操作性，美国国防高级研究计划署( d a r p a ) 、互联网工程任 务组( i e t f ) 的入侵检测工作组( i d w g ) 和欧洲教育科研网( t e r e n a ) 的互联网事 件分类与描述工作组( i t d w g ) 发起制订了一系列建议草案，从体系结构、 a p i 、通信机制、语言格式等方面规范i d s 的标准啪1 。 d a r p a 提出的建议是公共入侵检测框架( c i d f ) ，最早由加州大学戴维斯 分校安全实验室主持起草工作。 1 9 9 9 年6 月，i d w g 就入侵检测也出台了一系列草案。i d w g 提出了入侵 检测消息交换格式( i d m e f ) 、入侵检测交换协议( i d x p ) 以及隧道轮廓( t u n n e l p r o f i l e ) 的具体要求与建议草案，用于定义数据格式和交换规程，以及入侵检测 与响应( i d r ) 系统之间或与需要交互的管理系统之间的信息共享。 i t d w g 提出了互联网事件对象描述交换格式( i o d e f ) ，用于描述计算机安 全事件响应消息c s i r t ，主要是包括入侵普报、事件调查、统计归档与报告等 内容。 目前，上述几个组织提出的草案或建议正处于逐步完善之中，尚未被采纳 为国际标准。所以，开展分布式入侵检测的各个功能模块以及多个i d s 之间协 同通信机制的研究具有重大意义，可以有效地增强网络的整体安全，己成为当 前的研究热点。 哈尔滨理工大学工学硕士学位论文 1 3论文研究的内容与组织结构 1 3 1论文研究的内容 针对当前的分布式入侵检测系统发展趋势和存在的问题，本文是根据 c i d f 提出的入侵检测模型，分析了各组成部分的功能、以及各部分之间的相 互作用，设计并实现一个实时、高效、可扩展性的分布式入侵检测系统。 本文的研究、设计和实现工作主要包括以下几个方面： ( 1 ) 分析并阐述了现有的分布式入侵检测系统的模型，对分布式入侵检测 系统的分类、体系结构等进行了分析，总结了目前广泛使用的入侵检测技术， 提出了入侵检测技术可能的改进与发展。 ( 2 ) 较为深入研究和探讨j x t a 技术，深入理解j x t a 平台的安全特性， 使用j x t a 平台中的对等组对现有网络进行划分，将对等组引入到分布式入侵 检测系统之中，从几个角度给出了基于j x t a 平台的系统结构，并且对分布式 入侵检测规则结构的优化和分析器的报警查询机制进行简单地讨论，以提高规 则的匹配速度和报警的准确性。 ( 3 ) 根据上面的理论研究基础上提出了基于j x t a 的分布式入侵检测系统 的模型，研究了检测器和分析器，分别对两者的工作流程进行研究，并且实现 了在j x t a 平台上进行正常检测分析工作。 1 3 2论文的组织结构 本文的组织结构如下： 第一章绪论主要阐述课题的研究背景与意义，提出了本文对入侵检测技术 研究的内容，介绍了相关的国内外的研究现状，并进行了分析。 第二章首先介绍入侵检测技术的概念、原理、分类、入侵检测方法与技 术，接着总结了入侵检测存在的问题和发展趋势，最后简单地介绍了j x t a 相 关技术。 第三章首先对已有的分布式入侵检测系统进行分析，总结当前分布式入侵 检测系统的研究情况；接着分析将j x t a 平台中的对等组引入到入侵检测系统 中，从不同角度给出基于j x t a 平台下的系统结构：最后简单地分析入侵检测 规则结构的优化和分析器的报警查询机制。 第四章主要是完成对检测器、分析器的设计和实现，分别对两者的工作流 哈尔滨理工大学1 = 学硕士学位论文 程进行研究，实现在j x t a 平台上如何正常检测分析：并简单阐述了通信过程 中使用加密认证的安全措施以及消息的更新和同步。 第五章主要是完成对系统的测试和分析，结果表明它具有较高的检测率和 安全性，能够较出色地完成分布式检测任务。 最后，在结论中对本文的工作进行总结，并对进一步的研究工作进行了分 析和展望。 哈尔滨理工大学工学硕士学位论文 第2 章技术概述 面对日益加剧的网络安全威胁，传统的静态安全技术已不能满足越来越高 的安全需求，从而引发了入侵检测这一安全领域的新课题的诞生。入侵检测系 统作为一种迅速崛起并受到广泛承认的安全组件，有着很多方面的安全优势， 具有许多其他安全产品做不到的功能，这决定了它是系统安全策略中不可缺少 的一部分，必有很大的研究意义和发展前景。 入侵检测系统是防火墙的合理补充，为网络安全提供实时的入侵检测及采 取相应的防护手段，扩展了系统管理员的安全管理能力，提高了信息安全基础 结构的完整性，从而提供对内部攻击、外部攻击和误操作的实时保护。 2 1 入侵检测的概念及原理 入侵检测是指检测和识别针对计算机系统和网络系统，或者更广泛意义上 的信息系统的非法攻击，或者违反安全策略事件的过程。它从计算机系统或者 网络环境中采集数据，分析数据以及发现可疑的攻击行为或者异常事件，根据 不同的事件采取一定的相应措施拦截攻击行为，降低可能的损失。随着信息技 术的不断发展，各种针对信息系统的攻击手段层出不穷，入侵检测系统作为维 护信息系统安全的一种重要手段理应受到更多的重视。一个入侵检测系统包含 三个方面的组件：提供事件记录流的信息资源：发现入侵事件的分析引擎；对 分析引擎的输出做出反映的响应组件啪1 。 通常提到的入侵检测是指探测入侵的分析引擎。操作系统或者其它专门的 商业软件提供事件记录设备，通常的反映是给管理员一个警告。下面对入侵检 测相关概念作以下介绍： ( 1 ) 入侵：任何企图威胁信息资源完整性、机密性和可用性的行为。 ( 2 ) 入侵检测：对于企图威胁信息资源完整性、机密性和可用性行为的辨 识。 ( 3 ) 入侵检测系统：一种通过从计算机网络或计算机系统中的若干关键点 收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为 和遭到袭击迹象的安全技术。 ( 4 1 警报( a l e r t ) ：当入侵正在发生或者正在尝试进行时，i d s 向系统操作员 发出的消息。 哈尔滨理工大学工学硕士学位论文 ( 5 ) 漏报( f a l s en e g a t i v e s ) ：指入侵事件没有被i d s 系统检测到或者检测到 的入侵事件未被分析员重视。 ( 6 ) 误报( f a l s ep o s i t i v e s ) ：i d s 将正常事件识别为入侵事件并进行报警。 漏报和误报是i d s 研究的一个重要内容，降低漏报率和误报率对提高i d s 安全性和准确度有着重要的作用1 2 9 o 2 2入侵检测的分类 2 2 1根据信息来源分类 入侵检测系统要对其所监控的网络或者主机的当前状态做出判断，并不是 凭空臆测，它需要以原始数据中包含的信息为基础，做出判断。按照原始信息 的来源，可以将入侵检测系统分为基于主机的入侵检测系统( h i d s ) 矛d 基于网络 的入侵检测系统( n i d s ) 。 基于主机的入侵检测系统主要用于保护运行关键应用的服务器。它通过监 视与分析主机的审计记录和日志文件来检测入侵。日志中包含发生在系统上的 不寻常和不期望活动的证据，这些证据可以指出有人正在入侵或已经入侵了系 统。通过察看日志文件，能够发现入侵企图或者成功的入侵，并很快的启动相 应的应急响应程序。基于主机的i d s 系统有非常多的优点： ( 1 ) 能确定攻击是否成功 主机是攻击的目的所在，所以基于主机的i d s 使用含有已发生的事件信 息，可以比基于网络的i d s 更加准确地判断攻击是否成功。就这一方面而言， 基于主机的i d s 与基于网络的i d s 互相补充，网络部分可尽早提供针对攻击的 警告，而主机部分则可确定攻击是否成功。 ( 2 ) 监控粒度更细 基于主机的i d s 监控的目标明确、视野集中，它可以检测一些基于网络的 i d s 不能检测的攻击。它可以很容易地监控系统的一些活动，如对敏感文件、 目录、程序或端口的存取。针对系统的一些活动，有时并不通过网络传输数 据，有时虽然通过网络传输数据，但所传输的数据并不能提供足够多的信息， 从而使得基于网络的系统检测不到这些行为，或者检测到这个程度非常困难。 ( 3 ) 配置灵活 每一个主机有其自身基于主机的i d s ，用户可根据自己的实际情况对其进 行配置。 哈尔滨理工大学工学硕士学位论文 ( 4 ) 可用于加密的以及交换的环境 加密和交换设备加大了基于网络的i d s 收集信息的难度，但由于基于主机 的i d s 安装在要监控的主机上，根本不会受这些因素的影响。 ( 5 ) 对网络流量不敏感 基于主机的i d s 在一般情况下是不会因为网络流量的增加而放弃对网络行 为的监视。 ( 6 ) 不需要额外的硬件 基于主机的入侵检测系统的主要缺点是：它会占用主机的资源，在服务器 上产生额外的负载：它缺乏平台支持，可移植性差，因而应用范围会受到严重 限制。 基于网络的入侵检测系统主要用于实时监控网络关键路径的信息，侦听网 络上的所有分组来采集数据，分析可疑现象。基于网络的入侵检测系统使用原 始网络包作为数据源。它通常利用一个运行在混杂模式下网络的适配器来实时 监视并分析通过网络的所有通信业务，当然也可能采用其他特殊硬件获得原始 网络包。它的攻击识别模块通常使用4 种常用技术来识别攻击标志：模式、表 达式或字节匹配；频率或穿越阀值：次要事件的相关性；统计学意义上的非常 规现象检测。基于网络的i d s 系统有许多仅靠基于主机的i d s 系统无法提供 的功能。它有以下优点： ( 1 ) 监测速度快 基于网络的监测器通常能在极短的时间内发现问题，而大多数基于主机的 产品则要依靠对近几分钟内审计记录的分析。 ( 2 ) 隐蔽性好 一个网络上的监测器不像一个主机那样明显和易被存取，因而也不那么容 易遭受攻击。基于网络的监视器不运行其他的应用程序，不提供网络服务，可 以不响应其他计算机，因此可以做得比较安全。 ( 3 ) 视野更宽 基于网络的i d s 可以检测一些主机检测不到的攻击，还可以检测到不成功 的攻击和恶意企图。 ( 4 ) 攻击者不易转移证据 基于网络的i d s 使用正在发生的网络通信进行对实时攻击的检测，所以攻 击者无法转移证据。被捕获的数据不仅包括攻击的方法，而且还包括可识别黑 客身份和对其进行起诉的信息。许多黑客都熟知审计记录，他们知道如何操纵 这些文件掩盖他们的作案痕迹，如何阻止需要这些信息的基于主机的系统去检 哈尔滨理工大学工学硕士学位论文 测入侵。 ( 5 ) 操作系统具有无关性 基于网络的i d s 作为安全监测资源，与主机的操作系统无关。与之相比， 基于主机的系统必须在特定的、没有遭到破坏的操作系统中