（计算机软件与理论专业论文）基于对等结构的分布式入侵检测系统的设计与实现.pdf

摘要 入侵检测系统是计算机安全体系中的一个重要组件，它监控针对 主机或网络系统的恶意行为，并及时给出报警和响应处理。近年提出 的将对等结构应用于分布式入侵检测系统中的思想，为解决当前入侵 检测系统所存在的效率瓶颈和安全隐患问题提供了一种方案。 本文基于对等结构的思想设计并实现了一个分布式入侵检测系 统p i d s 。系统遵循了入侵检测标准化的内容，采用i d m e f 作为标 准的报警信息格式。基于j d o m 技术创建了一个j d o m l d m e f 类库， 作为格式不一的报警信息到i d m e f 格式的转换接口，并以其实现了 s n o r t 的报警信息到i d m e f 格式的转换。 设计了系统的入侵检测实体之间的交互协议，以x m l 定义了各 种交互消息，并可以根据规定的x m l d t d 来定义新的交互消息，从 而扩展该交互协议。交互协议采用j a v a n e t w o r k a p i 实现，实现了本 地检测实体与远程实体之间报警信息的传递，并可以完成对远程实体 关联规则的相关配置。 系统实现了报警信息关联分析的功能，综合了聚类、融合和因果 关联三种关联方法对本地产生的和从远程实体所获取的报警信息进 行处理。以d a 尉) a9 9 年的数据集进行测试的结果表明，关联分析可 以在一定程度上消除报警信息的冗余并揭示入侵行为之间的因果关 系。 本文最后对研究与开发工作进行了总结，并阐述了将来进一步对 p m s 系统进行扩充与完善的一些工作。 关键词：分布式入侵检测，对等结构，i d m e f a b s t ra c t i n t r u s i o nd e t e c t i o ns y s t c m ( i d s ) i sa ni m p o r t a n tc o m p o n e n to f c o m p u t e rs e c u r i t ya r c h i t e c t u r e ，w h i c hc a nm o n i t o r m a l i c i o u sb e h a v i o r si n h o s t so rn e t w o r k sa n dg e n e r a t ea l e r t sa b o u ti n t r u s i o n ss o a st ot a k e r e s p o n s e st ot h e m t h ei d e ao fp e e rt op e e rd i s t r i b u t e di d sp r o p o s e di n r e c e n ty e a r so f f e r sas o h t i o nt ot h ee f f i c i e n c ya n ds e c u r i t yp r o b l e m si n t r a d i t i o n a l d i s t r i b u t e dd s an e wd i s t r i b u t e di d sb a s e do np 2 ps t r u c t u r en a m e dp ，si s p r o p o s e di nt h ep a p e r , w h i c hf o l l o w st h ei d ss t a n d a r db ya d o p t i n g i d m e fa st h eu n i f o r mf o r m a to fa l e r t s w ep r o g r a mac l a s sl i b r a r y n a m e dj d o m i d m e fu s i n gj d o mt e c h n o l o g ya st h ec o n v e r s i o ni m e r f a c e f r o mt h ev a r i o u sa l e nf o r m a t st od 脚f o r m a t 。a n di m p l e m e n tt h e c o n v e r s i o nm e c h a n i s mo f a l c r t sg e n e r a t e db ys n o r t t h ec o m m u n i c a t i o np r o t o c o lb e t w e e np e e r si np i d si sa l s od e s i g n e d ， v a r i o u sc o m n m n i c a t i o nm e s s a g e sa l ee x p r e s s e di nt h ef o r mo fx m l w r e i m p l e m e n tt h ec o m m u n i c a t i o np r o t o c o lu s i n gj a v an e t w o r ka p i ，l o c a l a n dr e m o t ep e e r sc a l le x c h a n g et h e i ra l e r t s ，a n dc o n f i g u r ec o r r e l a t i o n r u l e sw i t h e a c ho t h e r p i d sc o n t a i n st h ef u n c t i o no fe o r r e l a t i o na n a l y z i n gf o ra l e r t sf r o m l o c a la n dr e m o t ep e e r s ，w h i c hc o m b i n e st h r e em e t h o d s ：c l u s t e r i n g 、f u s i o n a n dc a u s a l i t yc o r r e l a t i o n t e s tu s i n gd a 嗽d a t as o ti n d i c a t e st h a t 。 c o r r e l a t i o na n a l y z i n gc o u l dd e c r e a s et h er e d u n d a n c yo fa l e r t sa n dr e v e a l t h ec a u s a l i t yr e l a t i o no fi n t r u s i o n s f i n a l l y , t h ep a p e rs u m m a r i z eo u rw o r kd u r i n g t h ed e s i g na n d d e v e l o p m e n t ，a n dd i s c u s s e sh o wt oi m p r o v et h es y s t e mi nt h ef u m r e k e yw o r d s ：d i s t r i b u t e di n t r u s i o nd e t c c t i o n , p e e r - t o - p e e rs t r u c t u r e , i d 匝f 原创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地 方外，论文中不包含其他人e , g - k 发表或撰写过的研究成果，也不包含 为获得中南大学或其它单位的学位或证书而使用过的材料。与我共同 工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明。 作者签名：塑日期：盟年月卫日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文，允许论文被查阅和借阅；学校可以公布学位论文的 全部或部分内容，可以采用复印、缩印或其他手段保存学位论文；学 校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：丝导师签名：啦日期：_ j 壶z 年月上日 硕士学位论文第一章绪论 1 1 入侵检测的背景 第一章绪论 近年来信息革命席卷全球，特别是互联网的爆炸式发展，给社会、经济和文 化等带来了无限的机遇，但也给信息安全带来了严峻挑战，各种不安全因素的大 量涌入致使计算机网络安全问题e l 益突出。保障计算机网络系统及整个信息基础 设施的安全非常重要，它甚至关系到国家的安全和社会的稳定。 目前虽然使用了防火墙、用户认证和授权( i & a ) 、访问控制、加密产品、虚 拟专用网和防病毒软件等安全技术来提高信息系统的安全，但由于种种原 因它们仍不足以完全抵御入侵：( 1 ) 仅有防火墙的防护措施是不够的，因为防火 墙虽充当了外部网和内部网之间的屏障，但并不是所有的外部访问都要通过防火 墙，此外安全威胁也可能来自内部，而防火墙本身也可能被外部入侵者攻破；( 2 ) 软件开发商为了抢占市场，过早推出了不很稳定的产品，同时软件系统日益庞大 而软件工程学十分滞后的矛盾日益突出，致使许多大型软件( 如服务器程序、客 户端应用程序和操作系统等) 都存在很多致命的缺陷，它们极易被入侵者利用来 闯入系统窃取保密信息或造成系统拒绝服务；( 3 ) 由于用户的口令设置过于简单 或管理不善，许多基于口令的认证系统并不安全；( 4 ) t c p i p 协议标准i p v 4 在 设计上对安全考虑不足，存在许多漏洞，使得路由攻击、a r p 欺骗、m 欺骗和 多种拒绝服务攻击不可避免，不少应用协议( 如f 1 p 和t e i n e t 等) 的认证口令采 用明文传输，极易被窃听。虽然i p s e c 被设计出来克服上述设计缺陷，但目前 仍未得到广泛使用；( 5 ) 授权用户滥用权限，危害信息安全。 因此，为保证计算机系统的安全，需要一种能及时发现入侵、成功阻止入侵 和在事后对入侵行为进行分析以查明系统漏洞并及时修补的网络安全技术，即入 侵检测技术。进行入侵检测的软件和硬件的组合便是入侵检测系统。 1 2 入侵检测的发展历史 入侵检测系统从开始形成至今已有二十多年了，根据一些标志性事件和研究 成果的出现，我们可以把入侵检测系统的发展历史分为以下几个时期：( 1 ) 奠基 时期( 概念的形成和模型的建立) ；( 2 ) 基于主机的入侵检测时期；( 3 ) 基于网络的入 侵检测时期；( 4 ) 分布式入侵检测时期；( 5 ) 入侵检测标准化时期 这种阶段划分方法以时间为线索，同时也体现了入侵检测系统在结构上适应 被保护系统和满足安全需求的发展过程。 硕士学位论文第一章绪论 1 入侵检测概念的提出 1 9 8 0 年j a m e s a n d e r s o n 在为美国空军做的技术报告f 1 】中，首次提出了入侵检 测的概念，指出可以利用审计记录来检测对文件的非授权访问，并给出了一些基 本术语的定义。包括威胁、攻击、渗透和脆弱性等。这是对入侵检测最早的研究。 该报告把渗透分为外部渗透和内部渗透两类，对应的入侵者分为外部入侵者 和内部入侵者。报告中使用的检测方法是基于统计的，检测程序把某一次会话 ( s e s s i o n ) 的资料，比如说，连接时间、输入输出的数据量和访问文件的数量等， 同代表正常会话的一些阀值进行比较，当二者的差异超过既定的范围时，则此次 会话被视作异常。各类阈值是在对大量用户的类似行为作统计的基础上得出的平 均值。 a n d e r s o n 实现的审计检测是基于单个主机的，在软件应用层实现，其覆盖 面不广且完整性难以保证，这是与当时通过终端连接多用户的计算机系统结构相 适应的，但是a l l d e q - s o l l 提出的关于计算机安全的一些基本概念以及对攻击方式 的分析和分类，为以后入侵检测系统的开发和入侵检测技术的探索奠定了良好的 基础。 2 。入侵检测模型的建立 a n d e r s o n 的基于审计记录进行入侵检测的思想是i d 8 系统的基础，对以后 的i d s 系统有着很大的影响，但这在当时并没有受到足够的重视。当时正处于 计算机系统安全技术的奠基阶段，研究的重点在于访问控制和各种安全模型等基 础性的安全保证措施。 1 9 8 3 年，美国国防部颁布了可信计算机系统评估标准( t c s e c j 【2 1 。该标准明 确定义了各个安全级别的审计功能要求，从而推动了依据审计数据加强系统安全 的研究，使得安全系统成为由安全访阿机制作为基础、由审计和入侵检测作为补 充的完整的结构。 1 9 8 6 年8 月，d o r o t h yed e n n i n g 在他的论文【3 l 中第一次提出了入侵检测系 统的抽象模型，把入侵检测作为新的安全措施加入到计算机系统安全保证体系 中，该模型定义了入侵检测系统的基本组件； ( 1 ) 主体：事件或活动的发起者，通常是用户。 ( 2 ) 客体：系统所管理的资源，比如说文件和设备等。 ( 3 ) 审计记录：系统产生的关于主体操作客体的事件的记录。 ( 4 ) 活动简档：描述主体操作客体的行为特征，可以用统计数据或行为模式 表示 ( 5 ) 异常记录：检测到异常活动时产生的记录信息 ( 6 ) 活动规则：在条件满足时所采取的动作，比如修改用户的简档、检测异 2 硕士学位论文 第一章绪论 常行为、把异常关联到可疑的入侵和产生入侵报告等。 报警信息：发给系统管理员以使其注意的有关入侵行为的信息。 图i - i 是d e n n i n g 所提出的模型的结构图。 图卜id e n n i n g 所提出的模型 该模型采用基于规则的模式匹配进行入侵检测。审计记录产生时，要与活动 简档中的记录进行匹配，依据活动简档中相匹配的记录中的活动规则决定下一步 的动作。d e n n i n g 的检测模型主要根据某个时间段内同类审计记录的数量、相关 审计记录的时间间隔和某段时间内的系统资源使用情况等统计性测量参数来进 行入侵检测，所采用的统计模型有操作模型、均值与方差、多元模型、马尔柯夫 过程模型和时间序列模型等。 3 基于主机的入侵检测系统 在d e n n i n g 提出其入侵检测模型后，很多机构先后推出了许多基于主机的入 侵检测系统，这些系统有h a y s t a c k 4 1 、m i d a s 5 】和i d e s 6 1 等。此时，网络的普及 程度还比较低，网络上的攻击事件还很少见，网络安全尚未得到重视，所以当时 推出的入侵检测系统大都是基于主机的，然而目前基于主机的入侵系统对于整个 信息系统的安全来说，仍然是不可或缺的。实际上，即使在基于网络的入侵检测 技术成熟以后，仍有很多只针对单个主机的入侵检测系统出现。 h a y s t a c k 4 使用了两种检测方法。异常检测和基于入侵特征的检测。异常检 测又分为两个部分：针对每个用户的异常检测和针对每个用户组的异常检测。基 于入侵行为特征的检测方法弥补了d e n n i n g 模型的不足，提高了入侵检测的准确 率。两种检测方法的结合，克服了每种方法各自的缺陷 m i d a s i s 用于对美国国家计算机安全中心( n s c s ) 联网的大型主机进行入侵 检测，它使用了启发式的入侵检测方法，形成了一个入侵检测的专家系统 m i d a s 的规则集分成两层，低层规则直接对待定类型的事件进行归纳，并将得 到的可疑事件传递给高层规则集，以进一步判断是否需要向安全管理员报警 1 9 8 8 年，s r i c s l 的t e r e s al u n t 等人对d e n n i n g 的入侵检测模型进行了改 进，提出了与系统平台无关的实时检测思想，并开发出了i d e s 系统嘲，用于检 测针对单一主机的入侵行为i d e s 的结构如图l - 2 所示被检测的目标系统将 自身产生的审计记录通过网络传递到运行i d e s 的工作站，该工作站通过数据库 硕士学位论文 第一章绪论 系统来管理审计记录。然而，因为系统所分析的数据全部都来自主机的审计数据， 它仍然是基于主机的入侵检测系统。 图1 - 2i d e s 系统模型 4 基于网络的入侵检测系统 随着计算机网络的快速发展，各种不同结构的计算机系统可以通过若干标准 协议连接起来，信息系统的安全明显不再局限于单个主机的范围。1 9 9 0 年，加 洲大学d a v i s 分校的h e b e r l e i n 等人开发出了n s m o n e t w o r ks e c u r i t ym o n i t o r ) 【7 1 ， 第一次直接把局域网上的网络信息流作为审计数据来源，通过局域网相连的若干 异构主机有着不同的审计记录格式，把这些审计记录综合起来进行入侵检测可能 会改进检测的效果，但要让入侵检测系统理解不同的审计记录格式就要对这些格 式进行转换，这将导致系统效率的下降，然而局域网上的通信是广播型的，并且 使用象t c p i p 、t e l n e t 和f i p 这样的标准协议，因此n s m 就可以监听局域网上的 所有网络通信，并从中找出具有入侵企图的行为，而无需进行审计记录格式的转 换，这不但改善了检测效果，也提高了效率。 5 分布式入侵检测系统 基于网络的入侵检测系统与基于主机的入侵检测系统相比具有明显的优点， 如能实时检测和具有操作系统独立性等，但同时也有较大的缺陷，如只能检查一 个网段上的通信和难以处理加密的会话过程，对通信协议的理解不全也使得基于 网络的入侵检测系统容易受到欺骗。从此看出，基于网络的入侵检测系统与基于 主机的入侵检测系统各有优势，且具有互补性，可以把两者结合起来使用，来改 善入侵检测系统的检测效果。这就是分布式入侵检测系统形成的原因。 1 9 8 8 年，美国空军、国家安全局科s a ) 和能源部( d o e ) 共同资助空军密码支 持中, c , ( a f c s c ) 、l a w r e n c e - l i v e r m o r e 国家实验市、加州大学d a v i s 分校和 h a y s t a c k 实验室，开展对分布式入侵检测系统( d i d s ) i s , 9 的研究，将基于主机和 基于网络的检测方法集成到一起，1 9 9 1 年d i d s 基本完成 由于网络的迅速发展，网络上入侵事件的频发，而由于分布式入侵检测系统 集成了主机检测和网络检测，而且偏向于检测复杂的分布式网络攻击，所以分布 式入侵检测系统成为研究的热点。除了d i d s 外，g r i d s l l o , 1 1 1 、e m e r a l d i l 2 1 和 a a f n ) 【1 3 , 1 4 ，都是典型的分布式入侵检测系统。 4 硕士学位论文 第一章绪论 6 入侵检测系统的标准化 一个入侵检测系统往往只适用于某种特定结构的系统环境，而且检测攻击的 成功率也不会达到1 0 0 ，然而随着应用程序的大型化、网络结构的复杂化和入 侵手段的多样化，单独使用一个入侵检测系统并不能有效地检测出入侵行为。可 以猜想，把多个入侵检测系统结合起来，构成一个新的入侵检测系统，在更高的 层次上进行入侵检测，可能会更为有效。 从2 0 世纪9 0 年代初到现在，入侵检测系统的研发呈现出百家争鸣的繁荣局 面。随着越来越多的入侵检测产品的出现，自然地产生了把它们结合起来以最大 可能地检测入侵行为的需求，为了使各个独立的入侵检测系统能够相互合作，就 要求它们在信息格式和通信协议等方面遵循共同的标准。当前两个入侵检测的标 准化组织：c i d f l 3 0 1 和d w g f 3 1 】，就是为解决这个问题而开展其研究工作的。 1 3 分布式入侵检测系统的相关研究 1 3 1 集中式结构的分布式入侵检测 1 d 玎) s d i d s t s , 9 的初衷是将基于主机和基于网络的入侵检测系统结合起来，用来追 踪入侵者在网络中的移动和行为。 d i d s 的体系结构如图l - 3 所示。 图1 - 3d i d s 体系姑图 d i d s 由三种组件组成：主机监视器( 1 - l o s tm o n i t o r ) 、网络监视器( l a um o n i t o r ) 和分析中心( d i d sd i 嗽蛐。主机监视器运行在每一台受监控的主机上，将其检 测到的异常审计数据信息发送给分析中心。网络监视器对局域网的网络流量进行 监视，将异常网络流量信息发送给分析中心分析中心运行在一台处理能力较强 的大型主机上，对主机监视器和网络监视器所检测到的异常状况信息进行分析， 进行入侵检测并产生报警信息 2 g d d s 5 硕士学位论文 第一章绪论 g r l d s l l 0 ，1 1 1 收集计算机和网络活动的数据，将这些数据构建成网络活动行为 图，通过分析这些行为图的特征，g r i d s 进行入侵检测并报告违反预先所设定规 则的网络行为。 g r i d s 的体系结构如图l - 4 所示。 图1 - 4g r i d s 体系结构图 主机数据源收集单个主机的网络活动数据信息，网络数据源收集整个网络的 活动数据信息。两者将数据传递给图形引擎，图形弓 擎负责绘制网络活动行为图。 图形分析器负责对网络活动行为图进行分析，报告异常的网络活动。模块控制器 通过软件管理器对系统中的各个模块进行控制。 1 3 2 层次化结构的分布式入侵检测 1 e m e r a l d e m e r a l d 1 2 】的典型目标环境是一个大型网络。这种大型网络分为多个独立 的管理域，每个管理域下面又管理成百上千个用户和设备。e m e r a l d 针对这三 层提出了一种分层式的网络监控结构，其组成部分包括：服务监控器、域监控器 和网络层监控器，如图1 5 所示。 服务监控器提供对硬件 如路由器和网关) 和服务( 如带网络接口的子系统) 的 实时分析，其构成e m e r a l d 的最底层，通过收集硬件和服务的环境变化信息 来进行检测分析。域监控器构成了e m e r a l d 的第二层，其负责对整个域或部 分域中入侵行为的监控，其对下层服务监控器的入侵报告进行汇总分析，从而形 成域范围内的入侵报告网络层监控器包含了多个域范围的监控器，构成了 e m e r a l d 的第三层，其对域监控器产生的入侵报告进行汇总分析，侧重于对整 硕士学位论文第一章绪论 个网络进行全局监测和反应，从而捕捉网络规模的攻击。 2 a a f i d a a f i d 1 3 , 1 4 】采用多层体系结构，其主要的组件包括：代理( a g c n t ) 、过滤器 ( f i l t c f ) 、转发器( t r a n s c 溺v e r ) 、监视器( m o n i t o r ) 和用户接口( u s e ri n t e r f a c e ) 其体 系结构如图l - 6 所示。 图1 - 6a a f i d 体系结构图 代理是一个独立完成原始信息搜集工作并报告给相应转发器的程序。代理之 阀不直接通信，其将所有信息传递给转发器。过滤器为代理完成信息选择和抽象 的工作。转发器负责管理它下面的代理并响应监视器给它的指令，同时处理代理 发来的原始数据并将处理结果传递给监视器。监视器处于a a f i d 层次结构中的 高层，它也具有管理和数据处理两大功能，它接收和分析多个转发器送来的原始 信息，并可以检测协同攻击。监视器可以接收其他监视器发来的指令，也可以管 理其他监视器或转发器。多个监视器之间可以按层次组织，并依次向更高级的监 视器报告 1 3 3 对等结构的分布式入侵检测 d i d s 和g r d s 的体系结构，是由多个原始数据采集单元和一个中心分析单 元组成的。随着网络的扩展，中心分析单元需要处理不断增长的原始数据，势必 遭遇到效率瓶颈，并且一旦中心分析单元运行失效或者被入侵者攻破，则整个系 统将崩溃。所以分布式入侵检测系统逐渐向层次化体系结构发展。e m e r a l d 采 用了三层结构，上层的网络监控器对下层的域监控器和服务监控器所产生的报警 信息进行汇总分析a a f i d 的监视器之问采用了多层结构，上层的监视器接收 下层监视器的报警信息进行汇总分析，并控制下层监视器的运行。这种层次化结 构中，尽管上层模块处理的是经过精简后的数据，这在一定程度上缓解了效率瓶 颈问题，但是其还是对系统全局的数据进行分析，并且对系统的控制功能还是集 中于上层模块中。如果上层模块运行失效，则下层模块之间将无法协同合作所 以，层次化的体系结构还是没有从根本上解决分布式入侵检测系统的效率瓶颈和 安全隐患问题。 于是，近年来学术界提出了一种思想，将对等结构应用在分布式入侵检测系 ， 硕士学位论文第一章绪论 统中。 1 集中目录式对等结构应用于分布式入侵检测系统 集中目录式对等结构仍然具有中心化的特点，也被称为非纯粹的对等结构， 其中存在中央服务器存储了每个节点的各种基本信息，但不存储每个节点的具体 数据内容，节点在向中央服务器进行查询其他节点的基本信息后，根据这些信息 连接到其他节点进行通信以取得其具体数据内容。 集中目录式对等结构应用于分布式入侵检测系统的做法就是，各个入侵检测 点独立地进行数据采集和分析工作，但需要经过中央服务器才能够与其他入侵检 测点协同合作，比如交换报警信息和协同检测大规模相关的入侵行为等。 文献【1 5 1 提出了对a a f l d 体系结构进行改进，由代理( a g e n t ) 来进行入侵检测 工作，并且各个代理之间通过相互注册“i n t e r e s t ”来获取对方所产生的报警信息。 一个代理的失效，并不会影响其他代理的运行。传播g ( p r o p a g a t o r ) 作为中央服务 器，代理之间的“i n t e r e s t ”的注册，是通过传播器来进行的，而传播器又组织成 层次结构 图卜7r a j e e v 所提出的a a f i d 的改进模型 文献【1 6 - 2 0 ! 也提出了相似的体系结构文献【1 6 1 中在中央服务器上存储了各个 入侵检测点的地址和权能文件，每个入侵检测点通过自身的安全通信管理器 ( s t m ) ，向中央服务器查询其他检测点的地址后，再建立到其他检测点的加密连 接，检测点和中央服务器以及检测点之问的通信的安全性机制被详细描述。文献 唧中入侵检测点如果怀疑其检测到的某一入侵行为是某一分布式入侵的一部 分，则将该入侵行为的特征提交给中央服务器，中央服务器经过判断后向该检测 点返回可以与其协同检测该分布式入侵的其他检测点的地址。文献 1 s , 1 9 中使用了 使用移动代理技术，移动代理首先在一台主机上进行入侵检测，并可以通过中央 服务器在多台主机之间自由移动，以跟踪入侵者的踪迹，同时中央服务器也向管 理员提供了手动地分派移动代理的接口文献引入了免疫计算，将每个入侵 检测点作为免疫细胞，检测点可以通过中央服务器将自身所产生的免疫疫苗分享 给其他检测点 集中目录式对等结构的分布式入侵检测系统，虽然检测任务的分散使得入侵 硕士学位论文第一章绪论 检测点避免了效率瓶颈问题，但是其中央服务器的安全隐患问题仍然存在，一旦 中央服务器运行失效，或者被入侵者发现进而攻破，那么入侵检测点之间将无法 协同交互 2 纯对等结构应用于分布式入侵检测系统 纯对等结构没有集中的中央服务器，每个节点随机接入网络，通过广播来查 询其邻居节点，并与邻居节点通过端到端连接构成一个逻辑覆盖的网络。 纯对等结构应用于分布式入侵检测系统的做法就是，各个入侵检测点独立地 进行数据采集和分析工作，可以通过广播或者扫描机制，得知其他入侵检测点的 存在，并直接连接到其他检测点以进行交互。 文献f 2 1 捌提出了一种p e e r l d s 模型该模型由对等的入侵检测实例组成，每 个实例进行的入侵检测任务叫做工作子集( w o r kl o a d ) ，并且各个实例之间的工 作子集是正交的。在p e e r i d s 实例中，分析器负责执行工作子集，状态检查器负 责检测分析器的负载情况，当分析器的负载超过设定值时，其通过收发器向其他 实例发送p u s h 消息，从工作子集列表划分出一部分传递给其他实例执行，或者 当分析器的负载低于设定值时，则通过收发器向其他实例发送p u l l 消息以请求 工作子集来执行。 田卜8p e e r l d s 实倒 文献 2 3 - 2 9 也提出了相似的体系结构文献 2 3 , 2 4 1 中当某一入侵检测点检测到一 次入侵行为时，将入侵者的口地址广播给系统内的其他检测点，其他检测点将 该m 地址加入到黑名单中，随后入侵者试图连接到其他检测点时将直接被拒绝， 并且相邻的检测点之问共享经过抽象和精简后的审计日志信息。文献【2 5 l 中每个 入侵检测点定时广播u d p 包，以通知其他检测点自身正在正常运行，如果某一 检测点在运行出现错误，或者察觉到自身被入侵者攻破时，也会广播一个紧急 u d p 包文献闭中也使用到了移动代理技术，其移动代理是直接从一个检测点 传递到另一检测点的。文献 2 7 1 中入侵检测点在检测本地的入侵行为的同时，还 具有关联分析的功能，当某一检测点察觉自身负载较低时，设置自身的一个特殊 的标志位。其他检测点察觉后将自身产生的报警信息传递给该检测点以进行关联 9 硕士学位论文第一章绪论 分析。文献脚】中入侵检测点在无法确定某一异常事件是否是入侵行为时，为该 异常事件的触发者设置一个可疑置信度。并向其他检测点广播该异常事件的信 息，其他检测点将特别关注该异常事件的触发者，当检测到其所触发的同类异常 事件时，提升其可疑置信度，当可疑置信度超过某一阀值时，将该触发者视作入 侵者。产生报警信息，并将入侵者列入到黑名单中。 纯对等结构的分布式入侵检测系统，既避免了效率瓶颈问豚，又因为没有中 央服务器而消除了安全隐患问题，所以将是入侵检测系统未来的发展方向。 1 4 入侵检测标准化的相关研究 1 4 1c ) f c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，公共入侵检测框架) 【蚓是由 d a r p a ( 美国国防高级研究项目署沥提出的通用入侵检测框架。它所要实现的 目标为：( 1 ) 实现入侵检测系统的事件产生器、事件分析器、事件数据库和响应 单元。( 2 ) 实现入侵检测系统和网络管理系统之间共享审计记录、报告信息和入 侵模式信息等。( 3 ) 定义互操作性标准，使用统一的函数集来管理i d s 。( 4 ) 设计 独立于i d s 的实现语言、操作语言和网络协议的开放的入侵检测框架标准。 c i d f 所定义的内容主要包括四个部分：i d s 的体系结构、通信机制、描述 语言和应用编程接口。a p i 。 一个符合c i d f 架构的入侵检测系统如图l 母所示。 型多( 岛 图1 - 9c i d f 体系结构 事件产生器( e v e n tg e n e r a t o r ) 是收集事件数据的程序或模块。事件分析器 ( e v e n ta n a l y z e r ) 分析由事件产生器传递来的事件数据，并产生警报信息。事件数 据库( w e n td a t a b a s e ) 存储由事件产生器和事件分析器传递来的数据信息，并提供 检索和查询服务。响应单：g ( r e s p o n s eu n i t ) 根据事件分析器提供的报警信息来对 攻击做出反应 c i d f 定义了c i d fa p i 【3 2 】来实现不同类型的组件之间的通信，从而使得入侵 检测系统的组件复用成为可能。c i d f 各组件之间的信息交换和信息共享是通过 g 1 1 ) o ( g m e m l i z c di n t r a s i o nd 咖c t i o b j e c t ，通用入侵检测对象) 来完成的，g i d o 对象以c i s l ( c o m m o ni n t r u s i o ns p e c i f i c a t i o nl a n g u a g e ，通用入侵规范语言) l 弼来 硕士学位论文第一章绪论 描述 1 4 2 嗍g i d w c , ( i n t m s i o nd e t e c t i o nw o r kg r o u p ，入侵检测工作组) 【3 i 】是互联网工程任 务组下的一个工作小组，专门研究和制订入侵检测领域的标准，来解决目前入侵 检测系统中缺乏统一通信协议的问题。它的工作目标是定义d s 中的数据格式、 信息交换过程和交换协议。 i d w g 的工作主要包括两方面内容： 1 i d m e f ( i n t r u s i o nd e t e c t i o nm e s s a g ef o r m a t ) ( 3 5 ，作为统一的入侵检测系统 报警信息的数据模型，该数据模型使用舭来表示，并规定了相应的) 眦文档类型 定义 2 i d x p ( i n a u s i o nd e t e c t i o ne x c h a n g ep r o t o c 0 1 ) 3 6 】，是一个用于入侵检测实 体之间交换数据的应用层协议，它运行于t c p 之上。能够实现i d m e f 消息、非结 构文本和二进制数据之间的交换，并提供了完整性和保密性等安全特征。 此外，由于各种入侵检测系统对描述自身组件时所使用的术语并不致，造 成了很大的混乱，i d w g 在定义i d m e f 需求( i n m _ s i o nd e t o o t l o nm e s s a g ee x c h a n g e r e q u i r e m e n t s ) t 3 4 1 m ，还试图统一描述入侵检测系统时所使用的术语。 1 4 3 对入侵检测标准化工作的小结 i d w g 工作组是受c i d f 的一些理念的启发而创建的，i d w g 工作组的领导 人s t u a r ts t a n i f o r dc h e r t ，实际上也是c i d f 盼领导入之一。尽管i d w g 和c i d f 共享同一目标和一些想法，但两者是相互独立的标准化活动，i d w g 并不直接使 用c i d f 已有的研究成果。 c i d f 的c i s l 语言和c i d f a p i 的定义工作已经基本完成，但是目前缺少相 应的实现。 i d w g 所定义的i d m e f 草案，目前正处于逐步完善的阶段。而i d x p 草案， 只定义了不同入侵检测系统进行通信的数据完整性和加密机制，暂时没有定义入 侵检测系统之间具体进行交互的各种原语和命令，并且目前也没有相应的实现 1 5 课题目标和意义 从对分布式入侵检测系统的研究来看，集中式结构的分布式入侵检测系统的 中心分析和控制单元存在很大的效率瓶颈和安全隐患问题，而层次化的分布式入 侵检测系统只是在一定程度上缓解了这两个问题。近年来对等结构思想的提出为 解决分布式入侵检测系统的效率瓶颈和安全隐患坶匦疆供了一种很好的方案。 于是，我们根据这种思想设计了一个纯对等结构的分布式入侵检测系统一 硕士学位论文 第一章绪论 p i d s ，并以j a v a 语言实现了p i d s 的原型系统。 p i d s 系统遵循了入侵检测标准化的内容，采用i d w g 所定义的d m e f 作 为标准的报警信息格式。p i d s 系统试图将当前现有的i d s 整合到自身的体系结 构中，我们基于j d o m 技术创建了一个专门处理i d m e f 格式的类库一 j d o m i d m e f ，作为现有i d s 的格式不一的报警信息到i d m e f 格式的转换接口， 并以其实现s n o r t 的报警信息到i d m e f 格式的转换机制。 p i d s 系统中对等的入侵检测实体需要相互通信和协同合作，而i d w g 所定 义的i d x p 当前规定了通信的数据完整性和加密机制，而暂时没有定义具体的交 互消息，并且当前也没有可用的实现。所以我们定义了p i d s 实体之间的交互协 议，以x m l 定义了各种交互消息，并可以根据规定的x m ld t d 来定义新的交 互消息，从而保证了该交互协议的可扩展性。交互协议使用j a v a n e t w o r k a p i 来 实现，p i d s 实体之间可以通过交互协议来共享报警信息，并相互进行配置，比 如说添加关联规则等。 p i d s 还具有了报警信息关联分析功能，综合了聚类、融合和因果关联这三 种方法对本地产生的和从远程实体所获取的报警信息进行汇总和关联分析，能够 有效地消除报警信息的冗余度，并揭示入侵行为之闯的因果关系，从而向系统管 理员提供一个高层的入侵检测视图。 1 6 论文的组织 论文全文共分五章： 第一章为绪论，介绍了入侵检测系统的背景和相关研究，探讨了本课题的目 标和意义，并对本文的组织结构进行了介绍。 第二章为系统设计，详细阐述了p i d s 系统的模块划分和功能。 第三章为原型系统的实现，介绍了p i d s 原型系统所实现的平台和各种关键 技术，并根据系统设计的内容，详细说明了p i d s 各模块的具体实现， 第四章为测试和结果分析，通过对p i d s 原型系统进行测试，分析其各方面 性能。 第五章为结束语，对所进行的设计和开发工作进行总结，并阐述了将来进一 步的扩展与完善p i d s 系统需要做的工作。 硕士学位论文第二章p i d s 的系统设计 第二章p i d s 的系统设计 本章首先介绍了p i d s 系统的整体设计，分析了其特点，并对p i d s 进行了 模块上的划分。然后详细定义了各个模块的功能和设计。 2 1 整体设计 一个p i d s 实体由底层i d s 、报警信息预处理模块、交互模块、关联模块和 用户接口这五部分组成。p i d s 的整体结构和各模块之间的关系如图2 1 所示。 底层i d s 负责监控网络流量或系统审计记录，产生底层原始的报警信息； 报警信息预处理模块将底层i d s 所生成的格式上不一致的报警信息，转换为统 一的i d m e f 格式；交互模块可以从远程p i d s 实体取得符合指定条件的报警信 息，并通过发送各种交互消息与远程p i d s 实体进行协同合作；关联模块对从预 处理模块转换得到的本地报警信息，和从交互模块取得的远程p i d s 实体的报警 信息，进行统一的关联分析；系统管理员通过用户接口，对p i d s 实体的各个模 块进行控制。 爨：琴辛 若蕾争浍 廷 l主机b 上的p m s 实体b 兰n纠k 圃 l c 卣正三因 。1 = 缸集曩婧- h f 围2 - 1p i d s 总体结构图 p i d s 入侵检测系统，具有以下特点： 1 采用纯对等的体系结构，可以在网络中的多个主机上部署多个p i d s 实 体，对整个网络的情况进行详尽的监控，并且就算其中一个主机上的p i d s 实体 运行失效或者被入侵者攻破，其他节点上的p i d s 实体仍然能够正常运行，保证 了系统的健壮性 2 单个p i d s 实体并不是分析和处理网络中所有类型的流量数据，而是只 硕士学位论文第二章p i d s 的系统设计 专注于检测某一类的入侵行为或者只检测针对其部署所在主机的入侵行为，检测 工作的分散避免了效率瓶颈。 3 采用i d w g 定义的i d m e f 格式作为统一的报警信息格式，能够精确地 描述入侵行为。同时试图将现存i d s 整合到自身的体系结构中，将现存i d s 所 产生的格式不一的报警信息转换为统一的i d m e f 格式。 4 多个p i d s 实体之间使用统一的交互消息进行通信，具有良好的互操作 性。 5 p i d s 实体能够对自身的和其他实体所产生的重复报警信息进行融合，以 消除报警信息的冗余度。 6 具有因果关联分析的功能，能够揭示入侵行为之间的因果逻辑联系，精 确地描述入侵者的攻击步骤和攻击意图。 2 2 报警信息预处理模块的设计 不同的底层i d s 所产生的报警信息在格式上是不一致的，而为了保证互操 作性，要求在p i d s 实体之间传递的是统一格式的报警信息，并且对报警信息进 行关联分析也要求其具有统一格式。目前d w g 工作组已经定义了i d m e f 草案， 试图统一不同的入侵检测系统所产生的报警信息格式。 根据i d m e f 草案所定义的入侵行为特征，同时考虑到入侵行为之间的前因 后果关系，一条报警信息可以表示成这种特征组的形式：a l e 似过a t ，e l ，s r c , d e s t , p r e , c o n s ) 。其中，i d 特征是该条报警信息的唯一标识符；a 特征是对产生该报警 信息的底层i d s 的描述；t 特征是报警信息的生成时间；e l 特征是对入侵行为的 描述；圊特征是对入侵源的描述；d e s t 特征是对入侵目的的描述；p r e 特征指向 作为该报警信息的前因的报警信息；c o i l s 特征指向作为该报警信息的后果的报警 信息。i d m e f 格式的简单结构如图2 2 所示。 i d ( 报誓信息l d ) “屡i d s 描述) t ( 生成时间) c i c 侵行为名) w q 侵潭) d 入侵目的) 州舶目) “m 目曩) 图2 - - 2i d m e f 格式的图形化描述 1 4 坚! 塞! 些塑 二五；三i 丽赢再； 坚! 塞! 垡塑 二石；= i 石磊石蓊 笪! 塞堡垒竺! 二五；= 矛而两 硕士学位论文第二章p i d s 的系统设计 预处理模块接收底层i d s 产生的原始报警信息，将其转换为以上特征组的 形式。预处理模块并不会处理p r e 特征和c o n s 特征，只是将两者设置为空，两 者是由关联模块在执行因果关联功能时进行设置的 2 3 交互模块的设计 p i d s 实体之间需要协同合作，交互模块负责完成p i d s 的交互功能。我们定 义了p i d s 实体之间的各种交互消息以及具体的交互