（通信与信息系统专业论文）分布式入侵检测系统的设计和实现.pdf

中北大学学位论文 分布式入侵检测系统的设计和实现 摘要 随着互联网的广泛应用和普及，网络安全也越来越受到社会的关注。由于协议、 程序设计语言、网络、操作系统或者其他应用软件在设计过程中的缺陷，编码过程 中的漏洞以及不恰当的配置、懒散的维护和不良的使用习惯使得我们使用的信息系 统在看似强大的功能下面充满了脆弱的漏洞。只要人们有意或者无意的触发了它 们，就有可能造成巨大的损失。因此研究网络安全具有重要的意义，入侵检测技术 是继“防火墙”、“数据加密”等传统安全保护措施后新一代的安全保障技术。这种 技术不仅能够防止外部的入侵还能够检测内部的非法使用者，具有比较实际的意义 和应用价值。 针对传统的入侵检测技术中存在的问题，本文提出了一种新的分御式多数据源 混合型入侵检测系统“m y i d s ”。较之传统的入侵检测技术，m y i d s 可以协调站点主 机问的信息，主机间状态信息的交互，使得各个主机不再是信息孤岛，主机之间有 了信息的流动。更进一步，在m y i d s 网络引擎规则格式的设计上采用了有效的的动 态规则集和关联规则集技术。它们能够在网络高速发展的情况下，缓解由于丢包而 造成的较高的漏报率。 论文首先论述了“m y i d s ”的设计思路，然后重点讲述了“m y i d s ”的网络引擎 模块的设计和实现过程，在l i n u x 环境下对其功能进行了测试，测试结果达到了预 期的目标。证明该设计方案合理可行，具有研究意义。 关键词：网络安全；入侵检测；动态规则；关联规则 中北大学学位论文 d e sig na n dr e aiiz a tio no fd is trib u t e din t r u sio n d e t e c tio ns y s t e m ( did s ) a u t h o r ：z h a n gz a i f e n g t u t o r ：h a nh u i l i a n a b s t r a c t a l o n gw i t ht h ei n t e r a c tw i d e l yu s ea n dp o p u l a r i z a t i o n ，p e o p l ep a y m o r ea t t e n t i o no i l t h en e t w o r ks e c u r i t y t h ed i s f i g u r e m e n tw h e nw ed e s i g n i n gp r o t o c o l 、p r o g r a m m i n g l a n g u a g e 、n e t w o r k 、o p e r a t i n gs y s t e ma n d o t h e ra p p l i c a t i o n s ，u n c o r r e c t l yc o n f i g u r a t i o n ， s l a c km a i n t e n a n c eo ft h es e r v e r sa n db a dh a b i tw h e nw eu s i n gc o m p u t e r s a l lo ft h e s e a r ec o n d u c i n gt h ei n f o r m a t i o ns y s t e mw h i c hs e e m sp o w e r f u lw h e nw ed a i l yu s eb u tf u l l o fp o l e s i fp e o p l et o u c ho f f t h e m ，i n t e n d e do ri n v o l u n t a r y , t h e yw i l lb r i n go n t r e m e n d o u sl o s s s oi t sv e r yi m p o r t a n tt or e s e a r c ht h en e t w o r ks e c u r i t y i n t r u s i o n d e t e c t i o ni saw h o l en e wg e n e r a t i o ns e c u r i t yp r o t e c t i o nt e c h n o l o g yw h i c hi sa f t e rt h e f i r e w a l la n dd a t ae n c r y p t i o nt e c h n o l o g y i tn o to n l yp r e v e n tt h eo u t e ri n v a d e rb u ta l s o d e t e c tt h ei n n e ri l l e g a la c c e s s i t sm e a n i n g f u la n dv a l u a b l et or e s e a r c hi t a c c o r d i n gt h ep r o b l e m sw h i c ha r ee x i s t e di nt h ec l a s s i c a l i n t r u s i o nd e t e c t i o n t e c h n o l o g y , w eg i v eo u tan e wi n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) ：m y l d sw h i c hi s a d i s t r i b u t e dm u l t i - d a t ah y b r i di d si nt h i st h e s i s c o m p a r ew i t ht h et r a d i t i o n a li d s ， m y l d sc a na s s o r tw i t ht h eh o s t ss t a t e ，t h e na l lk i n d so fd e t e c t e dh o s t sc a ns h a r et h e i r h o s t si n f o r m a t i o n sw i t ho t h e rh o s t sa n dt h e ya r e a ti n f o r m a t i o ni s l a n d sa n y m o r e b e s i d e s t h en e t w o r ke n g i n e sr u l e sf o r m a ta d o p tt h ed y n a m i cr u l e sa n dc o r r e l a t i v er u l e ss e t t e c h n o l o g y t h i sk i n do ft e c h n o l o g yc a nr e l e a s et h eh i g hf a l s en e g a t i v er a t eb e c a u s eo f h i g hs p e e dn e t w o r k i nt h i st h e s i s ，w ef i r s te x p o u n dt h ed e s i g nt h o u g h to fm y l d s ，t h e nw ep a ym o r e a t t e n t i o no nt h ed e s i g na n dr e a l i z a t i o np r o c e s so ft h em y l d s sn e t w o r ke n 百n e w et h i n k t h i sd e s i g np l a na c h i e v e dt h eg o a lw h i c hw ee x p e c t e da c c o r d i n gt oo u rt e s t i n gr e s u l t w h i c hb a s e do nl i n u x t h i sp l a ni sr e a s o n a b l ea n dm e a n i n g f u lt or e s e a r c hi t k e yw o r d s ：n e t w o r ks e c u r i t y , i n t r u s i o nd e t e c t i o n ，d y n a m i cr u l e s ，c o r r e l a t i v er u l e s 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：蓼查1 日期：。六丈矽 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包 括：学校有权保管、并向有关部门送交学位论文的原件与复印件； 学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的，复 制赠送和交换学位论文：学校可以公布学位论文的全部或部分内容 ( 保密学位论文在解密后遵守此规定) 。 签名：峄日期 导师签名： 沙卯、堂矽 日期：”扩，_ 生 中北大学学位论文 1 1 选题背景 第一章引言弟一早ji 苗 网络的飞速发展是有目共睹的，根据第2 1 次中国互联网发展状况报告，截至 2 0 0 7 年1 2 月，网民数已增至2 1 亿人。预计在2 0 0 8 年初中国将成为全球网民规模 最大的国家【1 j 。网络给现代社会带来了无限的好处，但同时也给带来了诸多的烦恼。 从破坏力巨大的熊猫烧香到横行无忌的a v 终结者，再到瘫痪局域网的a r p 病毒。 这些形形色色的病毒、蠕虫、木马、垃圾邮件以及泛滥的流氓软件无时无刻不在影 响着网络的安全。随着网络的发展，网络安全问题会越来越严重，会越来越被人重 视。但是传统的从防御角度构建的安全系统是不够的。入侵检测技术是继“防火墙”、 “数据加密”等传统安全保护措施后新一代的安全保障技术。它对计算机和网络资 源上的恶意使用行为进行识别和响应，它不仅检测来自外部的入侵行为，同时也监 督内部用户的未授权活动。 1 1 1 入侵检测的历史及现状 早在上世纪8 0 年代，国外一些组织就开始了入侵检测领域相关的基础理论研 究工作。随着计算机软硬件的飞速发展，尤其是个人电脑和网络的快速普及，系统 工程、计算智能、人工神经网络、分布式计算系统等新兴理论和前沿技术的不断完 善和发展，入侵检测技术也处在不断演变和发展的过程中，至今尚未形成一个较为 成熟的理论体系。2 0 年来，作为防火墙的有力补充，入侵检测逐渐成为网络安全 领域的一大热点。 1 9 8 0 年，a n d e r s o n 在其完成的一份技术报告中提出了改进安全审计系统的建 议，以便用于检测计算机用户的非授权活动，同时提出了基本的检测思路f 2 】。 1 9 8 4 1 9 8 6 年d e n n i n g 和n e u m a n n 在s r i 公司内设计和实现了著名的i d e s ， 该系统是早期入侵检测系统中最有影响力的一个。i d e s 系统包括了统计分析组件 1 中北大学学位论文 和专家系统组件，同时实现了基于统计分析的异常检测技术和基于规则的误用检测 技术。 1 9 8 7 年d o r o t h yd e n n i n g 女士发表的经典论文“a ni n t r u s i o nd e t e c t i o nm o d a l ” 中提出了入侵检测的基本模型，并提出了几种可用于入侵检测的统计分析模型。 d e n n i n g 的论文正式启动了入侵检测领域的研究工作。 1 9 8 9 1 9 9 1 年，s t e p h e ns m a h a 设计开发了h a y s t a c k 入侵检测系统，该系统同时 采用了两种不同的统计分析检测技术，来发现异常的用户活动。早期的原型系统采 用批处理的离线处理方式。 一 1 9 9 0 年是入侵检测系统发展史上的一个分水岭。这一年加州大学戴维斯分校的 l t h e b e r l e i n 等人提出了一个新的概念基于网络的入侵检濒, l j ( n s m ，n e t w o r k s e c u r i t ym o n i t o r ) ，n s m 与此前的i d s 最大的不同在于它并不检测主机系统的审计记 录，它可以通过在局域网上主动地监视网络信息流量来追踪可疑的行为。这是第一 次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一格式的情 况下监控网络中的不同主机，这就是n i d s 的思想【2 】。本文的实现部分也是网络入 侵检测部分。 1 9 9 1 年，在n s m 和h a y s t a c k 系统的基础上，s t e p h e ns m a h a 主持设计开发了 d i d s ( 分布式入侵检测系统) 。d i d s 是首次将主机入侵检测和网络入侵检测技术 进行集成的一次努力，它具备在目标网络环境下跟踪特定用户异常活动的能力。 1 9 9 2 年，加州大学圣巴巴拉分校的p o r r a s 和i l g u n 提出了状态转移分析的入侵 检测技术，并实现了原型系统u s t a t ，之后发展出n s t a t 、n e t s t a t 等系统。 1 9 9 4 年，p o r r a s 在s r i 开发出i d e s 系统的后继版本n i d e s 系统，后者在系统 整体结构设计和统计分析算法上有了较大的改进。进一步，s r i 开发了用于分布式 环境的e m e r a l d 系统，该系统设计在大型分布式网络环境下工作，具备在不同 功能层次上进行监测分析的能力，体现了不同检测部件之间的协作性能。 e m e r a i d 采纳了i d e s 和n i d e s 的检测技术，具备统计分析和规则分析的能力。 1 9 9 5 年，普渡大学的s k u m a r 在s t a t 的思路上，提出了基于有色p e t f i 网的 模式匹配计算模型，并实现了i d i o t 原型系统。 1 9 9 6 年，新墨西哥大学的f o r r e s t 提出了基于计算机免疫学的入侵检测技术。 2 一 中北大学学位论文 1 9 9 7 年，c i s c o 公司开始将入侵检测技术嵌入到路由器，同时，i b m 的i s s 公 司发布了给予w i n d o w s 平台的r e a l s e c u r e 入侵检测系统，自此拉开了商用网络入 侵检测系统的发展序幕。 1 9 9 8 年，m i t 的r i c h a r dl i p p m a n n 等人为d a r p a 进行了一次入侵检测系统的 离线评估活动，该评估活动使用的是人工合成的模拟数据，最后的测试结果对于后 来的入侵检测系统开发和评估工作都产生了较大的影响。 1 9 9 9 年，加州大学戴维斯分校发布了g r i d s 系统，该系统试图为入侵检测技术 扩展到大型网络环境提供了一个世纪的解决方案。w e n k el e c 提出了用于入侵检测 的数据挖掘技术框架。 2 0 0 0 年，普渡大学的d i e g oz a m b o n i 和e s p a f f i r d 提出了入侵检测的自治代理 结构，并实现了原型系统a a f i d 系统。 s n o r t 是最著名的开放源代码网络入侵检测程序，现在最新的版本是s n o n 2 8 0 1 。随着s n o r t 的流行，s n o r t 的规则格式逐渐成为标准( t h ed ef a c t os t a n d a r df o r i n t r u s i o nd e t e c t i o n ) 。在国内，启明星辰公司是国内最大的i d s 产商，其天阗i d s 有 着灵活的管理控制体系，独有的协议自识别技术和启明星辰专有的通用联动协议可 以充分实现和第三方安全产品的策略响应联动。绿盟科技号称有国内最全面的漏洞 数据库，因此其冰之眼n i d s 对网络异常流量有着极细的检测粒度。 r a i d ( r e c e n t a d v a n c e si ni n t r u s i o nd e t e c t i o n ) 年会反映当前了入侵检测技术的 研究热点。2 0 0 7 年在澳大利亚昆士兰举行的r a i d 2 0 0 7 研讨会上讨论了入侵检测技 术的如下问题：基于主机的入侵检测的精度，对h t t p 异常检测技术的比较，通过伪 造服务器响应来躲避报警查证，根据异常的系统调用来检测漏洞的执行，入侵检测 系统的可裁剪性，入侵检测系统本身的健壮性，入侵检测系统的硬件化，m a n e t 网络的入侵检测，高速网络环境下的入侵检测，入侵检测技术的测试和评估，由此 可见，深层次的检测和匹配，移动网络的入侵检测，高速网络环境的入侵检测，分 布式入侵检测以及入侵检测系统的评估测试等都是入侵检测的发展方向。 3 ， 中北大学学位论文 1 1 2 入侵检测技术 从数据分析的手段看，入侵检测通常可以分为两类：误用( m i s u s e ) 入侵检测 和异常( a n o m a l y ) 入侵检测。 误用的入侵检测技术基础是分析各种类型的攻击手段，并找出可能的“攻击特 征”集合。误用入侵检测利用这些特征集合或者是对应的规则集合，对当前的数据 来源进行各种处理后再进行特征匹配或者规则匹配工作，如发现满足条件的匹配， 则指示发生了一次攻击行为。这里所指的“特征匹配”根据不同的具体实现手段而 不同，从最基本的字符串匹配到基于状态转移的分析模型等。根据数据来源的不同， “特征”的含义也随之不同。甚至在同一数据来源的入侵检测系统中，“特征”的 含义也是随着不同的实现而不同。新的误用入侵检测方法如专家系统，特征分析， 状态转移分析等等。此外还有基于p e t r i 网分析的入侵检测技术和基于神经网络的 误用入侵检测等。 异常入侵检测的假设条件是对攻击行为的检测可以通过观察当前活动与系统 历史正常活动情况之间的差异来实现。异常入侵检测通常都会建立一个关于系统正 常活动的状态模型并不断进行更新，然后将用户当前的活动情况与这个正常模型进 行比对，如果发现了超过设定阗值的差异程度，则只是发现了非法攻击行为。在异 常入侵检测中，最广泛使用的较为成熟的技术是统计分析，i d e s 系统实现了最早 的基于主机的统计模型。另一种主要的异常检测技术是神经网络技术。此外还有许 多其他的异常检测方法出现在各种文献之中，如基于贝叶斯网络的异常检测方法、 给予模式预测的异常检测方法、基于数据挖掘的异常检测方法以及基于计算机免疫 学的异常检测技术等。 自2 0 世纪9 0 年代以来，不少研究人员又提出了不少新的检测算法，这些检测 方法从不同的技术角度来看待入侵检测的基本问题，并利用了许多人工智能或者机 器学习的算法，试图解决传统检测技术中存在的若干问题，例如：虚假报警、缺乏 检测未知或变形攻击的能力、扩展性和自适应性等。这些先进的入侵检测技术主要 涉及包括神经网络、数据挖掘、数据融合、计算机免疫学和遗传算法在内的多个技 术领域的知识。 4 中北大学学位论文 1 2 课题研究的意义 随着计算机和网络的普及，人类已经进入了信息化社会。企业、银行和其他金 融机构在电子商务热潮中纷纷进入i n t e m e t 寻找商机，电子政务也是政府的工作效 率显著提高，全社会信息共享已经逐步成为现实。但是随着网络应用的扩大，对网 络的破坏和攻击的行为也与日俱增。数据的保密性，完整性和可用性受到越来越多 的威胁。作为网络安全防护体系的重要一环，入侵检测系统的研究已经对网络安全 产生了重要的影响。在众多入侵检测技术中，分布式入侵检测技术也受到越来越多 的研究者的关注。分布式入侵检测技术可以较好的的解决i d s 处理速度与高速网络 快速发展的矛盾，分布式入侵检测技术还可以协调受监控站点的主机信息，使各个 主机不再是信息孤岛，能够更有效的发现入侵。因此网络研究分布式入侵检测技术 有着重大的现实意义。 1 3 本文结构 第一章讨论入侵检测系统的发展历史及现状，传统的入侵检测技术，当前的研 究热点以及本课题的研究意义。第二章我们将介绍网络安全模型p p d r 模型与i d s 的关系，并讨论设计入侵检测系统标准的公共入侵检测框架( c l d f ) 模型，在这一章 的最后我们给出m y l d s 入侵检测系统的体系结构以及m y i d s 入侵检测系统各模块 之间的接口和数据传递格式。第三章讨论m y l d s 网络数据捕获模块的实现。我们 采用通用的网络数据捕获开发包l i b p c a p ，并分析其性能。该模块是m y l d s 的基础， 是以后各个模块实现功能的前提条件。第四章介绍协议分析技术，它是m y l d s 网 络引擎采用的主要入侵检测技术之一。第五章讨论m y l d s 网络引擎的规则格式的 设计，对规则的解析和网络引擎采用的另一种入侵检测技术模式匹配技术。这 一章是m y l d s 的核心，它凝聚了m y l d s 的主要亮点，也是整个论文的重心。第六 章简单介绍了界面模块和报警模块的实现。由于开发难度，工作量等问题，这两个 模块都是为了测试m y l d s 网络引擎而开发的，并不是最后m y l d s 的界面模块和报 警模块，因而它们的实现相对较为简单，即便如此，开发它们也不是没有益处的。 第七章是对m y l d s 网络引擎工作效果的一个测试。结论部分对本文进行了总结。 5 中北大学学位论文 第二章网络安全模型与m y id s 入侵检测系统的设计 2 1 网络安全模型p p d r 与入侵检测 p p d r ( p o l i c yp r o t e c t i o nd e t e c t i o nr e s p o n s e ) 模型是一个动态的计算机系统安全 理论模型。它的指导思想比传统的静态安全方案有突破性提高。它的基本思想是： 以安全策略为核心，通过一致性检查、流量统计、异常分析、模式匹配以及基于应 用、目标、主机、网络的入侵检查等方法进行安全漏洞检测。检测使系统从静态防 护转化为动态防护，为系统快速响应提供了依据。当发现系统有异常时，根据系统 安全策略快速做出反应，从而达到保护系统的目的 4 1 。p p d r 的网络安全模型如图 2 - 1 所示： 罗：飞 j!：，j 橹穰 图2 - 1p p d r 安全模型 p p d r 模型由4 个主要部分组成：安全策略( p o l i c y ) 、防护( p r o t e c t i o n ) 、检测 ( d e t e c t i o n ) 和响应( r e s p o n s e ) 。p p d r 模型是在整体的安全策略的控制和指导下， 在综合应用防护工具( 如漏洞评估，入侵检测系统等) 了解和评估系统的安全状态， 通过适当的响应将系统调整到一个比较安全的状态。防护、检测和响应组成了一个 动态的安全循环，在安全策略的指导下保证信息系统的安全。 ( 1 ) 策略 策略是p p d r 模型的核心，在具体的实施过程中，策略意味着网络安全要达到 的目标，它决定了各种措施的强度。因此追求安全是要付出代价的，一般会牺牲用 户使用的舒适度，还有整个网络系统的运行性能，因此策略的制定要按照需要进行。 ( 2 ) 防护 一般来说，防护是安全的第一步，它的基础是检测与响应的结果。具体包括： 安全规章的制定：在安全策略的基础上制定安全细则； 6 中北大学学位论文 系统的安全配置：针对现有网络环境的系统配置，安装各种必要的补丁； 软件，并对系统进行仔细的配置，以达到安全策略规定的安全级别； 安全措施的采用：安装防火墙软件和设备、v p n 软件和设备等。 ( 3 ) 检测 采取了各种安全防护措施并不意味着网络系统的安全性就得到了安全的保障， 网络的状况是动态变化的，而各种软件系统的漏洞层出不穷，都需要采取有效的手 段对网络的运行进行监控。 防护相对于攻击来说是滞后的，一种漏洞的发现或者攻击手段的发明与相应的 防护手段的采用之间，总会有一个时间差，检测就是弥补这个时间差的必要手段。 检测的作用： 异常监视：发现系统的异常情况如重要文件的修改、不正常的登录等； 模式发现：对已知的攻击模式进行发现。 ( 4 ) 响应 在发现了攻击企图或者攻击之后，需要系统及时地进行响应，这包括： 报告：就是做出入侵事件响应的报告，通知安全管理员发生了入侵行为，可 以利用各种各样的报告方式，如电子邮件、声音警报甚至手机短信等： 记录：当有入侵行为时，就把包括入侵的各个细节以及系统的反应都记录下 来，为事后分析提供依据： 反应：反应是主动的，目的是进行相应的处理以阻止进一步的入侵。例如可 以切断当前的连接，也可以通过告诉防火墙更改控制策略等； 恢复：清除入侵造成的影响，修复系统，使系统能够正常运行。 p p d r 模型阐述了这样一个结论：安全的目标实际上就是尽可能地增大保护时 间，尽量减少检测时间和响应时间。入侵检测技术( i n t r u s i o nd e t e c t i o n ) 就是实现 了p p d r 模型中“d e t e c t i o n ”部分的主要技术手段。在p p d r 模型中，安全策略处 于中心地位，但是从另一个角度来看，安全策略也是入侵检测中检测策略的一个重 要信息来源，入侵检测系统需要根据已有的安全策略信息来更好的配置系统模块参 数信息。当发现入侵行为后，入侵检测系统会通过响应模块改变系统的防护措施， 改善系统的防护能力，从而实现动态的系统安全模型。因此从技术手段上分析，入 7 中北大学学位论文 侵检测可以看作是实现p p d r 模型的承前启后的关键环节 s l 。 2 2 公共入侵检测框架c i d f 为了提高i d s 产品、组件及与其他安全产品的互操作性，美国国防高级研究计 划署( d a r p a ) 和互联网工程任务组( i e t f ) 的入侵检测工作组( i d w g ) 发起制 订了一系列建议草案，从体系结构、a p i 、通信机制、语言格式等方面规范i d s 的 标准。d a r p a 提出的建议是公共入侵检测框架( c i d f ) 。c i d f 所做的工作主要包 括四部分：i d s 的体系结构、通信机制、描述语言和应用编程接口a p i 。c i d f 的 基本模型架构如图2 2 所示。 图2 - 2c i d f 基本模型 c i d f 将入侵检测系统需要分析的数据统称为事件( e v e n t ) ，它既可以是基于网 络的入侵检测系统中的网络数据流，也可以是基于主机的入侵检测系统中的主机的 日志或其他途径收集到的主机信息。事件产生器的任务是从入侵检测系统之外的计 算环境中收集事件，并将这些事件转化为特定的格式传递给其他部件。事件分析器 负责分析从其他组件收到的数据并产生分析结果。响应单元则对分析结果作出相 应，并采取响应的措施如杀死相关进程，中断网络连接，修改文件权限等。事件数 据库是存放各种中间和最终数据的地方，它可以是复杂的数据库也可以是简单的文 本文件，主要根据事件分析器的实现来决定【6 】。c i d f 模型采用标准的g i d o 来交 换数据，这样就提高了组件之间的消息共享和互通的能力。 8 一 中北大学学位论文 2 3m y l d s 的设计 m y l d s 是作者自行设计的一种分布式入侵检测系统。m y l d s 的设计目标是一 个多数据源的混合式i d s 。整个系统的设计采用分布式体系结构，以提高系统的稳 定性和健壮性。系统通过分析流经站点的数据流以及各个主机产生的同志，由中心 控制节点进行统一的分析并协调各个主机之间的信息，使中一t l , 控制节点对网络的总 体状况有一个良好的把握，并能够及时发现站点的任何异常行为。采用多种检测方 式能够有效的避免因单一检测方式带来的误报和漏报。受网络数据包捕获函数库性 能的影响，m y l d s 适合部署于百兆级中小规模网络。下面我们讨论m y l d s 的详细 设计。 2 3 1 设计思路 在设计时，我们考虑如下问题： 1 1 设计开发的目的是什么? 2 ) 谁将会使用和操作这个系统? 具备什么样的需求? 3 ) 系统的典型部署环境包括哪些网络资源，采用哪种拓扑结构? 4 ) 可用的资源类型和限制因素是什么? 5 ) 系统所面临的威胁类型包括哪些? 6 ) 需要具备哪些指定的特殊性能要求? 而对于这些问题的解答，我们总不是没有答案的，恰恰是答案太过于繁多复杂 导致这些问题的回答有些困难。分析传统的入侵检测系统存在的问题也许能够让我 们对这些问题有些更清晰的认识。由于传统的入侵检测系统存在检测方法单一，检 测组件之间的通信可能泄密，i d s 的处理速度不能适应高速网络环境以及攻击特征 库的更新不及时。最主要的是结构存在问题：现在的很多入侵检测系统是从原来的 基于网络或基于主机的入侵检测系统不断改进而得来的，在体系结构等方面不能满 足分布、开放等要求。 分布式入侵检测系统具备在不同功能层次上进行监测分析的能力，它的多个代 理独立运行检测引擎，从而将检测引擎的巨大运算分布在各个代理上，提高了检测 9 中北大学学位论文 速度，控制中心综合各个代理的信息，提高了站点主机间的互知能力。因此分布式 入侵检测系统可以解决检测方法单一，引擎处理速度不够以及体系结构不足等问 题。对于分布式入侵检测系统而言，需要进一步解决的关键问题是检测信息的协同 处理与入侵攻击的全局信息提取。入侵检测的协同分析，主要是指入侵检测的数据 交换格式和交换协议，这些主要是为了解决安全实现在各个i d s 实体之间的数据交 换，从而达到协同分析的目的。在大规模网络中，需要多个入侵检测系统共同协作， 以处理各种复杂的分布式攻击，达到最佳的检测效果。下面我们介绍采用了分布式 思想的m y l d s 的体系结构。 2 3 2m y l d s 的体系结构 m y l d s 由一个控制台( m a n a g e rc o n s o l e ) ，网络引擎( n e t w o r ke n g i n e ) 和若干 个部署在不同类型主机上的主机代理( h o s ta g e n t ) 构成。控制台不直接接收原始 数据的输入，它只对网络引擎和主机代理传来的数据进行分析处理，在必要的情况 下将处理结果通知给相关主机，并对主机代理进行轮询以确定各个主机代理的工作 状态。网络引擎是一个单独的网络入侵检测系统，采用模式匹配结合协议分析的方 法对网络上的数据流进行分析，并将处理结果告知控制台。主机代理也是单独的主 机入侵检测系统，它们会根据不同的主机类型进行定制，例如基于w e b 服务器的 主机入侵检测系统，基于邮件服务器的主机入侵检测系统，基于f r p 服务器的主 机入侵检测系统，基于d n s 服务器的主机入侵检测系统等等。各主机代理均以固 定的报文格式与控制台进行加密的安全通信。m y l d s 的体系结构如图2 3 所示： 图2 - 3m y l d s 的体系结构 1 0 中北大学学位论文 2 3 3 控制台的设计 控制台的作用是统筹分析主机代理与网络引擎传递来的数据，通过统计分析算 法将告警信息送至报警模块。报警模块收集相关报警信息，记录日志作为以后取证 之用。根据站点的安全策略，设置多种报警方式，比如消极的防御措施，如给管理 员发送电子邮件，消息，记录日志等；或者积极的保护性措施，如切断受感染主机 的网络连接，修改文件权限，修改路由表的访问控制策略，向整个受保护站点广播 受害主机的危险信号：或者主动的防御措施，如向攻击网站发起d d o s 攻击，但这 种以毒攻毒的方式在法律上是不允许的。控制台还能够定期轮询站点主机的状态， 以了解最新的主机状态和网络状况。控制台的结构图如图2 4 所示。 - - 管 理 员 图2 4m y i d s 控制台结构图 主机代理分析器与网络代理分析器的交互很重要。假设有一种病毒，在感染受 害主机的同时，通过连接某网站下载一些病毒，木马或者其他的恶意软件对整个站 点进行感染。主机代理在及时发现被感染主机的异常状况后通告主机代理分析器， 主机代理分析器将异常进行报警，通过通信模块将病毒特征更新到各个主机代理， 并且将恶意网站的地址通告网络引擎分析器，网络引擎分析器通知网络引擎将该地 址列入黑名单，阻止站点中的任何机器与该恶意网站的任意连接，使其他主机免受 恶意软件的攻击。 1 1 中北大学学位论文 控制台是整个入侵检测系统的心脏，通过控制台综合有效的工作，能够监视整 个受保护站点的安全状况，查询并通报各主机的安全状态，使各个主机不再是仅局 限于自我了解状态的信息孤岛，能够有效的和其它相关主机进彳亍联动，及早发现大 规模的网络异常。 2 3 4 主机代理的设计 主机代理是m y l d s 部署在各个主机上的主机型入侵检测系统。主机代理通过 分析主机活动生成的系统日志一应用程序日志、当前主机进程、系统启动项、网络 连接、a r p 缓存表、文件完整性检查等方式描述出系统的当前状态，将状态结果 报告控制台。依据主机类型的不同，对工作于各个主机上的主机代理进行定制，例 如对a p a c h e 服务器的检测重点就是a p a c h e 产生的日志，对f t p 服务器检测的重 点就是f t p 应用程序所产生的日志等。 在检测算法方面，d o r o t h ye d e n n i n g 的论文中提出了几种用于异常检测的统计 分析算法： 1 ) 操作模型( o p e r a t i o n a lm o d e l ) ：这种模型通过比较新观察值x 和已得到的确定 的限定值之间的差异来发现异常。对x 来说尽管没有使用它的前一个样本值，但是 确定的限定值是对以前相同类型的变量进行观察所得到的。这种操作模型经常应用 在经验表明入侵是和某个确定值相关联的环境下。比如说如果一个统计密码输入错 误次数的计数器在短时间内超过了1 0 次，那么可以认为系统是发生了异常的。 2 ) 平均值和标准差模型( m e a na n ds t a n d a r dd e v i a t i o nm o d e l ) ：该模型假设我们已 知序列x l x n ，那么可以通过下面的方法得到该序列平均值和标准差： s u m = x 1 + + x n s u m s q u a r e s = x 1 2 + + x n 2 m e a n = s u m 厅 s t d e v = s q r t ( s u m s q u a r e s ( n + 1 ) 一m e a n 2 ) 如果新的观测值x n + 1 落在了置信空间之外，那么根据该模型，我们认为x 。+ 1 是异常 情况。设定参数d ，那么置信空间可以通过下式计算得到： m e a n + d 幸s t d e v 根据切比雪夫不等式( c h e b y s h e v si n e q u a l i t y ) ，在参数值为d 的情况下，一个值落在 1 2 - 中北大学学位论文 置信空间之外的概率不超过1 d 2 ，例如在d = 4 的情况下，x 。+ l 落在置信空间之外的 概率最大只有0 0 6 2 5 7 。这个模型可用于事件计数器，定时器的超时时间，固定时 间内的资源测量或任意两个相关事件。较之操作模型它有两个优点。第一是不再需 要以前的数据来设定正常行为的限制值，相反它能够从观测值中学习正常行为，并 且置信空间自动的反映了增加的知识。第二是因为置信区间依赖于所观察到的数 据，所以一个用户的正常行为与另一个用户有较大差别。平均值与标准差的一个小 小的缺点是计算时候的权重越大，会存在更多的近期数据。 3 ) 多变量模型( m u l t i v a r i a t em o d e l ) ：该模型类似于均值与标准差模型，不同 一 之处在于它是基于两个或多个变量的相关性。该模型在实验数据能够更好的反映相 关量的差别程度而不是单变量的变化的情况下非常有用。如一个程序使用的c p u 时间和i o 次数或者登录频率和会话时间长度( 可能是负相关的1 等相关值。 4 ) 马尔科夫过程模型( m a r k o vp r o c e s sm o d e l ) ：该模型仅适用于事件计数器， 把每种类型的事件( 例如审计记录) 当成一种状态变量，然后使用状态转移矩阵来刻 画状态间的转换频率。如果从先前的状态以及状态转换矩阵得到新的测量值出现的 概率极小，就认为是异常发生了。该模型在观察特定命令在命令序列的变化过程中 很有用。 5 1 时问序列模型( t i m es e r i e sm o d e l ) ：该模型综合使用一个间隔定时器和事件 计数器或者资源测量工具，同时考虑测量值序列x 1 ，x n 的顺序和间隔时间作为 测量值。如果一个新的测量值在特定事件发生的概率极低，那么认为这是异常的。 时间序列模型的优点是随着时间的变迁能检测到缓慢但重要的变迁，缺点是比均值 与标准差模型开销大得多【8 1 。 2 3 。5m y l d s 的网络部署 对于一个小型的网络，一般把控制台和网络引擎安装在同一个计算机上，这既 是从系统成本上考虑，也可以增加整个系统的反应速度。在较大规模网络中，控制 台要协调多个主机代理、网络引擎、界面显示、负载比较大。网络引擎分析大量的 网络数据包，所以应该将控制台和网络引擎分布在不同的计算机上。 1 3 中北大学学位论文 个比较典型的m y i d s 部署如图2 - 5 所示： 圆画 驭务器鹰备嚣 画圄 臌务嚣摩备嚣 鱼崮幽域蕈 - r 作坫工作蛄工作蛄 工作站 丑 嚣 z = = * g ! $ 胁 _ 7 7 7 画昼 图2 5m y l d s 典型部署图 对于主机代理，当然位于其所监测的主机上。 网络引擎是一个独立的基于网络的入侵检测系统，需要安装在独立的检测器上 才能工作。如果检测器放的位置不正确，入侵检测系统也无法工作在最佳状态。一 般说来检测器放在防火墙附近比较好。 ( 1 ) 放在防火墙之外 入侵检测器通常放置在防火墙外的d m zq b ( d e m i l i t a r i z e dz o n e ，非军事区) 。 d m z 是介于i s p 和最外端防火墙界面之间的区域。这种安排使检测器可以看见所 有来自i n t e r n e t 的攻击，然而如果攻击类型是t c p 攻击，而防火墙或过滤路由器 能封锁这种攻击，那么入侵检测系统可能就检测不到这种攻击的发生。因为许多攻 击类型只能通过检测是否与字符串特征一致才能被发现，而字符串的传送只有在 t c p 三次握手才能进行。 虽然放在防火墙外的检测器无法检测到攻击，但那种位置仍然是对攻击进行检 测的最佳位置。这样做对站点的好处就是：可以看到自己的站点和防火墙暴露在多 少种攻击之下。 ( 2 ) 检测器在防火墙内 。1 4 中北大学学位论文 有一些研究者认为检测器应放在防火墙内部，这种做法也有几个充分理由，他 们认为，如果攻击者能够发现检测器，就可能会对检测器进行攻击，从而减小攻击 者的行动被审计的机会，防火墙内的系统会比外面的系统脆弱性少一些，如果检测 器在防火墙内就会少一些干扰，从而有可能减少误报警。如果本应该被防火墙封 锁的攻击渗透进来，检测器在防火墙内检测到就能发现防火墙的设置失误。也许将 检测器放在防火墙内部的最大理由就是设置良好的防火墙能够阻止大部分的“幼稚 脚本”的攻击，使检测器不用将大部分的注意力分散在这类攻击上。 设置良好的防火墙确实阻止了大部分低层次的攻击，人们也确实把太多的注意 力放在检测和分析这些低层次的攻击上了。 ( 3 ) 防火墙内外都有检测器 如果经费充足，这时一个非常好的方案。它的好处体现在以下几点： 你无须猜测是否有攻击渗透过防火墙。 你可以检测来自内部和外部的攻击。 你可以检测到由于设置有问题而无法通过防火墙的内部系统，这可以帮助 系统管理员。 如果你们机构使用的是昂贵的入侵检测系统解决方案，那么就不值得用这种检 测器放置方法，如果你使用内外双重检测器，那就用防火墙内部的监测器作为紧急 报警的装置。 检测器的其他位置 检测器最通常的位置在防火墙外，但这当然不是难一一个对机构有利的摆放位 置。许多入侵检测系统都可以在不同位置支持机构，这些检测器可能在： 与你有直接联系的合伙人和经常在防火墙内的供应商处； 高价值的地方，比如研究或会计网络； 有大量不稳定雇员( 例如顾问或临时职员) 的地方； 已被外部人员当作目标的子网或是已有迹象显示有入侵和其他非法活动 的子网。 关于检测器放置的最后一个问题就是它与谁连接。网络在不断地升级到交换 v l a n 环境中。检测器可以工作在这种环境中，但如果交换机的跨接端口没有正确 1 5 中北大学学位论文 设置，入侵检测将无法进行工作。如果检测器要在交换网络中工作，就必须对它进 行测试。t c p 是双向协议，分析员必须确保计策器能从对话双方接收信息。还必须 对检测器进行测试以保证它能从交换位置可靠地发送数据。有必要被检测器配置两 块接口卡，一块连接到网络跨接端口用于监听混杂模式( 监听所有数据包，不管它 们是否是发给检测器) 的，另一块连接到单独v l a n 用来与分析工作站进行通信。 对于交换式以太网交换机，问题则会变得复杂。由于交换机不采用共享媒质的办法， 传统的采用一个s n i f f e r 来监听整个子网的办法不再可行。可解决的办法有： ( 1 ) 交换机的核心芯片上一般有一个用于调试的端口( s p a rp o r t ) ，任何其他 端口的进出信息都可从此得到。如果交换机厂商把此端口开放出来，用户可将