（系统工程专业论文）一种分布式网络入侵检测系统——DNIDS的设计与实现.pdf

摘要 本文在采用主动防卫策略的网络安全技术网络入侵检测技术逐渐成为 网络安全领域的研究热点的背景下，针对集中式网络入侵检测系统无法对网络 提供更加有效保护的问题，分析、设计并开发了一个三层分布式网络入侵检测 系统的原型系统d n i d s 。本论文所完成的主要工作如下： 1 从分布式网络入侵检测系统的系统分析入手，分析并设计了符合公共入 侵检测框架( c o m m o n i n t r u s i o nd e t e c t i o nf r a m e w o r k ，c i d f ) 的三层分 布式网络入侵检测系统的框架 2 ，对该三层分布式网络入侵检测系统的各个组成模块和模块间的通信方 式进行了详细设计 3 应用c 语言在l i n u x 平台下实现了原型系统 4 对d n i d s 进行了应用测试 论文最后分析了该分布式入侵检测系统所具有的优良特性，指出了系统现 存的不足，并提出了进一步工作的方向。 关键词：网络入侵检测；网络入侵检测系统；分布式；三层结构：误用检测 模式匹配 a b s tr a c t u n d e rt h eb a c k g r o u n dt h a tt h et e c h n o l o g y a d o p t i n g t h ea c t i v e p r o t e c t i o n p o l i c i e s n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mi sb e c o m i n g t h er e s e a r c hf o c u sa n d i na l l u s t i o nt ot h ep r o b l e mt h a tt h ec o n c e n t r a t e dn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m c a r ln o tp r o v i d em o r ee f f i c i e n tp r o t e c t i o nt on e t w o r k ，t h ep a p e ra n a l y z e s ，d e s i g n sa n d i m p l e m e n t sa na n t e t y p es y s t e mo f at h r e e l a y e r e da n dd i s t r i b u t e dn e t w o r ki n t r u s i o n d e t e c t i o ns y s t e m t h em a i n c o m p l e t e dw o r k i nt h ep a p e ri si nt h ef o l l o w i n g ： 1 a n a l y z i n ga n dp r e s e n t i n gt h e f r a m e w o r ko fat h r e e - l a y e r e da n dd i s t r i b u t e d n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mw h i c hf i t sf o rt h es t a n d a r do fc o m m o n i n t r u s i o nd e t e c t i o n 抒a m e w o r k 2 d e t a i l e dd e s i g no fe a c hm o d u l ea n dt h ec o m m u n i c a t i o nm o d ei nt h em o d u l e so f t h et h r e e 1 a y e r e da n dd i s t r i b u t e dn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m 3 i m p l e m e n t i n g t h ea m e t y p es y s t e mi nt h el i n u x p l a t f o r mw i t hcl a n g u a g e 4 p o s s e s s i n g t h ea p p l i c a t i o n t e s t i n g t ot h es y s t e m f i n a l l y ，t h ep a p e ra n a l y s e st h eg o o dc h a r a c t e r i s t i c st h a t t h es y s t e mp o s s e s s e s ， p o i n t so u tt h ed e f i c i e n c i e so ft h es y s t e ma n dp r e s e n t st h ea s p e c t st h a tn e e d t ob e i m p r o v e d k e y w o r d s ：n e t w o r k i s y s t e m ； d e t e c t i o n n t r u s i o nd e t e c t i o n ：n e t w o r k i n t r u s i o nd e t e c t i o n d is t r i b u t e d ：t h r e e i a y e r e ds t r u c t u r e ： m is u s o p a t t er nm a t c hi n g i i 一种分布式网络入侵检测系统- - d n i d s 的设计与实现 1 引言 1 1 问题的提出 随着计算机网络的不断普及，越来越多的企业与政府开始在互联网上开展 其核心业务，尤其是电子商务、电子政务的迅猛发展，为互联网的应用开辟了 广阔的前景。但是，计算机和互联网是一把双刃剑，在给公众带来巨大方便的 同时，计算机系统和互联网的安全一直是令人担忧的问题，计算机系统和网络 资源已经成为犯罪分子和敌对势力的攻击目标。据统计，在全球范围内，由于 信息系统的脆弱性而导致的经济损失，每年达数亿美元，并且呈逐年上升的趋 势。据美国金融时报报道，现在平均每2 0 秒就发生一次计算机网络入侵事 件，超过1 3 的互联网防火墙被攻破。网络攻击( 入侵) 轻则降低被攻击系统 的可用性，使其不能提供正常的服务：重则造成关键信息失窃和系统瘫痪等。 因此，寻求行之有效的技术来阻止网络入侵，保护脆弱的计算机系统的安全已 成为当前研究的热点问题。 传统的信息安全技术主要有访问控制，身份识别和认证，加密技术和防火 墙技术等 4 】。这些技术都集中在系统自身的加固和防护上，我们称之为被动的 信息安全技术。但随着网络应用的逐渐深入，攻击手段的不断变化，攻击事件 的频繁发生，网络和计算机系统的防卫必须采用一种纵深的、多样的手段。与 此同时，当今的网络和计算机系统环境也变得越来越复杂，各式各样复杂的设 备，需要不断升级、补漏的系统使得网络管理员的工作日趋繁重，不经意的疏 忽便有可能造成重大的安全隐患。因此，人们需要一种主动的保护网络和计算 机系统免遭入侵，并具有记录和一定程度的反击功能的信息安全保护技术。在 这种背景下，网络入侵检测系统( n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 应 运而生。 早期的网络入侵检测系统的拓扑结构式集中式的，即系统采用的是基于中 心式的数据处理机制，信息通过网络上几个节点收集并汇总到数据分析中心进 行分析。在网络规模小，层次简单，通讯速度慢时，该机制可以做到实时的中 心处理。但随着告诉网络的发展，网络范围的拓宽，各种分布式网络技术、网 络服务的发展，使原来的网络入侵检测系统很难适应此状况。并且，目前入侵 手段的分布化正在逐渐成为入侵技术发展的新动向之一。一个典型的例子就是 一种分布式网络入侵检测系统d n l d s 的设计与实现 分布式拒绝服务攻击( d i s t r i b u t e dd e n i a lo f s e r v i c e ，d d o s ) ，它可以在很短的 时间内造成被攻击主机的瘫痪，而且在攻击发动的初期不易被确认，该手段 已成为近期最常用的网络攻击手段之一f 1 1 。针对以上问题，基于分布式技术和 网络入侵检测技术的分布式网络入侵检测系统( d i s t r i b u t e dn e t w o r ki n t r u s i o n d e t e c t i o ns y s t e m ，d n i d s ) 以其自身的特性提供了很好的解决方案，其关键技 术是检测信息的协同处理与入侵的全局信息提取 到。本文所分析、设计并开发 的基于误用检测技术的分布式网络入侵检测系统，就是在该方面所进行的探讨 与实践。 1 2 国内外同类研究现状剖析 1 2 1 n i d s 的研究进展 目前国内外关于n i d s 的研究热点主要集中在网络攻击模式的自动建立、入 侵检测的分析方法以及入侵响应技术三个方面。 1 网络攻击模式的自动建立 在网络攻击模式的建立方面，研究人员们先后提出了用攻击树、用数据挖 掘等建立攻击模型的方法。目标主要集中在如何自动建立模型上面，因为新的 网络攻击手段总是在不断的被发现，人工建立关于新的攻击手段的模型不仅任 务繁重，而且时间上总是滞后的【9 j 。 2 入侵检测分析方法 对分析方法的研究，主要集中在误用检测( m i s u s ed e t e c t i o n ) 和异常检测 ( a n o m a l yd e t e c t i o n ) 两个方面。误用检测技术首先对已知的黑客攻击方法和 系统漏洞进行模式化编码，并存放到一个数据库中( 攻击模式库) 。系统运行时， 分析所收集到的网络数据流和系统日志信息，如果有与数据库中的已知模式相 匹配的行为，则认为有入侵事件发生。其原理与目前广为使用的计算机病毒的 检测方法类似。这种技术能够较准确的识别出已知模式的攻击行为，并能准确 地报告攻击类型，但是它不能检测到未知模式的攻击，也就是无法对攻击模式 库之外的攻击进行检测。异常检测技术需预先定义一组系统参数，例如一段时 间内某用户登陆失败的次数、c p u 利用率、内存利用率等，它在用户“正常” 操作和系统“正常”运行时的数值范围( 通常用统计方法获得) 。网络系统运行 时，入侵检测系统采集这些参数并检测其是否超出定义的“正常”值范围，若 2 一种分布式网络入侵检捌系统- - d n i d s 的设计与实现 是则认为有入侵事件发生。这种方式能够检测到未知模式的攻击行为，这是其 主要的优点，但是它不能识别具体的攻击方式与攻击种类，并且误报率较高。 具体来说，网络入侵检测分析方法主要有如下些技术 6 1 7 概率统计模型 这种入侵检测方法是基于对用户历史行为建模以及在早期的证据或模型的 基础上，审计系统实时地检测用户对系统的使用情况，根据系统内部保存的用 户行为概率统计模型进行检测，当发现有可疑的用户行为发生时，保持跟踪并 监测、记录该用户的行为。系统要求根据每个用户以前的历史行为，生成用户 的历史行为记录库，当用户改变他们的行为习惯时，这种异常就会被检测出来。 统计手段的主要优点是可以臼适应学习用户的行为，主要问题是其可能被 入侵者逐渐训练以至最终将入侵事件误认为正常。并且阀值设置不当会导致大 比例的“误报”与“漏报”。 模式匹配 模式匹配检查对照一系列已有的攻击比较用户活动，从而发现入侵。这种 想法的先进之处在于定义已知问题模式，然后观察能与模式匹配的事件数据。 独立的模式可以有独立事件、事件序列、事件临界值或者允许与、或操作的通 用规则表达式组成。模式匹配的研究已经相当成熟，入侵检测需要做的是如何 选择和运用模式匹配引擎。 在入侵检测系统中应用此技术的研究包括： 1 选择和实施模式匹配引擎 2 攻击模式集的收集：攻击模式集的收集可以通过以下途径获得：公开发 布的攻击模式，专有的知识和实践经验。攻击模式应是通用的，能代表 一种攻击类 3 攻击模式库的更新 基于神经网络的攻击检测技术 如上所述，基于审计统计数据的攻击检测系统，具有一些天生的弱点，因 为用户的行为可以是非常复杂的，所以想要准确匹配个用户的历史行为和当 前的行为是相当困难的。错发的警报往往是来自于对审计数据的统计算法所基 于的不准确或不贴切的假设。为克服上述问题，s r i 研究小组利用神经网络技 术来进行攻击检测。 目前，有人提出用神经网络技术作为基于传统统计技术的攻击检测方法的 改进方向，但尚不十分成熟f 2 4 】，所以传统的统计方法仍将继续发挥作用，也仍 一种分布式网络入侵检测系统d n i d s 的设计与实现 然能为发现用户的异常行为提供相当有参考价值的信息。 基于专家系统的攻击检测技术 进行安全检测工作自动化的另外一个值得重视的研究方向就是基于专家系 统的攻击检测技术，即根据安全专家对可疑行为的分析经验来形成一套推理规 则，然后在此基础上构成相应的专家系统 1 3 】。同时应当说明的是基于规则的专 家系统或推理系统也有其局限性，因为作为这类系统的基础的推理规则一般都 是根据已知的安全漏洞进行安排和策划的，而对系统的最危险的威胁往往主要 来自未知的安全漏洞。实现一个基于规则的专家系统是一个知识工程问题，而 且其功能应当能够随着经验的积累而利用其自学习能力进行规则的扩充和修 正。 基于模型推理的攻击检测技术 攻击者在入侵一个系统时往往采用一定的行为程序，如猜测口令的程序， 这种行为程序构成了某种具有一定行为特征的模型，根据这种模型所代表的攻 击意图的行为特征，可以实时地检测出恶意的攻击企图。用基于模型的推理方 法人们能够为某些行为建立特定的模型，从而能够监视具有特定行为特征的某 些活动。根据假设的攻击脚本，这种系统就能检测出非法的用户行为1 2 。当有 证据表明某种特定的攻击模型发生时，系统应当收集其它证据来证实或者否定 攻击的真实，以尽可能的避免错报。 此外还有统计度量方法【8 1 、遗传算法、基于代理检测和数据挖掘等分析方 法。 3 响应技术 响应技术包含主动响应和被动响应两种类型。目前对响应技术的研究主要 集中在主动响应上面，包括对入侵者采取反击行动，在有入侵事件时修正系统 环境和“蜜罐”( h o n e y p o t s ) 技术等等4 “。此外，如何处理高误报率，提高 入侵检测系统的有效性也是一个主要研究的问题。 1 2 2 分布式技术的研究进展 分布式技术指的就是分布式系统的研究技术。分布式系统指的是一个对用 户看起来像普通系统，然而运行在一系列自治处理单元上系统，每个自治处理 单元有各自的物理存储器空间并且信息传输延迟不能忽略不计。在这些自治处 理单元间有紧密的合作。系统必须支持任意数量的进程和自治处理单元的动态 4 一种分布式网络入侵检测系统d n i d s 的设计与实现 扩展。分布式系统的整个研究领域主要有以下几个方面：分布式程序设计语言、 分布式技术理论基础、分布式操作系统、分布式通信、可靠性、分布式数据管 理、分布式系统应用七个方面。 目前，随着计算机网络的发展，分布式技术的研究热点为分布式计算技术。 当用户需要完成任何任务时，分布式计算提供对尽可能多的计算机能力和数据 的透明访问，同时实现高性能与高可靠性的目标。分布式系统是无缝的，也就 是说网络功能单元间的接口很大程度上对用户不可见。分布式计算的思想还被 应用在数据库系统，文件系统，操作系统和通用环境。 1 2 3 国内外关于n i d s 研究存在的问题和难点 目前，国内外关于d n i d s 的研究中存在的问题和难点可归纳为以下几点： 1 广泛接受的术语和概念框架的缺乏 网络入侵检测技术虽然近几年来发展迅速，但其终究还是一个较新的技术， 缺乏国际统一的规范，术语和概念框架没有权威的界定。如：描述入侵过程和 提取攻击模式的规范，检测和响应模型的统一描述语言，检测引擎的定制处理 标准等。这种情况反映到入侵检测系统的产品上就表现为入侵检测系统的厂家 基本处于各自为战的情况，标准的缺乏使得其相互间的互通几乎不可能。 2 客观的评估体系与测试体系的缺乏 目前对现有的网络入侵检测系统的评估与测试没有相应的指标体系，这使 得目前开发的网络入侵检测系统没有统一的评价标准，这种情况不利于高质量 高效率的网络入侵检测系统的研究与开发。 3 成熟的入侵检测技术较少 虽然许多专家和学者从不同的学术领域和不同的研究角度用多种方法和工 具对入侵检测技术作了较为深入的探讨，相关内容前文已有较为详细的论述。 但目前真正能够实现并转化为相应产品的入侵检测技术还是少之又少p “。成熟 的并真正产品化的技术仍旧是基于模式库的误用检测技术和专家系统技术，其 余的许多新理念与新方法还停留在理论探索阶段，还没有相应的产品问世。 4 在不断增加的网络带宽下很难保证较高的检测效率 该小点是n i d s 所需要不断解决的问题，网络带宽不断增加，网络流量不 断增大，n i d s 的检测性能必须不断得以提高。对集中式的n i d s 而言，该问题 尤为严峻和明显【39 1 。当前的网络入侵检测系统大多能在1 0 m 的网络环境下正常 一种分布式网络入侵检测系统d n i d s 的设计与实现 运行，在1 0 0 m 的环境下已经是不堪重负了。据i s s 对现有i d s 的评测，即使 在一个专用的高端u n i x 主机上，在满负载的l o o m 以太网链路上也会丢失 3 0 7 5 的包，一些系统甚至在使用率达到2 0 时就开始丢包。然而网络带宽 还在不断的增大，1 0 0 0 m 以太网，光纤技术的大量应用使得网络入侵检测系统 就更加难以承受了。而将n i d s 的结构由集中式转为分布式是解决该问题的一 个主要途径。采用分布式结构可以将采集分析工作分配到多个节点进行，每个 检测器只负责一小部分网络的安全，而且可以让检测器分别检测不同类型的网 络数据包，这样就减轻了单个检测器的负担，从而提高了这个系统的性能。 5 检测器之间缺乏充分的信息交互 这小点主要针对分布式网络入侵检测系统而言。对d n i d s 的定义多种多 样，其最本质的东西是：只要系统的分析数据部分在系统的部署上式分布的， 入侵检测系统就可以认为是分布式网络入侵检测系统p 】。d n i d s 中，每一个检 测器( 包括数据采集和数据分析部分) 负责检测网络中某一网段的安全事件， 然后将结果传递给更高一层的控制器，如控制台。它们充分而准确的信息交互 与共享使其能够高效地协同分析与检测网络中的安全事件，从而使系统能够发 挥最大的效率。但在国内外的相关文献中，对该部分的介绍与研究尚不多见。 1 2 4d n i d s 的发展趋势 近年来，随着网络技术与网络应用的不断发展和网络入侵检测技术的逐渐 成熟。可以预见，未来的d n i d s 的发展主要有以下几个方向：智能化、人工免 疫原理的应用和a g e n t 技术的应用。 1 智能化 人工智能技术在网络入侵检测中的主要应用就是进行数据筛选和行为分 类。数据筛选就是对入侵检测系统的原始数据进行分析，提取数据中的重要部 分进行检测，从而减少检测器需要直接处理的数据，节约检测所需耍的时间、 网络负载和存储需求【1 2 】。而行为分类的目的就是为了更有效的辨认入侵者。人 工智能技术在上述两方面的应用可在一定程度上提高入侵检测的能力i 4 。 2 人工免疫原理的应用 该方法借鉴人类免疫系统的原理，构造一个计算环境下的免疫检测系统p j 。 该方法构造的系统具有类似人体免疫系统的特点：分布式、自适应、容错能力 强。系统的检测由许多相互独立的检测体共同完成，这些检测体类似于人体内 6 一种分布式网绍入侵检测系统d n i d s 的设计与实现 的白细胞、淋巴细胞等，系统对外来攻击的检测能力不依赖于攻击是否出现过。 在参考文献 3 l e o ，设计了利用免疫原理进行网络入侵检测的方法。系统设计的 关键就是关于“自我”( s e l f ) 的定义，只有确切定义了正常活动模式集，才能 正确识别出异常情况。 这种方法非常适用于大型网络范围内的分布式入侵检测，其概念新颖，但 在理论上和实践中还有许多问题需要解决。 3 ，a g e n t 技术的应用 为克服典型网络入侵检测系统存在的扩展性差、容错能力差等缺点，3 0 中利用一些分布于计算机网络各处的高效智能主体( a g e n t ) 协同工作，进行系 统的入侵检测。这些单元可以独立地检测系统全局范围内的某一方面的情况， 并能相互协同工作。a g e n t 的内部设计可基于多种不同的算法，例如神经网络， 对a g e n t 进行训练，使其能检测到系统内不同的异常活动。 1 3 本文的研究思路及要展开的工作 本文针对目前集中式网络入侵检测系统所存在的丢包率较高，系统整体检 测性能较低的问题，设计并实现了一种三层分布式的网络入侵检测系统，利用 分布式系统自身的分散收集数据，分散检测入侵的特性来解决上述的丢包率高、 系统性能低的问题。 本文在第二章中首先从需求、结构和功能三个方面对d n i d s 进行了详细的 系统分析。在第三章设计了符合公共入侵检测框架( c i d f ) 的三层分布式网络 入侵检测系统的框架，对该三层分布式网络入侵检测系统d n i d s 的各个组成模 块和模块间的通信方式进行了详细设计，并介绍了d n i d s 中采用的模式匹配算 法- b m 算法。在第四章详细阐述了应用c 语言在l i n u x 平台下实现原型系 统的方法，包括数据采集及分析器的实现、告警信息收集器的实现、日志库的 实现和控制台的实现。第五章中本文对d n i d s 进行了应用测试，包括三层分布 式结构的测试和功能测试。测试结果表明本文设计开发的d n i d s 已具备了分布 式网络入侵检测系统的框架结构和入侵检测功能。最后在结论中分析了d n i d s 所具备的功能与优良特性，并指出了系统现存的不足，同时提出了进一步工作 的方向。 7 种分布式网络入侵检测系统d n i d s 的设计与实现 2i ) n i d s 的系统分析 2 。1d n i d s 的需求分析 本文所设计开发的d n i d s 准备应用于大连理工大学惠普一一康柏电子商 务中心。系统所运行的环境为局域网，网络传输速率约为t 0 m b p s ，为速率较快 的宽带网络。结合以上所介绍的d n i d s 的运行环境，本文所设计的对高效的 d n i d s 的主要需求如下： 1 较高的系统效率 在高速的网络环境中捕捉数据包进行分析和检测，d n i d s 的系统效率是设 计时所需考虑的最关键的因素之一，效率低的系统将有大量的丢包率，这就达 不到入侵检测的目的。系统效率主要包括数据包的读取效率、数据包的分析效 率和系统日志的写入效率。为提高d n i d s 的系统效率，结合以上的分析，本文 在设计d n i d s 时主要考虑了以下几个因素： 采用l i n u x 2 2 内核中提供的p fp a c k e t 类型的s o c k e t ，直接从链路层获取 数据帧 该接口是l i n u x 操作系统提供的接口，采用它主要是为了提高系统采集数 据包的效率。根据l i n u x 的要求，建立这样的一个s o c k e t 需要r o o t 权限即u i d = 0 。 从p a c k e ts o c k e t 读到的数据是链路层格式的数据，但经过处理( s o c k e t 函数的 第二个参量s o c kd g r a m 表示要去掉第二层的数据头，第三个参量 e t hpi p 表示只接收i p v 4 的数据包) 后，缓冲区内的内容是个完整的i p 包( 未 经任何其它处理) 。 匹配规则以编译后的程序的形式提供 一般而言，n i d s 的入侵规则都不是以数据库的形式存放的，因为在系统运 行过程中，大量的规则匹配涉及到大量的数据库读取工作，而数据库的读取是 较为耗时的工作，这对于对系统效率要求及高的n i d s 来说是不可忍受的。因 此，在本文设计的d n i d s 中，入侵规则以源代码的形式提供。 采取以上的设计主要是为了考虑d n i d s 的系统效率，使其能够在丢包率较 低的情况下工作，但同时也带来了d n i d s 对操作系统的依赖和系统升级较为不 便的问题，这将在后文中予以详细阐述。 2 较低的漏检率和虚警率 8 。 一种分布式网络入侵检测系统d n i d s 的设计与实现 漏检率( f a l s en e g a t i v e s ) 和虚警率( f a l s ep o s i t i v e s ) 是衡量n i d s 性能优劣 的较为重要的两个指标。所谓漏检是指有带有攻击特征的网络数据包经过而 n i d s 没有检测到。所谓虚警是指不带有攻击特征的网络数据包经过而n i d s 产 生了误报警。漏检率和虚警率相互矛盾，在其中一个较低的情况下，另一个往 往比较高。因此，是否同时具备较低的漏检率和较低的虚警率是一个n i d s 是 否为高性能的n i d s 的重要衡量指标。 本文在d n i d s 的设计中，数据分析部分设计为模拟t c p i p 堆栈的流程处 理数据包，从中发现异常行为( 如分片重合、异常标志等) 。这样主要是为了减 少误报与漏报，从攻击的核心特征发现它，而不是象许多其它的系统那样，只 检查攻击包的表面特征，从而尽量降低系统的漏检率和虚警率。d n i d s 中包括 了i p 分片处理，包括了t c p 状态转换。通过这种结构，可以准确的判别诸如 t e a r d r o p 等碎片攻击的各种变种。 3 较高的系统安全性 系统自身的安全是n i d s 进行入侵检测的重要保障，n i d s 只有在自身正常 运行的前提下才能执行网络入侵检测的任务。目前网络入侵的一个新动向就是 由对被攻击目标的直接攻击转向对保护被攻击目标的防火墙和网络入侵检测系 统的攻击。目前，商业化的i d s 一般都对保护自身的安全性采取了相应的措施 口】。本文所设计开发的d n i d s 并非为商业化软件，其对d n i d s 自身的安全保 护主要依赖于l i n u x 系统的稳定性很安全性 。 2 2d n i d s 的结构分析 针对目前集中式的n i d s 的不足，本文所设计并开发的n i d s 为分布式n i d s o n i d s 。d n i d s 采用分布式体系结构，以分担系统的负荷以及达到监控多 个不同网段的目的，其主要的优势如下。 可收集足够的数据信息 数据源是进行入侵检测的基础，必须获得足够多的信息进行分析才可能检 测到入侵。传统的基于单一主机的入侵检测系统只从网络中的某一点采集数据， 不能得到足够的信息进行分析。即使将系统置于网络的主干上，它所得到的信 息仍然不够，因为在主干下面各网段之间的信息交互是无法得到的。而据权威 部门统计结果表明，网络上的攻击事件有7 0 以上来自内部攻击7j 。因此传统 的入侵检测系统只能保护部分网络的安全性。 9 一种分布式网络入侵检测系统踟d s 的设计与实现 分布式的网络入侵检测系统具有多个探测器，这些探测器分布于网络的各 个需要保护的关键节点上，因此可以从网络环境中的多点采集数据进行分析检 测，更容易检测到入侵行为。检测器有不同的放置方式，如根据放置的特点， 还可以检测对防火墙的攻击及防火墙的设置问题，在这下面会具体叙述。因此， 分布式的结构可以保证整个网络的安全性。 可提高系统性能 当前的网络入侵检测系统大多能在i o m 的网络环境下正常运行，在l o o m 的环境下已经是不堪重负了。据i s s 对现有i d s 的评测，即使在一个专用的高 端u n i x 主机上，在满负载的1 0 0 m 以太网链路上也会丢失3 0 7 5 的包，一 些系统甚至在使用率达到2 0 时就开始丢包日”。然而网络带宽还在不断的增大， t 0 0 0 m 以太网，光纤技术的大量应用使得网络入侵检测系统就更加难以承受了。 采用分布式结构可以将采集分析工作分配到多个节点进行，每个检测器只 负责一小部分网络的安全，而且可以让检测器分别检测不同类型的网络数据包， 这样就减轻了单个检测器的负担，从而提高了这个系统的性能【7 】。 可提高系统适应性 采用分布式结构还具有配置灵活、使用方便的优点。分布式结构的网络入 侵检测系统可以适用于多种不同的环境，当系统环境发生改变时，如增加一个 予网或增加网络中计算机的数量时，只需经过简单的配置甚至不作改变就可以 在新的网络环境中继续工作，而且采用集中式的管理方式，使得管理员可以很 方便的对整个系统进行监控和配置。 本文设计的分布式网络入侵检测系统为三层分步式结构，由下至上依次为 本地层、网络层和系统层，分别与网络中的p c 机、i n t r a n e t 和i n t e m e t 相对应。 d n i d s 的总体结构示意图如图2 1 所示。 本地层：本地层包括数据采集及分析器( a g e n t ) ，数据采集及分析器分布于 各个局域网的关键节点上，负责监视所在网段的安全事件，对入侵行为做 出响应并发送告警信息至告警信息收集器。 网络层：网络层包括告警信息收集器( 1 i s t e n e r ) ，告警信息收集器位于广域 网上，负责接收各局域网内数据采集及分析器发出的告警信息，并将其存 储入日志库。 系统层：系统层包括目志文件和控制台( c o n s o l e ) 。控制台位于系统层，负 责从日志文件中读取数据并为管理员提供友好的目志观察界面和系统管理 界面。 1 0 一种分布式网络入侵检测系统- - d n i d s 的设计与实现 d n i d s 的数据采集机分析器可根据网络拓扑运行于多个p c 上，负责监控 不同网段的信息安全。高警信息收集器和控制台可运行在一台p c 上，对系统 进行总体监控和进行告警信息的读取。一个典型的运行d n i d s 的环境如图2 2 所示。 图2 1 ：n i d s 总体结构示意图 f i g2 1 ：s k e t c h m 印o f s t r u c t u r eo f n i d s 一种分布式网络入侵检测系统d n i d s 的设计与实现 图2 2 ：d n i d s 的运行环境 f i g 2 2 ：t h er u n n i n ge n v i r o n m e n to f d n i d s 2 3d n i d s 的功能分析 作为网络入侵检测系统，d n i d s 的最主要功能是及时发现网络的入侵行为 并实时报警。系统运行时，数据采集及分析器分布于各个局域网的关键节点上， 负责监视所在网段的安全事件，对入侵行为做出响应并发送告警信息至告警信 息收集器。此外，数据采集及分析器还提供了网络监听功能，使用户在控制台 可观察到经过该数据采集及分析器所在网段的所有数据包。告警信息收集器位 于广域网上，负责接收各局域网内数据采集及分析器发出的告警信息，并将其 存储入日志库。控制台位于系统层，负责从日志文件中读取数据并为管理员提 供友好的1 3 志观察界面和系统管理界面。d n i d s 的系统功能框架如图2 3 所示。 图2 3 ：d n i d s 的系统功能框架 f i g 2 3 ：t h ef u n c t i o nf r a m e w o r ko f d n i d s 1 2 一种分布式网络入侵检测系统d n i d s 的设计与实现 3d n i d s 的系统设计 3 1 系统的总体架构设计 本文设计的分布式网络入侵检测系统为三层分步式体系结构，系统由下至 上依次为本地层、网络层和系统层。本地层包括数据采集及分析器，网络层包 括告警信息收集器，系统层包括日志文件和控制台。系统结构符合c i d f 工作 组提出的公共入侵检测框架。该小节在简要介绍c i d f 体系结构的基础上，详 细阐述本文设计的三层分布式n i d s 的体系结构，并将n i d s 在网络拓手卜中的 位置作以介绍。 3 1 1 公共入侵检测框架 公共入侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，c i d f ) 早期由 美国国防部高级研究计划局赞助研究，现在由c i d f 工作组负责。c i d f 是一套 规范，它定义了i d s 表达检测信息的标准语言以及i d s 组件之间的通信协议。 符合c i d f 规范的i d s 可以共享检测信息，相互通信，协同工作，还可以与其 它系统配合实施统一的配置响应和恢复策略。c i d f 的主要工作在于集成各种 i d s 使之协同工作，实现各i d s 之间的组件重用，所以c i d f 也是构建分布式 i d s 的基础 1 4 , 1 5 1 。 c i d f 所做的工作主要包括四部分：i d s 的体系结构、通信机制、描述语言 和应用编程接e la p i 。本文所研究的d n i d s 的总体结构是符合c i d f 体系结构 的，现将c i d f 所提出的i d s 的体系结构介绍如下。 c i d f 将入侵检测系统分为四个基本组件：事件发生器、事件分析器、响应 单元和事件数据库，c i d f 将i d s 需要分析的数据统称为事件，它可以是网络 中的数据包，也可以是从系统日志或其它途径得到的信息。 c i d f 组件之间以通用入侵检测对象( g e n e r a l i z e di n t r u s i o nd e t e c t i o no b j e c t s ， g i d o ) 的形式交换数据。一个g i d o 可以表示在特定时刻发生的一些特定事件， 也可以表示分析事件后得出的一些结论，也可以表示执行某个行动的指令。 c i d f 的体系结构如图2 1 所示。 事件产生器是整个入侵监测系统的信息源。它的任务是从入侵检测系统以 外的更大的计算环境中获取事件信息，但它并不处理这些事件，而是将事件转 一种分布式网络入侵检测系统_ d n i d s 的设计与实现 化为g 1 d o 标准格式提交给系统的其它组件使用。 事件分析器从系统的其它组件接收g i d o ，分析它们，并将分析结果以新 的g i d o 形式提供给事件数据库和响应单元。事件分析器既可以是一台模式匹 配器( 误用检测) ，也可以是一台轮廓引擎( 异常检测) 。入侵检测系统究竟采 用何种分析策略，c i d f 未作具体规定。 事件数据库负责g i d o 的存储，它可以是复杂的数据库，也可以是简单的 文本文件。具体取决于入侵检测的目标。 响应单元根据它所接受到的g i d o 做出相应，它可以只是简单的报警，也 可以终止进程、断开网络连接、改变文件属性等。 上述的四个组件只是逻辑实体，一个组件可能是一台计算机上的一个进程， 也可能是多个计算机上的多个进程。事件发生器、事件分析器和响应单元通常 以应用程序的形式出现，而事件数据库则往往是文件或数据流的形式【l8 1 。很多 i d s 厂商都以数据采集部分、数据分析部分和控制台三个术语来分别代替事件 发生器、事件分析器和响应单元。c i d f 的体系结构如图3 1 所示。 响应单元 输m ：反麻或事件 输出：高级中断事件 事件分析器 3 1 2 系统的总体结构 事件数据库 输出：事件的存储信息 输出：原始事件或低级事件 臣亟亘卜 1 一 i输入：原始事件源 图3 ，1 ：c i d f 的体系结构 f i g3 ，1 ：s y s t e ms t r u c t u r eo f c i d f 本文设计的分布式网络入侵检测系统为三层分步式结构，由下至上依次为 - 1 4 - 一种分布式羽络入侵检测系统d n d s 的设计与实现 本地层、网络层和系统层，分别与网络中的p c 机、i n t r a n e t 和i n t e m e t 相对应。 本地层包括数据采集及分析器，网络层包括告警信息收集器，系统层包括日志 库和控制台。数据采集及分析器分布于各个局域网的关键节点上，负责监视所 在网段的安全事件，对入侵行为做出响应并发送告警信息至告警信息收集器。 告警信息收集器位于广域网上，负责接收各局域网内数据采集及分析器发出的 告警信息，并将其存储入日志库。控制台位于系统层，负责从日志库中读取数 据并为管理员提供友好的日志观察界面和系统管理界面。数据采集及分析器对 应于c i d f 体系结构的事件发生器与事件分析器，告警信息收集器和控制台对 应于c i d f 体系结构的响应单元，日志文件对应于c i d f 体系结构的事件数据库， 系统结构符合c i d f 体系结构规范。系统的总体结构图如图3 2 所示。 一爵 1 日志处理模块r 叫日志显示模块li l告警信息收集器l 1 l 读取告警信息模块h 精简告警信息模块i l 网络层 1i i n t r a n e t 数据采集及分析器 数据分析模块r 叫 告警模块 数据预处理模块卜1 1 数据采集模块 本地层 p c 网络数据包 表示数据传递 图3 2 ：三层分布式网络入侵检测系统总体结构框架图 f i g3 2 ：s t r u c t u r ef i g u r eo f f r a m e w o r ko f t h r e e l a y e r e da n dd i s t r i b u t e dn i d s 其中，数据采集及分析器是整个系统的核心，其性能的好坏和效率的高低 直接影响到整个系统性能的优劣。该部分由四个模块组成，按照系统的_ i 作流 程顺序依次为数据采集模块、数据预处理模块、数据分析模块和告警模块。实 一种分布式网络入侵检测系统- d n l d s 的设计与实现 际上，这四个模块便已经组成了一个小型的网络入侵检测系统。告警信息收集 器包括两个模块，读取告警信息模块和精简告警信息模块，后者还负责将告警 信息存入日志库。控制台包含两个模块，分别为日志处理模块和日志显示模块。 系统的分布性体现在系统可具有多个数据采集集分析器与告警信息收集 器。负责监控某个网段( 该网段可以是一个局域网) 的几个数据采集及分析器 被分配到该网段的几个关键节点上，它们可将告警信息由自身的告警模块发送 到负责收集该网段告警信息的告警信息收集器。从更大范围的网络范围来看( 如 广域网) ，多个局域网的告警信息收集器将告警信息传送到位于广域网的日志 库，可通过位于广域网的控制台方便的查询。该三层分布式的体系结构便于分 配系统功能，具有很大的灵活性，下文将会系统特性作具体分析。 3 1 3 系统的工作流程 首先，程序初始化设定一些缺省值，然后解析命令行参数，根据命令行参 数确定工作方式。 分布在具体网段内的数据采集及分析器负责该网段内数据包的采集及分析 工作。数据采集模块采用了l i n u x 2 2 内核中提供的p fp a c k e t 类型的s o c k e t ， 直接从链路层获取数据帧，数据采集模块所作的另一个工作是采用软编码的方 式将网卡设置为混合模式。鉴于目前网络所广泛使用的和各种入侵所广泛针对 的都是i p 协议，所以本文所设计的系统只采集和分析基于i p 协议的数据包， 对基于其它协议的数据包则采取丢弃处理。 数据预处理模块将数据采集模块传递过来的数据包进行i p 分片的重组与 有关数据包信息的提取，然后要对数据包进行协议解析，根据数据包的协议类 型将其交由数据分析模块种特定攻击分析机进行入侵检测。 数据分析模块利用具体的字符串匹配算法与相应的规则比较对数据包进行 检测，相应的匹配算法将会在下文中详细阐述，如发现有入侵发生将告警信息 传递至告警模块。告警信息收集器将各数据采集及分析器提交的告警信息进行 精简然后转换成相应的日志格式存入日志文件。控制台从日志文件中读取信息 以供管理员的查询。 3 1 4 系统的工作模式 1 6 一种分布式网络入侵检测系统d n i d s 的设计与实现 本文所设计的n i d s 运行在l i n u x 主机平台上，与受保护的系统所采用的 操作系统的类型无关。之所以选用l i n u x 作为系统平台，主要考虑l i n u x 操作 系统自身的稳定性与安全性为n i d s 自身的安全性提供了重要保障，并且l i n u x 操作系统也正在被越来越广泛的使用。 n i d s 可有两种工作模式，中继模式和旁听模式，其拓扑结构图如图3 3 所示。 l i n u x n i d s d bs e r v e r 图3 3 ( a ) ：n i d s 的中继工作模式 f i g3 3 ( a ) ：r e l a yw o r k i n g m o d eo f n i d s 图3 3 ( b ) ：n i d s 的旁听工作模式 f i g3 3 ( b ) ：m o n i t o rw o r k i n gm o d e o f n i d s 在中继工作模式中，n i d s 一般布置在网关上面。这种方式便于入侵检测系 统实现某些主动响应功能，比如切断网络连接等等。在旁听工作模式中，入侵 检测系统只要安装在共享网段内的任意一台主机上即可。这种方式的优点是对 网络性能影响较小，但是不便于实现系统的主动响应功能。结合大连理工大学 惠普康柏电子商务中心自身的网络环境特点，本文开发的d n i d s 采用了旁 听工作模式。 3 1 5 数据采集及分析器的工作环境 1 7 - 一种分布式网络入搜检测系统- - d n l d s 灼设计与实现 数据采集及分析器是本文设计的d n i d s 的核心，它放在什么位置，对整个 系统的性能有很大的影响。一般来说，把它们放在防火墙附近比较好【1 9 翊。下 面对其可以在网络中配置的位置作以