（通信与信息系统专业论文）遵循idwg规范的分布式入侵检测协同通信机制研究.pdf

上海交通大学硕士学位论文 i 遵循idwg规范的 分布式入侵检测协同通信机制研究 摘要 入侵检测是一项能够对抗计算机网络入侵攻击并有效提高 网络安全的主动防御技术随着网络技术的发展网络应用范围 不断扩大网络结构日趋复杂广泛分布的高速网络有着海量数 据网络入侵攻击手段防不胜防单纯依靠其中独立的探测器来 准确地发现和阻止入侵行为是非常困难的同样单纯依靠分布 式入侵检测系统来准确地分析发现和阻止入侵行为也是非常困 难的所以如何实现分布式入侵检测系统中的各个检测部件间 的协同以及将入侵检测系统与现有的或将有的安全系统协同是 一件非常迫切和重要的任务 由于入侵行为存在相关性而协同的目的就是让入侵检测充 分考虑攻击行为的特征和网络安全的整体性与动态性所以协同 能够显著提高入侵检测能力和网络系统的安全防护能力只要构 造一套简洁实用的协同分析协议设计与实现基于此协议的消息 api 函数并应用有效的协同分析算法就可以有效的检测协同 入侵同时还具有对未知协同攻击模式的检测能力从而大大提 高在分布式网络环境下的入侵检测系统能力 为了提高 ids 产品组件与其他安全产品之间的互操作性 美国国防高级研究计划署 darpa 和互联网工程任务组 ietf 上海交通大学硕士学位论文 ii 的入侵检测工作组idwg发起制订了一系列建议草案从体 系结构api通信机制语言格式等方面规范了 ids 的标准 darpa 提出的建议是公共入侵检测框架cidfidwg 提出的 建议草案包括三部分内容入侵检测消息交换格式idmef 入侵检测交换协议idxp以及隧道轮廓tunnel profile 本文作者遵循 idwg的规范 尝试性地进行了分布式入侵检 测协同通信机制研究在对相关规范充分了解的基础上构造了 一套简洁实用的协议设计并构造了十多个 api 函数利用这些 api 函数系统各部件间就能方便地进行告警消息的传递以及控 制命令地发布满足了课题组网络安全态势感知系统项目的 协同通信要求 关键词入侵检测系统协同通信通信机制idxpidmef 上海交通大学硕士学位论文 iii the research on idwg-compliant co-operational communication mechanism for distributed intrusion a b s t r a c t intrusion detection is an active protecting technique that tend to resist attacks against computer networks and effectively enhance the security of whole networking system. with the development of networking technology, the range of network applications has extraordinarily extended and the networking structures have become much more complicated. since there exists a great capacity of data in the widely distributed high-speed network, it is very difficult to recognize and stop attacks by relying on an simply schema based on independent sensors. likewise, it is also very hard to analyze, recognize and prevent attacks by simply depending on dids in the whole network. it is a task of great urgency and importance to realize the cooperation of every detecting components in the dids, and achieve the interoperability of this new infrastructure with the current or incoming information security systems. since the inherent relationships between attacks, the cooperation analysis of intrusion detection technology aims to take into account of the features of related attacks and the whole dynamic situation of network 上海交通大学硕士学位论文 iv systems, and then improve the capability of intrusion detection and the whole security levels of networking systems. as the basis of this new schema design, it is very important to construct a set of compact and practical cooperation analyzing protocols and implemented the corresponding messaging api functions based on above set of protocols. another critical component is development of an effective and efficient cooperation analyzing algorithm which is able to effectively detect cooperating attack, and simultaneously greatly improve the ability of ids in an widely distributed environment, even with the detecting ability of unknown cooperative attacking patterns. in order to enhance the co-operation between the ids products, modules and other security products, darpa and idwg of ietf have separately initiated a series of drafts for proposal, which aim to standardize the criteria of ids from the aspects of systematic structure, api, communicating mechanism and language form, etc. the proposals put forward by dapra is common inbreak-detecting frame (cidf). the proposed draft by idwg includes three parts: inbreak-detecting message exchange form (idmef), inbreak-detecting exchange protocol (idxp) and tunnel profile. following the idwg-compliant drafts, the author makes an attempt to carry out research on co-operational communication mechanism for dids. on the basis of comprehension on related criteria, a set of compact 上海交通大学硕士学位论文 v and practical protocols was constructed, and more than ten api functions were designed and implemented. using these api functions, each part of the new detecting system can exchange warning messages and controlling commands conveniently. all research works are to meet the requirement of the cooperating communication mechanism designed for the whole research project “network security situational awareness system”. key words: intrusion detection, co-operation communication, communication mechanism, idxp, idmef 上海交通大学 学位论文原创性声明 本人郑重声明所呈交的学位论文是本人在导师的指导下独立进行研究 工作所取得的成果 除文中已经注明引用的内容外 本论文不包含任何其他个人 或集体已经发表或撰写过的作品成果对本文的研究做出重要贡献的个人和集 体 均已在文中以明确方式标明 本人完全意识到本声明的法律结果由本人承担 学位论文作者签名刘志辉 日期2005 年 1 月 14 日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留 使用学位论文的规定 同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版允许论文被查阅和借 阅 本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索可以采用影印缩印或扫描等复制手段保存和汇编本学位论文 保密在 年解密后适用本授权书 本学位论文属于 不保密 请在以上方框内打 学位论文作者签名刘志辉 指导教师签名薛质 日期2005 年 1 月 14 日 日期2005 年 1 月 14 日 遵循 idwg 规范的分布式入侵检测协同通信机制研究 1 第一章 绪论 1.1 引言 近年来随着internet 的飞速发展计算机网络的资源共享进一步加强然而资 源共享与信息安全历来都是一对矛盾网络的安全正面临着越来越严重的挑战根 据美国fbi 的统计 1 美国每年因网络安全问题所造成的经济损失就高达 27 亿美元 全球平均每 20 秒钟就发生一起 internet 计算机侵入事件能否成功阻止网络黑客的 入侵保证计算机和网络系统的安全和正常运行已经成为各个企业政府军事 部门和国家能否成功发展的关键性问题 为了保护计算机系统网络系统和信息涌现出了各种安全技术和产品对各 个环节提供保护入侵检测系统就是其中一种入侵检测系统是 p2dr2安全管理模 型中很重要的一个安全管理环节(detction)是对防火墙等防护产品的一个安全功能 的扩展和安全功能的补充入侵检测技术是一种利用入侵留下的痕迹如试图登陆 的失败记录等信息来有效地发现来自外部或内部的非法入侵的技术它以探测与控 制为技术本质起着主动防御的作用是网络安全中极其重要的部分 互联网的发展为全球范围内实现高效的资源和信息共享提供了方便同时也对 网络安全和入侵检测系统( ids) 提出了新的挑战日益复杂的网络系统结构广泛 采用的分布式应用环境海量存储和高带宽的传输技术都使得集中式的入侵检测 越来越不能满足系统的安全需求 2 大规模高速网络下安全审计数据的数据量及 其复杂性对于传统的针对单机或小规模网络的 ids 来说是无法承受的借助于互联 网大规模传播的蠕虫病毒(worm) 以及近年来频繁出现的以分布式拒绝服务攻击 (ddos) 为代表的协同攻击也使传统的 ids 无能为力在这种情况下我们需要从 系统结构策略管理检测技术等各个层次上提出并实现新的入侵检测方法以适 应大规模分布式系统的要求 从国内外的科研及应用情况分析在美国入侵检测系统已经作为保护美国信 息空间的基础设施来规划和布控在美国新近的iatf 文档中已将入侵检测系统 特别是高速的 gb 级的大规模的分布式的互动的和其他安全系统系统工 作的以及高性能的智能化的攻击识别技术的入侵检测系统作为重点对象研发 和推广 我国已经有很多公司和科研单位相继开发出了自己的入侵检测系统但还不能 满足企业大规模的需求且采用的检测手段单一忽视检测后的应对措施因此设 计一种具有超大规模的能对不同网络自治域进行监测和管理的实时网络自动违 规识别和响应系统能实时的自动的对网络入侵与违规行为识别网络攻击情报 遵循 idwg 规范的分布式入侵检测协同通信机制研究 2 预警和对入侵行为与征兆的响应系统成为各相关公司和科研单位的研究方向 1.2 课题背景 入侵检测是发现入侵行为主动保护自己免受攻击的网络安全技术它通过对 计算机网络或计算机系统的关键点收集信息并进行分析从中发现网络或系统中是 否有违反安全策略的行为和被攻击的迹象也就是说对系统的运行状态进行监视 发现各种攻击企图攻击行为或者攻击结果以保证系统资源的机密性完整性和 可用性用于入侵检测的软件和硬件的组合就是入侵检测系统 一 检测技术原理 3 入侵检测是防火墙的合理补充可以帮助系统快速发现网络攻击的发生扩展 系统管理员的安全管理能力(包括安全审计监视进攻识别和响应)提高了信息安 全基础的完整性入侵检测被认为是防火墙之后的第二道安全闸门在不影响网络 性能的情况下对网络进行监听从而提供对内部攻击外部攻击和误操作的实时保 护 在本质上 入侵检测系统是一个典型的 窥探设备它不跨接多个物理网段 通 常只有一个监听端口无须转发任何流量而只需要在网络上被动的无声息的收 集它所关心的消息即可在收集上来的消息基础上入侵检测系统提取相应的流量 统计特征值并利用内置的入侵知识库与这些流量特征进行智能分析和比较匹配 根据预设的阈值匹配耦合度较高的消息流量将被认为是进攻入侵检测系统将根 据相应的配置进行报警或进行有限度的反击入侵检测系统的原理模拟图 1- 1 如下 示 图 1-1 入侵检测系统的原理模拟图 figure 1-1 principle of intrusion detection system 遵循 idwg 规范的分布式入侵检测协同通信机制研究 3 二检测系统的工作流程大致分为以下几个步骤 4 (1) 信息收集 入侵检测的第一步是信息收集内容包括网络流量的内容 用户连接活动的状态和行为 (2) 信号分析 对上述收集到的信息一般通过 3 种技术手段进行分析模 式匹配统计分析和完整性分析其中前两种方法用于实时的入侵检测而完整 性分析则用于事后分析具体的技术形式如下所述 (3) 模式匹配 就是将收集到的信息与已知的网络入侵和系统误用模式数 据库进行比较从而发现违背安全策略的行为该过程可以很简单如通过字符 串匹配以寻找一个简单的条目或指令也可以很复杂如利用正规的数学表达 式来表示安全状态的变化一般来讲一种进攻模式可以用一个过程如执行 一条指令或一个输出如获得权限来表示该方法的一大优点是只需收集相 关的数据集合可以显著减少系统负担且技术已相当成熟它与病毒防火墙采 用的方法一样 检测准确率和效率都相当高但是该方法存在的弱点是需要不断 的升级以对付不断出现的黑客攻击手法不能检测到从未出现过的黑客攻击手 段 (4) 统计分析 该方法首先对信息对象如用户连接文件目录和设备 等创建一个统计描述统计正常使用时的一些测量属性如访问次数操作失 败次数和延时等测量属性的平均值将被用来与网络系统的行为进行比较 任何观察值在正常偏差之外时就认为有入侵行为例如如果一个在 2000 至第二天 600 不登录的账户却在凌晨 200 试图登录统计分析就可能将其标 识为一个不正常行为其优点是可检测到未知的入侵和更为复杂的入侵缺点是 误报漏报率高且不适应用户正常行为的突然改变具体的统计分析方法如基 于专家系统的 基于模型推理的和基于神经网络的分析方法目前正处于研究热 点和迅速发展之中 (5) 完整性分析 该方法主要关注某个文件或者对象是否被更改这经常包 括文件和目录的内容及属性它在发现被更改的被特洛伊化的应用程序方面特 别有效完整性分析利用强有力的加密机制称为消息摘要函数例如 md5 它能识别哪怕是微小的变化 其优点是不管模式匹配方法和统计分析方法能否发 现入侵只要是成功的攻击导致了文件或其它对象的任何改变它都能够发现 缺点是一般以批处理方式实现不用于实时响应这种方式主要应用于基于主机 的入侵检测系统hids 三入侵行为的主要技术方法有以下几种 (1) 用户特征 用户特征的基本前提是能够根据用户通常的举动来识别特定 的用户用户的活动模式根据在一段时间内的观察建立例如这个用户更多地 使用某种命令 在特定时间内并以一定的频率访问文件系统登录及执行相同的 遵循 idwg 规范的分布式入侵检测协同通信机制研究 4 程序等 每个用户的特征可以按照他们的这些活动建立并定期更新一个假冒合 法用户的入侵者多半不能够像合法用户一样进行同样的操作或在一定的时间内 登录如果入侵者的活动不在已经建立的用户特征范围内其入侵活动将会被检 测到同样的原因合法的用户如果进行了非授权活动也同样会被检测到 这种方法的一种变形形式是建立组特征 即描述一个或者若干个组中的预期 活动组可以按照一个组织中的功能机构来分例如程序员组管理员组和各 种类型的应用程序用户组等 当用户第一次访问系统时通常给他一个基本特征 这个基本特征随着着用户 与系统的交互进行正常的活动过程中被逐步更新如果延长用户的工作时间 那么用户就可能在午夜登录那么 ids 就检测到其行为因此当延长工作时间 的活动就还会被认为是异常的了此外只要外界用户不进行太多的操作或不去 试图访问不同寻常的文件他们也能够逃避基于用户特征的检测系统的检测 (2) 入侵者特征 这种方法类似于在公共安全中利用某些类型犯罪分子的特 征 当外界用户或入侵者试图访问某个计算机系统时会进行某些特殊的活动或使 用特殊办法如果这些活动能够予以描述入侵活动系统就能够检测到入侵者 活动的一个典型情况 当其获得系统的访问权时通常会立即查看还有哪些用户 登录在系统然后可能会检查文件系统和浏览目录结构偶然会打开文件通常 不会在系统上登录过久而一个正常的用户一般不会有这样的举动 (3) 基于活动 另一种识别入侵活动的办法是基于对入侵活动的检测因为 入侵者入侵系统时进行某些已知的具有共性的操作 一个与些相同的办法是检测利用系统漏洞的企图 现有的系统和应用软件中 有许多漏洞可以被有经验的入侵者利用去攻击系统 任何利用系统已知漏洞进行 入侵的个人都可以被怀疑是入侵者 显然这种方法需要具备大多数严重漏洞的 知识否则入侵者利用一些漏洞进行入侵的活动也不会被检测到 同样如果有目的地使用某些不同于本地操作系统命令的任何举动都可能 被认为是入侵活动 四侵检测方法的分类 (1) 基于用户行为概率统计模型的入侵检测方法 这种入侵检测方法是基于 对用户历史行为建模以及早期的证据或模型的基础上 审计系统实时的检测用户 对系统的使用情况 根据系统内部保存的用户行为概率统计模型进行检测当发 现有可疑的用户行为发生时保持跟踪并监测记录该用户的行为系统要根据 每个用户以前的历史行为 生成每个用户的历史行为记录库当用户改变他们的 行为习惯时这种异常就会被检测出来 (2) 基于神经网络入侵检测方法 这种方法是利用神经网络技术来进行入 侵检测的因此这种方法对用户行为具有学习和自适应功能能够根据实际检 遵循 idwg 规范的分布式入侵检测协同通信机制研究 5 测到的信息有效的加以处理并作出入侵可能性的判断但该方法还不成熟目前 还没有出现较为完善的产品 (3) 基于专家系统的入侵检测技术 该技术借鉴安全专家对可疑行为的分析 经验来形成一套推理规则然后在此基础上建立响应的专家系统由此专家系统 自动进行对所涉及入侵行为建立行为的分析工作.该系统能够随着经验的积累而 利用其自学能力进行规则的扩充和修正. (4) 基于模型推理的入侵检测技术 该技术根据入侵者在进行入侵时所执行 的某些行为模型所代表的入侵意图的行为特征来判断用户执行的操作是否是属 于入侵行为.当然这种方法也是建立在对当前已知的入侵行为程序的基础之上 的对未知的入侵方法所执行的行为程序的模型识别需要进一步的学习和扩展. (5) 实时数据包分析 典型的包分析系统由两个探测系统组成一个探测系 统被安装在防火墙多外以探测来自外网的攻击 另一个检测系统安装在网络内部 以探查那些已穿透防火墙的入侵和内部网络入侵和威胁数据包分析的优点是 第一 许多基于网络的入侵如虚拟地址数据包泛滥最适于进行包检查 第二 你不必为每一台主机都安装一套软件 但是 请牢记网络的基本定义是 节 点和连接媒介的集合包分析软件仅仅监视连接媒介上流过的数据包而不包 括节点节点是任何网络的重要组成部分因此我们不能将数据包分析软件归 属为基于网络的入侵检测工具 (6) 实时活动监视 对发生在组成网络的各种系统和设备上的与网络安全 相关的活动进行的监视是一种有效的实时入侵检测方法大多数实时活动监视 工具还同时察看操作系统审核数据它的优点是它们安装在离重要数据和应用 程序很近的地方所以对网络内部和外部入侵的监视就变得十分容易另外包 分析无法发现许多应用程序和操作系统级入侵 只有系统级监视才能检测到这些 入侵 以上几种方法中每一种都不能保证能准确的检测出变化无穷的入侵行为. 因此在网络安全防护中要充分衡量各种方法的利弊 综合运用这些方法才能有效 的检测出入侵者的非法行为. 五侵检测技术按检测策略可分为四种 (1) 基于应用的监控技术 主要特征是使用监控传感器在应用层收集信息 由于这种技术可以更准确的 监控用户某一应用的行为 因此在日益流行的电子商务中越来越受到注意缺点 是有可能降低技术本身的安全 (2) 基于主机的监控技术 主要特征是使用主机传感器监控本系统的信息这种技术可以用于分布式 加密交换的环境中监控缺点在于主机传感器要和特定的平台相关联加大了 遵循 idwg 规范的分布式入侵检测协同通信机制研究 6 系统的负担 (3) 基于目标的监控技术 主要特征是针对专有系统属性敏感数据和攻击进程结果进行监控这种技 术不依据历史数据系统开销小可以准确的确定受攻击的部位受到攻击的系 统容易恢复缺点是实时性较差对目标的检验数依赖较大 (4) 基于网络的监控技术 主要特征是网络监控传感器监控包监听器收集的信息 该技术不需要任何特 殊的审计和登录机制 不会影响其他的数据源缺点是如果数据流进行了加密就 不能审查其内容对主机上执行的命令也感觉不到 1.3 课题研究的内容和目标 研究小组的课题是设计和实现一个网络安全态势感知系统它是一种基 于 snort 的高性能检测引擎 gis 可视化技术 分布式检测架构数据库技术 数 据挖掘数据仓库等的系统其架构设计图如 1-2 所示 图 1-2 网络安全态势感知系统的架构图 figure 1-2 structure of network secure perceptual system 由于采用分布式结构 各个功能模块分布在局域网上需要采用统一的数据 遵循 idwg 规范的分布式入侵检测协同通信机制研究 7 模型来描述通信数据我们在基于 beep 的通信基础上采用 idmef 消息格式 封装入侵检测通信数据并通过 idxp 协议进行数据传输来实现分布式入侵检 测的协同通信机制 在分布式入侵检测技术中 协同通信机制具有举足轻重的地位它是分布式 入侵检测各个功能模块之间警报消息交换与参数命令传输的必要基础同时随 着网络安全技术的不断普及和发展 各种网络安全产品也提供了各种不同的安全 保障方式不同的 ids 之间ids 和其它安全产品之间必须具备协同通信与相互 联动的能力以实现相关信息的共享和协同防御 作者的任务是进行协同通信机制的研究 为系统构建一组 api 函数 生成一 个动态连接库(dll)以实现系统各部件之间的灵活通信要求 论文组织结构如下全文共分为六章第一章绪论介绍课题研究背景以及 本文的内容概要第二章阐述课题的技术原理从入侵检测系统的概念讲起详 细阐述了入侵检测框架并介绍了分布式入侵检测系统的概念和多层架构设计 第三章从分布式入侵检测数据交换的要求数据模型以及消息格式入手讲述了 协同通信机制的研究基础第四章分析了入侵检测交换协议和 idmef 格式消息 的构造方法第五章讲述 idxp 的实现api 函数的实现以及在已经生成的动态 连接库基础上实现部件之间的通信介绍了协同通信机制的实现第六章 结论 与展望总结了本文的工作及今后的研究方向 遵循 idwg 规范的分布式入侵检测协同通信机制研究 8 第二章 入侵检测系统概述 2.1 入侵检测系统 1入侵检测系统(ids)简介 5 入侵检测系统是目前最新的反黑客安全工具提供对内部外部攻击和误操 作的实时保护在网络系统受到危害前拦截和响应入侵入侵行为主要是指对系 统资源的非授权使用可以造成系统数据的丢失和破坏系统拒绝服务等危害 入侵检测是通过对计算机网络或计算机系统中的若干关键点信息进行收 集分析从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象 进行入侵检测的软件与硬件的组合就是入侵检测系统 目前的 ids 还缺乏相应的标准试图对它进行标准化的有两个组织 ietf(internet engineering task force) 和 cidf(common intrusion detection framework) cidf 阐述了一个 ids 通用模型 将 ids 需分析的数据统称为事件 事件可以是网络中的数据包也可以是从系统日志等途径得到的信息一个入 侵检测系统分为 4 个组件 (1)事件产生器 它的工作是检测事件并发出报告 (2) 事件分析器接收报告进行分析产生分析结果 (3)数据库存放入侵攻击特 征和入侵 ip 地址(4)控制器接收前面 3 个组件的信息对事件进行反应 2ids 通信协议 6 ids 系统组件之间需要通信不同厂商的 ids 系统之间也需要通信因此 定义统一的协议使各部分能够根据协议所制订的标准进行沟通是很有必要的 有一个专门的小组 ietf intrusion detection workinggroup (idwg)负责定义这种 通信格式目前只有相关的草案还未形成正式的 rfc 文档草案为 ids 各部 分之间不同系统之间的通信提供了指引idwg 出的文档有 (1)iap intrusion alert protocol 入侵警报协议 该协议用于交换入侵警报信 息是运行于 tcp 之上的应用层协议 (2)the intrusion detection exchange protocol (idxp)入侵检测交换协议 该协 议在入侵检测实体间交换数据提供 idmef 消息无结构的文本二进制数据 的交换 (3)intrusion detection message exchange format(idmef)入侵检测消息交换 格式 (4)the tunnel profile beep ( blocks ext -ensibleexchange protocol) beep 这份大纲允许对等体能作为一个应用层代理允许用户通过防火墙得到服务. iap 是最早设计的通信协议它将被 idxp 替换idxp 建立在 beep 基础之 遵循 idwg 规范的分布式入侵检测协同通信机制研究 9 上beep rfc由已形成的另外一个小组定义的 tunnel profile 配合 idxp 使用是数据存放格式 3入侵检测消息交换格式(idmef) idmef 的目的是定义数据格式和交换程序从而能在入侵检测和响应系统 以及控制系统之间共享信息 idmef 描述了表示 ids 输出信息的数据模型并且已经 用 xml 语言实现 了该数据模型还发展了 xml 文档类型定义 dtds(document type definition) 最后给出了一些例子idmef 这种标准数据格式的发展能在商用系统公共系 统和研究系统之间发展互动允许用户根据这些系统的强项和弱点来合理使用 从而得到最佳实现 2. 2 通用入侵检测框架 通用入侵检测框架 7 (common intrusion detection framework)最早是美国国 防部高级研究计划局赞助研究的项目现有专门的 cidf 工作组cidf 是一套 规范 阐述了一个入侵检测系统的通用模型 定义了表达 ids 监测信息的标准语 言和模块间通信的协议遵循 cidf 开发的 ids 可以实现相互通信协同工作 cidf 模型开发的目标是 使 ids 系统可以从功能上划分为相对独立的组件 组件在不同的环境中可以被重用 组件之间可以通过 api 或者网络共享数据协同工作 系统可以扩展组件 新组件在需要通信的时候 能够自动找到相关的组件 根据开发的目的cidf 工作组制定了四个部分的规范文档 cidf 体系结构模型(common intrusion detection framework architecture) cisl 规范语言(a common intrusion specification language) 内部通讯(communication in the common intrusion detection framework) cidf 程序接口(common intrusion detection framework apis) cidf 将一个入侵检测系统分为事件产生器(event generators)事件分析器 (event analyzers)响应单元(response units)和事件数据库(event databases)四个 部分 各组件之间通过消息传递进行通信入侵检测系统所有组件之间都通过通 用入侵检测对象(generalized intrusion detection objects)结构来交换数据系统的 遵循 idwg 规范的分布式入侵检测协同通信机制研究 10 组件结构如图 2-1 所示 图 2 - 1 c i d f 体系结构 f i g u r e 2 - 1 c i d f a r c h i t e c t u r e cidf 将入侵检测系统需要分析的数据称为事件它可以是基于网络的入侵 检测系统中网络中的数据包 也可以是基于主机的入侵检测系统从系统日志等其 它途径得到的信息 事件产生器的目的是从整个计算环境中获得事件但它并不处理这些事件 而是向系统的其它部分提供此事件用于分析事件分析器分析得到的数据并产 生分析结果响应单元则是对分析结果作出反应的功能单元它可以只是简单的 报警也可以作出切断连接改变文件属性等强烈反应甚至发动对攻击者的反 击 事件数据库是存放各种中间和最终数据的地方的统称它可以是复杂的数据 库也可以是简单的文本文件 为了保证各个组件之间安全高效的通信cidf 将通信机制构造成一个三 层模型gido 层消息层和协商传输层gido 层的目的是提高组件之间的互 操作性它确保各组件能正确理解相互之间传递的各种数据的语义对事件的表 示做了详细定义 消息层确保被加密认证消息在防火墙等设备之间传输过程中的 可靠性 消息层只负责将数据从发送方传递到接收方而不携带任何有语义的信 息协商传输层规定 gido 在各个组件之间的传输机制因为只有当两个特定的 组件对信道使用达成一致认识时才能进行通信 为了实现cidf还必须有一个统一的接口语言 确保各模块更好的相互通信 遵循 idwg 规范的分布式入侵检测协同通信机制研究 11 通用入侵描述语言的设计正是为了这个目的cisl 8 是入侵检测系统一种表达 方式设计用来在组件间传输事件记录分析结果和反应策略等正因为 cisl 是用来描述事件攻击和响应信息的语言因此它具有可表达性表达唯一性 准确性层次性高效可扩展跨平台易实现的特点 cidf 的 api 负责 gido 的编码解码和传递它提供的调用功能使得程序 员可以在不了解编码和传递过程具体细节的情况下 以一种很简单的方式构建和 传递 gido 2.3 分布式入侵检测系统 2.3.1概述 入侵检测通过对计算机网络或计算机系统中的若干关键点收集信息并进行 分析 从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象 9 进 行入侵检测的软件与硬件的组合就是入目前入侵检测技术主要发展方向有 10 分布式入侵检测应用层入侵检测智能化入侵检测全面的安全防御方案建 立入侵检测系统评价体系dids 的关键技术为检测信息的协同处理与入侵攻击 的全局信息的提取它的特点在于各种 ids 能够协同工作优势共享缺陷互 补组成了一个两层的分布式 ids从而能够组合各种检测攻击的信息更精确 地识别和定位攻击行为 对于各类的复杂入侵行为 传统的网络入侵检测模式已经无法满足实际的需 求这些问题主要来自于下列的原因 入侵行为全面化 现今的网络入侵与攻击行为 已不象传统攻击行为具有 单一来源单一主机的特性透过网络上木马攻击代理攻击的机制加上强大 的系统运算能力以及配合使用网络协议的漏洞等特性入侵者为隐藏身份提 高攻击效能等原因发展出许多使用联手攻击隐藏来源的机制使得网络入侵 行为的检测更为困难 入侵行为复杂化 随着使用者在网络上各式各样的应用逐渐地开发 网络 服务更为复杂化这也使得网络攻击行为也随之衍生出更多的变化与可能性 入侵特征隐藏化 随着网络环境的成熟以及网络应用的不断增加如何 遵循 idwg 规范的分布式入侵检测协同通信机制研究 12 有效找出分辨网络入侵的行为特征成为进行网络入侵检测所遇到的一个难题 一个分布式的网络入侵检测机制可以有效地解决以上各项问题 利用其分布 式入侵检测的特性 针对不同规模的网络环境进行事件的检测与传送并针对其 中可能隐含的重要事件进行更深一层的检测动作 使事件安全的防护可以由浅入 深达到多种阶段的入侵防护功能典型地分布式网络入侵检测系统架构图 11 如 图 2-2 所示 图 2-2 分布式入侵检测系统结构图 figure 2-2 architecture of distributed intrusion detection system 在本系统的结构中包含 3 个主要元件其中在线网络探测器负责针对所 属防御区域的网络环境进行基础的检测工作 并且将检测过程中同时收集并分析 的异常网络事件信息传送到网络探测总控制器 属于另外一个重要元件的网络探 测总控制器 则是利用由各在线网络探测器所传送的基本事件信息进行更为深 入的检测与推论 利用其中的推论引擎 将有关网络入侵模式及网络管理的知识 以完整的规则推论结构加以表现 并以此完成整个机制中依据不同入侵状况及行 为的回应机制 使得整个系统具备对于不同入侵行为的适应性而网络行为分析 器则是利用在线网络探测器所传送的各项事件信息 以离线的方式进行网络行为 检测的工作 从各项网络事件找到可能隐藏的网络行为其中可能包括正常与异 常等不同行为 而这些网络行为可交由专家判断并且作为下一阶段网络检测和管 理所用的行为特征与规则 遵循 idwg 规范的分布式入侵检测协同通信机制研究 13 下面我们将针对不同元件进行详细的说明 在线网络探测器 在分布式网络入侵检测系统中它扮演的角色在于针对 每个受防护的网络区域进行入侵检测与网络事件初步分析的工作 在线网络探测 器的系统结构可用图 2-3 来表示 图 2-3 在线网络检测器的系统结构图 figure 2-3 online network sensor structure 初步检测部件 在每个受到本系统防护的网络环境中 所安装的在线网络探测器系统负责该 网域的基本安全与网络事件的检测 而在每个元件中的初步检测部件负责在每 个网域中进行基本的检测功能在传统的 ids 系统中各自具备所属的特定检 测引擎而在线网络探测器中的初步检测部件可用以提供第一层的检测功能 在这方面的应用上我们采用公共入侵规范语言 cisl (a common intrusion specification language) 其中利用标准化定义的公共入侵规范语言将专家对 于入侵行为的知识以规范语言构成 cisl 的 s 表达式加以描述 将专家描述的 s 表达式信息用以进行入侵检测当各初步检测部件发现入侵行为后便可依照专 家所设定的触发条件进行回应 网络分析部件 初步检测部件通过对网络事件的检测 可以分析得到有关该网络环境中的各 项网络特性 而这些信息可用以提供后端的网络探测总控制器作为网络管理和监 测的重要信息进而使用本系统进行管理和检测的网络管理人员可将依据网络 环境特性所定义的网管策略应用本系统加以实现 这些计算的信息内容将通过信 息处理及传送部件包装为网络探测总控制器端可以接受的事件信息 传送给网络 遵循 idwg 规范的分布式入侵检测协同通信机制研究 14 探测总控制器并将这些信息放入网络探测总控制器推论的事件信息管理元件 中作为网络探测总控制器推论所需的事件信息来源 信息处理及传送部件 在在线网络探测器中 这个元件负责将在线网络探测器需要报告给网络探测 总控制器服务器端的信息整理为它能够接收的特定格式即 cisl 的 s 表达式 提 供让网络探测总控制器解译这些信息并且加以应用 信息处理及传送部件传送信 息的格式是依据 cisl 中所定义的事件信息格式 信息处理及传送部件传送信息 采用 udp 协议因此对于在线网络探测器在执行检测等功能并不会有明显的影 响 网络探测总控制器 当在线网络探测器在每个受防护的区域端进行检测后 将每个区域端所检测到的异常事件传送到网络探测总控制器后 便由网络探测总 控制器进行更深一层的检测与推论操作 完成第二层防护与管理的用途网络探 测总控制器的结构可用图 2-4 来表示 图 2-4 网络探测总控制器系统结构图 figure 2-4 architecture of main network control system 在图 2-4 中包括负责接收与管理事件信息的事件管理组件负责处理储 存各类信息的信息处理器 负责计算与传送统计资料的统计资料处理器负责载 入由专家设定的检测及管理规则并进行规则推论的推论引擎 以及负责针对检测 结果进行反应的反应器其中各项元件的具体功能如下 事件管理组件 当网络探测总控制器从在线网络探测器接收 cisl 格式的事件信息后 必须 遵循 idwg 规范的分布式入侵检测协同通信机制研究 15 将其中所包含的事件信息加以解析并管理 而网络探测总控制器的事件管理组件 便用于负责此项工作 由在线网络探测器所传送的事件信息格式由于遵循 cisl 的格式 因此在 信息接收的前端除了包括能够由网络接收 udp 协议信息的网络接收模块外 对于所接收的信息需具备入侵检测描述语言的解析能力 公共入侵规范语言剖析 器对在线网络探测器传送的事件信息进行解析 为了要让推论引擎能够使用这些 信息进行推论事件管理组件会针对这些事件信息的名称与内容进行管理与索 引提供推论引擎快速取得所需信息的能力被管理的信息将被存放于事件存储 池中 信息处理器 当事件信息从在线网络探测器取得并经由事件管理组件解析后 针对其中所 传送的信息必须进一步储存作为后续进行网络行为探测等工作之用 因此信息处 理器的工作 在于将前一步骤解析得到的事件信息内容依据各类不同信息内容储 存于资料库中 统计资料处理器 这个元件负责利用前述元件所储存的事件信息进行各项可能的统计计算 并从中得到有关各在线网络探测器防护区域或者整个系统防护区域的状态这 个元件可提供网络管理者得到有关整个网络状态的基本管理信息 推论引擎 为了使网络探测总控制器具备对于所设定管理/ 检测规则的推论能力在网 络探测总控制器中必须使用一个推论引擎来针对管理者所设定的管理及检测规 则进行推论使用 cisl 语言来描述入侵检测的规则同时也适用于管理规则的 设定上而在推论成立的结果方面除了用以设计推论字符串的事件新增或指定 功能外 另外结合稍后将提到的反应器可将推论的结果用以触发反应器执行各 项管理功能包括纪录警示或者利用自定的反应器呼叫其它应用程式执行防 护动作 反应控制器 这个元件负责执行检测及管理的反应机制 当管理及检测规则到达所设定的 反应阶段时 这时推论引擎将呼叫反应器进行所指定的工作并且传递适当的参 遵循 idwg 规范的分布式入侵检测协同通信机制研究 16 数以供反应控制器给予指定的反应机制作为处理工作所需的信息 在反应控制器 后端呼叫的反应机制部分本系统中除提供基本的纪录警告通知等功能外其 余则可利用所嵌入的反应机制来进行所需的功能 反应器插件 网络探测总控制器所能采取的反应工作除了前述各项基本功能外还可根 据不同的应用而设定系统可允许使用者设计特定的反应机制并可结合不同的 应用程式在这个部分的设计我们采用物体导向程式设计中(oop) 的抽象类 别继承概念 使得反应机制允许一定的规范与格式来操作这使得系统在应用这 些外挂的反应机制时得以了解其格式而不需修改系统内部的程式 资讯机制插件 除了以上所提到的各项检测机制与传送机制外 为了让系统具备对于不同事 件的检测能力在检测事件的部分采用了 cisl 这种以 s 表达式为基础的信 息格式作为传送信息的标准 这样一来允许任意信息机制遵循 cisl 的定义制定 传送事件 网络行为分析器 为了使本系统对于可能的未知入侵行为具备更高的适应 性针对在线网络探测器传送的网络信息本系统中使用信息探测技术从中尝 试找出可能的行为模式 并且用以作为管理及检测规则的应用在使用网络行为 分析器的开始阶段使