基于信息共享的协同入侵检测模型研究

1 / 11基于信息共享的协同入侵检测模型研究摘 要 针对传统的 IDS 检测手段单一、误报率高的不足，研究如何在入侵检测中引入协作。提出了基于信息共享的协同入侵检测模型和算法。该模型独立于具体的系统，从而为通用的协同入侵检测系统提供了一个框架。协同入侵检测算法包括基于时间密度的抗噪声聚类算法和警报关联分析算法。在此基础上，实现了一个原型系统，并结合数据集测试方法对原型系统进行了测试，验证了模型和算法的可行性和有效性。 关键词 入侵检测；计算机支持的协同工作；CSCW1 介绍 随着入侵检测技术的发展和成熟，入侵检测系统已经成为安全防卫体系中一个重要的环节。对于有些 IDS 来说，对于某类攻击事件的危害结果只能反馈“非常严重” 、 “严重” 、 “中等” 、 “一般”等模糊的等级名字，而没有一个明确的界定和信息，这样就使用户很难了解某一个攻击事件究竟会对系统的哪些地方进行攻击、攻击到什么程度、可能会带来什么样的后果，即使用户知道一个攻击事件是严重的，也无法了解其具体细节，也就发有的放矢地采取具体的技术防范措施。这也是 IDS 产生大量报警信息，无法发挥其作用的原因所在。为了增强 IDS的有效性，分布式入侵检测得到了广泛的应用，它们通常具有多个检测单元，这些检测单元给出抽象层次比较低的2 / 11警报，需要进行协同分析和综合，从而生成更高层次的警报。分布式入侵检测系统通常可以分为分布式多数据源采集和分布式多引擎协作式入侵检测，前者采用相同的检测引擎，但是在数据采集上进行多点采集，丰富了检测数据的来源；后者则采用不同的检测引擎，可以弥补单一引擎的缺陷和盲点，但是由于各个检测引擎的警报格式有差异，因此需要有相应的机制保证警报处理时的信息互享。上述两种分布式入侵检测都会带来一个同样的问题，即造成警报和日志的数量的海量增加。就目前的现状来看，IDS 还不能做到完全的自动化，对于检测结果的最终确认必须有管理员的参与，而数量庞大的警报和日志往往超出了管理员的处理能力，因此必须找到办法来解决这一问题。2 协同入侵检测模型 “协同”最初是一个社会学的概念，更多地用于描述人与人之间的分工与协作。在实际应用中，通过恰当地划分工作并利用群体优势互补来做到这两点。人与人之间的协作比较容易理解：“尺有所长，寸有所短。 ”通过恰当地划分待完成的任务，根据各人的特长分配不同的工作，使每一项工作都能最好、最快地完成。这样不但能完成个人无法完成的工作，而且提高了工作效率。 相对而言，计算机系统之间的协作显得有些费解。虽然在理论上通用计算机系统可以通过安装所需的硬件与软件而实现所需的功能，但在设计与制造时出于成本的考虑，单个计算3 / 11机系统的能力与可扩展性都是有限的。这使不同的计算机具有不同的计算能力，相应地适合不同的任务，也就在某种程度上具备“特长” 。网络的出现使单个计算机系统之间可以共享资源，从而更进一步扩展了可利用的资源。基于网络的应用充分利用这一点，使联网的单个计算机系统发挥更大的作用。 具体到入侵检测系统，协作的意义在于多个检测组件通过协作能获得同样数量的相互独立的多个入侵检测系统所不能获知的信息，并在此基础上对信息进行进一步的提炼和取舍，从而达到更好的检测效果。提出了入侵检测协作的三个不同层次：通信协议的格式规范，多检测引擎的信息共享和基于知识的协同工作支持。如图 1所示。图 1 入侵检测协作的三个层次 重点致力于信息共享的协作研究，提出了基于信息共享的协同检测模型。在检测模型中， “个体”是单个检测组件，而“群体”是由这些个体组成的“协同入侵检测系统” 。图 2 给出了协同检测模型，它与传统模型最大的不同在于引入了协作服务：多个检测组件在协作服务的支持下检测入侵，达到比独立工作的多个入侵检测系统更好的检测效果。协同检测模型可以简单地划分成检测组件与协作服务两部分。图 2 中有两个检测组件，实际系统可以有更多检测组件。检测组件的特点之一在于与协作服务的接口，这使得检测组件是开放的既可以接受来自协作方的数据，也可以为协作方提供4 / 11数据，协作服务为检测组件提供协作服务，支持协同检测。图 2 协同入侵检测模型 协作服务的内容 协作服务的内容主要包括： 可用数据与规则的检索。数据与规则集中存放在数据库中。这里提供的可用数据与规则检测功能并非面向用户，而是面向检测组件。 计算数据相关性。当检测组件提出数据请求时，根据请求的数据描述，计算可用数据的相关性，将相关性满足需要的数据返回。 转发协作请求。当数据库中没有可用的相关数据时，把数据请求转发给其它检测组件，由它们直接响应数据请求。对规则请求也作同样处理。 维护待订规则表。当数据库中没有可用的相关规则，而且没有检测组件响应规则请求时，就把提求的请求添加到待订规则表，通知用户制订相应的新规则。 信息共享方式 在协同检测模型中，检测组件之间通过协作服务来共享数据，组件间共享数据在改善检测效果的同时也会带来系统通信的额外开销。组件间的共享策略可以分为两种： 策略一：检测组件共享所有数据，如果检测组件 IDC1 与 IDC2 之间共享所有数据，这样的好处是数据最全，而问题在于通信开销也最大，同时 IDC1 与 IDC2 各自需要处理的数据量也最大，如果检测组件增加的话，处理的数据量呈爆炸性增长。策略二：检测组件共享相关数据，如果 IDC1 与 IDC2 之间仅共享相关数据，则 IDC1 与 IDC2 之间通信开销以及各自5 / 11需要处理的数据量都会明显减少，这样做需要解决的一个问题是如何提取数据的相关性，利用相关数据来提高分析的准确性和提高检测组件的处理效率。 无论是通信开销还是分析效率，第二种共享策略均有更优异的表现，因此在协同检测模型中采用第二种共享策略。结合第三章提出的攻击知识库，考虑到实时入侵检测对数据处理性能和迅速响应的要求，增加了特征分类一项，并通过谓词规则来表示和提取数据的相关性，从而能迅速定位相关数据。 警报格式 由于各个检测组件使用的原始警报格式可能各不相同，有些检测组件的原始警报输出并不支持 IDMEF1格式，因此定义了通用警报格式，用来表示事件和警报记录。 alert :=表 1 给出了各个属性字段的定义和简要介绍。其中 SIG_CLSID 特征类标识用于警报聚合算法，PRE_SIG 和POST_SIG 属性用于关联分析算法。表 1 通用警报格式属性字段定义 协同检测算法包括 DBTCAN 聚类算法和关联分析算法。警报聚合将多个事件警报聚合成对应于一个特征分类的警报，在基于密度的抗噪声空间聚类算法 DBSCAN2基础之上，提出了一种基于密度的抗噪声时间聚类算法DBTCAN。DBSCAN 算法的优越性在于适用于任意形状的二维空间，并且是抗噪声的。警报聚合过程可以认为是一个一维带噪声的密度聚类应用，因此在该算法的基础上用时间替代空间维度。 定义：对于任意给定事件 i，以事件的时6 / 11间戳 t 为圆心， 为半径的邻域称为事件 i 的 邻域，记作 I = t()。 定义：如果事件 i 的 邻域内，存在 M 个事件 i1，i2，iM，满足条件i1，i2，iMI，则称事件 i 为核，且事件 i 到事件 ij是直接密度可达的。 定义：事件 i 与事件 im 密度可达，当且仅当存在 n 个事件 i1，i2，in，满足条件 i 到 i1直接密度可达，ij 到 ij+1 直接密度可达，in 到 im 直接密度可达。 假设系统实时处理警报的时间间隔为 T0，通常取警报聚合半径 为 =T0。图 3 给出了 DBTCAN 算法的描述。 图 3 DBTCAN 算法描述 在聚合算法中，cl 为常数系数，hl 为属性聚合函数，包括优先级，时间戳等属性的更新和合并。PRIORITY 是警报进入关联分析队列的阈值。当遇到突发情况大量重复事件警报增加时，在警报聚合计算优先级时会除以该时间内连续重复警报的数量降低优先级，以免淹没正常的警报。在聚合警报的基础上，对进入关联队列的警报进行关联分析。图 4 给出警报关联分析算法的描述。图 4 关联分析算法描述 3 原型系统实现 体系结构 以IDS 的一般结构为基础，考虑到协同检测的需要，原型系统采用基于组件的系统构建方法，图 5 给出了体系结构示意图，系统主要包括下述组件： 检测组件； 协作管理器； 入侵检测管理器； 用户接口。图 5 原型系统体系结构 入侵检测组件 检测组件 IDC 是协同检测系统最基本的工作7 / 11单位，它实际上对 IDS 提供了一种封装，通过封装，提供了与协作管理器的统一接口。以 SNORT 为例，通过一个Wrapper 程序将 SNORT 封装成一个 IDC，这个 IDC 既可以完成与 SNORT 一样的检测功能，也可以与协作管理器交互，参与协作。原型系统使用的检测组件主要封装了 BRO3、SNORT4和 LERAD5三种 IDS，以下对各个检测组件稍作介绍。 BRO 从检测方法分类来看，BRO 是基于网络的误用检测系统。BRO 的核心是事件的生成和处理机制。事件的生成和处理机制与 MFC 比较相似。BRO 系统预定义了一系列的基本事件，包括 TCP 连接的建立、结束等，同时也对这些事件注册了基本的事件处理函数。BRO 提供一种类似于 C+的编程语言，用户可以利用这种语言定义新的事件和相应的事件处理函数，同时也可以扩充预定义的事件处理函数。BRO 本身有一些针对不同协议的事件处理插件，用户可以编写自己的事件处理插件。 Snort Snort 是著名的开源 NIDS，它是一个轻量级的入侵检测系统，具有执行即时流量分析的功能，可以执行特定协议的分析，检测缓冲区溢出、隐蔽式端口扫描、SMB 探测、操作系统指纹测试等攻击行为。从分类来看，它是基于特征匹配的网络 IDS，采用基于规则的工作方式，可以检测 1000 多种不同的入侵行为和探测活动，但是误报率也相当高。Snort 同时也被用于本实验分析的基线。 LERAD 8 / 11LERAD 也是一个出色的开源 IDS，它是基于异常的网络入侵检测系统，需要通过学习不包含攻击的网络流量来生成用于检测的规则集，并以此作为实际检测的依据。 协作管理器 作管理器是协作服务的提供者和协作策略的执行者，其功能在中已经介绍过，这里不再赘述。 入侵检测管理器 入侵检测管理器是协同检测系统的控制部件，负责管理数据、规则、日志和管理 IDC，并与用户接口交互。入侵检测管理器可以有多个，相互之间互为备份，以应对入侵检测管理器失效的意外。 用户接口 用户接口用来完成与管理员的交互，其功能是以图形化的方式显示安全状况，报告安全事件，以及响应管理员的操作，如维护规则与日志数据库等。4 实验结果与分析 实验测试方法与攻击设计 实验采用了数据集测试方法，其优点在于可以由测试者自行设计测试环境和攻击方案。将 1999 年 MIT Lincoln Lab 一周的干净数据作为背景数据流6，并作为 LERAD 的训练数据。考虑到 MIT 当时的测试数据中的攻击7, 8已经比较陈旧，因此重新设计了攻击方案，将两者合成作为新的实验数据集。测试环境如图 6 所示，分为内网和外网。内网和外网之间通过一台 CISCO 路由器连接。内网有一台机器用于回放不含有攻击流量样本网络背景流量，将之前生成的一周数据集作为网络背景流量。外网两台服务器作为自动攻击主机，运行攻击调度程序，最多可同时模拟 40 个攻9 / 11击者对内网发起攻击。另有一台服务器作为手动攻击主机，模拟复杂的攻击行为。内网和外网各有一台主机运行Tcpdump 记录内网外的数据流用于实验结果分析。内网有三台主机分别运行三个不同的 IDC，封装了 BRO、SNORT 和LERAD 三种不同的 IDS。 图 6 为了体现协同检测算法的有效性，实验中采取有区别的攻击实例设计，共设计了 50 余种攻击，每个攻击的实例也不相同，有些攻击基本是单会话的，有些攻击是多会话的，实验主要关注多会话的攻击。实验结果分析 表 2 给出了不同 IDS 对不同攻击实例的警报数量，以及采用协同检测算法后的统计结果，限于篇幅，没有给出全部的攻击实例检测结果。 表 3 给出了实验中各个 IDS 的检测率和误报数统计，以及采用协同检测算法后的数据对比。通过表 2 和 3，容易看出，采用协同检测算法后大大减少了警报的数量，特别是误报数量。图 7 绘出了ROC 曲线图并标出了各系统的工作状态点，以 SNORT 系统为基准。 图 7 ROC 曲线图 分布式低频扫描是一个典型的多点攻击。通常攻击者控制多台主机，而且这些主机的地址相关性很小，从这些主机上发起扫描，其目标可能是一个网段内随机选定的几台主机。与普通扫描不同的是，每一主机所扫描的目标主机端口号并不连续，而且两次扫描的较长，这样可以逃过大部分 IDS 的检查。为了测试协同检测算法对10 / 11分布式低频扫描攻击是否有效，也设计了相应的攻击场景。在攻击过程中，产生的操作是攻击者控制的主机 a1 , a2 , am 发起的到目标主机 t1 , t2, tn 的连接如表 4 所示。 上表中任意 kij 个随机端口均可能不同，而且在时间上间隔可能较大，各攻击主机之间的扫描通常是并行的，因此没有特定的时序关系。但是，对任意目标主机 ti，攻击主机 a1 到 am 肯定覆盖了攻击者感兴趣的端口，它们通常是那些可能存在漏洞的系统服务所使用的端口。对于任意目标主机 ti，协同入侵检测系统记录到的网络数据如下：这些数据如果独立来看，只能说明存在连接企图。在对历史数据进行相关分析后，就可以发现实际上这些连接是分成多步进行的分布式端口扫描中的一步。进一步将对多个目标主机的连接企图按相关性放在一起，就知道扫描的目标主机范围，图 8 给出了对于垂直扫描和