《ch5入侵检测技术》PPT课件.ppt

第五章 入侵检测技术 第5章 入侵检测技术 内容提要： 入侵检测概述 入侵检测的技术实现 分布式入侵检测 入侵检测系统的标准 入侵检测系统示例 本章小结 第五章 入侵检测技术 5.1 入侵检测概述发展简况 1概念的诞生 1980年4月，James P.Aderson为美国空军做了 一份题为Computer Security Threat Monitoring and Surveillance（计算机安全威胁监控与监视） 的技术报告，第一次详细阐述了入侵检测的概念。 他提出了一种对计算机系统风险和威胁的分类方法 ，并将威胁分为外部渗透、内部渗透和不法行为三 种，还提出了利用审计跟踪数据监视入侵活动的思 想。这份报告被公认为是入侵检测的开山之作。 返回本章首页 第五章 入侵检测技术 5.1 入侵检测概述发展简况 2模型的发展 19841986年，乔治敦大学的Dorothy Denning和SRI CSL(SRI公司计算机科学实验室)的Peter Neumann研究出了 一种实时入侵检测系统模型，取名为IDES(入侵检测专家系统 ) （Intrusion Detection Expert System） 。 该模型由六个部分组成：主体、对象、审计记录、轮廓 特征、异常记录、活动规则。它独立于特定的系统平台、应 用环境、系统弱点以及入侵类型，为构建入侵检测系统提供 了一个通用的框架。 1988年，SRICSL的Teresa Lunt等改进了Denning的入 侵检测模型，并实际开发出了一个IDES。该系统包括一个异 常检测器和一个专家系统，分别用于统计异常模型的建立和 基于规则的特征分析检测。 返回本章首页 第五章 入侵检测技术 返回本章首页 第五章 入侵检测技术 (1)主体(subjects)；在目标系统上活动的实体，如用户。 (2)对象(objects)：指系统资源，如文件、设备、命令等。 (3)审计记录(Audit records)：内主体、活动(Action)、异常条 件(ExceptionCondition)、资源使用状况(ResourceUsage) 和时间戳(Time Stamp)等组成。其中活动是指主体对目标的操 作。异常条件是指系统对主体该活动的异常情况的报告。资源 使用状况是指系统的资源消耗情况。 (4)活动档案(Active Profile)：即系统正常行为模型，保存系统 正常活动的有关信息。在各种检测方法中其实现各不相同。在 统计方法巾可以从事件数量、频度、资源消耗等方面度量。 (5)异常记录(Anomaly Record)：由事件、时间戳和审计记录组 成，表示异常事件的发生情况。 (6)活动规则(Active Rule)：判断是否为入侵的推则及相应要采 取的行动。 一般采用系统正常活动模型为准则，根据专家系 统或统计方法对审计记录进行分析处理，在发现入侵时采取相 应的对策。 第五章 入侵检测技术 5.1 入侵检测概述发展简况 2模型的发展 1990年是入侵检测系统发展史上十分重要的一 年。这一年，加州大学戴维斯分校的L.T.Heberlein 等开发出了NSM(Network Security Monitor)。该系 统第一次直接将网络流作为审计数据来源，因而可 以在不将审计数据转换成统一格式的情况下监控异 种主机。从此之后，为入侵检测系统的发展翻开了 新的一页，两大阵营正式形成：基于网络的IDS和基 于主机的IDS。 返回本章首页 第五章 入侵检测技术 5.1 入侵检测概述发展简况 2模型的发展 1988年的莫里斯蠕虫事件发生后，网络安全才真正引起 了军方、学术界和企业的高度重视。美国空军、国家安全局 和能源部共同资助空军密码支持中心、劳伦斯利弗摩尔国家 实验室、加州大学戴维斯分校、Haystack实验室，开展对分 布式入侵检测系统DIDS（Distribute Intrusion Detection System） 的研究，将基于主机和基于网络的检测方法集成到一起。 DIDS是分布式入侵检测系统历史上的一个里程碑式的产品， 它的检测模型采用了分层结构，分数据、事件、主体、上下 文、威胁、安全状态等6层。 返回本章首页 第五章 入侵检测技术 5.1 入侵检测概述发展简况 2模型的发展 从20世纪90年代到现在，入侵检测系统 的研发呈现出百家争鸣的繁荣局面，并在智 能化和分布式两个方向取得了长足的进展。 目前，SRICSL、普渡大学、加州大学戴维 斯分校、洛斯阿拉莫斯国家实验室、哥伦比 亚大学、新墨西哥大学等机构在这些方面的 研究代表了当前的最高水平 返回本章首页 第五章 入侵检测技术 3. 入侵检测技术的发展 近年来，入侵检测技术研究的主要创新有： Forrest等将免疫学原理运用于分布式入侵检测 领域；1998年Ross Anderson和Abida Khattak将 信息检索技术引进入侵检测；以及采用状态转换 分析、数据挖掘和遗传算法等进行误用和异常检 测。 返回本章首页 第五章 入侵检测技术 5.1.1 入侵检测原理 图5-2给出了入侵检测的基本原理图。入侵 检测是用于检测任何损害或企图损害系统的保密 性、完整性或可用性的一种网络安全技术。它通 过监视受保护系统的状态和活动，采用误用检测 （Misuse Detection）或异常检测（Anomaly Detection）的方式，发现非授权的或恶意的系统 及网络行为，为防范入侵行为提供有效的手段。 返回本章首页 第五章 入侵检测技术 图5-2 入侵检测原理框图 返回本章首页 监控分析系统 和用户的活动 发现异常企 图或异常现 象 记录报警 和响应 第五章 入侵检测技术 所谓入侵检测系统就是执行入侵检测任务的 硬件或软件产品。 入侵检测提供了用于发现入侵攻击与合法用 户滥用特权的一种方法。其应用前提是入侵行为 和合法行为是可区分的，也即可以通过提取行为 的模式特征来判断该行为的性质。一般地，入侵 检测系统需要解决两个问题： u如何充分并可靠地提取描述行为特征的数据； u如何根据特征数据，高效并准确地判定行为的 性质。 返回本章首页 第五章 入侵检测技术 5.1.2 系统结构 由于网络环境和系统安全策略的差异，入侵 检测系统在具体实现上也有所不同。从系统构成 上看，入侵检测系统应包括事件提取、入侵分析 、入侵响应和远程管理四大部分，另外还可能结 合安全知识库、数据存储等功能模块，提供更为 完善的安全检测及数据分析功能（如图5-3所示 ）。 返回本章首页 第五章 入侵检测技术 图5-3 入侵检测系统结构 返回本章首页 第五章 入侵检测技术 入侵检测的思想源于传统的系统审计，但拓 宽了传统审计的概念，它以近乎不间断的方式进 行安全检测，从而可形成一个连续的检测过程。 这通常是通过执行下列任务来实现的： 监视、分析用户及系统活动； 系统构造和弱点的审计； 识别分析知名攻击的行为特征并告警； 异常行为特征的统计分析； 评估重要系统和数据文件的完整性； 操作系统的审计跟踪管理，并识别用户违反安全策略 的行为。 返回本章首页 第五章 入侵检测技术 5.1.3 系统分类 由于功能和体系结构的复杂性，入侵检测按 照不同的标准有多种分类方法。可分别从数据源 、检测理论、检测时效三个方面来描述入侵检测 系统的类型。 1基于数据源的分类 通常可以把入侵检测系统分为五类，即基于 主机、基于网络、混合入侵检测、基于网关的入 侵检测系统以及文件完整性检查系统。 返回本章首页 第五章 入侵检测技术 基于主机型（HIDS） 早期入侵检测系统结构，检测的目标是主机系统和系统本地用户， 检测原理是根据主机的审计数据和系统日志文件发现可疑事件。检 测 系统运行在被检测的主机上。 第五章 入侵检测技术 基于主机型（HIDS） 主要优点： 既可以检测到远程入侵，也可以检测到本地入侵。 可以看到基于网络的IDS看不到的、发生在主机上的事件。 只要信息源生成于数据加密之前或者数据解密之后，就可以在网络流量加密 的环境下正常工作。 不受交换式网络的影响。 通过处理操作系统的审计记录，可以检测出特洛伊木马或者其它有关软件完 整性破坏的攻击。 主要缺点： 可以使用系统特权或调用比审计本身更低级的操作来逃避审计。 检测范围只限于主机。 或多或少影响服务器的性能。 只能对服务器的特定用户、特定应用程序执行操作，能检测到的攻击类型受 限制。 可管理性差，因为不同的系统使用不同的操作系统。 它和应用程序共用系统资源，其自身也可能被攻击而瘫痪。 第五章 入侵检测技术 基于网络型（NIDS） 单独依靠主机审计信息进行入侵检测难以适应网络安全的需求，从 而提出了基于网络的结构，根据网络流量、单台或多台主机的审计数 据检测入侵。 第五章 入侵检测技术 基于网络型（NIDS） 主要优点： 可以监控多台主机。 对现有网络的影响比较小。基于网络的入侵检测系统只是被动地监听网络流 量，不妨碍网络的正常运行。 基于网络的入侵检测系统可以设计成非常健壮，有时攻击者根本看不到它的 存在。 服务器平台相对独立，配置简单，能适应众多的攻击模式。 主要缺点： 在高速网络上，可能会处理不了所有的数据包，从而有的攻击可能会检测不 到。 在交换式网络中，交换机把网络分成多个小片段，一般不提供通用的监控端 口，从而限制了传感器的监控范围。 不能分析加密信息。 多数系统不能确定一次攻击是否成功，只能检测出攻击者使用某种方法进行 攻击。 一些系统在处理碎片包的网络攻击时可能会导致入侵检测系统运行不稳定， 甚至崩溃。 第五章 入侵检测技术 基于应用型 是基于主机的入侵检测系统的一个特殊子集。它分析由应用程序生成 的事件，常用信息源是应用程序生成的记录文件。由于具有对特定应 用程序的知识，还与应用程序有直接接口，因此可以发现用户超越自 己的权限的可疑行为。 主要优点 可以监控应用程序和用户之间的操作，有能力检测出哪个用户超越自己的权 限。 一般可以在加密环境下运行。因为它和应用程序的接口一般是数据传输处理 过程的终点，提交用户的数据必须是非加密的。 主要缺点 由于应用程序的记录文件受到的保护没有操作系统的审计记录受到的保护紧 密。所以，该系统比基于主机的系统更容易受到攻击。 由于系统只监控应用层和用户层的事件，所以它不能检测出特洛伊木马。 因此，它一般是与基于主机或者网络的入侵检测系统相结合。 第五章 入侵检测技术 分布式IDS（DIDS） 美国普度大学安全研究 小组首先提出了基于主 体的入侵检测系统软件 结构，其主要方法是采 用相互独立并独立于系 统而运行的进程组，这 些进程被称为自治主体 。通过训练这些主体， 并观察系统行为，然后 将这些主体认为是异常 的行为标记出来。 第五章 入侵检测技术 2基于检测理论的分类 从具体的检测理论上来说，入侵检测又可分 为异常检测和误用检测。 异常检测（Anomaly Detection）指根据使 用者的行为或资源使用状况的正常程度来判断是 否入侵，而不依赖于具体行为是否出现来检测。 误用检测（Misuse Detection）指运用已知 攻击方法，根据已定义好的入侵模式，通过判断 这些入侵模式是否出现来检测。 返回本章首页 第五章 入侵检测技术 3基于检测时效的分类 IDS在处理数据的时候可以采用实时在线检 测方式，也可以采用批处理方式，定时对处理原 始数据进行离线检测，这两种方法各有特点（如 图5-5所示）。 离线检测方式将一段时间内的数据存储起来 ，然后定时发给数据处理单元进行分析，如果在 这段时间内有攻击发生就报警。在线检测方式的 实时处理是大多数IDS所采用的办法，由于计算 机硬件速度的提高，使得对攻击的实时检测和响 应成为可能。 返回本章首页 第五章 入侵检测技术 返回本章首页 第五章 入侵检测技术 5.2 入侵检测的技术实现 对于入侵检测的研究，从早期的审计跟踪数 据分析，到实时入侵检测系统，到目前应用于大 型网络的分布式检测系统，基本上已发展成为具 有一定规模和相应理论的研究领域。入侵检测的 核心问题在于如何对安全审计数据进行分析，以 检测其中是否包含入侵或异常行为的迹象。这里 ，我们先从误用检测和异常检测两个方面介绍当 前关于入侵检测技术的主流技术实现，然后对其 它类型的检测技术作简要介绍。 返回本章首页 第五章 入侵检测技术 5.2.1 入侵检测分析模型 分析是入侵检测的核心功能，它既能简单到 像一个已熟悉日志情况的管理员去建立决策表， 也能复杂得像一个集成了几百万个处理的非参数 系统。入侵检测的分析处理过程可分为三个阶段 ：构建分析器，对实际现场数据进行分析，反馈 和提炼过程。其中，前两个阶段都包含三个功能 ：数据处理、数据分类（数据可分为入侵指示、 非入侵指示或不确定）和后处理。 返回本章首页 第五章 入侵检测技术 5.2.2 误用检测（Misuse Detection） 误用检测是按照预定模式搜寻事件数据的，最适用于对已知模式 的可靠检测。执行误用检测，主要依赖于可靠的用户活动记录和分析 事件的方法。 1条件概率预测法 条件概率预测法是基于统计理论来量化全部外部网络事件序列中 存在入侵事件的可能程度。 将入侵方式对应于一个事件序列，然后通过观测到的事件发生情况 来推测入侵的出现，其依据是外部事件序列，根据贝叶斯定理进行推 理检测入侵。 主要缺点是先验概率难以给出，而且事件的独立性难以满足。 返回本章首页 第五章 入侵检测技术 2产生式/专家系统 用专家系统对入侵进行检测，主要是检测基 于特征的入侵行为。所谓规则，即是知识，专家 系统的建立依赖于知识库的完备性，而知识库的 完备性又取决于审计记录的完备性与实时性。 产生式/专家系统是误用检测早期的方案之一 ，在MIDAS、IDES、NIDES、DIDS和CMDS中 都使用了这种方法。 返回本章首页 第五章 入侵检测技术 专家系统是误用检测中运用最多的一种方法。将有 关入侵的知识转化成if-then结构的规则，即将构成 入侵所要求的条件转化为if部分，将发现入侵后采取 的相应措施转化成then部分。当其中某个或某部分 条件满足时，系统就判断为入侵行为发生。其中if- then结构构成了描述具体攻击的规则库，状态行为 及其语义环境可根据审计事件得到，推理机根据规 则和行为完成判断工作。 返回本章首页 第五章 入侵检测技术 在具体实现中，该方法的主要难点在于: 全面性问题，难 以科学地从各种入侵手段中抽象出全面的规则化知识；效率 问题，需处理的数据量过大；在大型系统中，难以获得实时 连续的审计数据。 因为上述缺陷，商业产品一般不用，而较多的使用特征分 析。 特征分析也需要知道攻击行为的具体知识，但是攻击方法的 语义描述是在审计记录中能直接找到的信息形式，不像专家系 统一样需要处理大量数据，从而大大提高了检测效率。这种方 法的缺陷是，需要经常为新发现的系统漏洞更新知识库。此外 ，由于对不同操作系统平台的具体攻击方法，以及不同平台的 审计方式可能不同，所以对特征分析检测系统进行构造和维护 的工作量较大。 返回本章首页 第五章 入侵检测技术 3状态转换方法 状态转换方法使用系统状态和状态转换表达 式来描述和检测入侵，采用最优模式匹配技巧来 结构化误用检测，增强了检测的速度和灵活性。 目前，主要有三种实现方法：状态转换分析、有 色Petri-Net和语言/应用编程接口（API）。 返回本章首页 第五章 入侵检测技术 3状态转换方法 将入侵过程看作一个行为序列，这个行为序列导致系统从初始状态 转入被入侵状态。分析时首先针对每一种入侵方法确定系统的初始状 态和被入侵状态，以及导致状态转换的转换条件，即导致系统进入被 入侵状态必须执行的操作(特征事件)，然后用状态转换图来表示每一 个状态和特征事件。这些事件被集成于模型中，所以检测时不需要一 个个地查找审计记录。 但是，状态转换是针对事件序列分析，所以不适合分析过分复杂的 事件，而且不能检测与系统状态无关的入侵。 由于处理速度的优势和系统的灵活性，状态转移分析法已成为当今 最具竞争力的入侵检测模型之一。 返回本章首页 第五章 入侵检测技术 基于状态迁移分析的误用检测 简单示例在一分钟内如果登录失败的次数超过4次，系统便发出 警报。 其中竖线代表状态转换，如果在状态S1发生登录失败，则产生一个标 志变量，并存储事件发生时间T1，同时转入状态S2。如果在状态S4时 又有登录失败，而且这时的时间T2-T160秒，则系统转入状态S5，即 为入侵状态，系统报警。 第五章 入侵检测技术 4用于批模式分析的信息检索技术 当前大多数入侵检测都是通过对事件数据的 实时收集和分析来发现入侵的，然而在攻击被证 实之后，要从大量的审计数据中寻找证据信息， 就必须借助于信息检索（IR，Information Retrieval）技术，IR技术当前广泛应用于WWW 的搜索引擎上。 IR系统使用反向文件作为索引，允许高效地 搜寻关键字或关键字组合，并使用Bayesian理论 帮助提炼搜索。 返回本章首页 第五章 入侵检测技术 5Keystroke Monitor Keystroke Monitor是一种简单的入侵检测方法，它通过分析用 户击键序列的模式来检测入侵行为，常用于对主机的入侵检测。该方 法具有明显的缺点，首先，批处理或Shell程序可以不通过击键而直接 调用系统攻击命令序列；其次，操作系统通常不提供统一的击键检测 接口，需通过额外的钩子函数（Hook）来监测击键。 假设入侵对应特定的击键序列模式，然后监测用户击键模式，并将 这一模式与入侵模式匹配从而检测入侵行为。 这种方法的不足之处是：在没有操作系统支持的情况下，缺少捕获 用户击键的可靠方法，存在着许多击键方式表示同一种攻击。而且， 没有击键语义分析，用户提供别名很容易欺骗这种技术。 这种技术仅仅分析击键，不能检测到恶意程序执行后的自动攻击。 返回本章首页 第五章 入侵检测技术 6基于模型推理的方法 基于模型的方法是：入侵者在攻击一个系统的时候 往往采用一定的行为序列，如猜测口令的行为序列，这 种序列构成了具有一定行为特征的模型，根据这种模型 代表的攻击意图的行为特征，可以实时地检测出恶意的 攻击企图。与专家系统通常放弃处理那些不确定的中间 结论的特点相比，这一方法的优点在于它基于完善的不 确定性推理数学理论。基于模型的入侵检测方法先可以 预测一些主要事件，当这些事件发生后，再开始详细审 计，从而减少了事件审计的处理负荷。 返回本章首页 第五章 入侵检测技术 6基于模型推理的方法 通过建立误用证据模型，根据证据推理来作出发生了误用的判断结 论，其中有关攻击者行为的知识被描述为：攻击者目的，攻击者达到 此目的的可能行为步骤，以及对系统的特殊使用等。 此方法的要点是建立攻击脚本库、预警器和决策分析器。检测时先 将这些攻击脚本的子集看作系统正面临的攻击，然后通过一个称为预 警器的程序模块根据当前行为模式，产生下一个需要验证的攻击脚本 子集，并将它传送给决策分析器。决策分析器收到信息后，根据这些 假设的攻击行为在审计记录中的可能出现方式，将它们翻译成与特定 系统匹配的审计记录格式，然后在审计记录中寻找相应信息来确认或 否认这些攻击。 初始攻击脚本子集的假设应满足：易于在审计记录中识别，并且出 现频率很高。随着一些脚本被确认的次数增多，另一些脚本被确认的 次数减少，攻击脚本不断地得到更新。 返回本章首页 第五章 入侵检测技术 6基于模型推理的方法 主要优点 对不确定性的推理有合理的数学理论基础。 决策器使得攻击脚本可以与审计记录的上下文无关。 因为首先按脚本类型检测相应类型是否出现，然后再 检测具体的事件，所以减少了需要处理的数据量。 主要缺陷 增加了创建入侵检测模型的开销。 系统实现时决策分析器如何有效地翻译攻击脚本。 返回本章首页 第五章 入侵检测技术 5.2.3 异常检测（Anomaly Detection） 异常检测基于一个假定：用户的行为是可预 测的、遵循一致性模式的，且随着用户事件的增 加异常检测会适应用户行为的变化。用户行为的 特征轮廓在异常检测中是由度量（measure）集 来描述，度量是特定网络行为的定量表示，通常 与某个检测阀值或某个域相联系。 异常检测可发现未知的攻击方法，体现了强 健的保护机制，但对于给定的度量集能否完备到 表示所有的异常行为仍需要深入研究。 返回本章首页 第五章 入侵检测技术 1Denning的原始模型 Dorothy Denning于1986年给出了入侵检测 的IDES模型，她认为在一个系统中可以包括四 个统计模型，每个模型适合于一个特定类型的系 统度量。 （1）可操作模型 （2）平均和标准偏差模型 （3）多变量模型 （4）Markov处理模型 返回本章首页 第五章 入侵检测技术 2量化分析 异常检测最常用的方法就是将检验规则和属 性以数值形式表示的量化分析，这种度量方法在 Denning的可操作模型中有所涉及。量化分析通 过采用从简单的加法到比较复杂的密码学计算得 到的结果作为误用检测和异常检测统计模型的基 础。 （1）阀值检验 （2）基于目标的集成检查 （3）量化分析和数据精简 返回本章首页 第五章 入侵检测技术 3统计度量 统计度量方法是产品化的入侵检测系统中常 用的方法，常见于异常检测。运用统计方法，有 效地解决了四个问题：（1）选取有效的统计数 据测量点，生成能够反映主体特征的会话向量； （2）根据主体活动产生的审计记录，不断更新 当前主体活动的会话向量；（3）采用统计方法 分析数据，判断当前活动是否符合主体的历史行 为特征；（4）随着时间推移，学习主体的行为 特征，更新历史记录。 返回本章首页 第五章 入侵检测技术 4非参数统计度量 非参数统计方法通过使用非数据区分技术， 尤其是群集分析技术来分析参数方法无法考虑的 系统度量。群集分析的基本思想是，根据评估标 准（也称为特性）将收集到的大量历史数据（一 个样本集）组织成群，通过预处理过程，将与具 体事件流（经常映射为一个具体用户）相关的特 性转化为向量表示，再采用群集算法将彼此比较 相近的向量成员组织成一个行为类，这样使用该 分析技术的实验结果将会表明用何种方式构成的 群可以可靠地对用户的行为进行分组并识别。 返回本章首页 第五章 入侵检测技术 5基于规则的方法 上面讨论的异常检测主要基于统计方法，异 常检测的另一个变种就是基于规则的方法。与统 计方法不同的是基于规则的检测使用规则集来表 示和存储使用模式。 （1）Wisdom&Sense方法 （2）基于时间的引导机（TIM） 返回本章首页 第五章 入侵检测技术 5.2.4 其它检测技术 这些技术不能简单地归类为误用检测或是异 常检测，而是提供了一种有别于传统入侵检测视 角的技术层次，例如免疫系统、基因算法、数据 挖掘、基于代理（Agent）的检测等，它们或者 提供了更具普遍意义的分析技术，或者提出了新 的检测系统架构，因此无论对于误用检测还是异 常检测来说，都可以得到很好的应用。 返回本章首页 第五章 入侵检测技术 1神经网络（Neural Network） 作为人工智能（AI）的一个重要分支，神经 网络（Neural Network）在入侵检测领域得到了 很好的应用，它使用自适应学习技术来提取异常 行为的特征，需要对训练数据集进行学习以得出 正常的行为模式。这种方法要求保证用于学习正 常模式的训练数据的纯洁性，即不包含任何入侵 或异常的用户行为。 返回本章首页 第五章 入侵检测技术 2免疫学方法 New Mexico大学的Stephanie Forrest提出 了将生物免疫机制引入计算机系统的安全保护框 架中。免疫系统中最基本也是最重要的能力是识 别“自我/非自我”（self/nonself），换句话讲，它 能够识别哪些组织是属于正常机体的，不属于正 常的就认为是异常，这个概念和入侵检测中异常 检测的概念非常相似。 返回本章首页 第五章 入侵检测技术 3数据挖掘方法 Columbia大学的Wenke Lee在其博士论文中 ，提出了将数据挖掘（Data Mining, DM）技术 应用到入侵检测中，通过对网络数据和主机系统 调用数据的分析挖掘，发现误用检测规则或异常 检测模型。具体的工作包括利用数据挖掘中的关 联算法和序列挖掘算法提取用户的行为模式，利 用分类算法对用户行为和特权程序的系统调用进 行分类预测。实验结果表明，这种方法在入侵检 测领域有很好的应用前景。 返回本章首页 第五章 入侵检测技术 4基因算法 基因算法是进化算法（evolutionary algorithms）的一种，引入了达尔文在进化论中 提出的自然选择的概念（优胜劣汰、适者生存） 对系统进行优化。该算法对于处理多维系统的优 化是非常有效的。在基因算法的研究人员看来， 入侵检测的过程可以抽象为：为审计事件记录定 义一种向量表示形式，这种向量或者对应于攻击 行为，或者代表正常行为。 返回本章首页 第五章 入侵检测技术 5基于代理的检测 近年来，一种基于Agent的检测技术（Agent -Based Detection）逐渐引起研究者的重视。所 谓Agent，实际上可以看作是在执行某项特定监 视任务的软件实体。基于Agent的入侵检测系统 的灵活性保证它可以为保障系统的安全提供混合 式的架构，综合运用误用检测和异常检测，从而 弥补两者各自的缺陷。 返回本章首页 第五章 入侵检测技术 5.3 分布式入侵检测 分布式入侵检测（Distributed Intrusion Detection）是目前入侵检测乃至整个网络安全领 域的热点之一。到目前为止，还没有严格意义上 的分布式入侵检测的商业化产品，但研究人员已 经提出并完成了多个原型系统。通常采用的方法 中，一种是对现有的IDS进行规模上的扩展，另 一种则通过IDS之间的信息共享来实现。具体的 处理方法上也分为两种：分布式信息收集、集中 式处理；分布式信息收集、分布式处理。 返回本章首页 第五章 入侵检测技术 5.3.1 分布式入侵检测的优势 分布式入侵检测由于采用了非集中的系统结 构和处理方式，相对于传统的单机IDS具有一些 明显的优势： （1）检测大范围的攻击行为 （2）提高检测的准确度 （3）提高检测效率 （4）协调响应措施 返回本章首页 第五章 入侵检测技术 （1）检测大范围的攻击行为 传统的基于主机的IDS只能对单个主机的行为或状态进行监测，基 于网络的IDS也仅在单个网段内有效，无法应对一些针对多主机、多 网段、多管理域的攻击行为。例如大范围的脆弱性扫描或拒绝服务攻 击，由于不能在检测系统之间实现信息交互，通常无法完成准确和高 效的检测任务。 分布式入侵检测则可通过各个检测组件之间的相互协 作，有效地克服这一缺陷。 （2）提高检测效率 分布式入侵检测实现了针对安全审计数据的分布式存储和分布式计 算，不再依赖于系统中惟一的计算资源和存储资源，可以有效提高系 统的检测效率，减少入侵发现时间。 第五章 入侵检测技术 （3）提高检测准确度 不同的入侵检测数据源反映的是系统不同位置、不同角度、不同层 次的运行特性，可以是系统日志、审计记录或网络包等。传统IDS为 了简化检测过程和算法复杂度，通常采用单一类型数据源，以提高系 统检测效率，但同时导致检测系统数据的不完备。此外，检测引擎如 果采用单一算法进行数据分析，同样可能导致分析结果不够准确。 分布式IDS的各个检测组件可以分别检测不同的数据源，甚至可以 是特定应用程序的日志，或者通过人工方式输入的审计数据。各组件 可以使用不同的检测算法，有模式匹配、状态分析、统计分析、量化 分析等。系统通过对各组件报告的入侵或异常特征，进行综合分析， 可以得出更为准确的判断结果。 第五章 入侵检测技术 （4）协调响应措施 分布式IDS的各检测组件分布于受监控网络的各个位置，一旦系统 检测到攻击行为，可以根据攻击包经过的物理路径采取响应措施，例 如封锁攻击方的网络通路、入侵来源追踪等。即使攻击者使用网络跳 转（hop）的方式来隐藏真实IP地址，在检测系统的监控范围内通过 对事件数据的相关和聚合，仍然有可能追查到攻击者的真实来源。 第五章 入侵检测技术 5.3.2 分布式入侵检测的技术难点 与传统的单机IDS相比较，分布式入侵检测 系统具有明显的优势。然而，在实现分布检测组 件的信息共享和协作上，却存在着一些技术难点 。 Stanford Research Institute（SRI）在对 EMERALD系统的研究中，列举了分布式入侵检 测必须关注的关键问题：事件产生及存储、状态 空间管理及规则复杂度、知识库管理、推理技术 。 返回本章首页 第五章 入侵检测技术 （1）事件产生及存储 即安全事件应该在系统的什么位置产生和存储。在传统系统中，安 全事件的产生、存储和处理都是集中式的，这种方式在面临大规模网 络时缺乏良好的扩展性。分布的大量安全事件数据如果仍然采用集中 式存储方式，将导致网络流量和存储需求的剧增。 （2）状态空间管理及规则复杂度 它所关注的是如何在规则的复杂程度和审计数据处理要求之间取得 平衡。从检测的准确性角度，检测规则或检测模型越复杂，检测的有 效性就越好，但同时也导致了复杂的状态空间管理和分析算法。采用 复杂的规则集对大量的审计数据进行处理，会消耗大量的CPU时间和 存储空间，可能降低系统的实时处理能力。反之，如果采用较为简单 的规则集，可以提高系统处理能力，却会影响检测准确性。 （3）知识库管理 知识库用于存放检测规则或检测模型。在分布式环境下，知识库最 大的问题在于如何实现快速的规则升级和分发。 第五章 入侵检测技术 （4）推理技术 即对事件审计数据的处理工作应该在系统的哪个部分进行。对于大 范围的互联网络，单机系统无法满足集中式处理方式所带来的计算资 源、存储资源和通信资源的需求，这就要求对安全审计数据采用分布 式处理方式，涉及如何设计和实现高效的分布式处理算法。 （5）其它 对于实际网络系统和应用环境，还需要考虑其它一些因素，例如： 入侵检测组件间的通信可能占用网络带宽，影响系统的通信能力； 网络范围内的日志共享导致了安全威胁，攻击考可以通过网络窃听的方式窃取 安全相关信息； 检测组件之间缺乏标准的事件描述格式； 入侵检测组件的部署配置严重依赖目标网络，通用性有待提高等。 第五章 入侵检测技术 5.3.3 分布式入侵检测现状 尽管分布式入侵检测存在技术和其它层面的 难点，但由于其相对于传统的单机IDS所具有的 优势，目前已经成为这一领域的研究热点。 1Snortnet 它通过对传统的单机IDS进行规模上的扩展 ，使系统具备分布式检测的能力，是基于模式匹 配的分布式入侵检测系统的一个具体实现。主要 包括三个组件：网络感应器、代理守护程序和监 视控制台。 返回本章首页 第五章 入侵检测技术 Snortnet 采用这种方式构建分布式入侵检测系统，其 特点是原理简单，系统实现非常方便，比较 适合作为商业化产品。但由于其检测能力仍 然依赖于原先的单机IDS，只是在系统的通 信和管理能力上进行了改进，因此并没有体 现出分布式入侵检测的真正优势。 第五章 入侵检测技术 2Agent-Based 基于Agent的IDS由于其良好的灵活性和扩 展性，是分布式入侵检测的一个重要研究方向。 国外一些研究机构在这方面已经做了大量工作， 其中Purdue大学的入侵检测自治代理（AAFID ）和SRI的EMERALD最具代表性。 AAFID的体系结构如图5-10所示，其特点是 形成了一个基于代理的分层顺序控制和报告结构 。 返回本章首页 第五章 入侵检测技术 5.3 主要发展现状 2 Agent-Based AAFID的体系结构如图所示，其特点是形成了一个基于代理的分层顺序控制和 报告结构。一台主机上可驻留任意数量的代理，收发器负责监控运行在主机 上的所有代理，向其发送开始、停止和重新配置命令，并对代理收集的信息 执行数据精简，而后向一个或多个监控器以及下一级分层报告结果。 AAFID 的体系结构允许冗余接收器的汇报，个别监视器的失效并不影响入侵检测系 统的性能。监视器具有监控整个网络数据的能力，并可以对接收器的结果执 行高级聚合，用户接口用于管理员输入控制监视器的命令。 EMERLD系统在形式和功能上与AAFID自动代理相似，其中心组件是EMERLD 服务监控器以可编程方式部署在主机上，执行不同功能。由于它将分析语义 从分析和响应逻辑中分离出来，因此在整个网络上更易集成，具有在不同抽 象层次上进行分析的能力，体现了现代入侵检测系统的一个重要特征：协作 性。 第五章 入侵检测技术 返回本章首页 第五章 入侵检测技术 3DIDS DIDS（Distributed Intrusion Detection System）是由UC Davis的Security Lab完成的， 它集成了两种已有的入侵检测系统，Haystack和 NSM。前者由Tracor Applied Sciences and Haystack实验室针对多用户主机的检测任务而开 发，数据源来自主机的系统日志。NSM则是由 UC Davis开发的网络安全监视器，通过对数据包 、连接记录、应用层会话的分析，结合入侵特征 库和正常的网络流或会话记录的模式库，判断当 前的网络行为是否包含入侵或异常。 返回本章首页 第五章 入侵检测技术 5.3 主要发展现状 3 DIDS DIDS综合两者的功能，并在系统结构和检测技术上进行了改进。 DIDS由主机监视器、局域网监视器和控制器三个组件组成，分析引擎采用基 于规则的专家系统。 DIDS系统还提供了一种基于主机的追踪机制，凡是在DIDS监测下的主机都 能够记录用户的活动，并且将记录发往中心计算节点进行分析，因此DIDS具 有入侵追踪能力。 DIDS虽然在结构上引入了分布式的数据采集和部分的数据分析，但其核心分 析功能仍然由单一的中心控制器来完成，因此并不是完全意义上的分布式入 侵检测，其入侵追踪功能的实现也要求追踪范围在系统的监控网络之内，因 而不能在互联网范围内大规模部署。 第五章 入侵检测技术 4GrIDS GrIDS（Graph-based Intrusion Detection System）同样由UC Davis提出并实现，该系统 实现了一种在大规模网络中使用图形化表示的方 法来描述网络行为的途径，其设计目标主要针对 大范围的网络攻击，例如扫描、协同攻击、网络 蠕虫等。GrIDS的缺陷在于只是给出了网络连接 的图形化表示，具体的入侵判断仍然需要人工完 成，而且系统的有效性和效率都有待验证和提高 。 返回本章首页 第五章 入侵检测技术 5Intrusion Strategy Boeing公司的Ming-Yuh Huang从另一个角 度对入侵检测系统进行了研究，针对分布式入侵 检测所存在的问题，他认为可以从入侵者的目的 （Intrusion Intention），或者是入侵策略（ Intrusion Strategy）入手，帮助我们确定如何在 不同的IDS组件之间进行协作检测。对入侵策略 的分析可以帮助我们调整审计策略和参数，构成 自适应的审计检测系统。 返回本章首页 第五章 入侵检测技术 5Intrusion Strategy 对入侵策略的分析可以协助调整审计策略和参数，构成 自适应的审计检测系统。通常，计算机攻击事件的，攻 击的序列并不是随的。 攻击者选择何种工具以及使用的次序取决于所处的环境 和目标系统的响应。因此，为了达到特定攻击目的，攻 击者通常会按照固定的逻辑顺序发起一系列攻击行为， 这种满足逻辑偏序关系的行为可以有效地揭示入侵者的 目的。 通过入侵策略分析来完成检测任务，是入侵检测领域的 重要的研究方向之一。 第五章 入侵检测技术 6数据融合（Data Fusion） Timm Bass提出将数据融合（Data Fusion）的概念 应用到入侵检测中，从而将分布式入侵检测任务理解为 在层次化模型下对多个感应器的数据综合问题。在这个 层次化模型中，入侵检测的数据源经历了从数据（Data ）到信息（Information）再到知识（Knowledge）三个 逻辑抽象层次。 入侵检测数据融合的重点在于使用已知的入侵检测模板和模 式识别，与前面介绍的数据挖掘不同，数据挖掘注重于发掘 先前未发现的入侵中隐藏的模式，以帮助发现新的检测模板 。 返回本章首页 第五章 入侵检测技术 7基于抽象（Abstraction-based）的方法 GMU的Peng Ning在其博士论文中提出了一种 基于抽象（Abstraction-based）的分布式入侵检测 系统，基本思想是设立中间层（system view），提 供与具体系统无关的抽象信息，用于分布式检测系 统中的信息共享，抽象信息的内容包括事件信息（ event）以及系统实体间的断言（dynamic predicate ）。中间层用于表示IDS间的共享信息时使用的对 应关系为：IDS检测到的攻击或者IDS无法处理的事 件信息作为event，IDS或受IDS监控的系统的状态则 作为dynamic predicates。 返回本章首页 第五章 入侵检测技术 5.4 入侵检测系统的标准 从20世纪90年代到现在，入侵检测系统的研 发呈现出百家争鸣的繁荣局面，并在智能化和分 布式两个方向取得了长足的进展。为了提高IDS 产品、组件及与其他安全产品之间的互操作性， DARPA和IETF的入侵检测工作组（IDWG）发 起制订了一系列建议草案，从体系结构、API、 通信机制、语言格式等方面来规范IDS的标准。 返回本章首页 第五章 入侵检测技术 5.4.1 IETF/IDWG IDWG（Intrusion Detection Working Group，入侵检测工作组 ） 入侵检测工作组的目标是定义数据格式和交换信息的程序步骤， 这些信息是对于入侵检测系统、响应系统以及那些需要与它们交互作 用的管理系统都有重要的意义。入侵检测工作组与其它IETF组织协同 工作。 IDWG的URL地址是：/html.charters/idwg- charter.html。 IETF的URL地址是：/。 返回本章首页 第五章 入侵检测技术 5.4.1 IETF/IDWG IDWG定义了用于入侵检测与响应（IDR ）系统之间或与需要交互的管理系统之间的信息 共享所需要的数据格式和交换规程。 IDWG提出了三项建议草案：入侵检测消 息交换格式（IDMEF）、入侵检测交换协议（ IDXP）以及隧道轮廓（Tunnel Profile）。 返回本章首页 第五章 入侵检测技术 5.4.2 CIDF CIDF的工作集中体现在四个方面：IDS的体 系结构、通信机制、描述语言和应用编程接口 API。 CIDF在IDES和NIDES的基础上提出了一个 通用模型，将入侵检测系统分为四个基本组件： 事件产生器、事件分析器、响应单元和事件数据 库。其结构如图5-15所示。所谓事件是指IDS需 要分析的数据，它可以是网络中的数据报，或者 是系统中的日志，或是其它途径得来的数据。 返回本章首页 第五章 入侵检测技术 返回本章首页 第五章 入侵检测技术 5.5 入侵检测系统示例 为了直观地理解入侵检测的使用、配置等情况 ，这里我们以Snort为例，对构建以Snort为基础的 入侵检测系统做概要介绍。 返回本章首页 第五章 入侵检测技术 5.5.1 Snort简介 Snort 是一个开放源代码的免费软件，它基 于libpcap 的数据包嗅探器，并可以作为一个轻 量级的网络入侵检测系统（NIDS）。 Snort具有很多优势： u代码短小、易于安装、便于配置。 u功能十分强大和丰富 u集成了多种告警机制支持实时告警功能 u具有非常好扩展能力 u遵循GPL，可以免费使用 返回本章首页 第五章 入侵检测技术 5.5.2 Snort的体系结构 Snort在结构上可分为数据包捕获和解码子 系统、检测引擎，以及日志及报警子系统三个部 分。 1数据包捕获和解码子系统 该子系统的功能是捕获共享网络的传输数据 ，并按照TCP/ IP协议的不同层次将数据包解析 。 2检测引擎 检测引擎是NIDS实现的核心，准确性和快 速性是衡量其性能的重要指标。 返回本章首页 第五章 入侵检测技术 为了能够快速准确地进行检测和处理，Snort在 检测规则方面做了较为成熟的设计。 Snort 将所有已知的攻击方法以规则的形式存 放在规则库中，每一条规则由规则头和规则选项两 部分组成。规则头对应于规则树结点RTN（Rule Tree Node），包含动作、协议、源（目的）地址和 端口以及数据流向，这是所有规则共有的部分。规 则选项对应于规则选项结点OTN（Optional Tree Node），包含报警信息（msg）、匹配内容（ content）等选项，这些内容需要根据具体规则的性 质确定。 返回本章首页 第五章 入侵检测技术 检测规则除了包括上述的关于“要检测什么 ”，还应该定义“检测到了该做什么”。Snort 定 义了三种处理方式：alert （发送报警信息）、 log（记录该数据包）和pass（忽略该数据包）， 并定义为规则的第一个匹配关键字。 这样设计的目的是为了在程序中可以组织整 个规则库，即将所有的规则按照处理方式组织成 三个链表，以用于更快速准确地进行匹配。 如 图5-17所示 。 返回本章首页 第五章 入侵检测技术 返回本章首页 第五章 入侵检测技术 当Snort 捕获一个数据包时，首先分析该数 据包使用哪个IP协议以决定将与某个规则树进行 匹配。然后与RTN 结点依次进行匹配，当与一 个头结点相匹配时，向下与OTN 结点进行匹配 。每个OTN 结点包含一条规则所对应的全部选 项，同时包含一组函数指针，用来实现对这些选 项的匹配操作。当数据包与某个OTN 结点相匹 配时，即判断此数据包为攻击数据包。 具体流程见图5-18所示。 返回本章首页 第五章 入侵检测技术 返回本章首页 第五章 入侵检测技术 3日志及报警子系统 一个好的NIDS，更应该提供友好的输出界 面或发声报警等。Snort是一个轻量级的NIDS， 它的另外一个重要功能就是数据包记录器，它主 要采取用TCPDUMP的格式记录信息、向syslog 发送报警信息和以明文形式记录报警信息三种方 式。 值得提出的是，Snort 在网络数据流量非常 大时，可以将数据包信息压缩从而实现快速报警 。 返回本章首页 第五章 入侵检测技术 5.5.3 Snort的安装与使用 1.Snort安装模式 Snort可简单安装为守护进程模式，也可安装为 包括很多其他工具的完整的入侵检测系统。 u简单方式安装时，可以得到入侵数据的文本文件 或二进制文件，然后用文本编辑器等工具进行查看 。 uSnort若与