第13讲：第7章-入侵检测系统的标准与评估

1、0,入侵检测技术分析,北京信息科技大学 刘凯 ,第13讲,1,入侵检测技术分析,第七章 入侵检测系统的评估,2,课程安排,入侵检测概述 2学时 入侵方法及手段 3学时 入侵检测系统 3学时 入侵检测流程 6学时 基于主机的入侵检测技术 4学时 基于网络的入侵检测技术 4学时 入侵检测系统的标准与评估 4学时 Snort 分析 4学时 入侵检测技术的发展趋势 2学时 共32学时,3,教材及参考书,入侵检测技术曹元大 人民邮电出版社 入侵检测技术薛静锋等 机械工业出版社 Snort 2.0 入侵检测Brian Caswell等著 宋劲松等著 国防工业出版社 入侵检测实用手册Paul E. Proc

2、tor 中国电力出版社 ,4,上一讲回顾,入侵检测标准化工作 CIDF IDMEF 入侵检测系统的设计考虑,5,第7章入侵检测系统的标准与评估,入侵检测的标准化工作 入侵检测设计方面的考虑 评价入侵检测系统性能的标准 网络入侵检测系统测试评估 测试评估的内容 测试环境和测试软件 用户评估标准 入侵检测评估方案,6,第7章入侵检测系统的标准与评估,7.3 入侵检测系统的性能指标 评价入侵检测系统性能的标准 根据Porras等研究,给出评价入侵检测系统性能的3个因素. 准确性(Accuracy) 处理性能(Performance) 完备性(Completeness) 在此基础上,Debar等又增加

3、了如下两个性能评价测度: 容错性(Fault Tolerance) 及时性(Timeliness),7,第7章入侵检测系统的标准与评估,7.3 入侵检测系统的性能指标 影响入侵检测系统性能的参数 有效性: 研究检测机制的检测精度和系统报警的可信度 效率: 从检测机制的处理数据的速度以及经济性的角度来考虑 本节从有效性的角度对检测系统的检测性能及影响性能的参数进行分析讨论. 下面利用贝叶斯理论来分析基于异常检测的入侵检测系统的检测率、虚警率与报警可信度之间的关系。,8,第7章入侵检测系统的标准与评估,7.3 入侵检测系统的性能指标 影响入侵检测系统性能的参数 在异常检测和误用检测中都会产生误报。

4、误报包括虚警(False Positive)和漏警(False Negative)。 在异常检测中，由于不能保证入侵活动与异常活动完全相符，因此会出现是异常却非入侵的情况或者出现入侵却非异常的情况，前者会产生虚警，后者会产生漏警。 在误用检测中，由于可能出现入侵特征定义的不准确和不全面，因此会出现将正常模式当成入侵模式的情况或者出现不能识别入侵模式的情况，前者会产生虚警，后者会产生漏警。,9,第7章入侵检测系统的标准与评估,7.3 入侵检测系统的性能指标 影响入侵检测系统性能的参数 入侵检测可以看作一个简单的二值假设检验问题。为便于分析,给出相关定义和符号。 假设I和I分别表示入侵行为和目标系

5、统的正常行为，A表示检测系统发出警报，A表示检测系统没有警报。 检测率：指目标系统受到入侵攻击时，检测系统能够正确报警的概率，可表示为P（A|I）。 虚警率：检测系统在检测时出现虚警的概率，用P(A|I)表示。 漏检率：检测系统在检测时出现漏警的概率，用P(A|I)表示。,10,第7章入侵检测系统的标准与评估,7.3 入侵检测系统的性能指标 影响入侵检测系统性能的参数 P(A|I)则指目标系统正常的情况下，检测系统不报警的概率。 显然有： P(A|I)=1- P(A|I) ， P(A|I)=1- P(A|I) 在实际应用中，主要关注一个入侵检测系统的报警结果能否正确地反映目标系统的安全状态。

6、P( I |A)给出了检测系统报警信息的可信度，即检测系统报警时，目标系统正受到入侵攻击的概率。 P( I |A)则给出了检测系统没有报警时，目标系处于安全状态的可信度。 我们期望系统的这两个参数的值越大越好。,11,第7章入侵检测系统的标准与评估,7.3 入侵检测系统的性能指标 影响入侵检测系统性能的参数 根据贝叶斯定理给出这二个参数的计算公式：,12,第7章入侵检测系统的标准与评估,7.3 入侵检测系统的性能指标 影响入侵检测系统性能的参数 先验概率P(I)可利用实验环境和实际环境得到。因为入侵行为出现的概率一般很小，即 所以P(I |A) 的值主要取决于虚警率的影响。假定某一时间段内受到

7、入侵攻击的概率P(I)=0.00001，图中给出了检测系统的报警信息可信度与系统检测虚警率、检测率之间的关系。 给定检测率，可信度随虚警率的增加而减小。 给定虚警率的条件下，可信度将随着检测率的增大而增大。 P(A|I)=1且 P(A|I)=0时，检测结果最可信，但这仅是理想情况。,13,第7章入侵检测系统的标准与评估,可信度、虚警率、检测率之间的关系图,14,第7章入侵检测系统的标准与评估,7.3 入侵检测系统的性能指标 评价检测算法性能的测度 通常可以用检测率随虚警率的变化曲线来评价检测系统的性能 ，这个曲线称为接收器特性(ROC-Receiver Operation Characteri

8、stic)曲线。 下图对应着采用不同检测算法的入侵检测系统A、B、C，所做的ROC曲线簇。 A代表最坏情况，相当于对入侵行为没有识别能力 系统C始终优于系统B 检测系统的性能图中y=x可以作为系统的性能基准，所有的入侵检测系统性能都应好于它所代表的系统。,15,第7章入侵检测系统的标准与评估,7.3 入侵检测系统的性能指标 评价检测算法性能的测度 图中有三个坐标点需要关注： （0，0）点表示一个检测系统的报警门限过高，检测不出入侵情况 （1，1）点则表示检测系统的报警门限为0时，检测系统把被监控系统的所有行为都视为入侵活动的情况。 （0，1）点则代表了一个完美的检测系统，能在没有虚警的情况下，

9、检测出所有的入侵活动，这是理想的情况。,16,第7章入侵检测系统的标准与评估,表示不同检测性能的ROC曲线簇,0,17,第7章入侵检测系统的标准与评估,7.4 网络入侵检测系统测试评估 测试评估入侵检测系统很困难 涉及操作系统、网络环境、工具、软件、硬件和数据库等技术方面问题 IDS目前没有工业标准可参考来评测 IDS厂商不会公布检测算法 只能依靠黑箱测试 IDS的评估者主要来自开发者、第三方、入侵者和最终用户 入侵和最终用户的测试是在实际应用环境下进行的 ，评估效果更关键。,18,第7章入侵检测系统的标准与评估,7.4 网络入侵检测系统测试评估 一般情况下，IDS测试环境的组成有测试平台控制

10、器、正常合法使用用户、攻击者、服务器和IDS系统。如图所示。,IDS测试环境组成示意图,19,第7章入侵检测系统的标准与评估,7.5 测试评估内容 误用检测失效的原因有以下3个方面： 系统活动记录未能为IDS提供足够的信息用来检测入侵 入侵签名数据库中没有某种入侵攻击签名 模式匹配算法不能从系统活动记录中识别出入侵签名 异常检测模块失效的原因如下： 异常阈值定义不合适 用户轮廓模板不足以描述用户的行为 异常检测算法设计错误。,20,第7章入侵检测系统的标准与评估,7.5 测试评估内容 IDS的评估涉及入侵识别能力、资源使用状况、强力测试反应等几个主要问题。下面就IDS的功能、性能及产品可用性3

11、个方面做进一步讨论： 功能性测试：能反映出IDS的攻击检测、报告、审记、报警等能力 攻击识别 抗攻击性 过滤 报警 日志 报告,21,第7章入侵检测系统的标准与评估,7.5 测试评估内容 性能测试：在各种不同环境下，检验IDS的承受强度，主要指标如下： IDS引擎的吞吐量 包的重装 过滤的效率 产品可用性测试 评估系统用户界面的可用性、完整性和扩充性 跨平台能力 易用性 稳定性,22,第7章入侵检测系统的标准与评估,7.6 测试环境和测试软件 Lincoln实验室设计了一个离线的网络IDS测试环境，如图所示。,Lincoln实验室的IDS测试环境,23,第7章入侵检测系统的标准与评估,7.6

12、测试环境和测试软件 Rome实验室设计了一个实时的网络环境来作评测IDS。如图所示.,Rome实验室的IDS测试环境,24,第7章入侵检测系统的标准与评估,7.6 测试环境和测试软件 为了较好地测试IDS，针对不同的测试目标，一般构建专用的网络环境，下图是测试IDS功能的网络配置图,IDS功能测试配置图,25,第7章入侵检测系统的标准与评估,7.6 测试环境和测试软件 测试软件 IDS测试软件一般应具有以下功能： 仿真用户操作 模拟入侵 Nidsbench测试软件包 California大学的IDS测试平台,26,第7章入侵检测系统的标准与评估,7.7 用户评估标准 用户评估IDS涉及多种因素

13、 1、 产品标识 生产厂商或公司 产品版本号 IDS类型 IDS的数据源是什么 IDS的运行方式 IDS产品形式是硬件、软件还是软硬结合,27,第7章入侵检测系统的标准与评估,7.7 用户评估标准 用户评估IDS涉及多种因素 2 、IDS文档和技术支持 3、IDS的功能 产品与现有系统的集成 是否即插即用 所支持的软件平台 与其它安全工具的集成是否容易 IDS运行需要的网络拓扑结构 支持的管理方式 管理协议 支持的网络协议 产品是否开放源代码,28,第7章入侵检测系统的标准与评估,7.7 用户评估标准 用户评估IDS涉及多种因素 4、IDS报告和审计 5、IDS检测与响应 数据内容识别能力 抗

14、攻击能力 冗错能力 检测精度和范围大小 通过何种方式报警 6、安全管理 7、产品安装和服务支持,29,第7章入侵检测系统的标准与评估,7.8 入侵检测评估方案 离线评估方案：DARPA与美国空军研究实验室联合发起的、由林肯实验室主持进行一年一度的评估活动。 技术目标 评估 训练数据 测试数据开发 评估使用的测试数据 异常检测 评估规则 结果提交格式 系统描述 运行时间,30,第7章入侵检测系统的标准与评估,7.8 入侵检测评估方案 实时评估方案：DARPA/AFRL共同发起的，AFEL负责对选送的DARPA研究项目进行实时评估。 目标 测量每个IDS在现有的正常机器和网络活动中检测入侵行为的效力 测量每个IDS的反应机制的效力以及对正常用户的影响 测试配置 测试要求 集成 送交受测系统 报告结果,31,小结,影响入侵检测系统的性能参数是什么 用ROC曲线来表示不同检测系统性能 测试评估的内容 入侵检测的评估方案,32,思考题,1 .入侵检测系统的报警可信度与虚警率、检测率之间的关系是什么？ 2