入侵检测系统的标准与评价 PPT课件

入侵检测系统的标准与评估 1 第7章入侵检测系统的标准与评估 曹元大主编 人民邮电出版社 2007年 入侵检测系统的标准与评估 2 第7章入侵检测系统的标准与评估 入侵检测系统的标准与评估 入侵检测的标准化工作入侵检测系统的性能指标网络入侵检测系统测试评估测试评估内容测试环境和测试软件用户评估标准入侵检测评估方案 入侵检测系统的标准与评估 3 入侵检测的标准化工作 入侵检测技术在最近几年发展迅速 但是相应的入侵检测标准化工作则进展缓慢 当前有两个国际组织在进行这方面的工作 他们是CommonIntrusionDetectionFramework CIDF 和IETF InternetEngineeringTaskForce 下属的IntrusionDetectionWorkingGroup IDWG 他们强调了入侵检测的不同方面 并从各自的角度进行了标准化工作 入侵检测系统的标准与评估 4 CIDF CIDF标准化工作基于这样的思想 入侵行为是如此广泛和复杂 以至于依靠某个单一的IDS不可能检测出所有的入侵行为 因此需要一个IDS系统的合作来检测跨越网络或跨越较长时间段的不同攻击 为了尽可能地减少标准化工作 CIDF把IDS系统合作的重点放在了不同组件的合作上 CIDF的主要工作是 提出了一个通用的入侵检测框架 然后进行这个框架中各个部件之间通信协议和API的标准化 以达到不同IDS组件的通信和管理 入侵检测系统的标准与评估 5 CIDF的规范文档 Arichitecture 提出了IDS的通用体系结构 用以说明IDS各组件间通信的环境 Communication 说明了IDS各种不同组件间如何通过网络进行通信 Language 定义了公共入侵规范语言 CISL IDS各组件间通过CISL来进行入侵和警告等信息的通信 API 提供了一整套标准的应用程序接口 允许IDS各组件的重用 在CISL的表示中隐含了API 入侵检测系统的标准与评估 6 CIDF的系统结构 入侵检测系统的标准与评估 7 CIDF的互操作 配置互操作 可相互发现并交换数据 语法互操作 可正确识别交换的数据 语义互操作 可相互正确理解交换的数据 入侵检测系统的标准与评估 8 CIDF的协同方式 分析 A收集原始数据并可以作预处理分析 B则根据A进行更深层次的分析并产生报告 入侵检测系统的标准与评估 9 CIDF的协同方式 互补 A1和A2能够互相弥补 B负责合并A1和A2的输出结果 A1和A2可以检测不同的攻击 或者A1和A2再不同的计算机上检测到同一种攻击 入侵检测系统的标准与评估 10 CIDF的协同方式 互纠 A1和A2可以互相纠正检测结果 由于入侵检测中存在许多报警 故组件之间的互纠是必要的 采用不同的分析方法两个检测器常会产生多次误报警 特殊的情况是 J组件在A1和A2的检测结果相同时才会报告入侵 入侵检测系统的标准与评估 11 CIDF的协同方式 核实 A1报告发现攻击 H则询问A2是否也检测到同一种攻击 若A2报告检测到同一种攻击 那么H就认为A1的入侵报告得到验证 入侵检测系统的标准与评估 12 CIDF的协同方式 调整 A根据所受到的警告信息调整监测 A发送一个请求给T 询问应该监测的对象是什么 然后 A接收T的回答信息 并加以分析和进行监测操作 入侵检测系统的标准与评估 13 CIDF的协同方式 响应 如果分析器判断到一个特定的处理过程正在进行对某个主机的攻击 或者是一个特定的网络链接被用作发起攻击 那么分析器应当向管理员发起警告 但是人的响应要比机器的响应慢 因此 入侵检测器需要预先设置自动应急的脚本 以便在紧急的情况下IDS可以直接响应 入侵检测系统的标准与评估 14 CIDF的公共入侵规范语言 CISL CIDF最主要的工作就是不同组件间所使用语言的标准化 CIDF的体系结构只是通信的背景 在CIDF模型里 通过组件接收的输入流来驱动分析引擎进行处理 并将结果传递到其它的部件 CIDF用通用入侵说明语言CISL对事件 分析结果 响应指示等过程进行表示说明 以达到IDS之间的语法互操作 CISL语言使用符号表达式 简称S 表达式 类似于LISP语言 入侵检测系统的标准与评估 15 S 表达式的递归定义 原子是S 表达式 如果a1 a2是S 表达式 则表 a1 a2 也是S 表达式 有限次使用 1 2 所得的表达式都是S 表达式 此外没有别的S 表达式 入侵检测系统的标准与评估 16 CISL的设计目标 表达能力 CISL语言应当具有足够的词汇和复杂的语法来实现广泛的表达 主要针对事件的因果关系 事件的对象角色 对象的属性 对象之间的关系 响应命令或脚本等几个方面 表示的唯一性 要求发送者和接收者对协商好的目标信息能够相互理解 精确性 两个接收者读取相同的消息不能得到相反的结论 层次化 语言当中有一种机制能够用普通的概念定义详细而又精确的概念 自定义 在消息中能够自我解析说明 效率 任何接收者对语言格式的理解开销不能成倍增加 扩展性 语言里有一种机制能够让发送者使用的词汇来表明接收者的事实 或者是接收者能够利用消息的其余部分解析说明新的词汇的含义 简单 不需理解整个语言就能接收和发送信息 可移植性 语言的编码不是依赖于网络的细节或特定主机的消息 容易实现 实现起来比较容易 入侵检测系统的标准与评估 17 CIDF的通信机制 入侵检测系统的标准与评估 18 传输层 不属于CIDF规范 它可以采用很多种现有的传输机制来实现 信体层 负责对传输的信息进行加密认证 然后将其可靠地从源传输到目的地 信体层不关心传输的内容 它只负责建立一个可靠的传输信道 Gidos层 负责对传输的信息进行格式化 统一信息的表达格式 是各个IDS之间的互操作成为可能 入侵检测系统的标准与评估 19 CIDF协同工作需要解决的问题 CIDF的一个组件怎样才能安全地连接到其他组件 其中包括组件的定位和组件的鉴别 连接建立后 CIDF如何保证组件之间安全有效地进行通信 入侵检测系统的标准与评估 20 问题的解决 提出一个可扩展性比较好的比较完备的解决方法 即采用匹配服务 匹配服务是一个标准的 统一的方法 它的核心部件是匹配代理 匹配代理专门负责查询其他CIDF组件集 通过信体层和传输层来解决的 信体层是为了解决诸如同步 如阻塞和非阻塞等 屏蔽不同操作系统的不同数据表示 不同编程语言不同的数据结构等问题而提出的 它规定了Message的格式 并提出了双方通信的流程 此外 为了保证通信的安全性 信体层还包含了鉴别 加密和签名等机制 入侵检测系统的标准与评估 21 CIDF的标准化工作 通过组件标识查找 或更高层次上地通过特性查找通信双方的代理设施和查找协议 使用正确 鉴别 安全 加密 有效的组件间通信协议 定义了一种能使组件间互相理解的语言CISL 说明了进行通信所用的主要的API 入侵检测系统的标准与评估 22 CIDF的不足 复杂性 建立代理设施和遵循查找协议查找到对方都是复杂的 对CISL语义的理解也是相当复杂的 实效性 由于协议的复杂性 必然导致时间消耗过大 延迟增长 协议的完整性 文档很多地方还不太完整 需要进一步细化 入侵检测系统的标准与评估 23 IDMEF 为了适应网络安全发展的需要 Internet网络工程部IETF InternetEngineeringTaskForce 的入侵检测工作组 InternetDetectionWorkingGroup 简称IDWG 负责进行入侵检测响应系统之间共享信息数据格式和交换信息方式的标准制订 制订了入侵检测信息交换格式 IntrusionDetectionMessageExchangeFormat 缩写为IDMEF IDMEF与CIDF类似 也是对组件间的通信进行了标准化 但它只标准化了一种通信场景 即数据处理模块和警告处理模块间的警告信息的通信 引入入侵检测信息交换格式的目的在于定义入侵检测模块和响应模块之间 以及可能需要和这两者通信的管理模块感兴趣的信息交换的数据格式和交换过程 入侵检测系统的标准与评估 24 IDWG的主要工作 制定入侵检测消息交换需求文档 该文档内容有入侵检测系统之间通信的要求说明 同时还有入侵检测系统和管理系统之间通信的要求说明 制定公共入侵语言规范 制定一种入侵检测消息交换的体系结构 使得最适合于用目前已存在协议实现入侵检测系统之间的通信 入侵检测系统的标准与评估 25 IDMEF的需求 消息交换需求消息格式需求通信机制需求安全需求消息内容需求 入侵检测系统的标准与评估 26 入侵检测消息数据模型 入侵检测系统的标准与评估 27 入侵检测消息数据模型 到目前为止 已制订出来的入侵检测消息数据的模型有两类 即面向对象的数据模型和基于XML的数据模型 入侵检测系统的标准与评估 28 面向对象的数据模型用于IDMEF的原因 报警信息固有的不同类型使得应提出一种足够灵活的数据表示格式 使之能适应不同的需要 入侵检测工具的环境都不是相同的 相同的攻击可以用不同的检测工具报告 而所报告的信息是不一样的 入侵检测工具的能力不同 为了进一步处理报警信息 数据模型应当通过工具方便地转换格式 而不是使用入侵探测器 入侵检测的操作系统环境是不同的 数据模型应该容纳这些不同点 商业厂商的目标是不同的 开发商希望传递少量关于某些攻击的信息 这样有利于产品的销售 入侵检测系统的标准与评估 29 基于XML的数据模型的优点 使用XML可以方便地为入侵检测报警描述特定的开发自定义语言 也可以通过扩展这个语言来定义一个标准 处理XML文档资料的软件可以多方面地得到 产品开发商可以很容易得到这些工具来使用IDMEF XML满足IDMEF全面支持消息格式的国际化和本地化需求 XML满足IDMEF消息格式必须支持过滤和聚类的要求 正在进行的W3C和其他的XML开发项目组将会提供支持面向对象的扩展和数据库 XML是免费的 不需要许可证和版税 入侵检测系统的标准与评估 30 IDMEF的入侵警告协议 TCP连接建立安全建立通道的建立 入侵检测系统的标准与评估 31 IDMEF总结 IDMEF最大的特点就是充分利用了已有的较成熟的标准 与CIDF相比较 在数据表示方面不仅在语法方面而且在语义方面都进行了详细的规定 方便了传输数据的解释 提高了解释的效率 但同时也降低了通用性 只能表达警告信息 在通信方面 IDMEF各组件必须有通信对方的地址信息 这样效率很高 IDMEF通信可能考虑到安全边界问题 支持使用代理 入侵检测系统的标准与评估 32 标准化工作总结 以上入侵检测协议只是草案 至于这些协议将来是否能成为Internet标准现在还难以确定 按IETF规定 Internet草案最长有效期六个月 随时可能被其他文档更新 替换 总的来说 入侵检测的标准化工作进展非常缓慢 现在各个IDS厂商几乎都不支持当前的标准 造成各IDS之间几乎不可能进行互相操作 标准化终究是IT行业充分发展的一个必然趋势 而且标准化提供了一套比较完备 安全的解决方案 入侵检测系统的标准与评估 33 评价入侵检测系统性能的标准 准确性 Accuracy 指入侵检测系统能正确地检测出系统入侵活动 处理性能 指一个入侵检测系统处理系统审计数据的速度 完备性 Completeness 指入侵检测系统能够检测出所有攻击行为的能力 容错性 FaultTolerance 入侵检测系统自身必须能够抵御对它自身的攻击 特别是拒绝服务攻击 DenialofService 及时性 Timeliness 及时性要求入侵检测系统必须尽快地分析数据并把分析结果传播出去 以使系统安全管理者能够在入侵攻击尚未造成更大危害以前做出反应 阻止攻击者颠覆审计系统甚至入侵检测系统的企图 入侵检测系统的标准与评估 34 影响入侵检测系统性能的参数 如果检测系统不能精确地描述系统的正常行为 那么就必然会出现误报 如果检测系统把系统的正常行为作为异常行为进行报警 那么就是虚警 如果检测系统对部分针对系统的入侵活动不能识别 报警 这种情况就是漏警现象 显然 过多的虚警必然会降低检测系统报警信息的可信度 甚至使得检测系统不实用 漏警的危害则更大 入侵检测系统的标准与评估 35 漏警实例 1 URL编码将URL进行编码 可以避开一些采用规则匹配的NIDS 二进制编码中HTTP协议允许在URL中使用任意ASCII字符 把二进制字符表示成形如 xx 的十六进制码 有的IDS并不会去解码 如 cgi bin 可以表示成 63 67 69 2d 62 69 6e 有些IDS的规则匹配不出 但web服务器可以正确处理 如果IDS在匹配规则检测之前没有解码 就会出现URL漏警 入侵检测系统的标准与评估 36 2 双斜线在当前的正常网络环境中 web服务器能够识别多个反斜杠的情况 并返回请求的资源 但是对于目前大多数基于模式匹配的入侵检测系统来说 还无法检测到这种变化 假定攻击字符串为 cgi bin some cgi 入侵检测系统已配置为对 cgi bin some cgi 作检测 通过把攻击字符串中的单个反斜杠替换为两个反斜杠 cgi bin some cgi 入侵检测系统的标准与评估 37 3 自引用实验在文件系统中 表示的是本目录 在命令行下 cd 将仍旧停留在原来目录 HTTP协议中对资源的请求就是对服务器上文件的请求 同样是对文件系统的操作 假定攻击字符串为 cgi bin some cgi 入侵检测系统已配置为对 cgi bin some cgi 作检测 通过在攻击字符串中插入多个 自引用 cgi bin some cgi 入侵检测系统的标准与评估 38 4 目录分隔符Unix系统下文件的分隔符为 在Windows平台下文件分割符为 但兼容Unix的文件分隔符 而HTTPRFC规定用 但Microsoft的web服务器如IIS会主动把 转换成 很多软件为了在Unix和Windows平台下都能正确运行 采用同时识别 和 两种文件分隔符的方式 假定攻击字符串为 cgi bin some cgi 入侵检测系统已配置为对 cgi bin some cgi 作检测 通过将URL中的斜杠转换为反斜杠 cgi bin some cgi 入侵检测系统的标准与评估 39 虚警实例 phf的常见攻击形式为 http hostname cgi bin phf Qalias 0A bin cat 20 etc passwd如果服务器存在phf漏洞 那么上面的命令就可以看到服务器的用户密码文件 针对这个漏洞 我们通过匹配 phf 字符串作检查 如果HTTP请求中包含 phf 字符串就产生告警 如果服务器上存在文件 phfiles phonefiles txt 那么对这个文件的HTTP请求就是 http hostname phfiles phonefiles txt正常工作的入侵检测系统就会对这个请求产生告警 但这是对服务器上文件的正常请求操作 并不是一次攻击 因而入侵检测系统产生的告警就是虚警 入侵检测系统的标准与评估 40 影响入侵检测系统性能的参数 假设I与 I分别表示入侵行为和目标系统的正常行为 A代表检测系统发出了入侵报警 A表示检测系统没有报警 检测率 指被监控系统受到入侵攻击时 检测系统能够正确报警的概率 可表示为P A I 虚警率 指检测系统在检测时出现虚警的概率P A I 可利用已知的系统正常行为实验数据集 通过系统仿真获得检测系统的近似虚警率 入侵检测系统的标准与评估 41 漏警率 概率P A I 表示目标系统不正常 系统不报警的概率 概率P A I 则指目标系统正常 系统不报警的概率 显然 P A I 1 P A I P A I 1 P A I 入侵检测系统的标准与评估 42 报警的可信度 P I A 给出了检测系统报警信息的可信度 即检测系统报警时 目标系统正受到入侵攻击的概率 P I A 给出了检测系统没有报警时 目标系统处于安全状态的可信度 P I A 由于P I P I 所以分母主要取决于虚警率的影响 入侵检测系统的标准与评估 43 评价检测算法性能的测度 入侵检测系统的标准与评估 44 表示不同检测系统性能的ROC曲线簇 入侵检测系统的标准与评估 45 图中有3个需要关注的作标点 0 0 1 1 以及 0 1 0 0 表示一个检测系统的报警门限过高 从而根本就检测不出入侵活动的情况 1 1 表示检测系统的报警门限为0时 检测系统把被检测系统的所有行为都视为入侵活动的情况 0 1 则代表了一个完美的检测系统 能够在没有虚警的条件下 检测出所有的入侵活动 显然这是一个理想的情况 入侵检测系统的标准与评估 46 网络入侵检测系统测试评估 由于不断变化的入侵攻击的情况 用户和厂商需要维护多种不同类型的信息才能保证IDS能够检测到可疑事件 这些信息包括 正常和异常下的用户 系统和进程行为的轮廓 可疑通信量模式字符串 包括己知的入侵攻击签名 对各种各样的异常和攻击进行响应所需要的信息 入侵检测系统的标准与评估 47 入侵检测系统测试环境 入侵检测系统的标准与评估 48 误用检测失效的原因 系统活动记录未能为IDS提供足够的信息用来检测入侵 入侵签名数据库中没有某种入侵攻击签名 模式匹配算法不能从系统活动记录中识别出入侵签名 入侵检测系统的标准与评估 49 异常检测失效的原因 异常阈值定义不合适 用户轮廓模板不足以描述用户的行为 异常检测算法设计错误 入侵检测系统的标准与评估 50 功能性测试 攻击识别抗攻击性过滤报警日志报告 入侵检测系统的标准与评估 51 性能测试 IDS引擎的吞吐量 IDS在预先不加载攻击标签的情况下 处理原始的检测数据的能力 包的重装 测试的目的是评估IDS的包的重装能力 例如 为了测试这个指标 可通过PingofDeath攻击 IDS的入侵标签名库只有单一的PingofDeath标签 这时来测试IDS的响应情况 过滤的效率 测试的目标是评估IDS在遭到攻击的情况下过滤器的接收 处理和报警的效率 这种测试可以用LAND攻击的基本包头为引导 这种包的特征是源地址等于目标地址 入侵检测系统的标准与评估 52 Lincoln实验室的IDS测试环境 方法是通过使用大量的含有各种各样的攻击的网络流量样本很审计数据作为IDS的输入 以验证IDS的能力 并计算虚警率和检测率 入侵检测系统的标准与评估 53 Rome实验室的IDS测试环境 将IDS放在实际的网络环境中 以验证IDS在实时情况下的响应状况和适应性 入侵检测系统的标准与评估 54 IDS功能测试配置图 入侵检测系统的标准与评估 55 测试软件 协助测试员模拟实际环境 自动输入测试数据以及训练检测模型 减