（计算机应用技术专业论文）基于多源日志的事件场景关联方法研究.pdf

分类号t p 3 9 3 密级公开 重庆邮电大学硕士学位论文 论文题目 基士多盈旦：量的奎鲑堑孟去鐾壅迭盟寇 l o 2 2 5 ：8 0 t c pt t l ：1 2 7t o s ：0 x 0i d ：1 3 6 9 0i p l e n ：2 0 o g m l e n ：4 8 2d f 。+ a p + s c q ：0 x l l 2 b d d l 2 a c k ：0 x 1 1 8 3 8 d 8 a w i n ：0 x 4 5 1 0 t c p l e n ：2 0 其中， c l a s s i f i c a t i o n ：e o n t e n t ：“m k d ”】【p r i o r i t y ：0 】是报警的分类和优先级。 2 1 6 其他应用系统日志 其他应用系统日志主要是指计算机系统中的常用应用程序在运行过程中，根 据某种需要为这些应用程序设计的日志记录程序，它们将在程序运行过程中生成 程序运行情况、状态、错误等信息。如数据库系统日志、杀毒软件系统日志、i c q 和o i c q 聊天记录等等。由于应用程序种类繁多，所涉及的日志格式也是层出不 穷，这里就不再举例说明，在实际应用中可以根据具体需要而详细研究某个具体 应用程序的日志记录机制。 2 2 现有基于日志的事件场景关联方法的分析研究 2 2 1 日志关联基础 正如1 1 节描述的那样，目前计算机监控和取证的对象由原来单一的主机系 统转变为由各种服务器、路由交换设备和安全设备等组成的网络系统，有用的证 据分散在多种不同的日志中。另一方面，攻击者要实现某个目的通常需要通过一 系列有着内在联系的攻击序列来完成。因此，从海量的日志记录中寻找这些有着 内在联系的攻击序列( 即事件场景关联) 对计算机取证意义重大，通过日志关联 技术的分析研究可以实现黑客犯罪过程的重建为取证人员在计算机取证过程中 提供有力参考。 现有的研究成果一般将臼志关联技术分4 个层面进行1 2 9 】： 闩志的预处理。这是关联系统和同志进行交互的接口，在这部分所要完成 的最重要的工作之一就是将各种小的f = 1 志u 采格式转换成关联系统的标准格式 重庆邮电大学硕士论文 ( 如i d m e f 格式) ，同时完成攻击分类等项目内容的统一映射。这些工作实际 上已经是日志关联操作的一部分。 日志的聚合。这种聚合一般是将某一类日志中针对同一安全事件产生的大 量相同或相似记录合并成一个记录。这种日志聚合一般在各日志数据库内部进行， 也可以在独立的关联系统中进行。这种聚合多为时间上的纵向融合操作。 多个异构日志源聚合。通过对多个不同类型日志或其他不同来源日志信息 进行聚合，可以使不同来源的日志记录相互补充、相互印证，有利于真正理解攻 击的实质。这种聚合多为空间上的横向融合操作，一般都在连接多个日志源的独 立的关联系统中进行。 攻击步骤关联。此操作是在上述日志聚合基础上，进行更深入的关联操作， 目标是重建犯罪过程，将逻辑相关的犯罪动作联系起来，从而掌握犯罪的整体情 况。和单独的低层事件相比，犯罪过程可以使我们对入侵的理解更透彻。这种关 联为时间上的纵向融合操作，都发生在独立的关联系统上。 图2 2 日志关联操作的一股流程 以上4 个层次的日志关联操作抽象为如图2 2 所示的流程，各层次对日志记录的 处理操作没有明显的界限，其目的是一致的。一些日志关联系统也将操作和 或和合为一起，同时进行；有的系统在日志关联后，再进行聚合。但无论其 顺序如何，随着对日志记录的不断深入处理，其信息质量都会得到提升。 通过对日志记录的关联操作，可以实现如下目标： 消除或减少重复日志记录。不同日志对同一个安全事件都可能产生记录， 即使是同一种日志也可能对某个安全事件产生多条记录。这些重复记录少则几个， 多则上万。通过对这些日志记录的聚合，可以大大精简日志记录。 降低误报率。通过将一个犯罪过程相关的日志记录信息关联在一起，可以 消除某些孤立和随机事件产生的错误记录。另外，各日志记录信息同被保护网络 系统本身的信息相互比对就可以很好地滤除无关记录，降低错误记录几率。 降低漏报率。目前，没有一种单一的日志能够记录所有安全事件。不同日 志记录通过关联，可以相互补充，防止漏记，误记的发生。 发现高层攻击策略。将入侵过程的一系列犯罪活动关联在一起，重建犯罪 第二章基于日志的事件场景关联相关知识 过程，这样就可以对入侵的整体情况进行描述，有利于对入侵的理解，发现犯罪 策略，克服了传统安全产品如d s 那种检测结果过于细化和底层缺点，避免了“只 见树木，不见森林”的负面效果，为入侵的意图识别、入侵行动预测和入侵响应 打下了基础。 目前，国内外的日志关联技术大致存在以下几类：基于数据库运算的多步骤 人工查询分析【3 0 川；基于概率的关联方法【3 2 3 4 l ；基于数据挖掘的关联方法【3 3 j 孓3 6 】； 基于统计因果分析的关联方法吲和基于因果关系的i d s 报警关联方法【3 8 - 4 2 1 。虽说 部分技术目前主要应用在i d s 的报警关联上，但各个方法所基于的思想同样可以 作为我们从多源日志进行犯罪过程关联的基础。下面从2 2 2 到2 2 6 节对现有的 关联技术分别进行简要分析。 2 2 2 基于数据库运算的人工查询关联方法 基于数据库运算的人工查询关联方法是一种针对多源日志的关联方法它是 由k e v i nc h e n 等人在2 0 0 3 年提出并实现的，整个方法的实现建立在日志各字段 属性值的匹配的基础上。基于此方法的原型系统被命名为e c f 3 0 ) ( e v e n t c o r r e l a t i o nf o rf r c n s i c s ) ，其体系结构如图2 3 所示。 _ 1 ij a v af r o n t - e n d ：i 。d “。 j 1 ；兰 垂毯嚣 广一l ：删j f 曩聂一 。= r = ；一一 ：l m m m c f ： e x a m p l e so f f i n e ：钮b k 0 ：a 黜乳。ls t a t i cc o u l i g u f a t i o a i 监叠0 盏2 三 卜1t a b l e s ：p f l “。g e d i = 掣她坤猫i u s e r a c c o u a t s i i - - ， it _t _ 。 f 图2 3e c f 体系结构”0 1 重庆邮电大学硕士论文 把收集的每种日志中的事件记录通过日志解析器( p a r s e r ) 解析成一种预先定 义好的规范格式( c a n o n i c a lf o r m ) 存到数据库，通过用户接口与数据库互动可以实 现如下功能【3 0 j ：日志解析( l o gp a r s e ) 动态查询( d y n a m i cq u e r y ) 定制 查询( c u s t o mq u e r y ) 假设检验( h y p o t h e s i st e s t i n g ) ；访问日志特殊信息 ( a c c e s st ol o gs p e c i f i ci n f o r m a t i o n ) 。通过这个5 个功能的灵活结合，可以凭借专 家经验，人工完成相关安全事件的大致关联。只要依据某已知限制条件( 如某类 日志的一个属性值) 人工输入查询条件，得到所有与这个属性值有关的日志记录， 从得到的这些记录中又可以从日志的其他属性字段发现其它隐藏重要信息的属性 值，依据专家经验，将这些属性值中被认为敏感的值作为输入条件再次查询，又 得到除去前两次查询外的另外的重要信息，如此反复，最后将相互联系的所有日 志记录通过多步查询关联出来。 这种通过基于数据库运算的多步人工查询分析实现日志关联的方法主要是根 据专家经验设定的查询条件在数据库中进行多步属性匹配得到一系列结果记录， 虽然可以大致关联出属于同一事件序列的相关日志记录，但其问题在于人工参与 多，关联的结果呈无序的杂乱状态，并没有实现日志的自动关联。 图2 3a u t o e c f 系统p ” 作为对文献 3 0 i 作的继续，文献【3 1 】开发的a u t o - e c f 将文献 3 0 】的人工查 询方法自动化，如图2 3 ，与人工查询不同的是，a u t o e c f 根据常见的事件逻辑 模式知识，对常见的每一类事件逻辑模式，把先后需要匹配的事件类型，这些事 件所力：的日志以及每类事件需要匹配的同志属性名等信息定义成一个l e p ( l o g i c e v e n tp a t t e r n s ) 文件，然后依据这些l e p 配置文件中包含的知识对数据库中的事 件址求进行属性匹配，最后得到若干由多个s i m p l el o g i c a le v e n t 组成的逻辑事件 第二章基于日志的事件场景关联相关知识 l o g i c a le v e n t 。虽然a u t o e c f 实现了日志的自动关联，但由于也只是考虑了事件 相关属性值的匹配，没有考虑事件发生的因果联系，关联的结果难以体现事件发 生的有序性和逻辑性，并且对l e p 文件定义的好坏依赖性很强。 2 2 3 基于概率的关联方法 基于概率的关联方法包括基于属性相似度的关联和基于攻击场景建模概率关 联两类，目前这两种技术主要应用在d s 报警日志的关联上。 基于属性相似度的关联。目前，不同类型i d s 产品的开发没有采用统一 标准，报警数据格式和内容不统一，判断是否是对同一事件的报警相当困难。在 文献【3 2 】中提出利用报警信息特征的相似性来解决该问题，琪方法描述如下：1 ) 定义特征相似函数。对报警信息的共有特征( 如攻击源、攻击目标、攻击类型、 时间戳) 分别定义相似函数；2 ) 定义特征相似期望。相似期望是关联的必要非充 分条件，它表达了对报警信息特征相似的先验期望，这个相似期望大小的定义依 赖于特定上下文；3 ) 定义特征最小相似度。如果某特征的相似度小于最小相似度， 则两条报警信息的该特征不具有相似性，即取值为o ；4 ) 定义报警相似度阈值域。 如果两条报警信息的相似度不包含在相似度阈值域内，则两条报警不相似；5 ) 计 算报警相似度。其计算公式为：s i m ( x ，y ) = y ：e ，s i m ( x ，r ) e ，其中x 表示候 选元报警，y 表示新的报警，是报警消息时特征索引，e ，是对第，个特征的相 似期望，它代表特征的权值，x ，和y j 分别表示报警消息工和y 的第，个特征的值。 文献【3 2 】给出的实验结果表明，通过该关联分析，可减少1 2 到2 3 的报警数据， 其缺点是分析比较的报警信息必须具有共有特征，另外，它也不能发现报警消息 之间的逻辑关系。 基于攻击场景建模概率关联。通过对攻击过程的研究发现，一次完整的攻 击过程通常经历五个步骤，即：目标系统信息收集、目标漏洞探测、权限提升、 实施破坏、攻击痕迹清除。因此，可对同属一个攻击场景的报警信息进行关联。 采用原子模型方法【 , 3 4 1 ：每从i d s 接收到一个报警信息，就与已构建的攻击场景 进行概率关联，即计算该报警属于己知攻击场景的概率，把该报警归为概率最大 的攻击场景，如果所有的关联概率都低于预先给定的阈值，则创建新的攻击场景， 一旦报警归为一个攻击场景，就不再改变。概率计算可采用手工编码方法、启发 式方法或数据挖掘方法，这里就不对各种方法进行详细描述，可以参考相应参考 文献。该方法的优点是：能够发现利用假冒源p 地址和潜伏期很长的攻击场景； 关联速度快，在不到2 秒内，可对1 6 0 0 0 个报警分配攻击场景【3 3 1 。其缺点是：由 于场景的分配基于原子模型，旦一个攻击场景出错，就会影响到后续报警信息 重庆邮电大学硕士论文 的关联，因此该方法需要在减少错误场景创建上进行改进。 2 2 4 基于数据挖掘的关联方法 数据挖掘是- - f q 对过去、历史的学习掌握规律从而把握未来的技术。其中的 聚类分析、序列分析、关联分析技术己成功应用于入侵检测系统报警日志的分析 中。在i d s 的报警关联系统的应用过程是这样的：通过机器学习或数据挖掘技术来 得到各种攻击过程，将这些攻击过程作为模板输入到系统中去，然后系统就可以 将新的报警同这些攻击过程模板相比较，进行实时关联p ”。一条关联规则表明两 个报警进行关联所满足的条件，一个攻击过程可以由这样的多条关联规则组成。 这种方法的关键问题是如何获得攻击过程，从而得到这些关联规则。 在文献f 3 3 ，3 6 6 p 提出了使用数据挖掘的方法获得攻击过程。根据人类专家知识 或数据挖掘方法获得合适的聚合与关联模板，既可以实现聚合也可以实现关联， 其实时性好，有利于在此基础上进行深入的报警处理。由训练数据集学习得到的 攻击过程是此类方法的一个重要发展方向。但由于各方面的不确定性很难获得合 适的训练集，同时存在过学习问题，不能处理在训练集中未出现的攻击过程模式。 另外，这种模板匹配方法抗噪能力较差，不确定因素多，目前效果还不满足取证 的高准确性要求。 2 2 5 基于统计因果分析的关联方法 基于统计因果分析的i d s 报警日志关联方法是目前提出的最新的关联方法之 一。q i n 等人所提出的这种统计时序方法主要是基于如下事实的启发：在多步攻击 所产生的报警属性之间具有统计的相似性，攻击各步之间存在因果关系。如果步 骤x 是步骤y 的前因，那么x 一定先于y 发生。一次攻击所组成的各个步骤最有可能 在一个时间窗1 3 内以一个较高的概率发生l 】。其核心的关联算法采用了一种时序 因果分析算法g c t ( g a n g e rc a u s a l i t y t e s t ) ，通过计算报警事件之间的g c i ( g a n g e r c a u s a l i t yi n d e x ) 指数，实现报警关联。 其作者认为此关联方法的优点是可以发现新的攻击过程或报警关联序列，不 需要攻击行为的先验知识，从而减少了管理员对关联系统的维护工作量。但实际 上整个关联算法仍然离不开领域知识和专家经验的支持，不论在其报警优先级计 算中的b a y e s j 6 9 络各节点c p t 确定，还是在g c t 关联所产生的候选因果报警的检验 都是依据经验来进行的。直到今天，这种统计因果分析方法还不能进行完整的攻 击过程的关联，但它可以作为系统的一部分来发现阶段性的攻击序列或用r 提供 超级报警的特征。 第二章基于日志的事件场景关联相关知识 2 2 6 基于因果关系的i d s 报警关联方法 此方法的思想是这样的：任何一个攻击都具有前因和后果，所谓前因就是攻 击要实施所必须具有的前提条件，后果就是攻击成功实施后所造成的结果。在一 个有多个攻击动作组成的入侵过程中，一个攻击的后果就是下一个攻击前因。基 于这一思想，首先定义每一个单独攻击的前因、后果，然后就可以将具有因果关 系的攻击关联在一起，重现整个攻击过程。 由于只指出单独攻击的前因后果，不必事先知道整个攻击过程，所以不必手 工产生大量的关联规则，只要指出一个己知攻击的前提条件和可能造成的后果就 足够了，关联范围没有限制，只要有联系的报警消息都能进行关联，即使是一些 相关的失败攻击或被i d g 忽略的信息。此外它提供了超报警关联图机制以显示通 过关联分析构建的攻击场景，通过超报警等关联图能够更好地理解攻击者的攻击 意图。同时，这种方法还可以识别和报告不同攻击组合形成的新攻击过程。这种 方法的不足之处是：不能处理新攻击( 不知道其前因、后果) ，且只适用于攻击 步骤的关联；由于依赖于i d s 的报警信息，因此，如果发生漏报警，丢掉了攻击 序列中的关键报警消息，则一个攻击场景被分为了多个部分，会降低甚至丧失关 联的意义；盲目攻击的报警信息得不到关联，当然，该情况可通过诸如概率关联 方法加以补充；方法的性能依赖于攻击模型；由于关联时搜索空间较大，对计算 资源消耗大，处理时间长，不适合实时在线操作。文献 3 8 4 2 所提出的算法都是 基于这种思想，区别在于完成这种思想所使用描述前因、后果的语言不同，算法 特点不同。 尽管这种方法在攻击场景关联方面取得了好的效果，但目前仅局限于i d s 报 警日志的关联应用，没有从多源日志进行事件关联，由于分散在多源日志中的属 于同一事件序列的事件在时间上和逻辑上也表现出因果联系，所以本文提出的融 合多源日志辅助取证的事件场景关联方法主要采取这种因果关联框架。 2 3 小结 本章主要分两部分介绍了基于同志的事件场景关联相关知识。首先详细分析 了计算机系统中的多源日志文件特别是本文研究所牵涉的多源日志文件，总结各 类常见系统的同志文件和格式。其中主要分析了w i n d o w s 系统日志，l i n u x 系统 日志，u n i x 系统日志和网络服务器同志，同时也简单介绍了安全设备同志和其它 应用程序日志。通过对计算机系统中多源同志格式和含义的分析，为后面的融合 多源日志辅助取证的事件场景关联研究提供了霞要参考；然后探讨了基j 二日志的 重庆邮电大学硕士论文 事件场景关联技术的相关知识，阐述了日志关联操作的一般流程，分析了日志关 联在辅助计算机取证上可实现的目标，最后深入分析了现在国内外的几类主要的 曰志关联技术：基于数据库运算的人工查询关联方法、基于概率的关联方法、基 于数据挖掘的关联方法、基于统计因果分析的关联方法和基于因果关系的i d s 报 警关联方法。探讨了它们的工作原理和存在的优缺点。综合考虑，本文提出的融 合多源日志辅助取证的事件场景关联方法主要采取因果关联框架。 第三章融合多源日志辅助取证的事件场景关联方法 第三章融合多源日志辅助取证的事件场景关联方法 3 1 引言 依靠普通的网络攻击或入侵事件要成功完成某个目标，往往需要多步攻击的 联合实现，而不是仅靠某单个攻击行为就能完成。大量的入侵案例表明网络攻击 通常分为5 个阶段：目标系统信息收集一目标漏洞探测一权限提升一实施破坏一 攻击痕迹清除。这五个阶段在实施的过程中并不是孤立进行的，而是表现出一种 逻辑联系：前一阶段攻击成功所产生的结果给后一阶段的实施创造条件，而后一 攻击成功所产生的结果又为下一阶段的攻击创造条件。例如，服务存在漏洞是进 行远程缓冲区溢出攻击的先决条件。通过攻击，攻击者才可取得实施进一步攻击 的条件( 如发现服务漏洞、安装木马程序等) 。因此，在这种思路的启发下，在 i d s 报警日志关联研究中提出了根据孤立攻击的前提和结果进行关联的因果关联 方法，并取得了较好的效果1 3 8 m j 。 计算机取证牵涉的数据量庞大，潜在的证据通常分布在多种不同的日志中。 从多源日志进行取证，能使证据更为完备，结论更加可靠。与网络攻击或入侵事 件类似，那些记录在多源日志中与某个计算机犯罪案件有关的表现出正常状态的 普通计算机事件之间也不是孤立的，同样是具有内在逻辑联系的，既然事件间存 在这种特殊的“前提，结果”因果关系，那么，我们只要通过某种有效形式定义出 各个安全事件成功发生前提状态和它产生的结果状态，然后将前一事件的结果状 态和后一事件的前提状态进行匹配，如果存在相同的状态，则表明前一事件的成 功发生所产生的结果对后一事件成功发生作出了贡献，则将这两个事件进行关联， 从多源日志中发掘出多个这种事件的两两关联就可以反映出整个犯罪案件的参考 场景。基于这种思想，本文针对多源日志辅助取证进行自动分析的问题，以企业 网中主要服务器，工作站以及各种安全设备所产生的多源h 志信息为数据来源， 提出一种融合多源日志的基于事件“前提结果”的事件场景关联方法，实现对全 网分散在各类日志中的安全事件按照事件发生因果步骤进行事件场景重现。首先 用基于i d m e f 格式的数据模型表示来自多源日志的各类安全事件，再通过预先 定义的“前提结果”知识将这些事件关联成事件场景。 3 2 节给出了所提方法的过程描述，3 3 至3 8 节则对整个过程的各个阶段具 体实现进行详细讨论。 重庆邮电大学硕士论文 3 2 融合多源日志的事件场景关联过程 如图3 1 所示，融合多源日志进行事件场景关联的过程描述如下： 多源日志模块主要负责选取参与事件场景关联的多源日志类型，将所选取 日志所记录的安全事件按照各自原有的格式存入数据库； 日志约简模块对各类日志的事件记录进行聚集和验证：将描述同一安全事 件的多条记录聚集为一条，同时根据系统状态，网络拓扑等先验知识检查这些事 件的真实性，滤除无关的和不真实的事件； 基于d m e f 的事件格式解析器将约简后的来自各类不同日志的安全事件 统一格式后存入事件库中； 关联知识库模块主要负责产生用于事件场景关联的关联规则：首先根据专 家经验定义出各类事件“前提结果”知识，然后对这些知识执行算法l 产生关联 规则： 关联引擎模块利用关联知识库模块产生的关联规则对事件库中各安全事 件执行算法2 进行场景关联，产生事件关联二元关系保存到关联结果库中； 可视化模块将关联结果库中的事件关联二元关系生成3 ，8 节所定义的事件 关联图( e v e n tc o r r e l a t i o nc n a p h ) 。 下面从3 _ 3 节至3 8 节对上面6 个阶段的具体实现方法进行详细讨论。 多源日志 日志约简 关联结果 = 7 = - _ jl 关联引擎 ( 算法2 ) 折的事i 件d m 格e fl 忑 婴震譬篓糯式解析器，i 事件库 可视化 关联知识库 l 定义各类事件 l 前提结果知识 l 产生关联规则 ( 算法1 ) 图3 1 融合多源日志的事件场景关联方法流程 3 3 多源日志的选取 由于安全事件种类繁多，根据这些事件各自不同的特点，它们在网络系统中 留下的汇录必然会很分散。因此，选取哪些同志作为进行事件场景关联的数据源 成为一个首要解决的问题。对多源日志的选取我们采取以下原贝1 j 1 4 3 】： f i 志的选取要满足正交性。这是指每种包含特定种类信息的同志所产生的 噩 第二章融合多源日志辅助取证的事件场景关联方法 记录尽量不要在其他种类日志中出现。日志选取满足正交性是为了使事件场景关 联算法更加高效( 没有冗余信息) 。 日志的选取要满足完整性。这是指所选取的日志集合所包含的信息含盖了 绝大部分安全事件在网络系统中留下的足迹。日志选取满足完整性是为了更精确 的辅助取证。 根据上述日志选取的原则，本文实验环境中选取了l o 种日志作为事件场景关 联的数据源，详细信息如表3 1 所示： 表3 1 本文实验环境中用于事件场景关联的多源日志信息 s y s t e m 3 2 咖 、v i n d 。邺系统r 志，记录由 7 曲s e 啪i 肌 、v i ”3 2 跏咖w m 曲吣s 删2 咖w i i l d 哪操作系统组件产生的 一 事件 3 4 日志约简 日志约简主要负责对各类日志记录的安全事件进行聚集和验证。 同志聚集是指将描述同一安全事件的多条记录聚集为一条。在本文所提的事 件场景关联方法中，我们根掘日志属性( 如口地址) 的相似性柬进行r 志聚集。 属于同一事件的| i 志记录通常都具有相似的属性，直接的聚集合方法就足通过检 蘸翌娶一 攀塞要一 一 一 一 一 面 一面 一面 一面 一 桌 一寨 一桌 一桌 一 器 一引器一钔嚣一器一 嵩i童竺l奁忑必 旗 一旗 一旗 一旗 一；翼 量鍪幽鋈萋三墨 重庆邮电大学硕士论文 查日志属性发现它们之间的相似性。此方法要解决的问题是需要比较那些属性， 怎样知道这些属性是相似的，在比较中对不同的属性怎样分配权重。 日志验证是指滤除日志记录中无关的和不真实的事件。在本文所提的事件场 景关联方法中，我们采用基于被保护系统本身特点的验证方法。此方法是根据被 保护系统的系统状态，网络拓扑及其软硬件情况等先验知识检查各日志所记录事 件的真实性，滤除无关的和不真实的事件。首先将被保护系统的系统状态，网络 拓扑及其软硬件情况等作为先验知识保存在数据库中，然后将这些先验知识与日 志中的事件记录综合在一起，来验证记录中所表现出的操作系统、网络服务、网 络拓扑等信息与日志所在主机的实际情况是否相匹配，从而可以有效地滤除无关 记录( 不匹配的记录) 。 日志聚集和验证方法目前在信息安全领域已成为一个独立的研究方向【3 2 , 3 5 朋i ， 由于在本文实验中要处理的数据量较少，日志的约简部分也不是本文方法所讨论 的重点，但日志聚集和验证效果的好坏又会对后面的事件场景关联结果产生重要 影响，为了更加准确的验证本文所提事件场景关联方法的效果，在本文的实验中， 我们采用手工分析的方法对实验数据涉及的事件记录进行聚集和验证。对于日志 聚集，采取目前大部分系统所采用的简单方法，只是简单地比较两个日志记录相 关属性是否完全相等，以此来确定其相似性。对于日志验证，也只是从网络拓扑、 操作系统、服务开启状态和日志的空记录和乱码记录等几个简单方面进行了验证。 3 。5 事件记录的格式标准化 由于是基于多源日志的事件场景关联，对于要关联的不同种类的日志，彼此 之间必然存在格式和内容字段的区别。因此，要融合多源日志进行关联，必然要 求在关联之前对这些不同格式的日志进行格式的标准化，将所有的日志记录转化 为一种统一格式。本文所提方法是用基于i d m e f 格式的数据模型表示来自多源 日志的各类安全事件的。 3 5 1 标准报警数据格式i d m e f i d m e f ( i n t r u s i o nd e t e c t i o nm e s s a g ee x c h a n g ef o r m a t ) 数据模型的主要设计 目标之一是能够表达报警之间的关系，这一目标是由于报警关联的需求而产生的。 目前，报警关联系统大多采用i d m e f 作为统一的标准数据格式，大部分的i d s 厂商 也都宣称其产品对d m e f 数据格式的支持。i d m e f ：是i ： ：1 互联网工程任务组( i e t f ) 的入侵检测工作组( i d w g ) 制定的一个标准草案，以x m l 语言来描述i d m e f 文档标 第三章融合多源日志辅助取证的事件场景关联方法 记。i d m e f 描述了i d s 输出信息的数据模型，它采用面向对象的方法来描述报警， 提供了报警的标准表达形式，并描述了简单报警和复杂报警之间的关系。 i d m e f 的数据模型如图3 2 所示。顶层的i d m e f m e s s a g e 由a l e r t 和h e a r t b e a t 两 个子类继承，a l e r t 又f h a n a l y z e r 等若干聚合类及其继承子类t o o l a l e r t ，c o r r e l a t i o n a l e r t 和o v e r f l o w a l e r t 组成。s o u r c e 和t a r g e t 部分为i d s 报警关联系统提供定义完好 的有用信息。有关i d m e f 的详细描述请见文献 4 5 1 。 图3 2i d m e f 的数据模型 3 5 2 扩展i d m e f 格式的事件描述 由于i d m e f 格式作为标准被广泛应用和支持，而且它包含了一个安全事件 的大部分属性，并且可以像表示报警关系那样表示出安全事件之间的“前提结果” 关系，再加上其数据模型是可扩展和内容驱动的【4 5 l ，所以我们将此数据模型根据 安全事件关联的需要扩展以后，用于多源日志安全事件格式的标准化。 i = f | 3 3 扩展i d m e f 后川j ：挺示安全事1 ，i = 的数据模呷j 重庆邮电大学硕士论文 扩展i d m e f 后用来表示安全事件的数据模型如图3 3 所示，整个数据模型 e v e n t 将一个安全事件可能包含的信息用相关聚合类概括成一个八元组： 。 其中，事件来源，事件种类，事件源，事件目标，关联条件又分别由表示其详 细信息的相关聚合类组成。第3 7 节所述的关联算法所需要的事件属性和关联的 “前提结果”知识都包含在e v e n t 的各聚合类中。 使用i d m e f 扩展数据模型，一方面可以统一来自多源日志的事件格式，在 不丢失关键信息的前提下，尽可能全面地描述了一个安全事件的有用信息；另一 方面，扩展后的格式加入了根据专家经验定义的事件发生的“前提结果”先验知 识，便于事件关联。 3 6 关联知识库 建立关联知识库是指根据专家知识为事件场景关联定义必要的先验知识，它 包括三个步骤：首先，确定对哪些类别的事件进行关联，即建立事件种类库；其 次，对事件种类库里的各个事件定义关联的“前提结果”知识，然后保存为关联 事件库；最后对关联事件库中的事件依据定义的“前提结果”知识生成关联规则。 3 6 1 事件种类库 用于关联的安全事件种类不是盲目定义的，而是需要遵循合理的事件分类法。 安全事件分类研究作为一个专门的研究领域，其研究成果 4 6 - 4 1 可以帮助我们定义 针对某特定机构或组织所涉及到的绝大部分安全事件( 包括计算机事件和非计算 机事件等) 。对安全事件进行分类一般需要满足以下要求：互斥性。即分类之 间不能有重叠，一个事物只能属于其中一个类别；完整性。分类应该包括所有 的情况，即任何一个事物都应该能归到某一类中；明确性。即某个事件属于哪 个类别，应该是非常明确的，非此即彼：可用性。分类方法可以被接受、认可， 可用于该领域中的深入研究。这些都是一个分类方法应该具有的理想特性。但是 在实际情况中，由于事物的多样性、复杂性，以上分类要求很难完全满足。对计 算机安全事件的分类研究，除了尽量满足互斥性、完整性、明确性等要求外，重 点应该考虑分类的可用性。分类方法应该是面向事件关联或应急响应的，能够用 于与事件关联或事件响应相关的进一步研究与应用。 根据上述要求，结合本文实验的具体环境，我们定义了2 2 类安全事件，详细 信息见附录a 。每类事件以如下：i 几组形式保存到事件种类库： 第三章融合多源日志辅助取证的事件场景关联方法 其中，e v e n t c l a s s l d 为标识事件种类的d 号，e v e n t c l a s s n a m e 为事件的类名， e v e n t d e s c r i p t i o n 为对该类事件的简单描述。 3 6 2 关联事件库 事件“前提结果”表达方式 一个事件发生的前提( p r e r e q u i s i t e ) 或结果( c o n s e q u e n c e ) ，是由此事件发生 环境( 包括硬件环境和软件环境) 的某一个或几个状态所确定的。事件p 发生的前 提( p r e r e q u i s i t e ) ，是指要使事件e 成功发生所必须满足的条件集合，记为p ( 0 ，同样， 事件p 发生的结果( c o 脏c q u e n c e ) 是指当事件p 成功发生后，必然带来的影响集合，记 为c ( p ) 。为了表达这两个集合中的每个元素，我们引入谓词逻辑 4 9 1 。谓词逻辑是一 种表达力很强的形式语言，谓词逻辑及其推理方法是人工智能中知识表示和机器 推理的基本方法。 定义1 ：谓词( p r e d i c a t e ) ，表示个体对象之间的关系、属性或状态。其表示形 式如下： p 心i x 2 , x 3 , x 冉 其中：p 是谓词符号，表示x ，x 2 , x 3 , 而个体对象之间的关系、属性或状态。 x i , x 2 , x 3 , 是谓词的参量( 或称项) ，一般表示个体，它可以是个体常量、个体变 量或是个体函数。个体变元的变化范围称为个体域( 或论域) 。例如： e n t e r e d l c s t ( u s e r ) ：表示名叫u s e r 的人进入了i c s t ； o w n u s e r n a m e p a s s w o r d p a i r ( u s e r , n o d e ) ：表示名为u s e r 的人拥有计算机n o d e 的一个用户名密码对( 变量n o d e 可以是计算机名，口地址，设备名，u r l 等) 。 有了谓词来表式事件e 发生的前提和结果集合中的元素，我们就可以表示出 与事件e 相对应的集合p 和c0 ) ，例如对于登录事件c o m p t e r l o c a l l o g o n ： p ( c o m p t e r l o c a l l o g o n ) = ( e n t e r e d l c s t ( u s e r ) ，o w n u s e r n a m e p a s s w o r d p a i r ( u s e r , n o a e ) ； c ( c o m p t e r l o c a l l o g o n ) = g a i n a c c e s s ( n o d e ) 也就是说，要发生一个成功的本地登录事件，所必须具备的条件是：某用户 u s e r 进入了i c s t ，并且该用户u s e r 拼 有某计算机n o d e ( 可以是计算机名，口地址， 设备名等) 的一个用户名密码对。而一个成功的本地登录事件所产生的结果就正 好是获得了对计算机如的访问权。 关联事件库的建立 重庆邮电大学硕士论文 ri n f o r m a t i o n ：e e v e n t c l a s s l d , e e v e n t c l a s s n a m e , e e v e n t d e s c r i p t i o n ； e 弋p 由：e 西e n t p r e r e q u i s i t e ： lc ( 0 ：b e v e n t c o n s e q u e n c e 第三章融合多源日志辅助取证的事件场景关联方法 图3 4c o m p t e r l o c a l l o g o n 类事件在关联事件库中存在形式的x m l 表示 3 6 3 关联规则生成算法 设c d 和c 耐分别代表在关联事件库中两类不同事件c 和c ，的d 号，令 c ( c d ) 和p ( c 叻分别代表c 类事件的结果状态集合和c 噗事件的前提条件集 合： 定义2 ：事件类关联( e v e n tc l a s sc o r r e l a t i o n ) 。已知集合i ，。前提，结果”谓词 集s ： 令i = c ( c _ i a ) f lp ( c - i d ) 若i 不等于a 且i t - s ，则称c 类事件和c 类事件可以进行事件类关联，记为 e v e n t c l a s s c o r r e l a t i o n j d ，c 1 j 国。 由定义2 可知，只要存在于某类事件c 的结果状态集中的某些状态同时也存在于 另一类事件c 的前提状态集中，那么这两类事件就有可能进行事件类关联。然而， 我们的目标不是对事件的种类进行关联，而是关联属于这些种类的具体事件。比 如，我们认为事件e n t e r i c s t 和c o m p t e r l o c a l l o g o n 是可以进行事件类关联的是因为 在关联事件库中事件e n t e r l c s t f * j 结果状态集和事件c o m p t e r l o c a l l o g o n 前提状 态集都表现出共有的状态e n t e r e d l c s t ( u s e r ) 但如果我们在实际取证过程中收集到 两条这两种类别的具体事件，发现砌t e r l c s t 事件结果e n t e r e d l c s t ( u s 盯) 所表现 出的e v e n t s o u r c e u s e r 值与c o m p t e r l o c a l l o g o n 事件前提e n t e r e d l c s t ( u s e r ) 所表 现出的e v e n t s o u r c e v s e r f f t 不相等，当然就不能把这两条具体的事件记录进行关联， 尽管它们是可能进行事件类关联的两类事件。因此，我们需要引入定义3 。 定义3 ：事件关联( e v e n tc o r r e l a t i o n ) 。设fi d 年l e i d 分别代表所收集到的某两 个具体事件e 和的i d 号，和在关联事件库中对应的事件类j d 号分别为cj d 和 c i d 且有： 重庆邮电大学硕士论文 e v e n t c l a s s c o r r e l a t i o n ( c i d , c j 由 令定义2 中集合i = p r e d l ，p r e d 2 , p r e d n ，且对每个p r e d f ， e e v e n t c o n s e q u e n c e p r e d i 与e ：砒h f p 形陀g “括抛删的最一般合一置换( m g u ) 【4 9 】 为f f 。若至少存在一0 i ，使得e 和e 中分别与p 嘲各参数名相对应的参数值共同 满足口f ，则称事件e 和e 可以进行事件关联，记为e v e n c o r r e l a t i o n 循，e ) 。 例：对于事件库中一个i d 号为的e n t e r l c s t 事件和一个号为2 的 c o m p t e r l o c a l l o g o n 事件其存储信息分别用x m l 文档表示如图3 5 ： 7 x m lv e r s i o n = ”10 ”朋c o d i n g = ”l ，r f 8 ? e v e n te v e n t l d = ”d ， 、 o o i 0 0 2 l 力1 64 2 2 1 7 21 6 4 71 6 1 r e c 0 6 1 2d b f s e c e v e n te v t d o o r l o g j 4 i n 3 2 s e c u r i t y l o g o o o l o 0 0 2 f e v e n t c l a s s l d e n t e r | c s l qe y e n ! n 拍犯) c o m p t e r l o c a l l o g o n 逆a i c s t 计算机本地登录 z h o u j l a n u s e r z h o u j l a n i c s t 7 21 6 4 2 1 6 1 w l n l o g o n e x e l 咛r o 眭s p s u c c e s s ( e v e n t r e s u i t , g u c c e s s 饥v e n