（计算机科学与技术专业论文）面向集中管理的安全事件关联关键技术研究.pdf

国防科学技术大学研究生院硕士学位论文 摘要 随着网络安全管理的不断发展，综合管理、集中管理方式逐渐成为热点。网 络中各类安全设备产生数量庞大且种类繁多的安全告警事件，为减少冗余事件并 识别出潜在的威胁，集中式管理平台通过关联分析技术将来自不同位置、不同类 型安全设备发来的事件进行统一分析处理。各类安全设备监测范围各有偏重，关 联引擎使用规则或者统计特征等信息在众多安全设备基础上对网络安全态势做宏 观上的分析。 论文对网络事件关联分析方法做了较为深入的研究，结合网络攻击模型、模 式匹配、风险评估、数据挖掘等相关领域知识，对关联引擎上运用的各种算法进 行了分析与比较，针对关联方法本身及关联规则的获取做了改进与实现。 论文在规则关联方法和统计关联方法的基础上，对两者进行了融合，把统计 特征应用到规则关联中，设计了综合关联算法。实验证明，算法在不影响漏报率 和误报率情况下，一定程度地提高了关联分析的实时性。同时，论文对面向序列 项的数据挖掘算法w i n e p i 进行了改进，实现了候选规则的挖掘。在关联引擎中 应用综合关联算法与规则挖掘算法，可以有效地利用集中管理优势，提高网络安 全宏观监控力度。 主题词：安全信息管理，关联引擎，c a l m 算法，关联规则，w i n e p i 算法 第i 页 国防科学技术大学研究生院硕十学位论文 a b s t r a c t a st h ed e v e l o p m e n to fn e t w o r ks e c u r i t ym a n a g e m e n t ，i n t e g r a t e da n dc e n t r a l i z e d m a n a g e m e n th a sg r a d u a l l yb e c o m eh o ts p o t v a r i o u st y p e so fn e t w o r ks e c u r i t yd e v i c e s h a v eah u g en u m b e ra n dw i d ev a r i e t yo fs e c u r i t ya l e r t s t or e d u c er e d u n d a n c ya n d i d e n t i f yp o t e n t i a li n c i d e n t so ft h r e a t s ，c e n t r a l i z e dm a n a g e m e n tp l a t f o r ma n a l y z e st h e a l e r t si s s u e df r o ms e c u r i t yd e v i c e so fd i f f e r e n tl o c a t i o n sa n dd i f f e r e n tt y p e sb y c o r r e l a t i o na s s o c i a t e da n a l y s i s w h i l ee a c ht y p eo fs e c u r i t yd e v i c e sh a si t so w n e m p h a s i s ，t h ec o r r e l a t i o ne n g i n ep r o c e s s e sm a c r o - a n a l y s i so nn e t w o r ks e c u r i t ys t a t ea n d t r e n du s i n ga s s o c i a t i o nr u l e so rs t a t i s t i c a li n f o r m a t i o nb a s e do nv a r i o u sd e v i c e s t h et h e s i ss t u d i e st h en e t w o r ka l e r tc o e l a t i o na n a l y s i s ，t h e ni tc o m p r e h e n d s ， l e a r n sa n dc o m p a r e sv a r i o u s a l g o r i t h m s o fc o r r e l a t i o ne n g i n e sw i t ha s s o c i m e d k n o w l e d g eo f v a r i o u sf i e l d ss u c ha sa t t a c km o d e l i n g ，p a t t e r nm a t c h i n g ，r i s ka s s e s s m e n t a n dd a t am i n i n g a f t e rt h a t ，c o r r e l a t i o nm e t h o da n dt h ea c q u i s i t i o no fa s s o c i a t e dr u l e s a l ei m p r o v e da n di m p l e m e n t e d r u l e sc o r r e l a t i o nm e t h o da n di n v e n t o r yc o r r e l a t i o nm e t h o da l ei n t e g r a t e db y a p p l y i n gt h es t a t i s t i ct o r u l e sc o r r e l a t i o n ，a n dt h ei n t e g r a t e dc o r r e l a t i o na l g o r i t h mi s d e s i g n e d e x p e r i m e n t sp r o v et h a tt h ea l g o r i t h mi m p r o v e st h ea n a l y s i so fr e a l t i m e ，n o t a f f e c t i n gt h ef a i l e dr e p o r t i n gr a t ea n dt h ee r r o rr a t e m o r e o v e r , t h et h e s i si m p r o v e st h e s e q u e n c e s o r i e n t e dd a t am i n i n ga l g o r i t h mw i n e p it oa c h i e v et h ec a n d i d a t e so f a s s o c i a t i o nr u l e s b yd e p l o y i n gt h ei n t e g r a t e dc o r r e l a t i o na l g o r i t h ma n dt h er u l e sm i n i n g a l g o r i t h m ，t a k i n ga d v a n t a g eo ft h ec e n t r a l i z e dm a n a g e m e n tc a ns t r e n g t h e n st h en e t w o r k s e c u r i t ym o n i t o r i n g k e yw o r d s ：s i m ，c o r r e l a t i o ne n g i n e ，c a l ma l g o r i t h m ，a s s o c i a t i o nr u l e s ， w i n e p ia l g o r i t h m 第i i 页 国防科学技术大学研究生院硕士学位论文 表目录 表1 1 三种典型关联方法比较5 表2 1o s s i m 系统事件的常用域1 2 表2 2o s s i m 中编号为2 的规则( x m l 表示) 1 5 表2 3 三种关联规则数据挖掘算法优缺点比较。1 6 表3 1 优先级队列插入算法2 4 表3 2 优先级维护算法。2 4 表3 3 优先级队列读取算法2 5 表4 1规则挖掘算法3 2 表5 1综合关联算法与非综合关联算法实验数据比较4 1 表5 2随窗口宽度变化的实验结果比较。4 2 表5 3随频繁阈值变化的实验结果比较。4 3 表5 4 随信任阈值变化的实验结果比较4 3 第1 v 页 国防科学技术大学研究生院硕士学位论文 图1 1 图1 2 图1 3 图1 4 图1 5 图1 6 图1 7 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图 图 图 图 图3 5 图3 6 图4 1 图4 2 图4 3 图4 4 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图目录 网络安全集中管理平台示意2 集中管理平台基本模块图2 攻击树中间节点的逻辑关系3 自底向上的攻击树示例4 自顶向下攻击树示例4 事件关联系统工作基本过程5 集中管理平台功能增强的模块图6 o s s i m 系统架构9 i d m e f m e s s a g e 数据模型1 1 o s s i m 系统的简单体系结构。1 2 规则关联方法模型13 统计关联方法模型13 o s s i m 与c i s c o 的集中管理平台引擎结构比较1 4 o s s i m 系统2 号规则树型表示1 5 综合关联方法示意18 资产c 与a 变量计算规则示意一2 0 规则树中间节点匹配方式示意2 1 规则匹配流程一2 2 事件队列优先级阈值范围示意2 3 使用综合关联算法的引擎工作流程一2 6 有序无环图表示的情节模式一2 8 复杂情节的等价简化2 9 i 1 节点情节交迭产生i 节点情节的方式一3 3 规则挖掘算法流程3 5 各模块之间的通信示意3 7 综合关联引擎结构3 8 关联分析模块结构3 8 关联分析模块函数接口3 9 规则挖掘模块结构4 0 规则挖掘模块函数接口4 0 生成候选规则数量随参数变化示意4 3 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下迸行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目：亘囱篡主篁垄鲍塞全室鲑差珐差缝垫盔盈塞 学位论文作者签名：糊蔓0 日期：z 力驴年，二月彳日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名：室i j 垄 作者指导教师签名： 日期：弦略年p 月卵日 日期：沙7 吕年，；月7 日 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 课题背景 从网络得到广泛应用的那天起，安全问题就不容忽视。随着计算机网络技术 的迅速发展、规模的日益扩大、应用面越来越广，网络安全正面临着巨大的挑战： 网络复杂程度不断加深；攻击技术不断进步和发展；各种系统安全漏洞逐步被发 现并且被利用；高级攻击技术和工具肆意在互联网上流传；有组织的恶意网络攻 击群体迅速壮大；来自网络内部的攻击数量与日俱增等等。中国国家计算机网络 应急技术处理协调中心( c n c e r t c c ) 0 8 年3 月发表的( 2 0 0 7 年网络安全工作 报告中提到：2 0 0 7 年我国大陆地区被植入木马的主机i p 是2 0 0 6 年的2 2 倍，抽 样监测发现我国大陆有3 6 2 万个口地址的主机被植入僵尸程序，并有1 万多个境 外控制服务器对我国大陆地区的主机进行控制；某招商网、北京联众公司分别在1 月份和5 月份遭到d d o s 攻击，某国内著名门户网站首页6 月份被嵌入恶意代码， 某著名公司网站l1 月份被域名劫持等等，这些事件都造成了较大的经济损失，有 的还造成较坏的国际影响。 为避免与减少各种安全威胁对网络以至于对政治、经济、文化的破坏，各种 安全防护和管理系统如防火墙、v p n 、i d s 、防病毒、身份认证、数据加密、安全 审计等在网络中得到了广泛应用。这些安全设备能够在特定方面发挥较大的作用， 但总体上来看功能分散、缺少交流，形成相互没有关联的、相互隔离的“安全孤岛”， 彼此之间没有统一管理调度机制，不能互相支撑、协同工作，从而使安全设备的 效能无法得到充分的发挥。比如有的设备认为有可疑的事件发生，而有的设备却 认为情况正常，要判断是否真的发生重要事件，就有必要把这些安全设备收集到 的事件告警做统一的分析处理。这样做既可以弥补设备间的缺陷、增加安全事件 告警的可靠性，同时也可以有效的减少安全事件告警的数量。网络安全集中管理 平台的出现，就是在安全产品功能无法统一融合的情况下，通过集中管理与关联 分析技术来实现宏观上的统一管理和综合分析处理。 1 2 网络安全集中管理的概念 网络安全管理的概念最早作为网络管理的五大功能之一被提出( 配置管理、性 能管理、故障管理、计费管理和安全管理) ，是对分布式系统的机密性、完整性、 可用性和抗抵赖性进行监视和控制。当前网络安全管理的三大目标是集成管理、 综合管理和智能管理【1 1 0 安全的集中管理概念起源于2 0 0 0 年下半年，是指为保证 第1 页 国防科学技术大学研究生院硕士学位论文 信息资产的安全，采用集中管理方式统一管理相关安全产品，收集整合来自各种 各样安全产品的大量数据，并且从海量数掘中提取用户关心的数据呈现给用户， 帮助用户对这些数据进行关联分析和优先级分析，对各类安全事件及时提供处理 方法和建议的安全解决方案，体现了集中监控整体安全的思想。 图1i 网络安全集中管理平台示意 图11 为网络安全集中管理平台的示意图，方框内是管理中心服务器，各安= 牟= 设备通过标准接口或者通过代理向服务器发送安全事件。该平台是网络管理人员 的重要工具，它将来自不同安全产品的事件进行关联分析，把结果提交给管理人 员审查，咀便于管理人员或管理系统采取及时有效的防范措施。因此安全事件的 关联分析有着非常关键的作用，关联分析引擎是集中管理平台的核心部分。对安 全产品的集中管理通过平台的构架柬完成，而对安全事件的分析则由其关联分析 引擎来处理。图12 展现了关联引擎在平台中的重要地位，从软件模块角度描绘了 典型的集中管理系统。虚线框内的关联分析模块从系统部署角度来说就是平台的 关联引擎。 _ 图12 集中管理平台基本模块图 1 3 关联分析简介 第2 页 国防科学技术大学研究生院硕士学位论文 当日订出于不同目的的各种网络攻击防f i 胜防，攻击手段层出不穷。而每种安 全产品针对的范围相对狭窄，没有哪一种安全产品能够识别出所有攻击行为甚至 难以理解一次完整攻击行为的所有步骤，对于跨辖域的分布攻击几乎更是无能为 力。关联分析收集不同区域不同类别安全设备的安全事件，试图从大量看似无关 的数据中还原出攻击步骤，找出单个设备无法判断的攻击行为。因此，关联分析 同攻击的手段息息相关，通过网络攻击的树型表示，关联技术更加容易理解。 1 3 1 基于攻击树的网络攻击模型 攻击树是目前描述攻击行为最常用的方法。由于攻击树有结构化、可重用的 优点，并且为分阶段多步骤网络攻击提供了一种面向攻击目标的描述方法，已有 一些研究在它的基础上展开。文献【4 】【5 】基于攻击树对网络攻击行为建模，文献【4 】 还讨论了攻击模型的重用和攻击树的精化。文献【6 】- 【7 】基于攻击树模型，使用链式 结构来描述多阶段网络攻击，认为理想状态下的攻击图是有向无环图( d a g ) 。 oo 丫或 o ，oo 矾。 图1 3 攻击树中间节点的逻辑关系 在攻击树模型中，人们使用树型结构描述系统受到的攻击，有自底向上【3 】，【8 】 和自项向下【9 】【1 0 1 两种表示方法。在自底向上方法中，根节点是攻击目标，叶子节点 表示攻击方法，非叶子节点表示攻击的各子目标，包括“与”、“或”两种类型，分别 表示要达到攻击目标所需要满足的子目标之间的逻辑关系。如图1 3 所示，“与”类 型的节点所表示的目标的条件是其相关的子节点对应的予目标都要满足，“或”节点 则是满足任意一个子目标即可。 攻击树自顶向下表示方法通常用节点表示攻击状态，也就是攻击步骤，最后 的叶子节点就是攻击的结果。子节点是父节点的后续动作，兄弟节点间没有如自 底向上方法中的“与”“或”关系，攻击按时间关系沿箭头方向进行。 如图1 4 f l l j 、图1 5 t 1 川所示，自底向上攻击树着重表示攻击行为的逻辑特征， 描述步骤间需满足的关系，便于复杂攻击行为的理解和剖析；而自顶向下攻击树 表示攻击的时序特征，将攻击展现为一个序列，便于攻击的检测。出于这一点， 由于安全管理平台功能为检测攻击，符合自顶向下攻击树的特性，因此下文所提 “攻击树”均指自顶向下攻击树。在这种攻击树中，每一个节点表示攻击的一步， 箭头表示步骤的先后顺序。在网络中，一次攻击的各个步骤甚至同一步骤都可能 第3 页 国防科学技术大学研究生院硕士学位论文 被多个安全设备以不同形式检测剑。关联技术研究要找到各事件之间可能存在的 联系，根据那些时间空间上分散而内在联系紧密的事件，判断网络当前状况。 l o p e ns a f e | 7 弋 卜甲k l e a r nc o m b e 蚀哗瞄疵ll t 峰望一y r 哪留朝l f g m e t 州c o a m 喀b 戢o 7 弋 l 孙甲n | 卜中胡e a v c 鬟1 r o p | l b 寸e 卿蝴访。ea l = i m 州妇b i c l c 。l n i s v t 譬e n 鳓t r i o 。n | g s e 组t 托t a i r g 。e m t 的t o 图1 4自底向上的攻击树示例 s q ls e r v e r b u f f e ro v e r f lo w 1 3 2 关联方法的发展 图1 5自顶向下攻击树示例 e 网络安全管理背景下的关联分析概念来源于入侵检测技术，是在入侵检测技 术的基础上发展起来的。关联技术作为平台引擎的核心，逐渐从单纯基于规则的 关联发展到多种方法关联。目前投入应用的关联技术有基于规则的关联、基于统 计的关联和基于漏洞的关联，其中规则关联应用最广。c i s c o 公司提出以规则关联 为基础，配合使用统计关联和漏洞关联的三层架构综合关联思想。 在标准化没有完全实现之前，由于各个厂家各种产品的安全事件格式都不相 第4 页 国防科学技术大学研究生院硕+ 学位论文 同，关联分析之前需将事件规范化，把接收到的安全事件整合成统一的格式，方 便后面的处理。事件规范化可以在各安全设备上通过代理实现，也可以在服务器 接收事件后进行。规范化后的事件还应存入数据库，以供日志查询并且可以作为 关联规则挖掘的来源。关联分析过程则使用规则关联、统计关联或漏洞关联方法 进行处理。在这三种方法中，规则关联与统计关联得到较为广范的应用，也被称 作采用事件序列算法的关联与采用启发算法的关联【l 御。表1 1 对这三种方法进行简 要的比较，其中分类和命名分别引自文献 1 3 1 和 1 4 】。 表1 1 三种典型关联方法比较 规则关联统计关联漏洞关联 基于先验知识带预测性基于先验知识 分类 的关联分析 的关联分析的关联分析 o s s i m 系统 i n v e n t o r y 对应命名 l o g i c a lc o r r e l a t i o n c r o s sc o r r e l a t i o n c o r r e l a t i o n 特点最有效，误报低能发现未知攻击 比较准确 需要先验知识误报率或者只能针对 不足 ( 表现为规则)漏报率高特定漏洞 取决于阈值设置，阈值高则漏报率高，阈值低则误报率高 匿耳懂习 习一 | 规范化广1 数据库r 1 炎牧 或响应i 图1 6 事件关联系统工作基本过程 关联过程除了事件库，还需要由管理员维护的规则库，漏洞库等信息。如果 经过关联发现了攻击行为，系统立刻通知管理员，并可以根据一定策略执行应对 操作，如关闭受攻击服务等。出于对服务性能的保护以及实现技术困难，自动响 应一般受到很大限制。图1 6 为系统工作基本过程，关联为其核心。本文第二章对 规则关联方法和统计关联方法作了较为详细的介绍。 1 4 相关研究简介 随着网络的发展，对网络安全集中管理与关联分析技术的研究主要分成三个 阶段： 1 ) 各自为政阶段。这个阶段主要是对各种安全设备的技术进行深入研究，不 同设备之间没有交集。入侵检测、防火墙等技术就在这个阶段得到较快发展。这 个阶段是之后发展的基础，只有在各自领域都有较高的性能，综合起来才能更好 地发挥作用。 第5 页 国防科学技术大学研究生院硕士学位论文 2 ) 内部关联阶段。关联技术歹f ：始运用到一些安全设备上，但是局限在同一类 设备间、在相同领域内进行关联。例如层次结构的入侵检测系统、分布式病毒防 护等。在这个阶段后期，逐渐出现对不同设备间通信的研究。最典型的是i d s 与 防火墙进行联动，这是集中管理概念出现的信号。文献 3 5 】- 3 8 1 都是在这个时期对 集中管理结构的研究。 3 ) 集中管理阶段。各种安全设备间合作性大大增强，不管空间上距离与功能 上差异如何，只要在同一平台下，都能够共同协作。集中管理平台并不是处理对 低层次数据流监听得到的原始事件，而是汇总各个安全设备的告警事件进行关联 分析。这个时期的研究主要聚焦到关联技术和联动机制上【2 6 1 1 2 7 1 ，除此之外，国外 对关联规则挖掘的研究也比较多【2 4 j p 引。 1 5 主要研究工作 本文研究内容是集中管理平台中事件关联引擎的关键技术。关联引擎将来自 不同功能不同规格安全设备的告警事件综合起来处理，通过模式匹配找出单个设 备无法完整检测的攻击行为、减少重复报警，同时通过统计特征找出潜在的未知 攻击。为了提高引擎的性能，文章对引擎使用的关联算法和关联需要的规则获取 进行了研究，主要工作包括： 1 ) 对关联引擎的结构、关联分析算法及安全集中管理平台等相关领域进行了 探索和研究，指出这些领域现有的问题和可改进的地方； 2 ) 集成了基于规则匹配与基于统计的关联分析，设计了综合关联算法，将统 计方法应用到规则匹配中，实现了两种方法的融合； 3 ) 设计了规则挖掘算法，对历史数据进行挖掘以找出潜在的攻击模式，减少 管理员的工作量，实现一定程度的智能化； 4 ) 根据设计的算法，实现引擎的功能模块，通过实验和测试，验证算法设计 的实用性。 图1 7 集中管理平台功能增强的模块图 第6 页 国防科学技术大学研究生院硕士学位论文 如图1 7 所示，虚线方框内的关联分析模块和规则挖掘模块组成关联引擎，是 网络安全集中管理平台的核心部分，也是本文设计内容的载体。此图与图1 2 相比， 多了规则挖掘模块，是本文设计对集中管理平台功能的加强。 1 6 本文的组织结构 本文共分为五章。 第一章绪论。本章首先介绍了本文的研究背景，指出集中管理是当前网络安 全管理研究的一个热点问题，介绍了当前产业界和学术界在集中管理方面的发展 现状；然后分析了网络攻击树型模型和事件关联技术的研究情况；最后简要介绍 了相关的研究和本文研究的主要内容及主要工作。 第二章安全集中管理平台架构与相关技术。本章首先介绍了典型的集中管理 平台，之后给出了事件标准化的格式，在此基础上概述了关联分析方法和常见的 关联引擎结构；然后讨论了规则挖掘的相关问题。 第三章结合统计方法与规则匹配的综合关联算法。本章同第四章是研究的重 点。首先分别介绍了算法设计中使用到的c a l m 算法和规则匹配方法；然后结合 统计关联算法改进规则关联过程，得到综合关联算法。 第四章安全事件库上的规则挖掘算法。详细介绍了面向序列项的w i n e p i 算 法；在这个基础上根据研究的需要进行修改，设计规则挖掘的详细过程，包括构 建和识别、生成阶段：最后进行了时间复杂性分析。 第五章综合关联引擎的实现与测试。本章首先应用综合关联算法和规则生成 算法实现了关联引擎；然后对两个算法分别设计了实验，根据实验结果分析论证 了算法的有效性。 最后是结束语，主要对本文的研究做一总结，并提出了进一步的研究工作和 今后的研究方向。 第7 页 国防科学技术大学研究生院硕士学位论文 第二章安全集中管理平台架构与相关技术 2 1 引言 在前面介绍的安全集中管理和关联分析概念基础上，本章讨论与本文设计相 关的内容，为后面的设计做好铺垫。由于设计面向集中管理平台，首先介绍典型 的集中管理平台框架，然后根据设计内容，介绍涉及到的相关技术：关联之前首 先要对事件进行规范化，第一节给出了两种规范的事件格式作为参考；之后分析 了常用的两种关联方法，并介绍了一般的关联引擎结构；规则挖掘是本文设计的 重点内容之一，因此最后描述了规则的表现形式并较为详细地介绍了数据挖掘的 相关技术。 2 2 安全集中管理平台概述 安全集中管理平台为网络管理员提供一个实现安全策略规划、管理及控制的 平台，实现对分布在网络中的各种安全设备进行统一的管理与维护，降低网络维 护成本，提高网络总体安全性。类似的概念有安全信息管理系统( s i m ) 和安全运 营中心( s o c ) ，不过后者更倾向于管理工程。 目前安全集中管理平台较为成熟的产品有c h e c kp o i n t 的e v e n t i aa n a l y z e r 、 a r c s i g h t 的企业安全管理系统e s m 、c i s c o 的安全监控分析及响应系统m a r s 、 n o v e l l 收购的e s e c u r i t y 以及比较流行的开源项目o s s i m 等等，国内则以安氏、 启明星辰的产品为代表。 2 2 1o p s e c 简介 开放式安全平台协议o p s e c 是c h e c kp o i n t 公司的开放式体系结构解决方案， 可提供业界唯一的企业级策略管理和策略执行框架。同时c h e c kp o i n t 公司还倡导 建立了o p s e c 联盟，已有包括i b m 、h p 、s u n 、c i s c o 等超过3 0 0 家公司加盟。 o p s e c 联盟制定各种安全产品如防火墙、v p n 网关等设备的接口标准。加入 o p s e c 认证的产品必须符合统一标准，这样大大推动了安全集中管理平台的发展。 构成o p s e c 联盟的3 0 0 多家公司采用o p s e c 框架，为客户提供了企业级网络安 全各方面的解决方案。这些合作伙伴通过提供经认证的产品和解决方案，从而与 s v n 体系结构全面集成，同时扩展了c h e c kp o i n t 公司的系列解决方案，也使 o p s e c 成为业界最成功的联盟。可以说，o p s e c 是安全集中管理领域发展最大的 推动力。 第8 页 国防科学技术大学研究生院硕士学位论文 除了提出c h e c kp o i n t 自己也有类似集中管理平台的产品。e v e n t i aa n a l y z e r 是 一个全面的安全事件管理解决方案。它可以自动对事件进行优先排序，帮助管理 员采取果断明智的行动，优势在于： 1 ) 过滤出干扰因素，确定重要的安全事件； 2 ) 实时响应，减少企业安全风险： 3 ) 分轻重缓急部署资源，解决最关键的安全威胁； 4 ) 部署容易，使用总拥有成本( t c o ) 低； 5 ) 满足一致性管理的要求。 2 2 2o s s i m 简介 o s s i m 明确定位为一个集成解决方案，其目标并不是要开发一个新的功能， 而是利用丰富、强大的各种程序( 包括s n o a 、r r d 、n m a p 、n e s s u s 及n t o p 等开源 系统安全软件) 。在一个保留他它们原有功能和作用的开放式架构体系环境下，将 它们集成起来。o s s i m 项目的核心工作在于负责集成和关联各种产品提供的信息， 同时进行相关功能的整合。 o s s i m l c o n t r o lp a n e l i 口垂固 亘巫巫亘 臣圈固 e d bu d 8 曰日囝 i d s f k e w a l l u n i xw i n 痰婀隔 图2 10 s s i m 系统架构 o s s i m 主要特点是可验证性、联动性及风险评估。强调对告警时间的验证、 网络入侵的联动处理以及基于资产价值优先级的风险评估。但是它没有考虑如何 第9 页 国防科学技术大学研究生院硕士学位论文 有效利用各种现有的网络安全产品的问题，且扩展性也不强。 除了o p s e c 和o s s i m ，比较优秀的安全集中管理平台还有很多，如a r c s i g h t 的e s m 、c i s c o 的m a r s 、n o v e l l 收购的e - s e c u r i t y 等等，国内的以安氏、启明星 辰的产品为代表。由于开源项目的优点，本文设计主要在o s s i m 系统的基础上进 行。图2 1 为o s s i m 的架构图，同本文设计相关的有c o r r e l a t i o n 、e d b 、k d b 模 块。 2 3 安全事件的规范化 在接口的统一标准实现之前，由于功能的差异以及商业原因，不同种类的设 备以及同种设备不同厂家的产品有着不同的事件格式。集中管理平台需要对所收 集的不同格式事件进行规范化。事件的规范化可以在服务器上完成，也可以通过 代理在设备上完成。下面介绍常用的扩展安全事件格式i d m e f ，以及本文设计所 基于的o s s i m 系统的事件格式。 2 3 1l d m e f 简介 为了提高i d s 设备、组件及与其它安全设备之间的互操作性，美国国防高级 研究计划署( d 6 岫a ) 和互联网工程任务组( i e t f ) 的入侵检测工作组( i d w g ) 发起制订了一系列建议草案，从体系结构、a p i 、通信机制、语言格式等方面规范 i d s 的标准。d w g 提出的建议草案包括三部分内容：入侵检测消息交换格式 ( i d m e f ) 、入侵检测交换协议( i d x p ) 以及隧道轮廓( t u n n e lp r o f i l e ) 。 i d m e f 描述了表示入侵检测系统输出信息的数据模型，并解释了使用此模型 的基本原理。该数据模型用x m l 实现，并设计了一个x m l 文档类型定义。自动 入侵检测系统可以使用i d m e f 提供的标准数据格式对可疑事件发出告警( 即本文 所述“安全事件”) ，提高商业、开放资源和研究系统之间的互操作性。i d m e f 最 适用于入侵检测分析器( 或称为“探测器”) 和接收告警的管理器( 或称为“控制台”) 之间的数据信道【l 5 。 i d m e f 数据模型以面向对象的形式表示探测器传递给控制台的告警数据，设 计数据模型的目标是为告警提供确定的标准表达方式，并描述简单告警和复杂告 警之间的关系。i d m e f 数据模型中各个主要部分之间的关系如图2 2 所示。 所有i d m e f 消息的最高层类是i d m e f m e s s a g e ，每一种类型的消息都是该类 的子类。i d m e f 目前定义了两种类型的消息：a l e r t ( 告警) 和h e a r t b e a t ( 心跳) ， 这两种消息又分别包括各自的子类，以表示更详细的消息。需要注意的是，i d m e f 数据模型并没有对告警的分类和鉴别进行说明。例如，对一个端口的扫描，一个 分析器可能将其确定为一个多目标的单一攻击，而另一个分析器可能将其确定为 第1 0 页 国防科学技术大学研究生院硕士学位论文 来自同一个源的多次攻击。只有一个分析器决定了发送的告警类型，数据模型才 能规定怎样对这个告警进行格式化。 图2 2i d m e f - m e s s a g e 数据模型 2 3 2o s s l m 的事件格式 o s s i m 的事件包含事件标识、设备标识、传感器标识、事件类型、源目的地 址与端口、时间属性、优先级、可靠性、是否报警等众多个域，特别指出的是用 于统计关联c a l m 算法的属性r i s ka 和r i s kb ，在本文设计中使用了它们。表2 1 给出了事件常用的域。 o s s i m 的事件规范化有两种方式，一种是在设备上安装代理程序，向传感器 发送规范事件，传感器转发给服务器；另一种如图2 3 所示，设备原始事件直接发 送给传感器，传感器解析后发送规范事件到服务器。另外说明的是，o s s i m 系统 第1 1 页 国防科学技术大学研究生院硕+ 学位论文 除了图示的简单体系结构外，还有较为层次体系结构，由多个服务器分层次构成。 表2 1o s s i m 系统事件的常用域 事件性质 i d ，t y p e设备类型监控 c o n d i t i o n ，i n t e r v a l m a t c h ，c o u n t ， 事件信息 t i m e ，s e n s o r规则相关 l e v e l ，b a c k l o g _ i d 设备信息 p l u g i n _ i d a l a r m ，p r i o r i t y ， s r ci a ，d s ti a ， 附加数据 r e l i a b i l i t y ，r i s k c ， 设备类型检测 r i s ka s r c _ p o r t ，d s t _ p o r t 0 n 0 b b l j i ) ： ， ： m a n a g e m e n t s e r v e r llil | n | iv u k | a g e n t a n o r a t 瞒| 同同冈 l， 一一一一一一一一一一一 ， l、 w l r d o 獬u n i xa s c o 图2 30 s s i m 系统的简单体系结构 2 4 安全事件关联方法及关联引擎结构 t l s e n s o r t 静 a g e n t 第一章中给出了规则关联、统计关联和漏洞关联三种方法的对比。这一节介 绍规则关联方法和统计关联方法思想和特点。由于漏洞关联方法应用面不广、可 扩展性较小，本文设计中没有采用，其相关介绍可参阅文献【1 4 】，【1 7 】【1 8 】。 2 4 1 规则关联方法 第1 2 页 国防科学技术大学研究生院硕十学位论文 规则关联是根据预先定义好的规则来判断管辖域是否正遭遇攻击的方法，作 为判断依据的规则通常是以一定形式表示的攻击行为事件序列。关联过程通过比 较实际的行为特征与关联规则所描述的属性是否匹配，来判断网络安全情况。如 果规则所描述的事件序列被成功匹配，关联过程就认为检测到了攻击。图2 4 是规 则关联方法模型。 i 足行发现攻出| i _ j 图2 4 规则关联方法模型 基于规则的关联是最基本的，也是目前最为有效的关联方法。但是对规则的 高度依赖是这个方法的固有缺陷，它对检测已定义的攻击非常有效，而对新的、 未定义的攻击却无能为力。 2 4 2 统计关联方法 统计关联通过对一段时期内的安全状况进行考察，根据安全设备的行为特征 找出可能存在的攻击。关联过程记录与事件相关的资产属性，例如事件数量、时 间间隔、资源消耗等等，根据这些属性进行统计分析，从而判断管辖域的健康状 态。 通常，在一个网络系统中攻击属于相对较少出现的行为。如果一个网络中攻 击行为占了大多数，那么这个网络系统就失去了其应有的意义和价值。既然攻击 行为属于非常规的少数，那么它的发生必然会引起系统状态或者某些参数的偏离， 这些偏离是基于统计关联可以利用的一个重要的概念l 用。从这个角度来说，统计 关联方法建立在用户正常行为的特征原型上，找出与原型差别较大的异常行为。 图2 5 所示为统计关联方法模型。 网昌圈昌圈 统计关联对发现未知攻击有一定的能力，但是其针对性不强，目标比较盲目。 目前来说效果不很明显，特别是对于短攻击序列基本无法识别，独立使用风险较 第1 3 页 国防科学技术大学研究生院硕士学位论文 大。一般作为规则关联的辅助手段，弥补规则关联无法检测未知攻击的不足。 2 4 3 常见关联引擎结构 现有主流产品基本都以规则关联为主、统计关联和漏洞关联为可选辅助方式， 或者直接用规则关联配合风险评估技术使用。c i s c o 公司提出三层架构的综合关联 思想，以规则关联方法为基础，配合使用统计关联和漏洞关联方法【1 3 j 。实际上， 它是同时使用三种关联方法进行分析，分别得出结果，然后进行统一处理。 图2 6 为两种典型关联引擎结构，o s s i m 系统的关联引擎由规则关联等三种 模块组成，同时搭配资产风险评估技术，对管辖域安全性进行全面检测；c i s c o 提 出的综合关联是由三种关联模块分别处理后，交由统一分析处理模块进行深层次 处理。它们的区别主要在于c i s c o 的系统对三个关联模块结果还有一个综合分析。 0 s s i m 譬件笑联 资产 风险 评估 c i s c o 统。分轿处理 岔岔口 戋l 蹩娜天联缀汁父联瀚浏笑联 综合关联 图2 6o s s i m 与c i s c o 的集中管理平台引擎结构比较 2 5 规则的配置与挖掘 规则关联是最基本、最重要的关联方法，依赖于预先定义的规则集。因此规 则的表示、存储以及来源、匹配方式都影响着规则关联的性能。当前大多数系统 的规则均由人工定义，也出现了对规则自动生成的研究，但都还处于起步阶段， 多是直接套用现成数据挖掘算法，效果不很明显。下面先简要介绍规则的形式， 再对几种典型的数据挖掘算法进行分析。 2 5 1 规则的表现形式 由于x m l 语言具有可扩展性、灵活性、自描述性、简明性等特点，规则的定 义几乎都使用x m l 规范。从本质上说，规则是攻击序列的描述。第一章中曾经介 绍过，自顶向下的攻击树表现了攻击的时序特征，利于攻击的检测。因此规则大 第1 4 页 国防科学技术大学研究生院硕十学位论文 都使用自顶向下的树型结构来表示。表2 2 是一条规则示例，这是o s s i m 系统中 编号为2 的规则，表示可能存在木马攻击。标签r u l e s 表示节点的层次，r u l e 为具 体待匹配的过程节点。图2 7 是这个规则的树型结构表示。 表2 20 s s i m 中编号为2 的规则( ) 叽表示) r u l e s r u l e s r u l 黟 m o r et h a n5r a i na t t a c k e dh o s t s p e r s i s t e n c e cr a i s e d 图2 70 s s i m 系统2 号规则树型表示 2 5 2 知识发现与数据挖掘 o p e n u s e d 知识发现( k d d ：k n o w l e d g ed i s c o v e r yi nd a t a b a s e ) 是从数据集中识别出有 效的、新颖的、潜在有用的、以及最终可理解的模式的非平凡过程( f a y y a d 定义) ； 数据挖掘( d a t am i n i n g ) 是一项从数据库中智能地、自动地提取出有价值的知识和 第1 5 页 国防科学技术大学研究生院硕士学位论文 信息的研究技术，是知识发现过程中的一个特定的关键步骤【l9 | 。也有观点认为知 识发现与数据挖掘是等同的概念，只是知识发现偏重于效果，多用于学术研究领 域，而数据挖掘偏重于手段，多用于工程技术领域。综合这两种观点，总而言之， 数据挖掘是知识发现的过程，知识发现是数据挖掘的目的，两者是紧密联系的。 关联规则挖掘是数据挖掘技术的主要