外文文献--中文翻译.doc

基于知识发现的网络安全态势感知框架 摘要：由于以往的安全警戒事件，网络安全态势感知提供了独特的高级别安全观 。但基于网络的安全警报数据的复杂性和多样性使得对其作分析极为困难。在本文中，我们分析的网络安全态势感知系统中存在的问题，并提出了基于知识发现的网络安全态势感知框架。该框架包括网络安全态势模型生成、网络安全态势产生。建模的目的，是构建基于d-s理论的网络安全态势检测的形式化模型，并支持融合和分析来自于传感器安全态势的安全警报事件的一般化过程。新一代网络安全态势就是从基于知识发现方法的网络安全态势数据集中提取出频繁模式和序列模式，并把这些模式转换为网络安全态势的相关规则，最后自动生成网络安全态势图。集成网络安全态势感知系统（Net-SSA ）的应用表明，这种框架支持网络安全态势模型的精确生成和有效发展。关键词：网络安全；态势感知；数据挖掘;知识发现一、 引言传统的网络安全设备，如入侵检测系统（IDS ） ，防火墙，安全扫描器彼此独立运作，它们几乎没有自己所要保护的网络资源的信息。由于缺乏信息，在对安全警告作解释和对相应的态势作出决策时，它往往给出很多模棱两可的答案。网络系统遭受各种安全威胁，包括网络蠕虫、大规模的网络攻击等，网络安全态势感知是解决这些问题的有效途径。网络安全态势感知的一般过程就是，感知发生在一定时间段和网络环境的网络安全事件，综合处理安全数据，分析系统所受到攻击行为，提供全局的网络安全观，评估整体的安全态势并预测未来的网络安全趋势。在实现网络安全态势感知时存在着一些困难，如下：（1） 从各种安全传感器生成的警报事件数量是巨大的，假阳性率太高。 （2） 由于大规模网络攻击（例如:DDos）所产生的琐碎的安全警报非常复杂，并且它们之间的关系难以确定。（3） 安全传感器产生的警报事件数据类型数量巨大，然而对警报事件进行处理时警报处理程序得不到足够的信息，而且自动获取这些信息是相当困难的。在本文中，我们总结的网络安全态势感知的研究过程，提出了一个基于知识发现的网络安全态势感知的框架，并应用到我们的网络安全态势感知系统（NET- SSA）。本文其余部分组织如下：第2节介绍了网络安全态势感知的概念和功能，并总结了该领域的相关研究;第3节提出我们的“基于知识发现的网络安全态势感知框架”;第4节演示实验结果，第5节总结今后的工作方向。二、 基本概念和相关工作A. 基本概念为方便描述和避免混淆，相关的名词定义如下：安全态势：它指的是处于监督状态的网络的整体安全状况，在一定的时间窗口遭受的网络攻击，对整个网络安全的影响。一般来说，安全态势的信息，包括两个方面，时间维度和空间分布维度。安全事件：它是指由各种网络安全态势传感器产生和由网络入侵或检测参数超出阈值产生的警报事件。它可以表示成一个多元组 = detectTim , eventTyp attac ,srcI , desI , srcPor , desPor , protoco , sensorI, confidenc,severit , othe 。其中， detectTimei指警报事件发生的时间; eventTypei是指警报事件的类型， attacki是指攻击检测警报所属的类; srcI和Desi指警报事件的源和目的地址; srcPorti和 desPorti指警报事件的源和目的端口; protocol指协议类型 ; sensorID 是指传感器检测到的事件; confidencei是指警报的事件的可信率; severit是指警报事件的严重级别; otheri是指警报事件的其他信息。安全态势建模：它指的是分析各种安全传感器所产生的警报事件，并最终产生全局网络安全态势的过程。它包括以下功能：事件简化：, ,简化其中有重复定义或并发性关系的冗余警报事件，以减少有效警报的数量。事件过滤：,P() H ,警报事件已被删除或标记为无关的事件，如果属性P()不属于H的某个合法集。如果一些键的属性丢失或者超出预定义范围，警报事件就会被删除。事件融合： ，利用信息融合技术（如D-S证据理论的），它主要解决了碰撞警报和警报合并使用的问题，从而提高警报事件的可信率，降低假阳性率。事件关联：, ，当前的网络安全事件，活动和情况，可以从不同类型的警报事件源所使用的数学或启发式方法推断出来，从而提高检出率，降低假阴性率。状态评估：它指的是对来自于多层次的基于空间和时间维度中的分布式攻击行为和网络资源的作用的安全状态评估。知识发现（KD）：它是指确定来自于从传感器收集到的安全事件集的新模式的非平凡过程，这些传感器易于理解，而且对于获知安全状况很有用。知识发现的目的是提取安全事件的融合和关联所需要的规则。安全状态产生：在网络安全状态感知的过程中，安全局势的模型是标准化的，受限制的，可推断的，正确的，通过从知识发现中获取的模式信息进行补充，最后生成的全局网络的安全状况。B. 相关工作为了应付陆续增加的信息安全威胁，多种安全设备已被用于大型网络。这些设备可以产生大量的安全事件预报。当面临着太多的预警信息，要获得当前整个网络的安全状态是非常困难的。为了解决这一问题，许多研究已把“状态感知”的概念引入互联网安全系统。巴斯是第一个引入网络这一概念的人，并且他提出了基于多传感器数据融合的网络安全认知框架1 2 。它可以帮助网络管理员识别，跟踪和衡量网络攻击活动。通过参考Endsley的状态感知框架，Jibao等人出了“网络安全状态感知模型”。另一方面，根据巴斯的理论，Liu等人提出了基于信息融合的网络安全感知模型。为了了解整个网络安全的趋势，我们必须收集，融合和分析大量的信息，减少假阳性率和假阴性率。Yu等人公布了一个基于加权D-S理论的警告信息融合方法。这种方法通过融合具有不同可靠性和权值的传感器信息，增加了警报信息的可靠性，并有效降低了误报率。但是，关键在于如何准确地设置每个传感器的可靠性和权值。Wang等人7认为，当分析安全状态时，可利用神经网络对异类多传感器数据融合和时间的精确性和攻击的严重性进行分析。在知识发现自动的帮助下，Stefanos的等人 8 发现了这些信息潜在的相关性，并实现了预警信息之间的相关性分析。这种发放的优点是，它是知识自动发现机制；缺点是，没有人的参与，它所产生的结果并不总令人满意。有时，它可能会发现大量的无用信息。预警信息多传感器数据融合和相关性分析完成后，我们必须把安全状态模型量化。Bass9认为安全风险评估应包括系统的价值，威胁程度和攻击的严重性。Zhang等人把所有的网络环境参数引入到安全状态框架中，像网络中关键主机的数目，主机提供的服务，攻击可能造成的危害等。Chen认为，应该把风险评估方法划分为不同的层次，根据服务、主机、网络的层次结构来定量网络安全态势。首先确定资产的重要性，攻击的危害，并收集各种漏洞和网络攻击发生时整个网络可以被评估的安全状态。从网络安全信息获取到形成网络安全状态模型是一个综合的过程，但大多数的研究着重于安全事件或安全风险评估方法的融合。它们都没有形式化描述网络安全状态，缺乏一个综合的知识感知框架。本文不仅提出了基于知识发现的一个形式化网络安全状态模型，而且提出了一个支持从安全事件分析到安全事件感知的整个过程的综合的网络状态感知框架。三、网络安全态势感知框架 本文提出的网络状态感知框架是基于知识发现的，并由网络安全状态模型和网络安全状态产生两部分组成，如图1所示。网络安全状态建模是指构建应用于基于D-S理论的网络安全状态监测的形式化模型，并支持各类安全状态传感器的警报事件的融合和相关分析的一般过程。网络安全状态的产生，主要包括三个步骤：首先，通过由引进FP -Tree算法12和WINEPI的算法13生成的交互式知识发现，获得攻击模式;其次，把发现的频繁模式和序列模式转化为警报事件的相关规则;最后，实现基于网路安全状态生成算法的网络安全状态图的动态产生。 网络安全状态模型 网络安全状态生成 图1网络安全状态感知的框架由两部分组成，一个是处理各种事件和构建网络安全状态的公式化模型，另一种是通过知识发现获得的攻击模式和动态产生的网络安全状态图。A.网络安全态势建模网络安全态势建模的主要目标是建立适用于网络安全态势检测的标准化的数据模型，并支持安全状态传感器的警报事件的简化、过滤、融合的一般过程。用于网络安全状态建模的数据来源于监督网络中的异构分布式传感器收集到的各类安全警报。网络安全状态的建模过程的几个阶段组成。在预处理的初始阶段，通过规范警报事件，所有接收到的安全事件转化为能够被数据处理模块处理的标准格式。警报事件可能是来自不同的传感器，并有不同的格式，如IDS的事件记录，防火墙，主机系统的日志文件，从网络流量等。规范的目的是要将每个传感器的所有事件属性统一。在我们的框架中，我们不同的传感器提供相应的预处理模块，并把特定的传感器的信息转变为本文中定义的信息模型的属性值。基于信息模型，对每个原始事件进行预处理，并转化为标准格式，把每个属性字段设置为适当的值。在安全状态数据处理阶段，标准化的警报事件作为输入数据被接收，并对标准化警报信息进行了简化、过滤和融合。事件简化的目的，是要合并多个传感器检测到的相同攻击的冗余警报事件。简化事件的一个典型的例子是， IDS可能会产生许多探测活动，当执行端口扫描攻击时，对每个端口扫描包，并且通过简化在给定时间内的从同一来源，同一目标主机的同类型事件，事件的数量可能会大大减少。事件过滤的目的是消除那些不满足约束条件的事件，根据网络安全状态感知的要求，这些约束条件在知识库中以属性或规则形式存放。例如，如果事件的关键属性的值缺少或超界，可以删除这些事件，因为它们对于网络安全状态的分析是毫无意义的。通过简化和过滤处理，合并重复的安全事件，安全事件的数量将大大减少，抽象程度将提高。同时，安全情况的信息暗示将被保留。事件融合功能的基础是登普斯特夏尔(DS)证据理论。事件融合的目的是对来自不同传感器已预处理过的，简化过滤的安全事件引入不同的置信水平，通过多属性融合定量评估安全事件，从而有效降低假阳性和假阴性警报，为网络安全态势的推理、分析和产生提供支持。基于事件融合的D-S证据理论的一般过程是通过系统状态,推出当前系统的安全状态。根据D-S证据理论，设识别框架为T,F，T代表正确警报，F代表错误警报，且TF=。作为DS证据理论的基本概念，为了支持系统状态的已知证据，基本概率分配（BPA）需要被定义。定义1：基本概率分配函数m (PT, F) 0,1 , m() =0, m(T) + m(F) + m( T, F) = 1,其中， M（T）是指由一个传感器检测到一个安全警报的置信水平。在我们的框架中，置信水平用警报事件格式的属性可信度表示，并根据检测规则的默认值或人类经验指定此属性的初始值。DS证据理论也为多个证据提供了组合规则，即登普斯特规则。安全警报事件根据本规则进行融合，不仅是为了减少假警报率和提高事件检测的置信水平，而且还通过多个低级别的安全性事件的特点融合识别攻击行为。例如，我们假设基本概率分配函数的两个参数是，组合参数的基本概率分布函数是,其中，K是指归一化因子，可以多次利用这种方法，实现来自多个源的安全事件的有效融合。设有多个事件相应的基本概率分配函数是,这n个参数可以结合成一个参数，这个基本概率分配函数是，其中 。当安全状态传感器收到安全事件后，首先要做的就是计算基于系统设置或规则参数的事件的置信水平。量化从原始事件的置信水平产生的警报水平可以有效地减少假警报率。在警报数据处理阶段，从传感器收集到的警报事件，有量化的置信水平、冗余数据。可疑的警报事件将大大减少，通过基于登普斯特规则的安全警报事件融合，分析攻击行为的能力将得到提高。B.网络安全状态生成有两种可用于知识发现的网络安全状态的数据源：一种是攻击模拟所产生的安全警报事件，另一种是历史安全警报事件。在我们的知识框架中，知识发现的功能是从警报事件中找出并提取信息，这些信息对于安全状态的相关是必须的。由于不同类型的安全状态传感器产生的警报事件的复杂性，这个过程是很难完全由手工展示。在本文中，我们提出基于知识发现的方法，该方法为通过模式挖掘、分析和在一套安全警报事件中学习提取安全状态的相关规则提供了方法，最后生成网络安全状态图。这个过程分为以下步骤：1）简化和过滤的安全警报事件通过测试实验数据，我们发现在安全状态传感器产生的原始警报事件中存在着大量毫无意义的，出现频繁的模式，这些模式大多和系统配置及无害访问相关。如果直接在原始入侵事件演示知识发现过程，这将不可避免地产生许多无意义的信息类型。因此，有必要建立以D-S证据理论为基础的警报事件筛选机制，它可以执行警报事件置信水平的统计分析。首先，通过自动工具，对各类安全事件的分布进行统计分析;其次，通过评估基于简化和过滤的规则的各种类型警报事件，无用的事件被删除，这个过程采用DS证据理论作为事件处理的基础。2）安全警报事件集的知识发现在本文中，我们采取频繁模式和序列模式发现算法，用以从安全警报事件集中获得安全状态知识。频繁模式是指事件的属性之间的相关性，其目的是来推断事件的属性之间的限制，并且增加相关行动后转变成过滤规则。同样，序列模式，是指事件之间的顺序关系，其目的是为了发现事件间的顺序关系或影响，并进一步转变的琐碎事件的组合规则。通常情况下，事件的属性之间的关系，需要考虑的安全警报事件所有的属性，像检测时间，事件类型，攻击，源IP，目的IP，源端口，目的端口，协议，可信度，严重程度等等，然而事件间的关系仅需考虑相关警报事件的发生顺序，这些事件具有同样或相关的攻击值。a)频繁模式挖掘频繁模式挖掘算法（如FP -Tree算法12）最显着的特点是把大型数据库压缩成紧凑型树结构（ FP-树），并迅速挖掘频率模式，而不需要生成候选项目，因此它避免了重复的数据库扫描。它主要由InserCTree生成算法和的FP_Growth频率模式挖掘算法组成。事件的属性规则可以通过应用FP-tree算法和设置最小阈值min_up的方法从安全事件集中挖掘出来。b) 序列模式挖掘WINEPI算法13应用于序列模式挖掘，用以发现的安全警报事件之间的顺序关系。首先，频繁的事件集从给定的滑动窗口中特定类型的安全警报事件集中提取，候选频繁段模式产生长度较短。第二，具有较大长度的频繁段模式是通过迭代发现。最后，基于频率阈值和置信水平，段模式之间的顺序关系被发现，这种关系就是安全警报事件之间的顺序关系。c) 模式的分析和学习通过上述知识发现的过程中频繁模式和序列模式的分析，我们发现，一些频繁模式只是统计的现象，而这是对于安全状态分析是毫无意义的。另一方面，有一些安全警报的事件很少发生，规律难以琢磨，置信水平生成的规则是低的，而这些规则对于安全状态的相关性是至关重要的。为了有效地利用所发现的知识，引入Prolog-EBG机器学习算法，通过引入该领域的以往经验正确的解释和分析发现的知识，更正和优化过的规则从攻击模拟生成的安全警报事件中导出。在这个优化过程中，规则的置信水平从统计的角度进行适当的评估，知识发现的评估也增强，从而删除无意义的知识，增加先验知识，使发现的知识更有用。d) 安全形势的关联规则提取通过增加相关操作,从知识发现的过程中获得的知识转化为安全状态的相关规则，并可以应用到在线网络安全状态相关分析。首先，对通过FP _Tree算法提取的警报事件的属性之间的强关联规则进行分析。如果这种规则涉及到一些正规的访问，那么添加删除操作，这些规则转化为警报事件的过滤规则。其次，通过WINEPI算法，对求出的警报事件之间的顺序关系进行分析。如果这种顺序关系与某种类型的攻击相关，攻击事件的组合规则形成，那么添加新型的安全攻击事件。最后，产生的相关规则转化为正式的规则编码，并添加到网上的相关知识库。3）网络安全状态生成网络安全状态的产生，是指网络安全事件的关联，网络安全状态图的构造，全局网络安全状态的评估。Net_SSA定期更新基于从时间融合和关联生成的安全状态数据的网络安全状态图。一定的警报事件被处理并插入到记录库后，Net_SSA将相关规则记入表格并予以激活，开始状态关联过程，通过上面提到的知识发现算法关联安全状态。如果相关结果表明存在安全攻击，则网络安全状态图按照系统设置动态更新，并通知网络安全管理员。四、 实验分析我们自己开发的网络安全状态感知系统应用于实验。该系统包括基于知识发现的网络安全状态产生器。测试数据LLDOS 1.0提供了由麻省理工学院林肯实验室提供，这些数据是产生于处于攻击下的DARPA2000 14。LLDOS 1.0这是由DARPA创建的第一个数据收集。它由五个攻击阶段：获得活动主机列表，找到薄弱Solaris主机，由Solaris Sadmind缓冲区溢出漏洞侵入系统，在控制主机上安装DDoS攻击木马，开始由控制主机攻击远程服务器。攻击数据收集在试验网络中重新收集，攻击现场重新生成。通过分布式的网络安全状态感知系统Net-SSA,传感器检测到安全事件并报告给负责多传感器相关分析和数据融合的控制中心。网络中心也产生当前网络的安全状态，用户可以看到检查结果和实时的图形化界面的网络安全状态。表1记录了传感器报告的5个阶段在整个网络攻击过程。根据安全状态建模过程，简化，过滤，融合和关联各种安全传感器产生的警报事件。警告事件的数量大幅度下降，从64481降到6164 。同时，根据相关性实证分析规则，它把许多伪造IP的琐碎的旨受害主机的攻击转化为DDoS攻击。利用风险值计算方法，用不同颜色标记的实验网络节点。其中，高风险的节点被标记为红色。此外，分析攻击事件，标记出攻击路径。当前网络安全状态图就形成了。如图2所示。图2我们的网络安全状态感知系统（NET- SSA）产生的一个网络安全状态样图，如上图。五、结论在本文中，我们分析了网络安全状态感知中存在的问题，并提出了基于知识发现的一个框架。该框架包括网络安全状突的建模和网络安全状态产生的整个过程。我们提出了基于D-S理论的网络安全状态形式化模型的构造，基于知识发现方法从网络安全状态集中提取频繁模式和序列模式，并把这些模式转变为网络安全相关规则，网络安全状态图的自动化生成。我们也展示了Net-SSA的应用，表明该框架支持精确建模和网络安全状态的有效生成。这项研究依然在进行，我们打算探索全球安全状态，调查面对即将到来的网络攻击的实时预测问题。参考文献1 Bass, T.,下一代分布式入侵检测系统的多传感器数据融合1999年5月 国家传感器和数据融合研讨会特约论文，