（通信与信息系统专业论文）分布式网络安全预警系统研究与设计.pdf

武汉理工大学硕士学位论文 摘要 目前，网络已成为大家工作学习必不可少的工具，而网络本身的安全性一直 是网络应用的重要问题。网络安全的一个主要威胁就是网络入侵。网络入侵是指 破坏信息系统的完整性、可用性、可靠性和机密性的任何网络活动的集合。由于 各种安全技术的局限性，要想完全杜绝网络入侵是不可能的。网络安全预警技术 因其可以预知主体受攻击的可能性和产生的后果，而受到网络安全界的关注。网 络安全预警技术是继防火墙、数据加密技术、入侵检测技术等传统安全技术后的 一种新的网络安全技术。与以往被动防御的安全技术不同，网络安全预警技术是 一种积极主动的安全防御技术，是对传统安全技术的必要补充，网络安全预警技 术的应用将大大提高网络安全防御能力。 本文通过对网络安全预警系统的介绍和分析，建立了分布式网络安全预警系 统的框架结构，并给出了各分系统的设计方案，监控网络中的攻击行为，并综合 分析各类信息，发现入侵倾向和潜在的或可能的威胁。监控中心模块将数据挖掘 技术运用于网络安全检测中，采用基于数据挖掘技术的关联分析、分类分析等算 法对网络入侵的数据进行了分析，并建立了检测规则集，本文对关联分析的主要 算法a p f i o f i 算法进行了改进，排除了一些无意义的规则对结果的影响，并运用 建立的规则对网络攻击进行了检测。区域预警中心模块基于数据融合技术，建立 了数据融合预警、网络入侵预测以及威胁评估的模型。采用了以下两个关键技术 来实现对报警数据的融合：基于地址关联图的关联算法，通过对报警数据的关联， 分析攻击路径和攻击意图；网络安全态势评估算法：通过计算一段时间内发生的 攻击类型、攻击目标、攻击源以及整个监测网络的攻击能量，将评估对象划分为 “告知 、“预警”、“报警”、“紧急 四个安全等级。 本文在对系统进行分析设计的基础上，进行了实验测试，整个系统在对网络 攻击检测、入侵预警、网络态势评估方面都达到了预期的目标。本文最后给出了 实验测试的结果。 关键词t 网络安全、数据挖掘、入侵检测、数据融合、攻击预测 a b s t r a c t c u r r e n t l y , t h en e t w o r kh a sb e c o m et h ee s s e n t i a lt o o l so fw o r k a n dl e a r n i n g ，a n d t h es e c u r i t yo fn e t w o r kh a sb e e nt h ei m p o r t a n ti s s u eo fn e t w o r ka p p l i c a t i o n s am a j o r t h r e a tt on e t w o r ks e c u r i t yi sn e t w o r ki n t r u s i o n n e t w o r ki n t r u s i o nr e f e r st ot h e c o l l e c t i o no fi n f o r m a t i o ns y s t e m si n t e g r i t y , a v a i l a b i l i t y , r e l i a b i l i t ya n dc o n f i d e n t i a l i t y o fa n yn e t w o r ka c t i v i t i e s d u et ot h el i m i t a t i o n so fav a r i e t yo fs e c u r i t yt e c h n o l o g i e s ， c o m p l e t e l ye l i m i n a t i o no f t h ei n t r u s i o ni si m p o s s i b l e n e t w o r ks e c u r i t yw a m m g s y s t e mi sc o n c e r n e db e c a u s ei tc a np r e d i c tt h el i k e l i h o o da n dc o n s e q u e n c e s o ft h e m a i na t t a c kb yt h en e t w o r ks e c u r i t y n e t w o r ks e c u r i t ye a r l yw a r n i n gt e c h n o l o g yi sa n e wn e t w o r ks e c u r i t yt e c h n o l o g ya f t e rf i r e w a l l s ，d a t ae n c r y p t i o nt e c h n o l o g i e s ， i n t r u s i o nd e t e c t i o nt e c h n o l o g ya n do t h e rt r a d i t i o n a ls e c u r i t yt e c h n o l o g i e s c o m p a r e d w i t ht h ep a s s i v ed e f e n s es e c u r i t yt e c h n o l o g y , n e t w o r ks e c u r i t yw a r n i n gt e c h n o l o g yi s ap r o a c t i v es e c u r i t ya n dd e f e n s et e c h n o l o g ya n di t sa l s oan e c e s s a r yc o m p l e m e n tt o t h et r a d i t i o n a ls e c u r i t yt e c h n o l o g i e s 1 1 1 et e c h n o l o g yw i l lg r e a t l ye n h a n c et h en e t w o r k s e c u r i t ya n dd e f e n s ec a p a b i l i t y i nt h i sp a p e r , a f t e rd e s c r i p t i o na n da n a l y s i so fn e t w o r ks e c u r i t yw a m i n gs y s t e m ， t h i sp a p e rg i v e st h ef r a m es t r u c t u r eo fad i s t r i b u t e dn e t w o r ks e c u r i t yw a r n i n gs y s t e m s a n dt h ed e s i g no ft h ev a r i o u ss u b s y s t e m s ，m o n i t o r i n gn e t w o r ka t t a c k s ，a n d c o m p r e h e n s i v ea n a l y s i so f a l lt y p e so fi n f o r m a t i o nf o u n di n t r u s i o nt e n d e n c i e sa n d p o t e n t i a lo rp o s s i b l et h r e a t s m o n i t o r i n g c e n t e rm o d u l eu s e dd a t am i n i n gt e c h n o l o g y f o rn e t w o r ks e c u r i t yt e s t i n g ，u s e dc o r r e l a t i o na n a l y s i sb a s e do nd a t am i n i n g ， c l a s s i f i c a t i o na n a l y s i sa l g o r i t h mf o rn e t w o r ki n t r u s i o nd a t aa n a l y s i s ，a n ds e td e t e c t i o n r u l e s ，t h ec o r r e l a t i o na n a l y s i sa l g o r i t h m - a p r i o r ia l g o r i t h mh a sb e e ni m p r o v e d t o e x c l u d em e a n i n g l e s sr u l e sw h i c ha f f e c tt h er e s u l t s ，a n da p p l yt h er u l e se s t a b li s h e db y t h ed e t e c t i o no fn e t w o r ka t t a c k s r e g i o n a lw a r n i n gc e n t e rm o d u l eb a s e do nd a t a f u s i o n ，d e s i g n e dn e t w o r ki n t r u s i o np r e d i c t i o na n d t h r e a ta s s e s s m e n tm o d e l u s e st w o k e yt e c h n o l o g i e st oa c h i e v et h ei n t e g r a t i o no f a l a r md a t a ：a d d r e s sa s s o c i a t e dw i t h m a p b a s e dc o r r e l a t i o na l g o r i t h m ，t h ea l a r m d a t aa s s o c i a t e dw i t ht h ea n a l y s i so ft h e a t t a c kp a t ha n da t t a c k i n gi n t e n t ；n e t w o r ks e c u r i t yp o s t u r ea s s e s s m e n ta l g o r i t h m s ：b y c o m p u t i n gt h ep e r i o do fa t t a c k ，t a r g e t ，a t t a c ks o u r c ea sw e l la st h ee n t i r em o n i t o r i n g n e t w o r ka t t a c ke n e r g y , w i l le v a l u a t et h eo b j e c t sc l a s s i f i e da s ”i n f o r m ”，”w a r n i n g ”， i 武汉理工大学硕士学位论文 ”a l a r m ”，e m e r g e n c y ”f o u rs e c u r i t yl e v e l s t h i sp a p e rg i v e st h ee x p e r i m e n t a lt e s ta f t e ra n a l y z i n gt h es y s t e md e s i g nm e t h o d ， t h ee n t i r es y s t e mh a sr e a c h e dt h ed e s i r e do b j e c t i v e so nt h en e t w o r ka t t a c kd e t e c t i o n ， i n t r u s i o nw a r n i n g ，n e t w o r kp o s t u r er e v i e w f i n a l l y , t h i sp a p e rg i v e st h er e s u l t so f e x p e r i m e n t a lt e s t s k e y w o r d s ：n e t w o r ks e c u r i t y , d a t am i n i n g ，i n t r u s i o nd e t e c t i o n ，d a t af u s i o n ， a t t a c kp r e d i c t i o n 武汉理工大学硕士学位论文 图2 1 图2 2 图2 3 图2 4 图3 1 图3 2 图4 1 图4 2 图4 3 图4 4 图4 5 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 表3 1 表3 2 表3 3 表4 1 表4 2 表5 1 图表目录 预警系统逻辑结构 分布式网络安全预警系统流程图 监控中心模块设计框图 区域预警中心( l w c ) 设计 改进后的a p r i o r i 算法流程 关联规则挖掘模块基本结构 l w c 报警信息融合处理过程 地址关联图节点关系 风险评估模型 网络安全态势评估流程 网络攻击能量图 测试环境网络拓扑图 改进后的a p r i o r i 算法在不同兴趣度下挖掘效率比较 改进后的a p r i o r i 算法与原算法挖掘效率比较 l w c 原始报警数量对比 态势评估后的报警量对比 报警分级后的数量对比 数据包结构图 抽象化的t c p 连接记录特征属性 连接记录特征属性统计数据 基于地址关联图的算法与前面几种算法的性能比较 攻击类型与严重程度的划分 预警各阶段报警数量对比 武汉理工大学硕士学位论文 1 1 课题来源 第一章绪论 本课题来源于公安部第三研究所的研究项目，该项目部分功能已在公安网内 部实际使用。 1 2 课题的背景意义 在目前这个高度信息化的社会中，人们学习、工作、日常生活中的很多方面 都涉及到计算机技术和网络技术。人们对网络越来越依赖，全球信息化进程已经 深入发展。几乎所有的政府单位、组织、团体、个人、企业都在加速网络互联的 进程，将自己连入因特网，以实现数据共享和利用。计算机技术和网络技术的日 益发展进步极大推动了社会的信息传输效率，推动了国家的发展和进步，但同时 也伴随产生了诸多的问题，其中计算机网络安全的问题涉及面广，动态性强，难 以防范，所以一直是人们非常关心的问题。 入侵检测是一种新型的网络安全防御技术，积极推动网络安全的发展，但研 究大部分入侵检测系统只能对已知入侵做到有效防御，如果是未知入侵的话则很 难有效防范。本文所讲的分布式网络安全预警系统跟入侵检测有很大不同，可以 根据历史数据库进行学习训练，以生成有效的预警模式，实时检测网络的非授权 行为，判断是否产生入侵【l j 。分布式网络安全预警系统可以根据固定模式，找到 网络报警信息之间的关联联系机器内在规律，对最终攻击者的攻击意图做出准确 判断，实现及时有效的报警。分布式网络安全预警系统具有实时动态和主动防御 入侵的特点，因此可以很好的弥补其它静态网络安全工具的不足之处【2 1 。 1 3 课题研究的目的 目前网络安全形势日趋严重，传统的防御方法仅仅依靠密码、可信计算、入 侵检测、防火墙等技术已经无法满足网络安全的新需求。运用分布式网络预警技 术分析识别网络上的入侵行为和企图，并在入侵之后进行有效预警和防御，已经 成为目前保证网络安全的一个很重要的方法，因而收到越来越多的重视。 预警技术在本系统中占有非常重要的地位。预警模块主要根据网络的运行异 武汉理工大学硕士学位论文 常信息、网络的异常流量信息、网络病毒威胁等的特征信息，对将要发生的网络 入侵进行分析和预测，并预先发出警告；或者根据已发生的网络安全威胁行为进 行分析，建立预警机制，实时进行全局预警1 3 】【4 l 。 为了保证我国的信息安全，适应国家对信息安全检查的要求，进行分布式网 络预警系统的研究是非常重要，有很大的实用价值。它对提高的网络安全技术水 平，提高网络入侵的应急响应能力，减轻网络入侵的伤害，提高应对网络攻击的 能力都非常有价值。分布式网络安全预警系统实际上是一种决策支持系统，它以 网络入侵检测的知识库为依据，对网络潜在攻击进行预测，对安全进行评估和分 析，从而有效提高网络安全水平。本文对分布式网络安全预警系统做了非常深入 的研究，提出了系统的设计方案，具有一定的理论和实际价值。 1 4 系统使用的关键技术 1 4 1 数据挖掘技术 l 数据挖掘的过程 数据挖掘是指从海量数据中挖掘出对人们有用的知识和模式【5 1 。而这些知识 和模式是潜在隐含在数据中的，人们实现并不知道。数据挖掘技术对数据中知识 和模式的发现非常有使用价值，可以帮助人们把隐式的信息变成显式的知识，便 于进行存储，同时也很容易理解。所以该技术获得了很广泛的应用【酗。 因为和数据库密切相关，因此数据挖掘技术也称为知识抽取和知识发现。数 据挖掘过程分为三个阶段： ( 1 ) 准备数据阶段 ( 2 ) 数据挖掘阶段 ( 3 ) 评估与表示阶段对挖掘结果的表征和解释 2 数据挖掘算法 目前用的多的数据挖掘算法有：关联分析算法、数据分类算法、序列分析算 法和聚类分析算法等【7 】【引。 在本文所述的安全预警系统中，使用到数据挖掘算法主要包含分类分析算 法、关联规则算法、序列分析和聚类分析算法。 3 数据挖掘在预警系统中的应用 数据挖掘技术中的关联分析规则用于分析挖掘记录中所有数据项之间的关 系，而分类分析的目的是将数据分成几个不同的类，序列分析用于不同的记录在 时间上的关系【9 】。这三种分析方法在对离散数据做分析时具有很大优势，但是对 2 武汉理工大学硕士学位论文 于连续性的数据则无能为力，因此需要选择新的方法。而聚类分析的方法正好可 以很好的应用于连续性数据的分析，同时该算法也可以用来分析离散型数据【1 0 】。 分布式网络安全预警系统采用数据挖掘技术对网络数据进行分析和处理，结 合网络历史数据信息，提取出用户上网行为的特征，并把这些特征表征为模式， 将挖掘的模式存入数据库中，建立完备的检测规则库。该过程主要分为下面几个 步骤： a 数据收集：预警系统数据的搜集使用w i n p c a p 工具来实现。 b 数据预处理：用于进行训练的数据在挖掘过程中意义重大，对用户行为的 特征提取和规则的建立都有产生直接影响，在预警系统中，如果数据包中包含了 入侵者的特征，那么根据这种数据建立的规则是没有意义的，无法对入侵做出任 何反应，所以在待处理的数据中，无能包含入侵信息，并且要把数据处理为可以 直接用于挖掘的记录形式。 c 数据挖掘：从预处理过的网络数据中提取用户行为特征，建立规则，并将 这些规则特征加入到规则库中，进行更新。 d 检测阶段：系统根据规则库中的规则对用户行为特征进行检测，判断是否 为入侵行为【1 1 】【12 1 。 1 4 2 数据融合技术 当前情况下，检测系统不是很完善，另外网络攻击本身也非常复杂，以前的 网络安全预警系统对网络攻击事件存在有误报、漏报、报警层次低和报警信息难 管理等诸多问题，鉴于此，对报警事件进行数据融合是非常有必要的，经过数据 融合处理之后可以降低漏报误报率，预测未来将可能发生的攻击，精简报警信息， 对正在发生或者可能会发生的报警信息采取立即措施。 以思考问题的出发点为依据，可以将数据融合划分为以下几种：按融合方法 分为统计和智能分析法，按融合处理的层次分高中低三种，在信号处理领域分为 时域、空域和频域等，按处理的内容分像素级，特征级，和决策级三种f 1 3 1 【1 4 l 。 在实际使用过程中，使用最多的是按内容分为像素、特征和决策三级。 1 ，像素级融合 该融合方法对参与的传感器的精度要求很高，必须达到像素级的标准。一般 情况下，它对原始的传感器数据不做处理或者做很少的处理，因此属于低级别融 a 口o 这种方法对于处理精确到像素的非常细微的信息很有价值，如果待处理的信 息没有丢失的话，该方法性能很好。它的不足之处在于因为处理的信息量非常之 3 武汉理工大学硕士学位论文 大，所以对系统的处理性能要求比较高，并且进行处理的时间很长，而且实时性 较差：并且此种融合方法要求参与融合的传感器是同质的，且在像素级别具有匹 配关系。另外，该融合方法数据量大，抗干扰能力差【1 5 】。 2 ，特征级融合 这种方法并不像像素级那样，对像素级细微信息进行处理，而是先从数据中 提取出相应的特征向量，作为特征矢量，对特征向量进行融合，这种融合成为中 级融合。 3 ，决策级融合 这种方法是一种较高级的融合方法，先根据目标属性信息对传感器信息进行 单独处理，然后在坐数据融合，最后为真个系统提供决策分析。这种融合分为决 策融合、基于概率的融合和决策级可信度融合【1 6 l 【1 刀。 1 5 论文组织 第一章绪论，介绍了网络安全顶警系统的背景、研究现状、研究目的以及本 论文的研究工作。 第二章，对网络安全、网络安全预警的基本概念进行了概述，介绍了系统的 整体框架，并介绍了各模块的结构和功能。 第三章，介绍了监控中心模块设计方法，运用数据挖掘的算法对网络入侵进 行了分析，建了入侵检测规则库。 第四章，介绍了区域预警中心模块的设计，将数据融合技术运用于区域预警 中心设计中，去除冗余报警信息，并运用了融合技术建立了地址关联图以进行报 警预测，同时给出了威胁评估的算法。 第五章，对系统做了实验分析。 第六章，总结全文，介绍了未来的研究方向。 4 武汉理工大学硕士学位论文 第二章预警系统总体设计 2 1 预警系统总体结构设计 分布式网络安全预警系统就是监控网络中的入侵检测探测设备，大范围监控 威胁实体，对所采集的信息进行有效分析，及时发现攻击者入侵倾向和潜在的威 胁，并对威胁等级做出评测，提供有效的工具对突发事入侵做出及时相应，并给 出事件的影响范围，使得网络安全防御更加及时准确有效。 本文所设计的分布式网络安全预警系统通过监控中心模块检测网络中的入 侵行为，基于检测到的入侵攻击，对网络安全态势做出评估，并预测未来可能发 生的攻击行为事件影响范围。因此，网络安全预警系统的主要目的是对入侵和网 络病毒进行检测分析，而这些病毒和入侵一般具有扩散性。 分布式网络安全预警系统的前身是网络安全预警系统，分布式网络安全系统 是一种决策支持系统，对报警的数据的历史数据作为分析的依据，实现对态势的 评估和威胁的预测【1 8 儿1 9 】。可以说网络安全预警系统是入侵检测的必然发展。相 对以前的预警系统，分布式网络安全预警系统具有更多的优势和特点。 分布式网络安全预警系统的设计目标是采集网络安全数据，并进行智能化的 分析，评测安全威胁，分析威胁源和威胁范围，从而根据这些信息对网络攻击做 出预测。实现网络安全预警需要在本系统中捕获报文、压缩报警数据、对报警进 行因果关联分析，使用数据融合等技术提取潜在威胁，并根据这些局部的威胁信 息对全局网络做出预警和推断，并与响应系统配合，对全部威胁做出预警。 分布式网络安全预警应达到以下目标： l 、实时动态的对网络入侵行为和病毒做出预警； 2 、预测可能发生的入侵与攻击行为。 分布式网络安全预警系统需具备以下特点： 经济性：在保证系统正常运行的前提下才引入对网络入侵的检测和对系统的 预警，尽量少的占用网络系统资源； 时效性：必须能够及时的发现入侵行为，最理想的状态就是在入侵未发生之 前就做出预测，比较可行的是在攻击发生的过程中检测到： 安全性：系统自身的安全必须要保证。 可扩展性：一是数据和机制的分离，在现有系统的运行机制不变的前提下， 能够预测新的攻击行为，另外是系统结构需具有扩充性。 5 武汉理工大学硕士学位论文 分布式网络安全预警系统的检测数据来源是原始网络数据报文，它可以实时 分析网络运行的通信业务，实现检测网络是否被攻击，查处网络中不符合安全策 略的行为。 建立合理有效的检测模型，建立监控中心模型，实时监控网络入侵行为，有 效识别正常和非正常的网络行为。另外，基于数据挖掘技术的安全预警系统应该 具备自学习的功能。 预警系统可以实现对报警信息的实时分析，使用网络安全知识库和数据融合 技术，去除重复报警，降低漏报误报率、及时发现潜在的威胁，预测可能发生的 网络攻击和病毒，评估网络威胁的程度，系统管理员通过本系统可大大减少工作 量，实现对网络安全更有效的分析。 分布式网络安全预警系统具有以下功能： l 、实时分析和发现网络入侵行为； 2 、对网络流量和会话进行监视； 3 、及时响应和记录发现的入侵，并报警； 4 、使用搜集的到的数据对网络安全威胁做出评测； 对网络攻击的威胁程度做出测评，为网络安全管理提供决策依据。 分布式网络安全预警系统的总体架构如图2 1 所示。该系统采用层次结构， 包括检测域、监控中心和区域预警中心三层： 区域预警 中心 r 一 检测域 一 检测域 图2 1 预警系统逻辑结构 分布式网络安全预警系统中每个保护域内分布多个监控中心，以实时捕获和 检测数据报文，整个系统包含多个区域预警中心( l w c ) ，各l w c 接收来自监 控中心的报警数据，并进行分析融合，对报警进行去冗余和关联，并使用预警算 法预测网络威胁，采取相应措施。区域预警中心既可以独立工作又相互协作。分 布式网络安全预警系统的体系结构功能： l 、监控中心( m c ) ：功能是截获网络数据包，对网络数据包进行预处理分析， 对数据包的合理性进行判断，看是否满足安全策略和检测规则，如果确定为攻击 6 武汉理工大学硕士学位论文 信息，则进行报警，将处理后的信息发送到本地区域预警中心，并接受来自区域 预警中心的信息，分发到保护域。 2 、区域预警中一t 二, ( l w c ) ：功能是接受来自各监控中心的报警信息，与本地 知识库进行数据融合处理，降低报警的误报和漏报率，预测未来将可能发生的攻 击，接收来自各个预警中心的报警信息，判断未来可能遭受的攻击，做出威胁评 测，并通过监控中心指令对个检测域( d r ) 发出预警，通过响应模块实施响应程序。 图2 2 所示是预警系统工作流程的分析。系统工作流程描述为：监控中心采 集数据，进行攻击判断，将报警信息传给区域预警中心，经过约减等处理，将确 定的入侵信息上传给预警中心，预警中心做相关的处理，去除冗余和重复报警， 采用数据融合技术对网络安全进行评估，预测潜在威胁，将新的入侵的特征添加 到特征库，后续使用。管理和控制模块的功能则是调整过滤的规则更新规则库， 写入新的入侵信息的特征。 图2 2 分布式网络安全预警系统流程图 2 2 预警系统各模块设计 2 2 1 监控中心和检测域模块设计 网络攻击的实施需要实行一定的步骤和消耗一定的时间，所以在网络未成功 实施之前有可能通过对相关的数据的分析对攻击的趋势做出预警，并采取主动防 范措施。分布式网络安全预警系统将保护网络划分成多个检测域，而一个域内包 含若干网段，可以将域内网段的i p 信息和检测域绑定。检测域内包含服务器、 7 武汉理工大学硕士学位论文 主机、交换机、防火墙、路由器等设备。 由图2 2 可知，在每一个网段安装一个监控中心，并有它负责采集本网段的 数据信息，对采集的数据进行入侵分析，将结果传送给区域预警中心。在监控中 心进行网络数据的入侵分析和预处理而不是放在区域预警中心，这种配置可以大 大降低区域预警中心的处理负荷，分摊区域预警中心的工作，减轻网络负担，提 高并行性和实时性。监控中心可以软硬件组合，也可是纯软件。 监控中心的总体模块如图2 3 所示： 监控中心假定进入网络的每个数据包都是有敌意的，监控中心包括两个功 能：抓包和包分析。抓包主要是捕获数据包。对于需要检测的数据包，采用误用 检测和异常检测分析，其中误用侧重于检测已知攻击形式的攻击行为，异常检测 检测未知的攻击行为，尽量发现可疑的信息，实时对检测到的攻击进行报警和记 录。监控中心和区域预警中心的连接可以是直接连接，也可以通过间接连接的方 式进行，这样当一个预警中心出现问题，区域预警中心还可以通过间接方式对该 预警中心进行处理以使其恢复正常工作。 幡钲覆式摩 图2 3 监控中心模块设计框图 2 2 2 区域预警中心( l w c ) 模块设计 区域预警中心( l w c ) 的功能是接收各监控中心的报警信息，并将这些报警信 息与本地报警数据库中的信息进行融合分析，找到这些报警之间的关联关系，实 现报警预测，发现分布式、组合式、协同式网络攻击行为，预测未来可能的攻击 行为，并发出全局预警，区域预警中心的设计框图如图2 4 所示： 每个区域预警中心保存其中心内的各个保护域的i p 地址范围信息的映射 表，一旦区域预警中心产生了预警信息，将立即根据i p 地址的映射表将预警中 8 武汉理工大学硕士学位论文 心发往各个保护域中。各个区域预警中心各自之间的通信是相互独立的，各中心 之间可以交换预警数据，并分工协作，当其中一个预警中心出现问题，其它中心 可以对它进行修复。 童 图2 4 区域预警中心( l w c ) 设计 区域预警中心主要是任务是报警融合分析、攻击预测分析、网络威胁评测、 预警信息管理等。 ( 1 ) 报警信息融合 将监控中心上报的报警信息进行进一步分析处理：数据融合分析。根据分析 结果采取措施，发放安全策略信息各个监控中心，由监控中心再发给各个保护域。 ( 2 ) 网络安全态势评估 主要功能是对本区域一段时间内的报警信息进行综合分析，根据报警的数据 和区域内的安全控制策略，对网络安全的形式做出评估和预警。 ( 3 ) 网络攻击预警 对各个监控中心检测后的异常报警信息，利用融合处理的方法，对未来可能 的潜在攻击进行预测。 ( 4 ) 预警信息管理 功能是接收、显示、存储来自各个监控中心的报警信息，建立知识库信息， 记录当前网络的历史攻击状况，描述当前网络状态，为安全预测提供决策依据。 2 3 本章小结 本章从总体上介绍了分布式网络安全预警系统的架构、主要模块，并给出了 各个功能模块的结构和设计方案。 9 武汉理工大学硕士学位论文 第三章预警系统监控中心的设计 3 1数据采集和预处理模块的设计 由第二章中图2 3 监控中心模块的各模块功能分析可知首先要对网络数据进 行采集和预处理。 l数据采集 在预警系统中，首先要进行数据采集的工作，截获网络数据的模块的性能是 实现预警系统高效率工作的基础，所以数据包捕获模块对预警系统的性能有很大 的影响，因此需要采用稳定可靠的工具对数据包进行捕获，防止丢包漏包，为整 个预警系统提供基础数据。 实现对网络数据的截获根据不同的操作系统会有不同的途径和方法。在 u n i x 和l i n u x 系统中，采用专门用于数据包捕获的a p i 函数l i b p c a p 来实现， 该函数由美国诺伦兹伯克实验室开发。l i n p c a p 从本质上来说，其实是一个独立 的a p i 函数接口，主要功能是在用户层面上来捕获网络数据，该接口支持数据 包过滤器的过滤机制，该过滤器基于b s d 。而对于w i n d o w s 系统来说，是采用 w i n p c a p 来截获网络数据包。 2 数据预处理 在经过数据采集设备对网络数据包进行捕获之后，将这些数据存储到一张表 格中。如表3 1 为该表格的结构图。 表3 1 数据包结构图 宇段名称说明 自动生成 l l m e 收到数据包的时间 p r o t o c o t协议号 s o l i l ea d d r e s s 源p s o u l e p ot 源端口 d e s ta d r c l r e s s目的p d s c p o n目的端口 l m z t h 数据包长度 m 叠 连接控制信息 s t a r ts e q起始信号 a c ks e q 应答信号 d a t a 数据包数据 在系统内核中对数据包进行过滤接收，在p a c k e t 结构的缓存区每次存放 一组数据，这样就不必要每次接收到数据都要内核缓冲区进行一次读取。当缓冲 1 0 武汉理工大学硕士学位论文 区满后，把数据交给应用层来处理。对于捕获到的数据包，对其中的连接记录进 行提取，数据预处理模块的功能即是将数据包中的数据整理成数据挖掘算法可以 直接处理的格式，以便进行分析。对每一次t c p 连接，在数据发送之前，必须 通过三次握手建立连接，待数据传送完毕之后才断开连接。因此，要获取连接记 录，需要包含一个t c p 连接的全部报文数据，其中包含建立连接时的三次握手 连接的报文，数据报文，连接断开报文。w i n p c a p 程序是根据报文段捕获的时间， 按顺序将报文首部输出到文件，因此需要按照一定的规则把这些信息都找出来。 完成三次握手之后，在用户和服务器特定端口建立了一条通道，该通道由以下数 据确定：服务器的i p 和端口号、客户端的i p 和端口号。因为四元组具有唯一性 特征，因此可以利用这一点，在所有的报文中寻找属于一次连接的所有报文段信 息f 2 0 】。 将属于同一连接记录的报文整理成连接记录，然后从t c p 连接的报文块中 读取报文块放到数据数组中，被处理的t c p 连接报文块都会形成一条连接记录。 这些记录输出到文件中，以进行分析。 在进行数据挖掘之前还要将数据整理成数据挖掘算法可以处理的格式，比如 离散的数据可以对应成不通的整数值。以p r o t o c o l 协议属性为例： t c p - 4 ；u d p 一5 ；i c m p - 6 ；o t h e rp r o t o c o l - 7 而如果是连续型的数值，则可以将连续型数值划分成不同的区间，在同一区 间的值对应到同一值，如果是不同的区间，对应成不同的值，例如d e s 属bytes 性区间可以做如下对应： v a l u e = 0 一 2 6 ；v a l u e 2 7 ；v a l u e 2 1 0 2 4 2 8 通过以上预处理过程，将原始数据格式 对应成数据挖掘 算法可以处理的格式q ，7 ，2 7 ，2 8 。 3 2 关联分析算法的改进和关联规则的建立 找出有代表性并且可信的规则是发现关联规则的目的所在，因此需要设定一 个最小可信度阈值和一个最小支持度阈值1 2 1 】。找关联规则就是要找出那些同时 支持最小可信度和最小支持度的规则。 基于关联规则的数据挖掘算法分为两个步骤： ( 1 ) 找出所有频繁项集：用以找出所有支持度不低于用户规定的最小支持度 阈值的项目集； ( 2 ) 由频繁项集产生强关联规则：这些规则必须满足最小支持度和最小置信 度。 武汉理工大学硕士学位论文 3 2 1 关联挖掘算法一a p r i o r i 算法过程分析 在数据挖掘过程之中，关联算法的核心是第一步找频繁项集，算法的第一步 直接决定了挖掘算法的好坏，关联规则中用于找频繁项集的算法主要有a p r i o r i 算法和a p r i o r it i d 算法【2 2 】【2 3 j 。 这里首先介绍下a p r i o r i 算法，该算法是一种非常典型的挖掘关联规则频繁 项集的算法。此算法使用逐层迭代的方法搜索频繁项集，k 项集用于探索( k + 1 ) 项集。首先，找出频繁1 项集的集合，该集合记作，三，用于找频繁2 项集的 集合幻，而幻用于找幻，如此下去，直到不能找到频繁k - 项集。找每个“需 要一次数据库扫描。 a p r i o r i 算法的性质：为了提高逐层搜索的效率，a p r i o r i 算法的一种重要的 性质可以用于压缩搜索空间：即任何一个频繁项集的所有非空子集也是频繁的。 对于这条性质，可做如下观察：根据定义，如果项集，不满足m i ns u p ，则，不 是频繁的，即p ( i ) m i ns u p 。如果项a 添加到 则结果项集，幽不可能比， 更频繁出现。因此，八纠也不是频繁的，即puo a ( 1 1 ) r e t u r n = 魄“； p r o c e d u r ea p r i o r i _ g e n ( l k j ，f r e q u e n t ( k - 1 ) - i t e m s e t s ； r a i n _ s u p ： m i n i m u m s u p p o r tt h r e s h o l d ) ( 1 ) f o re a c hi t e m s e t1 1el j c j ( 2 ) f o re a c hi t e m s e t1 2el k j ( 3 ) i f ( 1 1 【1 】= 幻 1 】) ( 您【l 】，2 【2 】) a ( ，j 【k - l 】= 2 【k l 】) t h e n ( 4 )萨l l 您j o i ns t e p ： g e n e r a t ec a n d i d a t e s ( 5 ) i fh a s _ i n f r e q u e n o s u b s e t ( c , l g 一1 ，) t h e n ( 6 ) d e l e t ec ； p r u n es t e p ：r e m o v eu n f r u i t f u lc a d i d a t e ( 7 ) e l s e ( 8 ) a d dct oc k ； ( 9 ) ( 1 0 ) r e t u r nc k ； p r o c e d u r eh a s _ i n f r e q u e n t s u b s e t ( c ：c a n d i d a t e ，k - i t e m s e t ；“一j ：f r e q u e n t ( k - 1 ) - i t e m s e t ) ( 1 ) f o re a c h ( k - 1 ) s u b s e tso f c ( 2 ) i fs e l k jt h e n ( 3 ) r e t u r nt r u e ： ( 4 ) r e t u r nf a l s e ； 其中a p r i o r i - g e n 做两个动作，即连接和剪枝。在连接部分，“一j 与“一j 连接 产生可能的候选( 第1 - 4 步) ；在剪枝部分( 第5 - 7 步) 使用a p r i o r i 性质删除具有非 频繁子集的候选。非频繁子集的测试在过程h a s _ i n f r e q u e n t _ s u b s e t 中【2 4 】【2 5 1 。 1 3 武汉理工大学硕士学位论文 3 2 2 a p r io ri 算法存在的问题 ( 1 ) 对事务数据库的扫描次数过多，当由g 得到“时，每一次该算法都 要重新扫描数据库，所以在算法运行时对事务数据库扫描的次数是非常多的，在 实际应用时，每次扫描需要将数据库中的数据调入内存，多次扫描就需要多次多 数据的换进换出，造成系统的开销非常大。尤其是如果对海量数据进行扫描，需 要耗费过长的时间。 ( 2 ) 随着频繁项长度的变大，运算所需时间会显著增加。从原理上来说， 如果频繁项的长度增加，会造成相应的频繁项事务会减少，所以运算时间应该缩 短才对，但事实上，运算时间反而增加，这是因为该算法依然在原有数据库中计 算长频繁项的支持度，造成每个频繁项的项目增多，因此在确定每个频繁项是否 被系统支持的时候，系统开销增加，事务没有减少，所以造成频繁项长度增加时 系统开销增加。 ( 3 ) 在每个阶段的候选项集q 过大，尤其是q 。由g 的产生方法可知， q 是“的超集，在所有的“中q 的势( c 2 中元素个数) 远大于切的势，这是 由于根据l j 生成0 的过程中，没有剪枝，所以会产生巨量的组合。 ( 4 ) 数据挖掘算法在特殊的领域中为了适应相应领域的特殊要求，必须对 算法进行变换。同样的原理，在预警系统中使用数据挖掘算法也需要对该算法进 行变换，否则无法达到预期结果。数据挖掘应用在传统的领域中，一般情况是为 了挖掘出有意义的关联规则。购物篮分析是最典型的案例。运用数据挖掘算法进 行数据挖掘的工作就是要挖掘出有用的规则来，用于后续的分析过程。在预警系 统中，对关联规则的挖掘则为了将规则应用到下一步做检测。在挖掘过程中，由 于各条件项的不确定因素，所以在预警系统中挖掘关联规则还要解决对挖掘出的 规则进行表示。除此之外，经典的a p r i o r i 算法主要用于一维数据的检测，而实 际的预警系统检测中，往往需要涉及多维属性。在关联规则挖掘的过程中，有可 能会挖掘出一些没有意义的规则，这些规则是不适合进行检测的，因此需要将其 过滤掉。 3 2 3 a p r io ri 算法的改进 l 对算法本身的改进 ( 1 ) 基于散列技术：为了压缩候选项集靠本文采用基于散列的技术。例如， 当扫描数据库中每个事务，由候选1 项集0 ，产生频繁k 项集“时，可以对每 个事务产生所有的2 项集，将它们散列到散列表结构的不同桶中，并增加对应的 桶计数。在散列表中对应的桶计数低于支持度阈值的2 项集不可能是频繁2 项 1 4 武汉理工大学硕士学位论文 集，因而应当从候选项集中删除。这种基于散列的技术可以大大压缩要考察的 k 集。 ( 2 ) 划分：通过对数据进行划分来找候选项集，该方法只用对数据库进行 两次扫描。第一次，把事务数据库划分成n 个互不重叠的部分，假设m i n s u p 是事务数据的最小支持度阈值，那么被划分的每个部分的最小支持度计