（计算机科学与技术专业论文）面向网络安全监控的数据流关键技术研究.pdf

国防科学技术大学研究生院博士学位论文 摘要 随着计算机技术的飞速发展和网络应用的日益广泛，互联网在人们的生活中 扮演着越来越重要的角色。与此同时，各种网络安全事件层出不穷，严重威胁着 互联网的应用和发展。以安全为目的的网络监控，在维护网络正常高效运行、保 障关键设施和信息系统安全等方面，具有越来越重要的作用。如何对分布、海量 的网络安全监控数据实施有效的网络传输和高效的在线分析，进而为各种应用提 供进一步支持，成为网络安全和数据处理领域的一个重大挑战。 本文以网络安全监控为背景，针对网络监控应用特点和当前监控数据处理存 在的挑战性问题，从数据流处理角度，对分布式网络安全监控数据处理中几个关 键问题的高效处理技术进行了研究。主要贡献为： 1 、针对分布式连续极值查询，研究了计算、存储、通信高效的处理方法。首 先提出了一种数据裁剪策略，仅需保存部分关键点便可满足查询需要；远程节点 采用延迟传输算法d t a ，在保证结果正确性的前提下尽量延迟数据传递并依据裁 剪策略对局部数据流进行过滤，达到降低网络通信量的目的；集中式节点采用多 极值查询处理算法m c e q p ，充分利用系统中多个查询间可共享的资源，将多个查 询作为整体进行考虑，比对每个查询分别单独处理更加高效。理论分析和实验结 果表明，当数据规模较大时，裁剪策略可以丢弃约9 9 的数据，若数据满足独立 均匀分布，实际需要保存的关键点个数仅为o ( 1 0 9 n ) ；与传输所有数据的方法相比， d t a 方法仅需不到1 0 的通信量；m c e q p 方法也比目前已有的基于资源共享技术 的通用方法更加高效。 2 、针对分布式阈值监控，研究了低通信开销的处理方法c e m 。该方法充分利 用被监控对象间的相对关系，把多个对象作为整体进行统一处理，将多个对象的 持续监控变为对一个代表对象的监控和对局部约束条件的维护操作，比分别单独 监控每个对象更加高效；只有当局部约束被打破时，才需要通信并进行参数调整 以重建约束。理论分析和真实数据集上的实验表明，与将对象分别独立监控的方 法相比，c e m 方法能够有效降低约7 0 的通信开销。 3 、对网络安全监控环境下的s k y l i n e 查询进行了研究。考虑网络安全监控场 景与先进先出滑动窗口单数据流场景存在很大差异，原有数据流上的连续s k y l i n e 计算方法不再适用。针对这一情况，首先概括出了按任意顺序随机增删的多数据 流场景下的s k y l i n e 计算问题，然后提出了两个解决算法：基本算法b c s c 和基于 网格索引数据结构的算法a c 贮。前者是在已有算法基础上的适应性改造，而后 者采用了新颖的数据结构以及高效的初始化和动态维护方法，在保证结果正确性 的前提下仅需对部分数据进行处理，因此具有更高的效率。根据数据分布和维度 第i 页 国防科学技术大学研究生院博士学位论文 的不同，g i c s c 每秒能够处理1 0 3 1 0 5 个数据。由于没有对数据流特性进行假设 限制，因此b c s c 和g i c s c 算法具有更广泛的适应性，能够满足网络安全监控中 随机增删的多流场景。 4 、对基于预测模型的通用降低通信开销方法进行了进一步研究。描述了该方 法的详细体系结构，改进了现有的预测模型并与之进行了比较。理论分析和真实 数据集上的实验证明了改进后的模型在预测准确率、降低通信开销等方面的优势。 5 、基于上述关键技术的研究探索，设计并实现了一个网络安全监控数据流处 理引擎s t a r a n a l y s i s + 的系统原型，并讨论了其在“北京奥运网安全态势分析与展示 系统”中的验证性应用等问题。 综上所述，本文的工作针对网络安全监控应用中亟待解决的数据处理问题， 就几个重要的基础操作进行了计算、存储、通信高效的关键算法突破研究，同时 提出了基于预测模型的通用降低通信开销框架，对于促进大规模网络安全监控数 据处理的理论研究和实用化具有一定的理论意义和应用价值。 主题词：网络安全监控，分布式数据流，低开销处理，极值查询，阈值监控，轮 廓查询，通信开销，预测模型 第i i 页 国防科学技术大学研究生院博士学位论文 a bs t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e r - r e l a t e dt e c h n o l o g ya n di n c r e a s i n g l y e x t e n s i v en e t w o r ka p p l i c a t i o n s ，t h ei n t e m e tp l a y sa ni n c r e a s i n g l yi m p o r t a n tr o l ei no u r l i v e s o nt h eo t h e rh a n d ，v a r i o u so fs e c u r i t ye v e n t sb e c o m et h eo b s t a c l eo fi n t e r n e t s d e v e l o p m e n t n e t w o r ks e c u r i t ym o n i t o r i n gi si m p o r t a n tb o t ho nn e t w o r km a i n t e n a n c e a n di n f r a s t r u c t u r e & i n f o r m a t i o ns y s t e ms e c u r i t y o n e & t h em o s ti m p o r t a n tc h a l l e n g e s f a c e di nn e t w o r km o n i t o r i n ga n dd a t ap r o c e s s i n ga r e a si sh o wt ot r a n s m i ta n dp r o c e s s t h ed i s t r i b u t e dm a s s i v em o n i t o r i n gd a t ai na ne f f i c i e n tm a n n e r , t h u st op r o v i d es u p p o r t f o rv a r i o u sf o l l o w - u pa p p l i c a t i o n s b a s e do nt h eb a c k g r o u n do fn e t w o r ks e c u r i t ym o n i t o r i n gt h i sp a p e rf o c u s e so nt h e a b o r ec h a l l e n g e ，a n dr e s e a r c h e st h ec o s t - e f f i c i e n ts o l u t i o n sf o rs e v e r a lb a s i cp r o b l e m s o nd i s t r i b u t e dn e t w o r km o n i t o r i n g t h em a i nc o n t r i b u t i o n sa r ec o n c l u d e da sf o l l o w s ： w ef i r s t s l ya d d r e s st h ep r o b l e mo fc o n t i n u o u se x t r e m eq u e r i e s ( m a xo rm i n ) o v e rd i s t r i b u t e ds l i d i n gw i n d o ws t r e a m s ，a n dd e v e l o p ea ne f f e c t i v ep r u n i n gt e c h n i q u et o m i n i m i z et h en u m b e ro fe l e m e n t st ob ek e p t ac o m m u n i c a t i o n e 衢c i e n tm e t h o dc a l l e d d 刚i sd e s i g n e d ，w h e r er e m o t en o d e sd e l a yt h ed a t at r a n s m i s s i o na s1 a t ea sp o s s i b l e ， a n da d o p tt h ep r u n i n gs t r a t e g yt of i l t e rl o c a ls t r e a mt u p l e s ，w h i c hi sq u i t ee f f i c i e n ti n c o m m u n i c a t i o nr e d u c t i o n f u r t h e rm o r e ，a ne f f i c i e n ta l g o r i t h mc a l l e dm c e q pi sa l s o p r o p o s e di nt h ec o o r d i n a t o r , w h e r em u l t i p l eq u e r i e sa r ep r o c e s s e di nac o r r e l a t i v e m a n n e ra n ds o m ec o m p u t a t i o na n ds t o r a g er e s o u r c e sa r es h a r e db yt h e m ，w h i c hi sm o r e e f f i c i e n tt h a n p r o c e s s i n gt h e ms e p a r a t e l y t h e o r e t i c a la n a l y s i sa n de x p e r i m e n t a l e v i d e n c e ss h o wt h a ta b o u t9 9 d a t ac a nb ed i s c a r d e db yt h ep r u n i n gt e c h n i q u e ，a n d o n l yo ( t o g = f v ) k e yp o i n t sn e e dt ob es t o r e df o re x a c ta n s w e ro fe x t r e m eq u e r yi ft h ed a t a i si n d e p e n d e n t c o m p a r i n gw i t ht h em e t h o dt r a n s m i t t i n ge a c hd a t at ot h ec o o r d i n a t o r , o n l y10 c o m m u n i c a t i o nc o s ti sn e e d e db yd 劢t h e m c e q pm e t h o di sa l s op r o v e dt o b em o r ee f f i c i e n tt h a no t h e re x i s t i n go n e s s e c o n d l y ，am e t h o dc a l l e dc e m i sp r o p o s e dt or e d u c et h ec o m m u n i c a t i o nc o s tf o r c o n t i n u o u st h r e s h o l dm o n i t o r i n gw h i c hu t i l i z e st h er e l a t i o n s h i pa m o n go b j e c t sa n d p r o c e s s e st h e ma saw h o l e ，t h e r e f o r ea c h i e v e sb e t t e rp e r f o r m a n c et h a nt h o s ew h o h o l d i n ge a c ho b j e c ts e p a r a t e l y i ns p e c i f i c ，t h eo b j e c tw i t hl a r g e s tv a l u ei sc h o s e na st h e r e p r e s e n t a t i v e ，a n da d j u s t m e n tf a c t o r sa r eu s e dt og u a r a n t e et h a tl o c a lv a l u eo f r e p r e s e n t a t i v eo b j e c ti sa l s ot h el a r g e s to n ei ne a c hr e m o t en o d e o n l yt h er e p r e s e n t a t i v e o b je c tn e e d st ob em o n i t o r e dc o n t i n u o u s l ya sl o n ga sa l lt i l ei o c a lc o n s t r a i n sa r ev a l i d e x p e r i m e n t a le v a l u a t i o ns h o w st h a ta b o u t7 0 c o m m u n i c a t i o no v e r h e a dc a nb es a v e d b y c e m t h i r d l y ，w en o t i c e t h a tt h e s k y l i n ec o m p u t a t i o n i nn e t w o r k m o n i t o r i n g e n v i r o n m e n ti s q u i t ed i f f e r e n tf r o mt h ee x i s t i n go n e s t h ep r o b l e mo fc o n t i n u o u s 第i i i 页 国防科学技术大学研究生院博士学位论文 s k y l i n ec o m p u t a t i o no ns t r e a m sw i t hr a n d o ma d d i t i o n sa n dd e l e t i o n si sr a i s e d , a n dt w o s o l u t i o n sc a l l e db c s ca n dg l c s ca r ep r e s e n t e d b c s cj sat w e a km e t h o dw h i c ha d a p t s t h ee x i s t i n ga l g o r i t h m st ot h es p e c i f i cs c e n e ，w h i l eg i c s ca d o p t san o v e l 西d - i n d e x e d d a t as t r u c t u r ea n ds m a r ti n i t i a l i z a t i o na n dm a i n t e n a n c em e t h o d sw i t h o u th a v i n gt o p r o c e s sa 1 1t h ed a t ap o i n t s t h e r e f o r ea c h i e v e sl o wr u n n i n gt i m ea n da b o u t10 。t o10 d a t at u p l e sc a nb ep r o c e s s e dp e rs e c o n d s i n c et h e r e sn oa s s u m p t i o n1 i m i t a t i o no f s t r e a mc h a r a c t e r s t h eb c s ca n dg i c s ca l g o r i t h m sa r em o r ea d a p t i v e f o u r t h l y ag e n e r i cm e t h o db a s e d o n p r e d i c t i o n m o d e l si sr e s e a r c h e df o r c o m m u n i c a t i o nr e d u c t i o n ad e t a i l e df r a m e w o r ki s p r e s e n t e d t h r e ep a r t i c u l a r p r e d i c t i o n m o d e l sa r ei m p r o v e da n dc o m p a r e dw i t he x i s t i n go n e s a n a l y t i c a la n d e x p e r i m e n t a l e v i d e n c e ss h o wt h a tt h ep r o p o s e d a p p r o a c hp e r f o r m sb e t t e ro nb o t h o v e r a l lc o m m u n i c a t i o nc o s tr e d u c t i o na n dp r e d i c t i o nq u e r yp r o c e s s i n g f i n a l l y ，b a s e do nt h ea b o v ew o r k s ，ad a t as t r e a mp r o c e s s i n ge n g i n ep r o t o t y p e s y s t e mn a m e ds t a r a n a l y s i s + i sd e s i g n e da n di m p l e m e n t e d t h ep r o j e c ti ss u p p o r t e db y t h en a t i o n a lh i g h t e c hr e s e a r c ha n dd e v e l o p m e n tp l a no fc h i n a ( ”8 6 3 ”p l a n ) ，a n di s u s e di nt h e ”b e r i n go l y m p i cn e t w o r ks e c u r i t ya n a l y s i sa n dd i s p l a ys y s t e m ”f o r v a l i d a t i o n i ns u m m a r y ，t h i sp a p e ra d d r e s s e st h ep r o b l e mo fc o s t - e f f i c i e n tp r o c e s s i n gf o r n e t w o r ks e c u r i t ym o n i t o r i n ga p p l i c a t i o n s ，a n dp r o p o s e ss e v e r a ls p e c i f i cs o l u t i o n sf o r t h r e eb a s i cq u e r i e sa n dag e n e r i cf r a m e w o r kf o rc o m m u n i c a t i o nr e d u c t i o n t h i si sa p r o m o t i o no fl a r g e - s c a l en e t w o r km o n i t o r i n gd a t ap r o c e s s i n go nb o t ht h e o r e t i c a ls t u d y a n dp r a c t i c a la p p l i c a t i o n s k e yw o r d s ：n e t w o r ks e c u r i t ym o n i t o r i n g ，d i s t r i b u t e d d a t as t r e a m ，c o s t e f f i c i e n t p r o c e s s i n g ，e x t r e m eq u e r y ，t h r e s h o l dm o n i t o r i n g ，s k y l i n eq u e r y ， c o m m u n i c a t i o nc o s t ，p r e d i c t i o nm o d e l 第i v 页 国防科学技术大学研究生院博士学位论文 表目录 表1 1d s m s 与d b m s 的主要区别一7 表2 1i n d e p 分布数据规模与平均关键点集大小关系3 2 表2 2 计算资源受限情况下的降低通信开销效果3 3 表2 3b i n t 、l i n t 与m c e q p 算法性能比较3 4 表3 1 符号列表4 1 表4 1 实验数据集s k y l i n e 集合平均大小6 7 表4 2 数据分布对g i c s c 算法参数的影响( 存2 ，n = 1 0 ，o o o ) 6 9 表5 1 符号列表7 4 表5 2 已有预测模型列表7 5 表5 3 改进前后的模型参数比较8 1 表5 4 实验采用的数据集8 2 第1 v 页 国防科学技术大学研究生院博士学位论文 图目录 图1 1 网络监控系统结构示意图3 图1 2 滑动窗口数据流模型7 图1 3 数据流处理抽象模型8 图1 4 过滤器方法1 1 图1 5 预测模型方法1 1 图1 6i n - n e t w o r k 计算抽象模型1 2 图1 7 分布式数据流系统典型结构1 4 图1 8s k y l i n e 查询示意图1 6 图1 9 文章结构示意图1 7 图2 1 滑动窗口数据流特性2 1 图2 2 滑动窗口上的关键点集2 1 图2 3 分布式数据流极值查询处理框架2 2 图2 4 过滤算法伪代码描述2 3 图2 5 多极值查询处理算法结构2 7 图2 6m c e q p 算法伪代码描述2 9 图2 7 实验采用的模拟数据31 图2 8 降低数据规模效果3 2 图2 9 降低通信开销效果3 3 图2 1 0 存储资源受限情况下的降低通信开销效果3 4 图2 1 1 算法性能随窗口宽度变化情况3 5 图2 1 2 算法性能随查询个数变化情况3 5 图3 1 分布式阈值监控问题描述3 7 图3 2 算法思想示例4 0 图3 3c e m 算法描述4 1 图3 4r e s o l u t i o n 算法描述4 2 图3 5r e a l l o c a t i o n 算法描述4 3 图3 6 分配因子及其分配策略对c e m 的影响_ 4 7 图3 7 通信开销随被监控对象数目变化情况4 7 图3 8 误差参数对降低通信开销效果的影响4 8 图3 9 通信开销随闽值参数的变化情况4 8 图3 1 0u t a 与c e m 方法存储开销比较4 9 图4 1b c s c 算法关键模块伪代码描述5 6 第v 页 国防科学技术大学研究生院博士学位论文 图4 2 影响区域示意5 6 图4 3 网格索引数据结构5 7 图4 4 用网格近似表示的影响区域5 8 图4 5g i c s c 算法初始计算模块伪代码描述5 9 图4 6g i c s cc m 运算过程示意6 0 图4 7g i c s c 算法维护模块伪代码描述6 3 图4 8g i c s ca p 运算过程示意6 3 图4 9 实验所用三种数据分布示意6 6 图4 1 0b b s 算法性能6 7 图4 1 1lb c s c 算法性能6 8 图4 1 2lg i c s c 算法性能与每维网格数关系( d = - 2 ，n = 1 0 ，o o o ) 6 8 图4 1 3lg i c s c 算法性能p 分别取最优值) 6 9 图4 1 4 存储开销比较( i n d e p 数据，d = 3 ，3 = 1 3 0 ) 一7 0 图4 1 5 滑动窗口数据流上的性能比较7 0 图5 1 系统体系结构7 6 图5 2 改进的线性模型l m 描述8 0 图5 3 改进的加速模型a m 描述8 1 图5 4 系统误差允许上限与预测准确率关系8 3 图5 5 模型预测准确率8 3 图5 6 模型降低通信开销效果8 4 图6 1s t a r a n a l y s i s + 总体结构8 5 图6 2 高低位协同的数据管理框架8 7 图6 3 执行引擎工作过程示意8 8 图6 4 普通算子与超算子的差异9 0 图6 5 极值处理算子设计实现9 0 图6 6 阈值处理算子设计实现9 1 图6 7s k y l i n e 处理算子设计实现9 l 图6 8s t a r a n a l y s i s + 在工程中的应用9 2 图6 9 在线统计展示模块界面示意9 3 图6 1 0 分析报警模块界面示意9 4 第v i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文作者签名：日期：；新年妒月p 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文作者签名 作者指导教师签名 日期：矿衫年嘭月矿日 日期：f 秒d 曾年弘月8 日 国防科学技术大学研究生院博士学位论文 第一章绪论 随着计算机技术的迅猛发展和网络应用的日益广泛，互联网在人们的生产生 活中扮演着越来越重要的角色。与此同时，黑客攻击、病毒木马、僵尸网络等各 种网络安全事件也越来越多，严重威胁互联网的应用和发展。对网络进行以安全 为目的的监控，具有重要的现实意义。 网络安全监控产生了海量、持续、快速的数据。这些数据的高效传输和处理 与有限的计算、存储、网络带宽等资源之间的矛盾日渐突出；另一方面，持续监 控、连续获得最新结果等应用需求，也对传统的数据处理方法提出了新的挑战。 数据流处理技术是当前的研究热点，而网络安全监控是典型的数据流应用场 景。本文正是围绕网络安全监控数据流的高效处理这一具有深刻技术背景和广泛 应用前景的热点问题展开研究。 1 1 1 严峻的网络安全形势 1 1 研究背景 随着互联网的迅猛发展，网络应用日益广泛与深入，网络成为影响各国政治、 经济、军事、生活的一个重要因素。联合国发起的互联网管理论坛( t h ei n t e m e t g o v e r n a n c ef o r u m ) 第二次会议在2 0 0 7 年1 1 月1 2 日公布的统计数据显示i l j ，最 近l o 年来全球上网人数显著增加，网民总数已从1 9 9 7 年底的7 0 0 0 万人增加到2 0 0 7 年的1 2 亿人。在国内，i n t e r n e t 应用也正在掀起新的高潮。中国互联网络信息中心 ( c n n i c ) 在2 0 0 8 年1 月发布的第2 1 次中国互联网络发展状况统计报告中 指出【2 】，截至2 0 0 7 年1 2 月，中国己达到1 6 的互联网普及率，网民数已增至2 1 亿人，跃居世界第二。可见，互联网上的信息资源日趋丰富，网络教育、网上银 行、即时消息、在线交易、网络广告、网络新闻、网上视频、电子邮件、网络资 讯服务和网络游戏等服务业务快速发展，互联网己经成为影响最广、增长最快和 市场潜力最大的产业之一，并且正以超出人们想象的深度和广度迅速发展。 在互联网迅速普及并对人们生产生活产生越来越大影响的同时，各种黑客入 侵、网络攻击、恶意代码、病毒木马、僵尸网络等网络安全事件也呈指数级增长， 造成的危害和损失也越来越严重。2 0 0 1 年爆发的红色代码蠕虫病毒，在其传播的 最初9 小时内就感染了超过2 5 万个计算机系统，造成的损失以每天2 亿美元的速 度增长，最终高达2 6 亿美元【引。在国内，根据c n c e r t c c ( ( 2 0 0 7 年上半年网络 安全工作报告【4 1 ，2 0 0 7 年1 月至6 月间，我国大陆地区被植入木马的主机p 远 远超过2 0 0 6 年全年，增幅达2 1 倍；被篡改网站数量比2 0 0 6 年同期增加了4 倍； 第1 页 国防科学技术大学研究生院博士学位论文 监测到感染僵尸测络的主机总数达5 2 0 多万。国家计算机病毒应急处理中心和计 算机病毒防治产品检验中心联合发布的( 2 0 0 7 年中国计算机病毒疫情调查技术分 析报告【5 】指出，自2 0 0 6 年1 1 月至今，我国连续出现“熊猫烧香”、“仇英”、“艾 妮”等盗取网上用户密码帐号的病毒和木马。病毒制造者、传播者追求经济利益的 目的越来越强，利用病毒木马技术进行网络盗窃、诈骗活动，通过网络贩卖病毒、 木马，传授病毒编制技术和网络攻击技术等形式的网络犯罪活动明显增多，严重 威胁我国互联网的应用和发展，制约了网络银行等的普及应用，网上治安形势非 常严峻。 1 1 2 网络安全监控 在这样的背景下，网络安全监控、网络安全预警及应急处理等得到了世界各 国的普遍重视。从公开文献来看，美国、日本和中国等国家已建立了国家级网络 安全事件监控系统。其中，美国从2 0 0 1 年开始计划研制全球预警信息系统 g e w i s ( g l o b a le a r l yw a r n i n gi n f o r m a t i o ns y s t e m ) ，对互联网的各种运行状态进行 监控，并对一些可能发生的威胁，如对域名服务器( d n s ) 发起的d d o s 攻击、 蠕虫或病毒的大规模爆发等迹象进行发现并提前预警【6 j 。日本约从2 0 0 3 年开始部 署了互联网扫描数据获取系统i s d a s ( i n t e r n e ts c a n d a t aa c q u i s i t i o ns y s t e m ) t 7 】，通 过分布在各地的传感器，获取各种如系统脆弱性、蠕虫感染、扫描行为等信息。 对这些数据进行分析后，定期在官方网站上将各种安全态势进行发布、预警等。 我国从2 0 0 2 年1 0 月开始研发部署了“8 6 3 9 1 7 网络安全监测平台【6 1 。该平台目 前仍处于不断建设过程中，已成为国家网络安全应急处理体系的核心技术系统， 为国家网络安全应急处理提供决策依据【8 1 。 简单地讲，网络监控( n e t w o r km o n i t o r i n g ) 就是通过分析从网络上获取的通 讯、安全事件等信息，实现对网络运行状态的监视，帮助网络管理人员了解目标 网络的运行状况，发现目标网络存在的安全问题，达到对网络进行有效管理和控 制的目的，保证网络( 系统) 资源使用过程中的机密性、完整性和可用性【9 1 。 图1 1 给出了一个基本的网络监控系统结构示意副1 u j 。网络上分布的各种 n e t f l o w 采集器、i d s 入侵检测系统、v d s 病毒检测系统、漏洞扫描器、f i r e w a l l 防火墙、分布式探针系统等数据采集设备( 系统) 捕获原始的监控数据，并进行 一定的处理，如基于规则的监控数据过滤和监控数据格式标准化等，然后将监控 数据传输给数据分析模块。数据分析模块分为两部分：在线实时处理和离线深度 分析。对实时性要求较高的用户查询处理请求，由在线实时处理模块根据最新数 据的情况进行分析，并实时输出结果，可以在线回答一些用户最关心的问题，如： ( 1 ) 当前感染蠕虫最严重的区域是哪个? ( 2 ) 哪些重点服务器的访问请求数超 第2 页 国防科学技术大学研究生院博士学位论文 过了闽值? ( 3 ) 哪些机器的漏j 吲多且频繁遭受攻击? 等等。一些重要的监控数据 还需要进行归档存储，以进行进一步的离线处理，如安全事件关联分析、挖掘发 现新的攻击等。数据分析模块的输出，包括动态的实时分析结果和离线挖掘结果， 根据需要传递给各个后续应用模块( 如风险评估、控制防御等) ，为之提供支持 和辅助决策，进而实现网络监控应用系统的各种不同功能。 应用功能 圈 i 态势l l 风险l l 感知i i 评仙i 网络传输卜、l 处理i分析结采 网网 数据采集 yy 1 分析l i 防御l 网 l _ - - - - - - - - - - - 一i - - - - - - - - - - - 一 划 图1 1 网络监控系统结构不惫图 数据分析是网络安全监控系统的关键功能模块之一。通过对数据进行多粒度、 多角度的分析，可以发现网络安全事件，进而为后续的各种网络监控应用提供支 持。下面通过对几个典型案例的简单分析，举例说明通过数据处理解决网络安全 监控问题的应用。 1 、拒绝服务攻击监测 拒绝服务( d e n i a lo fs e r v i c e ，d o s ) 攻击通过向攻击目标发送大量的攻击数据 包来消耗目标主机或网络的资源，达到剥夺计算机和网络提供正常服务能力的目 标，是目前较常见的一类网络攻击行为。如在邮件炸弹( e m a i lb o m b i n g ) 攻击中， 攻击者发送大量的e m a i l 到受害站点的一个或多个帐号，试图消耗系统和网络的资 源；t c ps y nf l o o d 攻击者通过发送大量包含不同源地址的s y n 包，使得接收者 耗尽所有的链路资源，不能为合法用户提供服务，等等。 可以通过对主机网络的流量和连接特征进行分析，达到检测d o s 攻击的目的。 例如按照保护对象的口地址，监测单位时间内进入网络的s m t p 流量总和或链接 总数，并与历史记录、系统设计规模或预设阈值等进行比较判断，就可以检测上 述邮件炸弹和t c ps y nf l o o d 攻击是否发生。涉及到的数据处理操作包括s u m 、 c o u n t 以及阈值( t h r e s h o l d ) 判断等。 2 、蠕虫 网络蠕虫( w o r m ) 是一种具有巨大破坏力的恶意代码，由于它具有主动搜索 扫描、自我复制等特性，无需用户干预便能够独立地进行主动攻击，因此具有更 强的隐蔽性和破坏性。目前出现的如红色代码【1 1 1 、s l a m m e d l 2 】等蠕虫都可以在很短 的时间内主动攻击网络上具有相应漏洞的大量主机，给人们带来了巨大的损失。 第3 页 国防科学技术大学研究生院博士学位论文 对于已知的蠕虫，可以根据其特定的传播力式和有效载荷( p a y l o a d ) 进行识 别，如：s l a m m e r w o r m 使用3 7 6 字节的u d p 包，发送到1 4 3 4 端口 1 2 】；对于未知 的蠕虫，可以通过监控其自我复制和传播过程中，在网络包中出现超过期望值的 相似字符串来进行发现。因此，对于已知蠕虫的监测、规模判断以及未知蠕虫的 识别，可以结合监控数据上的s u m 、c o u n t 、t h r e s h o l d 、频繁项( f r e q u e n ti t e m s ) 等查询处理来完成。 3 、垃圾邮件 垃圾邮件一般是指未经请求而发来的电子邮件，通常包含一些商业广告以及 其它不良信息。垃圾邮件制造者用一个或多个邮件地址，在短时间内向外发送大 量( 内容相同的) 邮件，因此会占用带宽、存储和运算资源，影响网络的正常运 行；对于用户来说，处理垃圾邮件不但造成时间和费用的浪费，而且有可能收到 对系统安全构成威胁的病毒邮件。 可以按照源口地址监测发出的s m t p 流量来发现垃圾邮件制造者；另外，相 同内容的垃圾邮件在短时间内频繁发送，因此可以通过频繁项监测来识别。涉及 到的数据处理包括s u m 、c o u n t 、t h r e s h o l d 以及f r e q u e n ti t e m s 等。 4 、重点对象识别 网络监控中另外一类重要的应用就是重点对象识别，如识别并限制大量占用 网络资源的用户，从而为其它大多数用户提供更高质量的服务；再如查询蠕虫感 染最严重的局域网络；系统漏洞多，且遭受攻击频繁的网络节点，等等。 重点对象识别本质上是在某些统计值的基础上，依据单维或多维评价函数进 行最优化选择的问题，典型的处理方法包括极值( m a x m i n ) 查询、t o p - k 查训1 3 】 以及多标准最优化选择的轮廓( s k y l i n e ) 查涮1 4 j 处理等。 1 1 3 网络监控数据处理面临的问题 在国家骨干网或大规模特定域网络上进行以网络安全为目的的监控，具有很 多特殊的性质，这些特性使得网络监控数据处理面临着新的挑战。 1 、网络安全监控应用的特点 网络安全监控及其数据处理具有如下特性： ( 1 ) 数据规模大，产生速度快。在网络规模不断扩大、网民数量逐渐增多的 背景下，国家骨干网和特定域大规模网络监控中产生的数据，越来越呈现海量性 的特点。例如电信等服务提供商，管理着主干网络，通过高速交换机连接，其数 据流速可达4 0 g b i t s i l 引。在这样高速的网络中进行监控，监控数据本身产生速度非 常快，规模也会非常大。 ( 2 ) 数据产生和监控任务的连续性。网络监控需要不间断持续进行，因此监 第4 页 国防科学技术大学研究生院博士学位论文 控数据的产生也是连续的、无限的；监控查询的目的是根据最新监控数据及时跟 踪最新结果，所以查询不是一次性的而需要持续一段时间，查询结果本身会随着 最新监控数据的到来而不断发生变化。 ( 3 ) 对结果的实时性要求高。随着计算机相关技术的发展，黑客攻击方法和 病毒技术也不断