已阅读5页,还剩55页未读, 继续免费阅读
(计算机应用技术专业论文)基于netflow的网络安全态势传感器设计与实现.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
哈尔滨工程大学硕士学位论文 摘要 网络自身安全机制的脆弱性、现有网络安全产品的局限性、以及各种网 络恶意活动的日益猖獗导致了网络安全形势不容乐观。网络安全态势感知系 统( n e t w o r ks e c u r i t ys i t u a t i o n a la w a r e n e s ss y s t e m ,n s s a s ) 作为一个崭新的网 络安全保障系统,旨在对大规模网络态势进行实时监控,并对潜在的、恶意 的网络行为变得无法控制之前进行识别,给出相应的应对策略,最终有效地 噪障网络安全运行。本文设计实现的基于n e t f l o w 的网络安全态势传感器作为 网络安全态势感知系统重要的信息获取部件之一,负责获取态势感知系统准 确判断当前网络状况及预测未来趋势所需的必要信息,具有视角宽广、信息 量大、实时性强等优点。 本文首先阐述了n e t f l o w ( 网络流) 技术原理及应用情况,在此基础上讨 论了n e t f l o w 数据所包含的网络态势信息以及将其作为态势感知系统数据源 的优缺点。 其次,研究了n e t f l o w 流量信息的特性,并提出了相应的获取方法:研究 了扫描、蠕虫、木马、d o s d d o s 攻击等网络异常事件所引起的n e t f l o w 数据 变化规律,提出了基线检测层与特征检测层相结合的层次化检测模型。 再次,对基于n e t f l o w 的网络安全态势传感器进行了设计与实现,包括模 块划分、模块接口设计、传感器工作流程设计,以及各个模块的编码实现等 工作。 最后,对基于n e t f l o w 的网络安全态势传感器进行了实验验证,包括实地 网络验证及d a r p a 数据重放验证。实验表明基于n e t f l o w 的网络安全态势传 感器能够高效准确地检测具有较显著流量模式或连接模式的网络安全事件, 比如扫描行为、蠕虫爆发、d o s d d o s 攻击等。 关键词:n e t f l o w :网络安全态势感知;传感器;异常检测 哈尔滨工程大学硕士学位论文 a b s t r a c t d u et ot h ev u l n e r a b i l i t yo fn e t w o r ks e c u r i t ym e c h a n i s m ,t h el i m i t a t i o no f n e t w o r ks e c u r i t yp r o d u c t sa n dt h ei n c r e a s i n gr a m p a n c yo fm a l i c i o u sa c t i v i t i e s , n e t w o r ks e c u r i t ys i t u a t i o ni sn o ts oo p t i m i s t i c a so n eo ft h eb r a n d n e wn e t w o r k s e c u r i t yg u a r a n t e es y s t e m s ,n e t w o r ks e c u r i t ys i t u a t i o n a la w a r e n e s ss y s t e m 烈s s a s ) i sa i m e dt og u a r a n t e en e t w o r ks e c u r i t yt h r o u g hm o n i t o r i n gn e t w o r ki n r e a lt i m e ,r e c o g n i z i n ga n dd e f e n d i n ga g a i n s tm a l i c i o u sb e h a v i o rb e f o r ei tg e t so u t o fc o n t r 0 1 n e t f l o w b a s e dn e t w o r ks e c u r i t ys i t u a t i o n a la w a r e n e s ss e n s o r , a sa l l i m p o r t a n ti n f o r m a t i o ng a t h e r i n ge q u i p m e n to fn e t w o r ks e c u r i t y s i t u a t i o n a l a w a r e n e s ss y s t e m ,i sr e s p o n s i b l ef o rg e t t i n gi n f o r m a t i o nw h i c hi se s s e n t i a lf o r t h es y s t e mt ou n d e r s t a n dp r e s e n tn e t w o r ks t a t u sa n dp r e d i c tt h et r e n dc o r r e c t l y i nt h i st h e s i s ,t h et e c h n i q u ep r i n c i p l ea n dt h ea p p l i c a t i o no ft h en e t f l o wi s f i r s t l yi l l u s t r a t e d ,a sw e l la sn e t w o r ks i t u a t i o ni n f o r m a t i o nn e t f l o wc o n t a i n s ,a n d t h ea d v a n t a g e sa n dd i s a d v a n t a g e si fi ti st a k e na st h ed a t as o u r c ei sd i s c u s s e d s e c o n d l y , c h a r a c t e r i s t i c s o ft h en e t f l o wi n f o r m a t i o na r es t u d i e da n d c o r r e s p o n d i n gc a p t u r i n gm e t h o di sp r o p o s e d t h e nt h ec h a n g el a wo ft h en e t f l o w d a t ac a u s e db yn e t w o r ka n o m a l i e sl i k e s c a n n i n g ,w o r m s ,t r o j a n h o r s e s , d o s d d o sa t t a c k si sa l s os t u d i e d ,a n dal a y e r e dd e t e c t i o nm o d e lt h a tc o m b i n e s b a s e l i n e - b a s e dd e t e c t i o nl a y e ra n ds i g n a t u r e b a s e dd e t e c t i o nl a y e ri sp r o p o s e d t h i r d l y , t h ed e s i g na n di m p l e m e n t a t i o no fn e t f l o w b a s e dn e t w o r ks e c u r i t y s i t u a t i o n a la w a r e n e s ss e n s o ri sc a r r i e do u t ,i n c l u d i n gm o d u l ed i v i s i o n ,i n t e r f a c e d e s i g n i n g ,w o r k f l o wd e s i g n i n ga n dm o d u l ei m p l e m e n t a t i o n f i n a l l y , t h ee x p e r i m e n t a lv e r i f i c a t i o no fn e f f l o w - b a s e dn e t w o r ks e c u r i t y s i t u a t i o na w a r e n e s ss e n s o ri sc a r r i e do u t ,i n c l u d i n go n - s i t ev e r i f i c a t i o na n d d a r p ad a t ar e p l a yv e r i f i c a t i o n t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h es e n s o r c a l le f f i c i e n t l ya n da c c u r a t e l yd e t e c tm a l i c i o u sa c t i v i t i e sw i t hn o t a b l et r a f f i c p a t t e r n so rc o n n e c t i o np a t t e r n s ,s u c ha ss c a n n i n g ,t h ew o r mo u t b r e a k ,d o s d d o sa t t a c k sa n ds oo n 哈尔滨工程大学硕士学位论文 k e y w o r d s :n e t f l o w ;n e t w o r ks e c u r i t ys i t u a t i o n a la w a r e n e s s ;s e n s o r ;a n o m a l y d e t e c t i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明:本论文的所有工作,是在导师的指导 下,由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出,并与参考文献相对应。除文中已 注明引用的内容外,本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体,均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) : 日期:口多年孑月弓目 哈尔滨工程大学硕士学位论文 1 1 引言 第1 章绪论 网络作为信息的重要载体和交换渠道在人们日常生活和社会发展中占有 举足轻重的地位。网络给人们带来巨大价值与便利的同时也带来了损失,经 常有网络遭受病毒、蠕虫、木马、黑客攻击等恶意活动的侵袭而陷入瘫痪, 机密信息遭到破坏或窃取,给政府、企业和个人带来了巨大的损失。 根据c e r t 统计,2 0 0 6 年全球共收到漏洞报告8 0 6 4 个,e l 2 0 0 5 年同期相比 增长了3 4 6 。2 0 0 5 年,新增病毒( 含蠕虫、木马和间谍软件) 数量大约有 7 2 0 0 0 种,比2 0 0 4 年增长1 2 0 左右。利用m s n 或q q 等即时通讯软件传播的 病毒数量明显增多,使用驱动技术感染操作系统内核的r o o t k i t 也呈明显发展 的趋势,它们比普通病毒更隐蔽。通常以获取信息为目的,不明显影响系统 运行,用户难以发现。我国网络安全形势也同样不容乐观,c n c e r t c c 在2 0 0 6 年接收和自主发现的网络安全事件与去年同期相比有了大幅度的增加【1 1 ,其 中涉及国内政府机构和重要信息系统部门的网页篡改类事件、涉及国内外商 业机构的网络仿冒类事件和针对互联网企业的拒绝服务攻击类事件的影响最 为严重,僵尸网络和木马的威胁依然非常严重,攻击者谋求非法利益的目的 更加明确,行为更加嚣张,黑客地下产业链基本形成:在木马方面, c n c e r t c c 抽样监测发现我国大陆地区约4 5 万个i p 地址的主机被植入木 马,与去年同期相比增长一倍,同时还发现境外约2 7 万个木马攻击源,主要 位于美国、韩国和中国台湾;在僵尸网络方面。c n c e r t c c 抽样监测发现我 国大陆地区约有1 千多万个i p 地址的主机被植入僵尸程序,境外约1 6 万个i p 对我国境内的僵尸主机实施控制,主要仍位于美国、韩国和中国台湾;在网 站页面被篡改方面,c n c e r t c c 监测到中国大陆被篡改网站总数达至1 j 2 4 4 7 7 个,与去年同期相比增长接近一倍【1 1 。 网络经常遭受侵袭说明网络自身的安全机制比较脆弱,也说明现有的安 全产品还不能有效地保障网络安全有效地运行。究其原因,由于传统安全产 哈尔滨工程大学硕士学位论文 品大多都只是采集种类单一的数据进行分析,并且一般都局限于小规模网络 中,很难全面准确地反映大规模网络当前的安全状态和未来趋势,并做出准 确及时的保障措施。因此,网络安全态势感知系统f 2 1 ( n e t w o r ks i t u a t i o n a l a w a r e n e s ss y s t e m ,缩写n s a s ) 的研究就变得极为迫切,该系统旨在对大规 模网络态势进行实时监控,并对潜在的、恶意的网络行为变得无法控制之前 进行识别,给出相应的应对策略,最终有效地保障网络安全运行。 网络安全态势感知系统为了准确判断当前网络状况以及预测未来趋势, 需要全方位地获取网络中各种与网络态势有关的信息,研发和部署符合信息 提交规范的态势传感器是网络安全态势感知系统获取态势信息的有效途径。 因不同类型的态势信息蕴含于不同种类的原始数据中,需研发相应的传感器 进行提取。n e t f l o w _ 【3 】技术由c i s e o 公司提出,在大多数c i s c o 路由器中采用,并 得到了国外主流网络交换设备厂商( 女l u t m i p e r 、f o u n d r y 、e x t r e m e 等) 的支 持,国内华为公司推出的n e t s t r e a m 技术也与n e t f l o w 技术类似。n e t f l o w v 9 还 被i e t f 组织确定为i p f i x ( r pf l o wi n f o r m a t i o ne x p o r t ) 标准,有望成为业界 统一的流交换技术。由于n e t f l o w 数据直接来自骨干网的路由器和三层交换 机,因此可以提供全局网络流量信息和连接信息。另外,n e t f l o w 信息粒度适 中,介于s 姗和数据包之间【4 】,基于n e t f l o w 的网络安全态势传感器不需要 对数据包内容进行分析,大大减轻了传感器运算处理的负担,所以非常适合 用来在全局上实时监测大规模高速网络。而传统的入侵检测系统如s n o r t 需要 对数据包内容进行分析i s ,适用于小规模网络中。总而言之,基于n e f f l o w 的 网络安全态势传感器能够实时或近实时地提供多层次、多角度、多粒度的流 量信息,全方位的网络连接信息,以及对上述信息进行分析得出的网络事件 信息等网络全态势感知系统所需要的信息,适合用作大规模网络安全态势感 知系统的信息获取部件。 1 2n e t flo w 技术国内外研究现状 n e f f l o w 技术由c i s e o 于1 9 9 6 年提出,是第一个关于网络流的技术,一 经提出就被广泛用于网络管理、流量分析、网络安全以及网络规划等活动中。 在提出后的十年间,n e f f l o w 技术经历了巨大的发展,c i s c o 公司先后提出了 哈尔滨工程大学硕士学位论文 v 1 、v 5 、v 6 、v 7 、v 8 和v 9 等六个主要的实用版本,n e t f l o wv 9 还被i e t f 组 织确定为i p f i x ( i pf l o wi n f o r m a t i o ne x p o r t ) 标准,向全球推广。其他主流 网络交换设备厂商( 如j u n i p e r 、f o u n d r y 、e x t r e m e 等) 也都纷纷推出支持 n e t f l o w 的产品,国内华为公司推出的n e t s t r e a m 技术也与n e t f l o w 技术兼容。 目前n e t f l o w 已经在网络相关领域得到了广泛的应用,国内外厂商研发 了数种基于n e t f l o w 的软件产品,并在企业中得到应用,目前市场上流行的 商业化软件如表1 1 所示。 表1 1 商业化n e t f l o w 软件 产品名称主要用户运行平台 价格 主要功能 c i s c on e t f l o w 企业,网络服务 l i n u x , 中等流量分析 c o l l e c t o r 提供商 s o l a r i s c i s c oc s m a r s 中小企业 l i n u x 中等安全监控 a d v e n t n e t 中小企业 w i n d o w s低 流量分析 n e t f l o wa n a l y z e r a p o a p s i s 企业 l i n u x 中等流量分析 企业,网络服务流量分析 a r b o rn e t w o r k sb s d 高 提供商安全监视 c a l i g a r e 企业,网络服务 l i n u x 中等 流量分析 f l o wi n s p e c t o r 提供商安全监视 c r a r m o g 中小企业w i n d o w s低流量分析 n e t f l o wt r a c k e r 企业,网络服务 c as o f t w a r ew i n d o w s 高流量分析 提供商 除了商业化软件,还有很多科研机构和个人研发了或正在研发一系列基 于n e t f l o w 的软件供科研使用,如表1 2 所示。 国内目前也有很多学校和科研机构对n e t f l o w 技术的应用进行了研究。 中科院计算网络中心的秦刚对n e t f l o w 技术在网络计费方面的应用进行了研 究 1 2 1 i 北京邮电大学的顾勇分析了n e t f l o w 在网络性能度量和测试方面的应 用 1 3 l ;清华大学李星对网络n e t f l o w 数据的高速采集和归并进行了深入的研 究 1 4 1 ;中国科学院的杨嵘和张国清等人针对当前网络攻击的特点,实现了一 种通过n e t f l o w 流量分析发现网络攻击行为的方法l l s l 。在产品方面,港湾网 络和启明星辰结合各自技术优势,将防火墙与n e t f l o w 技术相结合,在天清 汉马防火墙和港湾安全管理平台中集成了n e t f l o w ,于2 0 0 5 年7 月,联合推 哈尔滨工程大学硕士学位论文 出了天清汉马n e t f l o w 系统【1 6 j 。 表1 2 供科研使用的n e t f l o w 软件 软件名称研发机构 运行平台免费开源主要功能 美国俄亥 收集并保存n e t f l o w 数 f l o w - t o o l s t 6 俄州立大 l i n u x 是是 据,提供手工分析命令 学 行接口 威斯康辛 对n e t f l o w 数据进行分 f l o w s c a n m 大学麦迪 l i n u x 是是 析,并用静态流量图可 逊校区视化显示流量信息 美国哥伦 替代f l o w s e a n 的分析 c u f l o w ml i n u x 是是模块,生成r r d 格式数据 比亚大学 库文件 收集n e t f l o w 数据,并 c f l o w d 【9 】 l i n u x 是是以纯二进制文件格式存 放 对n e t f l o w 分析,得出 美国国家 网内每个i p 的流量,用 n v i s i o n i p 1 0 1 超级计算w i n d o w s 是否一个二维视图显示,二 中心维视图中的每个点代表 一个i p 美国国家 v i s f l o w c o n n e c t t 】 超级计算w i n d o w s 是否 图形化显示主机间连接 情况 中心 国内外现有研究取得了一定成果,但是还并没有完全挖掘n e t f l o w 技术的 潜力。现有的软件只具备对n e t f l o w 历史数据进行分析的能力,并不具备实时 或近实时的分析能力;除了商业化产品外,其他软件只是显示n e t f l o w 数据或 简单的统计结果,并不具备分析能力,即便拥有一定的分析能力也往往需要 很多的人工干预。目前,基于n e t f l o w 的各种软件基本都是孤立的,并没有与 基于其它数据源的网络安全设备有机结合,也未留有可供集成的接口,势必 会由于数据源单一而陷入不能全面准确反映网络安全态势的尴尬境地。 1 3 本文背景、目的和意义 网络自身安全机制及现有网络安全产品缺陷的暴露、黑客攻击门槛的降 低以及地下产业链的形成、各国网络战军备竞赛的开展,导致网络安全面临 极其严峻的形势。为了能够使网络免于遭受灾难性损失,亟待一种新的技术 4 哈尔滨工程大学硕士学位论文 能够改善当前网络安全形势,保障网络安全高效地运行,网络安全态势感知 技术并应运而生了。 网络安全态势感知源于空中交通监管( a i rt r a f f i cc o n t r o l ,a t c ) 态势感 知,是一个比较新的概念,目前在这方面开展研究的个人和机构相对较少。 1 9 9 9 年t i mb a s s 在文献m 中首次提出了网络态势感矢n ( c y b e r s p a c es i t u a t i o n a l a w a r e n e s s ) 这个概念,并对网络态势感知与a t c 态势感知进行了类比,旨在 把a t c 态势感知的成熟理论和技术借鉴到网络态势感知中去。 目前,对网络态势感知还未有统一的定义。所谓网络态势是指由各种网 络设备运行状况、网络行为以及用户行为等因素所构成的整个网络当前状态 和变化趋势。值得注意的是,态势是一种状态,一种趋势,是一个整体和全 局的概念,任何单一的情况或状态都不能称之为态势。网络态势感知是指在 大规模网络环境中,对能够引起网络态势发生变化的安全要素进行获取、理 解、显示以及预测未来的发展趋势 2 1 。 鉴于网络安全态势感知技术研究的重要性和紧迫性,国家资助多家单位 合作开展网络安全态势感知系统的研究,该系统旨在对大规模网络态势进行 实时监控,并对潜在的、恶意的网络行为变得无法控制之前进行识别,给出 相应的应对策略,最终有效地保障网络安全运行。本文所研究的基于n e t f l o w 的网络安全态势传感器是网络安全态势感知系统信息获取部件之一,负责获 取态势感知系统准确判断当前网络状况及预测未来趋势所需的必要信息。作 为前端基础部件,n e t f l o w 的网络安全态势传感器对于整个网络安全态势感 知系统来说具有基础性支撑意义,其性能将直接影响整个网络安全态势感知 系统的完整性、准确性和有效性。因此作为网络安全态势感知系统一个重要 的部分,开展基于n e t f l o w 的网络安全态势传感器的研究具有重要意义。 1 4 论文的结构安排 论文的结构安排如下: 第1 章主要介绍该课题提出的背景和意义,并说明采用n e t f l o w 作为数 据源的原因。总结归纳了n e t f l o w 技术在网络安全领域的国内外研究以及应 用现状,并在此基础上提出本文的目的、背景和意义,即该课题所依托的项 哈尔滨工程大学硕士学位论文 目背景及主要的工作内容。最后是概述本论文的结构安排。 第2 章主要是对n e t f l o w 相关知识的介绍,为后面技术研究以及系统实 现的开展做铺垫。此外也简单介绍了n e t f l o w 在目前的应用情况,从应用情 况可以看出n e t f l o w 技术具有强大的功能。 第3 章就流量信息和安全事件信息的特点及获取方法展开了研究。对于 流量信息的获取主要提出了多层次、多角度以及多粒度的流量汇聚和统计方 法;对于安全事件信息的获取提出了层次化的安全事件检测模型,并论述了 双角度双层检测模型的建立方法。 第4 章首先针对目标需求,提出基于n e t f l o w 的网络安全态势传感器体 系结构,在此基础上设计与实现了各模块的功能。本文就各模块的核心程序 如数据接收线程、数据还原线程、统计线程以及分析检测线程等为例阐述了 传感器的详细设计和实现。 第5 章中搭建了一个实验环境,提出实验方案,并依据实验方案对实现 的功能进行测试,目的是要验证传感器的可靠性与有效性。通过对实验结果 的分析,可以得出传感器的功能能够达到预期的效果。 哈尔滨工程大学硕士学位论文 第2 章n e f f lo w 技术 2 1n e f fio w 技术的演进 n e t f l o w 技术由c i s c o 公司的d a r r e nk e r r 币l l b a r r yb r u i n s 于19 9 6 年发明,并 于同年注册为美国专利。他们将n e t f l o w 定义为【3 1 :一个特定来源和目的之间 的单向数据报文序列,也就是将源i p 、目地i p 、源p o r t 、目地p o r t 、传输协议、 t o s 以及输入输出接口索引7 个屙| 生值相同的报文序列视为一个网络流。 n e t f l o w 技术首先被用于网络设备加速对数据的交换,并可同步实现对高 速转发的i p 数据流进行测量和统计。经过多年的技术演进,n e t f l o w 原来用于 加速数据交换的功能已经逐步由网络设备中的专用a s i c 芯片实现,而对流经 网络设备的i p 数据流进行测量和统计的功z 月匕l - , 则更加成熟,并成为了当今互联 网领域公认的最主要的i p m p l s 流量分析、统计和计费行业标准【t 9 1 。目前 n e t f l o w 技术已经在大多数c i s c o 路由器中采用,并成为业界标准,得到了主 流厂商( 如i j u n i p e r 、f o u n d r y 、e x t r e m e 等) 的支持 2 0 1 ,国内华为推出的n e t s t r e a m t 2 1 1 技术也与n e t f l o w 技术兼容。 在n e t f l o w 技术的演进过程中,共出现了v l 、v 5 、v 6 、v 7 、v 8 和v 9 六 个版本,其中使用最为广泛的是v 5 。2 0 0 3 年,思科公司的n e t f l o wv 9 还被 i e t f 组织从5 个候选方案中确定为i p f i x ( i pf l o wi n f o r m a t i o ne x p o r t ) 标准。 除c i s c o 公司外,如e n t e r a s y s 和j u n i p e r 等通信设备产商,也在该标准形成 的过程中发挥着积极的作用,并表示可能采用i p f i x 。 2 2n e f fio w 基本原理 2 2 1n e f fio w 记录的形成 n e t f l o w 记录的形成和更新均发生在网络交换设备( 路由器、交换机) 的n e t f l o w 缓冲区中。对于缓冲区中的每一条数据流来讲,都有唯一的标识 符,当网络交换设备需要转发一个i p 数据包时,查看该数据包的七元组信息, 哈尔滨工程大学硕士学位论文 与缓冲区中流记录的相应属性进行比较,如果该数据包不属于已存在的流记 录,则建立新的n e t f l o w 记录并进行唯一标识,否则更新相应n e t f l o w 记录 的某些属性( 如流的数据包数) 。 对于每一条n e t f l o w 记录,都有其特定的生命期,n e t f l o w 技术白皮书 规定了n e t f l o w 停止”的条件: ( 1 ) 当t c p 连接结束,t c p 的标志为r s t 或者f i n ; ( 2 ) 一个流已经存在,而且1 5 秒内没有新的数据包产生: ( 3 ) 一个流开始3 0 分钟后,仍在持续。 以上三个条件中的任何一个得满足都意味着n e t f l o w 生命期的结束。可 以看出满足第三个条件的流实际上并没有真正的停止,只不过由于特定需求, 如让出缓冲区位置,保证流分析的实时性等,需要将其停止并发送给收集器。 2 2 2n e t f i o w 记录的输出 首先本文将能够生成和输出n e t f l o w 记录的网络设备或软件称为流设 备。n e t f l o w 记录的输出指n e t f l o w 记录从流设备输出到指定收集器。当流 设备缓冲区中流记录所代表的网络流“停止”了,或者流缓冲区满的时候,流 设备将流记录发送到指定收集器。通常将多条记录封装成一u d p 数据包后发 送到收集器。流设备发送n e t f l o w 记录所用的数据报格式如图2 1 所示: 图2 1n e t f l o w 数据包的格式 n e t f l o w 头部中存放的是版本号、流记录条数以及用于判断n e t f l o w 报 文是否有丢失的序列号;而流记录中存放的是详细的流记录内容,其格式视 不同的版本而定,典型的流记录内容包括:源目的i p 、源目的端口、服务 类型、输入输出接口、包数、字节数、起始时间、结束时间、路由信息等, 这些数据中包含了网络安全态势信息。 使用u d p 方式传输n e t f l o w 记录有利有弊,优点是可以减轻网络交换设 8 哈尔滨工程大学硕士学位论文 备的负担,因为维护t c p 连接需要耗费一定的系统资源。缺点是以u d p 的 方式发送数据,会有丢包现象,并且收集器无法通知网络交换设备重发丢弃 的包。在链路正常及收集器缓冲未满的情况下,一般不会发生丢包现象。但 是在链路出现故障或者收集器繁忙未来得及接收的情况下,丢包现象就很可 能会很严重。 2 2 3n e t flo w 数据格式 n e t f l o w 数据格式【1 5 1 包括报头格式和记录格式。到目前为止,c s i c o 公司发 布的n e t f l o w 版本有v 1 、v 5 、v 6 、v 7 、v 8 和v 9 六个版本,用的最广泛的是 v 5 。不同版本的n e t f l o w 具有不同的格式,其中v 9 与以往的版本有很大的区 别,v 9 采用了模板形式,并且提供对i p v 6 的支持,v 9 已提交i e t f 进行标准 化。下面就目前应用最广泛的v 5 以及未来可能成为主流的v 9 这两个版本的 数据格式进行说明。v 5 版本报头格式分别如图2 2 所示: 图2 。2n e t f l o w v 5 的报头格式 v e r s i o n :n e t f l o w 的版本号: c o u n t :本数据包中数据流的条数; s y s u p t i m e :自流设备启动后,到当前为止逝去的时间,以毫秒为单位; u n i x s e c o n d s :白u t c l 9 7 0 起到当前为止逝去的时间,以秒为单位: u n i x n a n o s e c o n d s :u t c l 9 7 0 起到当前为止逝去的时间,以纳秒为单位; f l o ws e q u e n c e :本数据包第一条记录的序列号; e n g i n e _ t y p e :流设备引擎类型( r p 为0 ,l c 为1 ) : e n g i n e _ i d :流设备引擎标识符; r e s e r v e d :预留字节。 哈尔滨工程大学硕士学位论文 其中,f l o w _ s e q u e n c e 是校验信息,当前数据包的f l o w _ s e q u e n c e 值是本数 据包第一条记录的序列号,等于前一个数据包f l o w _ s e q u e n c e 值加上前一个数 据包的c o u n t 值。由于n e t f l o w 数据以u d p 数据包的形式输出,在传输过程 中有可能丢失数据包,利用f l o w _ s e q u e n c e 值以及c o u n t 值就可以检验传输中 是否有数据包丢失以及丢失率。v 5 版本记录格式如图2 3 所示: 图2 3n e t f l o w v 5 记录格式 s o u r c ei pa d d r e s s :源i p 地址 d e s t i n a t i o ni pa d d r e s s :目的i p 地址 n e x th o pa d d r e s s :下一跳i p 地址 i n p u ti n t e r f a c ei n d e x :输入逻辑端口号 o u t p u ti n t e r f a c ei n d e x :输出逻辑端口号 p a c k e t s :f l o w 中的数据包数目 b y t e s :f l o w 中所有数据包中的字节数 s t a r t t i m eo f f l o w :f l o w 开始的时间 e n dt i m eo f f l o w :f l o w 结束的时间 s o u r c ep o r t :t c p u d p 源端口号 哈尔滨工程大学硕士学位论文 d e s t i n a t i o np o r t :t c p u d p 目标端口号 p a d l :未用( 即内容为0 ) 的字节 t c pf l a g s :t c p 标记 i p p r o t o c o l :i p 协议号( i c m p 为1 ,t c p 为6 ,u d p 为1 7 ) t o s :i p 服务类型 s o u r c e a s :源自治域号 d e s t i n a t i o n a s :目的自治域号 s r cn e t r n a s kl e n g t :源地址掩码 d s t n e t m a s kl e n g t h :目的地址掩码 p a d 2 :未用( 即内容为0 ) 的字节 v 9 的报头格式【1 8 1 如图2 4 所示,与v 5 的报头格式存在如下区别:省去了v 5 中的以纳秒为单位的时间戳、将流记录序列号改为数据包序列号、将最后四 个字节设定为s o u r c e i d 。v 9 中的s o u r c e l d 作用相当于v 5 和v 8 的引擎类型和引 擎号,用来保证从特定设备输出的所有流记录的唯一性。s o u r c e l d 的具体格 式取决于设备提供商,c i s e o 公司的格式是保留前两个字节用于以后扩展,第 3 字节唯一标识输出设备( 路由器) 的路由引擎,第4 字节唯一标识输出设备 ( 路由器) 的线卡或通用接口处理器。 图2 4n e t f l o wv 9 的报头格式 v 9 的n e t f l o w 数据格式【2 2 1 【2 5 1 如图2 5 所示。从图2 5 中可以看出,v 9 的 数据输出格式与v 5 有较大区别,主要是因为v 9 采用了基于模板式的数据输 出方式。网络设备在进行v 9 格式的数据输出时会向数据接收端分别发送数 据包模板和数据流记录。数据包模板确定了后续发送的数据流记录中数据包 的格式和长度,便于数据接收端对后续数据包的处理。同时为避免传输过程 哈尔滨l 稃人学硕+ 学位论文 中出现丢包或错误,网络设备会定期重复发送数据包模板给接收端。 2 3n e t flo w 的应用 图2 5n e t f l o w v 9 格式 由于n e t f l o w 具有以上特性,因此可以为网络管理员或分析者提供丰富 的网络数据流信息,如i p 地址、协议类型、端口以及服务类型等,这些信息 可以用来解决网络问题。用n e t f l o w 数据解决的问题可以概括为以下方面 1 5 1 1 2 2 j 【2 3 1 。 1 流量与流向监控 流量与流向监控1 2 0 1 1 2 3 1 是n e t f l o w 的强大功能之一,可以在不同层次的网 络中启用n e t f l o w 流量与流向监控功能,大至互联网交换中心,小至一个局 域网。互联网交换中心启用流量与流向监控可以为网络运营商提供网络资源 评估依据,使网络运营商很好地掌握当前网络运行状况,更好地服务企业客 户或个人用户:在企业网边界路由器启用流量与流向监控功能可以让管理员 明白当酊网络的通信流量、网络带宽利用率、网络负荷分布等重要信息。 2 流量计费 通过对n e t f l o w 数据中包含的i p 地址、字节数、时间戳以及服务类型等 若干信息的分析,运营商可以精确统计出客户租用的接入链路上传送各种不 同类型业务的通信流量,包括业务类型、服务等级、通信时间和时长,通信 数据量等参数。这些详细的通信流量统计数据可以被运营商的计费和财务系 统进行处理,生成基于客户业务流量的计费帐单。 哈尔滨工程大学硕士学位论文 3 用户监控 n e f f l o w 数据可以用于监控内部网络用户i p 的行为防止员工滥用企业 网络。 4 网络规划 经过一段时间的网络监测统计,可以分析出用户上网行为习惯,及时调 整网络结构,为建立网内资源、升级改造网络提供参考依据。 5 安全监控 n e t f l o w 能实时发现一些非正常的流量,如d o s 等攻击、蠕虫等病毒, 使网络管理员尽快定位网络故障。对各种网络蠕虫病毒来说,一旦感染了系 统后,为了传播自身,通常会主动向外发送具有某种特征的数据包,这种特 征主要体现在协议端口号、地址和包长上,n e t f l o w 数据恰好能提供这些信 息,所以可以利用n e t f l o w 检测已知的网络蠕虫病毒,以便尽早发现网络蠕 虫病毒,快速作出响应,避免病毒扩散、泛滥,防止网络的正常业务受病毒 影响。 2 4 本章小结 本章主要是对n e t f l o w 工作原理以及技术演进作了介绍,为后面技术研 究以及系统实现的开展做铺垫。此外也简单介绍了n e t f l o w 在目前的应用情 况,从应用情况可以看出n e t f l o w 技术具有强大的功能。 哈尔滨工程大学硕士学位论文 第3 章基于n e f f lo w 的态势信息获取方法研究 基于n e t f l o w 的网络安全态势传感器作为网络安全态势感知系统重要的 信息获取部件之一,其职责是对原始n e t f l o w 数据进行分析处理,获取态势感 知系统准确判断当前网络状况及预测未来趋势所需的态势信息。基于n e t f l o w 的网络安全态势传感器能否准确高效地获取尽可能多的有用信息取决于分析 处理方法也即态势信息获取方法的优劣,因此,n e t f l o w 数据分析处理方法是 传感器精髓所在,非常有必要对其进行深入研究。 基于n e t f l o w 的态势信息获取方法主要包括流量分析方法、网络连接分析 方法以及在两者基础上的安全事件检测方法。流量分析方法是指对原始 n e t f l o w 记录分析得出流量信息的方法,主要有统计方法、流汇聚方法、粗糙 集方法:网络连接分析方法是指对原始n e t f l o w 记录分析得出当前网络连接信 息的方法,主要有连接分布与频度分析方法,连接标记特征分析方法等:安 全事件检测方法是指在流量分析和连接分析 t s l l 的基础上,根据特定的检测 模型对流量信息和连接信息综合分析并得出安全事件信息的方法。有很多针 对n e t f l o w 数据的安全事件检测方法,其中基线分析和特征匹配是目前较为普 遍使用的检测方法t 4 s l ,前者属于异常检测范畴,后者属于误用检测范畴。基 线是根据历史流量模式描述“正常网络活动的模型,所有不在已建立的流 量模式中的流量将被认为是可疑的 4 6 1 。特征匹配是另一种可以检测网络异常 行为的方法,主要的特征匹配方法有端口匹配,i p 地址匹配,t c p 标志位匹 配等。特征匹配方法需要有相应的匹配规则,分析模块根据规则库中的规 则和当前流记录的特征来判断网络是否出现异常。其他方法如小波变换分析 方法 4 7 】、数据挖掘方法1 4 8 1 1 4 9 1 、粗糙集 3 9 1 1 5 0 1 方法、神经网络方法等也都被研究人 员用来分析n e t f l o w 数据。 3 。1 流量信息获取 流量信息是基本的网络运行信息,细粒度的网络流量信息能够反映当前 网络的通信量、网络带宽利用率等网络状态参数,可用于流量流向监控、网 哈尔滨工程大学硕士学位论文 络负载均衡、网络异常事件检测等;粗粒度的网络流量信息能够反映机构或 个人的网络流量模式,可用于流量工程实施、流量计费、网络规划、网络异 常事件检测等。由此可以看出,网络流量信息无论对于网络安全还是网络管 理领域来说都很重要,对于网络安全态势感知系统来说也必不可少。 n e t f l o w 数据中蕴含着丰富的流量信息,与其他的流量数据相比,n e t f l o w 的优点在于能够提供多层次、多角度、多粒度的流量信息。多层次一方面指 流量信息按照流量监测对象的层次性从微观到宏观可分为主机间的流量、路 由器间的流量、子网间的流量以及自治域间的流量等四个层次,另一方面指 流量信息按照逻辑抽象的层次性从低到高可分为数据流量、端到端流量、会 话流量以及应用流量等四个层次:多角度是指流量信息可分为流入流量、穿 越流量、流出流量以及内部流量等四个角度;多粒度是指流量信息可以分为 不同时间粒度的流量信息。 n e t f l o w 数据提供的流量信息具备多层次、多角度、多粒度的特性,按照 不同的特性获取相应的流量就构成该特性对应的流量视图。流量监测对象、 流向以及时间粒度都比较容易理解,因此不再赘述。下面按照逻辑抽象层次 性为主特性从低到高阐述各个层次的流量视图及其获取方法。 3 1 1 数据流量视图 数据流量视图不关注数据的来源去向,也不关注数据属于何种应用,而
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 青少年足球教练教学考核表
- 智能仓储系统食品流通优化手册
- 家庭日用百货采购与管理手册
- 2025年公安警察大练兵(法律、警务技战术)题库(含答案)
- 医疗领域药剂师配药精准度考核表
- 跨海大桥承台钢吊箱围堰封底施工方案
- (2023年)河北省石家庄市【辅警协警】笔试测试卷(含答案)
- 新闻记者工作质量与速度评价表
- 2012上半年教师资格考试幼儿保教知识与能力真题及答案
- 2024年东台市国营港农场招聘社区网格员考试试题附答案详解
- 2026年环保中级工程师模拟试题(含答案)
- 2026-2030年中国出租车行业发展趋势及发展前景研究报告
- 2023年自考03709马克思主义基本原理概论重点笔记
- 2026中国新能源汽车保险产品创新及理赔风险控制与大数据定价模型报告
- 耳鼻喉科临床诊疗指南(2025版)
- 2025年职业病防治培训考试试卷附答案
- 全国灌溉水有效利用系数测算分析技术指导细则(2024修订版)
- 加油站防雷安全隐患排查制度
- 沙因版企业文化的课件
- DBJD25-67-2019甘肃省建筑与装饰工程预算定额地区基价含税上册
- 视频监控系统工程监理实施细则
评论
0/150
提交评论