（计算机应用技术专业论文）分布式网络流量监控系统的设计与实现.pdf

兰州大学硕士学位论文分布式网络流量监控系统的设计与实现 摘要 网络的应用形式由传统业务向p 2 p 、w e b 2 0 等形式转移，急需高效的流 量监控系统对网络的各类业务进行及时、准确的分析和控制。本论文以”基于 i p v 6 的p 2 p 弹性重叠网络智能节点的研制( c n g i - 0 4 - 1 2 - 1 d ) ”项目为研究 背景，设计并实现了一种新的基于分布式的网络流量监控系统。 本论文的主要研究内容： 1 、研究了两种流量监控系统的架构方案，结合项目总体技术要求，采用分 布式架构方案，实现对网络的多个关键出口实时高效的监控。 2 、研究了监控系统的网络数据采集技术及接入网络方式( 串联、旁路) ， 并根据项目的实际需求，采用旁路接入方式对网络进行监控。 3 、研究了当前的端口匹配、特征码匹配技术以及流量控制技术，设计并实 现了基于应用层协议监控策略动态配置技术，采用一次匹配、二次匹配、 p a s vf p 匹配相结合的应用层协议分析技术和优化的t c p 流量旁路阻断技术 的网络流量监控系统。 4 、对该系统的功能和性能进行了测试，测试结果表明该系统的功能达到了 设计要求，具有很好的稳定性、可扩展性和可操作性等优点。 论文的创新之处：为优化应用层协议的分析与统计性能，提出了应用层协 议监控策略动态配置技术，组合了一次匹配、二次匹配和p a s v _ f t p 匹配等应 用层协议分析技术，同时对t c p 流量旁路阻断技术也进行了优化。 关键词网络流量；旁路监控；一次匹配；二次匹配；p a s v _ f 丁p 兰州大学硕士学位论文 分布式网络流量监控系统的设计与实现 a b s t r a c t t h en e t w o r ka p p l i c a t i o ni s c h a n g i n gf o r m i yf r o m t r a d i t i o n a l b u s i n e s st op 2 p ，w e b 2 0a n do t h e rf o r m s ，h i g h - e f f i c i e n c yn e t w o r k t r a f f i c m o n i t o r i n g a n d c o n t r o l l i n gs y s t e m ( n t m c s ) i sn e e d e d u r g e n t l yt oa n a l y z ea n dc o n t r o l k i n d s o fb u s i n e s so nn e t w o r k p r o m p t l ya n da c c u r a t e l y 。t h i sp a p e rb a s e do n “t h er e s e a r c h & m a n u f a c t u r eo fp 2 pr e s i l i e n to v e r l a yn e t w o r ki n t e l l i g e n tn o d eb a s e d o ni p v 6 。p r o j e c th a sd e s i g n e da n dr e a l i z e dan e wn t m c sw h i c h b a s e do nd i s t r i b u t e ds y s t e m t h em a i nr e s e a r c hc o n t e n to ft h i sp a p e ri sa sb e l o w ： 1 a n a l y z e dt w ok i n d so ft h en t m c sf r a m e w o r k ，g e tu n i t e dw i t h p r o j e c t sr e q u e s t , d i s t r i b u t e ds y s t e ms t r u c t u r ei ss e l e c t e dt or e a l i z e r e a l - t i m ea n d h i g h e f f i c i e n c y m o n i t o rf o rs o m ek e y o u t p u to f n e t w o r k 2 a n a l y z e d n e t w o r kd a t a g a t h e r i n gt e c h n o l o g ya n d a c c e s s n e t w o r k ( s e r i e sc o n n e c t i o n & b y p a s sc o n n e c t i o n ) ，b a s e do na c t u a l r e q u i r e m e n to fp r o j e c t ，b y p a s sa c c e s si s s e l e c t e dt om o n i t o rt h e n e t w o r k 3 a n a l y z e dr e c e n tp o r tm a t c h ，c h a r a c t e r i s t i cc o d em a t c ha n d f l o wc o n t r o l ，h a sd e s i g n e da n dr e a l i z e dm o n i t o rp o l yd y n a m i c c o n f i g u r a t i o nt e c h n o l o g yw h i c hb a s e do na p p l i c a t i o nl a y e rp r o t o c o l ， a p p l i c a t i o nl a y e r p r o t o c o la n a l y s i st e c h n o l o g yi sb a s e df i r s tm a t c h i n g & s e c o n dm a t c h i n g & p a s v - f t pm a t c h i n g ，t c pf l o wb y p a s s p r e v e n t a t i o nt e c h n o l o g yi so p t i m i z e d 4 at e s t i n gb a s e do nf u n c t i o na n dp e r f o r m a n c ei sd o n ef o rt h i s s y s t e m ，t h er e s u l ts h o w st h ef u n c t i o no ft h i ss y s t e mi sa c h i e v i n gt h e d e m a n do ft h ep r o j e c t ；t h es y s t e mi ss t a b l e | e x p a n d a b l e ia n de a s y t ou s e t h ei n n o v a t ep o i n to ft h i sp a p e ri n c l u d e s ：t oo p t i m i z ea n a l y s i s a n ds t a t i s t i c sp e r f o r m a n c eo fa p p l i c a t i o nl a y e rp r o t o c o l ，a p p l i c a t i o n n 兰州丈学硕士学位论文 分布式网络流量监控系统的设计与实现 l a y e rp r o t o c o lm o n i t o r i n g & c o n t r o l l i n g d y n a m i cc o n f i g u r a t i o n t e c h n o l o g yi sg i v e n ，c o m b i n e df i r s tm a t c h i n g ，s e c o n dm a t c h i n ga n d p a s vf t pm a t c h i n gf o ra p p l i c a t i o nl a y e rp r o t o c o la n a l y s i s a tt h e s a m et i m e t c pt r a f f i cb y p a s s i n t e r d i c l ：i o nt e c h n o l o g yi sa l s o o p t i m i z e d k e y w o r d s n e t w o r kt r a f f i c ；b y p a s sm o n i t o r i n ga n dc o n t r o l l i n g ； f i r s tm a t c h i n g ；s e c o n dm a t c h i n g ；p a s v _ f t p i 原创性声明 本人郑重声明：本人所呈交的学位论文，是在导师的指导下独立进行 研究所取得的成果。学位论文中凡引用他人已经发表或未发表的成果、 数据、观点等，均已明确注明出处。除文中已经注明引用的内容外，不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究成 果做出重要贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律责任由本人承担。 论文作者签名：数 日 期：2 婴z 工! 关于学位论文使用授权的声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归 属兰州大学。本人完全了解兰州大学有关保存、使用学位论文的规定， 同意学校保存或向国家有关部门或机构送交论文的纸质版和电子版， 允许论文被查阅和借阅；本人授权兰州大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用任何复制手段保存和 汇编本学位论文。本人离校后发表、使用学位论文或与该论文直接相 关的学术论文或成果时，第一署名单位仍然为兰州大学。 保密论文在解密后应遵守此规定。 论文作者签名：数师签名：论文作者签名：；幽暨垒导师签名：日期：地t ， 兰型查兰堡圭兰堡篁塞 坌查耋垦竺堡苎些丝至竺竺塞婪皇童堡 第1 章绪论 互联网的飞速发展，不仅仅体现在其规模的不断扩大、复杂性不断增加以 及其异构性的不断增大，而且也体现在各种网络业务的不断涌现及更新，这给 网络管理提出了新的挑战。如何更加有效的管理网络成为一个亟待解决的问 题。基于当前形势，本文提出了一种新的解决方案：基于分布式的网络流量监 控系统。 1 1 论文选题背景 本文是在项目”基于i p v 6 的p 2 p 弹性重叠网络智能节点的研制( c n g i 一 0 4 - 1 2 - 1 d ) ”( 以下简称r o n ) 的研究背景下提出的。 r o n 中国科学院声学研究所承担的关于c n g i 项目，其研究目标是；研制 p 2 p 智能节点设备，在c n g i 网络上构建基于结构化p 2 p 模型的i p v 6 弹性重 叠网络。通过弹性重叠网络，实现c n g i 上的分布式资源管理平台；监控链路 状态，屏蔽网络故障和变更，为应用层提供可靠、高效的资源定位和查找服 务：利用智能节点探测网络路径和性能，为应用提供路由优化等网络服务；实 现基于智能节点的分布式流量监控及病毒监铡架构；并为c n g i 提供种分布 式网络管理工具。 本人自2 0 0 6 年2 月份到中科院声学所实习，2 0 0 6 年3 月份，启动r o n 项目的基于智能节点的分布式流量监控及病毒监测系统，到2 0 0 6 年6 月开始 负责该系统的设计与实现。 本文是由r o n 项目中的基予智能节点的分布式流量监控及病毒监测系统架 构演化而来，实现了对网络流量的分布式监控。 l - 2 需求分析 p e e r t o p e e r ( p 2 p ) t 1 】应用的不断涌现及w e b 2 0 2 】时代的到来。给网络 及网络运营商带来了不容忽视的冲击。p 2 p 新技术，通过i n t e r n e t 允许建立分 散的、动态的、匿名的逻辑网络。p 2 p 为对等连接或对等网络，点对点网络技 术，可应用于文件共享交换，深度搜索、分布计算等领域。它允许个体的p c 通 过i n t e r n e t 共享文件。据统计分析表明p 2 p 应用约占宽带流量的5 0 6 0 ( 白天) 到9 0 ( 晚上) ，一些重要应用( 如w e b 、e - m a i l ) 的服务质 量受到严重影响，也给运营商的网络管理带来很大麻烦并增加了其运营成本 ( o p e x ) 【3 1 。 网络运营商亟需通过可靠、有效的网络流量监控系统 4 ，5 t 6 , 7 x t t 其网络的各 个出口以及网络所承载的各类业务进行及时、准确的流量和流向分析。对网络 兰些查兰堡圭兰竺丝兰 坌童塞塑竺篁量些些垂竺竺塞兰皇窒墨 中的诸如p 2 p 应用的流量进行监控，进而挖掘网络资源潜力，控制网络互联成 本，净化网络环境，并为网络规划、优化调整和业务发展提供基础依据。 1 3 网络管理现状 在网络发展早期，网络规模非常小，网络管理几乎无事可做，对网络的管 理停留在使用i c m p 和p i n g 的基础上。通常一个或几个系统管理员采用一些 临时措施来完成初期的网络管理工作。一般。管理员开机登录，执行命令完成 所需的管理操作。在能够使用诸如l o g i n ，r s h ，t e l n e t 等远程访问的命令和程序 后，管理工作相对简化了一些，因为管理员可以在某个地方连接到远端的多台 机器。但这些机器必须处于正常的运行状态，远端访问才可用。u n i x 系统工具 比如“p i n g ”常被用来检查某个设备是否已连接到网络。p i n g 命令向指定设备发 出询问，如果指定设备处于运行状态并且己连接到网络，该设备就会返回一个 应答。另外一个工具是”t r a c e r o u t e ”，它能够跟踪数据包在网络上从一点到另 外一点的路径，这个工具常用来清查网络配置。 随着网络规模的增大，网络管理者需要知道有关计算机网络的大量信息以 进行有效的管理。为了帮助网络管理者完成这些工作，逐渐出现了网络管理的 概念。网络管理是控制一个复杂的计算机网络使得它具有最高的效率和生产力 的过程。根据进行网络管理的系统的能力，这一过程通常包括数据收集、数据 处理，然后提交给管理者，用于在网络操作中使用。它还包括分析数据并提供 解决方案，生成对管理网络有用的报告。 网络管理系统不仅仅只是完成常规任务，作为发现问题的辅助手段，它可 以持续的监视网络，还可以产生网络信息日志并利用这些信息日志去研究和分 析网络，同时也可以控制网络行为。 互连网络的飞速发展，国内网络建设的加快，以及网通、联通、中国移动 等在i p 领域的竞争，中国各大骨干网对于网络管理系统的需求的迅速增加。这 一方面促进了网管系统的销售，但同时也更加剧了这一领域的市场竞争。当网 络规模和复杂程度到达一定地步时，网管系统的需求就会极为强烈，但现有的 国产网络管理产品通常是架构在由国外网管供应商提供的网络管理平台上，功 能单r 、扩展性差，技术实现与网络管理的实际需求存在很大的差距。多年来 中国的网络管理一童依赖于国外的产品，这些网管软件供应商包括：h p 、 s u n 、i b m 、c a 等。但是，随着国内网络规模的逐步扩大以及网络互联的日 益加剧，人们对网络管理和安全的考虑越来越深入了。我国信息业相关主管部 门从国家长远发展考虑，积极提倡和鼓励开发国内自己的网络管理系统，并逐 步取代国外产品。 本文结合运营商网络环境，从网络流量监测与控制入手，开展网络管理基 ， 1 4 网络管理与网络流量监控 今天的网络给我们的生活、工作和人与人之间的沟通带来了极大的方便， 网络业务日趋丰富，网络流量高速增长。同时，网络运营商之间的竞争也逐渐 激烈，以高投资为特征，追求简单规模扩张的粗放型竞争模式已经不适应当前 的形式。挖掘现有网络资源潜力，控制网络互联成本，提供有吸引力的增值业 务，提高网络运维水平，这些成为在激烈竞争中的制胜策略。而要实现这些， 都离不开可靠、有效的网络流量监控的有力支撑。 网络流量监控主要为对网络数据进行连续的采集，通过连续采集网络数据 监控网络的流量。获得网络流量数据后对其进行统计和分析，根据控制机制对 网络流量进行实时的控制，维护网络及其主要成分的性能指标，定期形成性能 报表，同时维护网络流量数据库或日志存储网络及其主要成分的性能的历史数 据，网络管理员根据当前的和历史的数据就可对网络及其主要成分的性能进行 性能管理，通过数据分析获得性能的变化趋势，分析制约网络性能的瓶颈问 题。此外，在网络性能异常的情况下，网络流量检测系统还可向网络管理者进 行告警，使故障及时得到处理。 实际上，网络流量监控中采集数据所用到的方法对于网络管理的其他方面 也是适用的。例如，对于计费管理来说，现在一般的路由器中都有流量记载， 网络流量信息通过路由器时，其流量信息都会在路由器的缓存c r a m ) 中保留下 来，它的记录格式由四个字段组成，分别为源i p 地址、目标i p 地址、包和字 节数。所以计费系统所要完成的操作就是把这些流量信息从路由器中提取出 来，经过特定分析后，就可以生成以i p 地址流量为粒度的计费单了，这与流量 检测实现的途径是一致的。在网络流量检测的基础上，管理员可对感兴趣的网 络管理对象设置阈值范围以配置网络阈值对象，阈值对象监控实时轮询网络获 取定义对象的当前值，若超出阅值的上限或下限则报警，帮助管理员发现网络 瓶颈，这样即可实现一定程度上的故障管理。而网络流量监控本身也涉及到安 全管理方面的内容。 在长期的运营过程中，网络运营商发现目前拥有的网络管理工具并不能满 足网络实际的运营需要，在业务不断增长的压力下，迫切需要建立一套实时网 络流量统计、分析与控制高度融合的网络运维系统，达到如下三个目标： 1 ) 网络维护：针对重要链路、用户、业务进行流量检测和分析，掌握流量 基线，为地下网站检测、用户流量日志、路由负载均衡、数据网络性能 优化等提供资料依据； 2 ) 网络安全：异常流量的检测、d o s 攻击的检测、蠕虫病毒的监测等； r 兰州大学硕七学位论文分布式网络流量监控系统的设计与实现 3 ) 决策支持：业务带宽成本分析、网络带宽成本分析、网络建设的决策支 持等资料分析、对行业业务的成本和发展情况做出判断，最终为业务发 展的策略的制定提供好的依据。 综上，网络流量监控是网络管理中一个非常基础也非常重要的一个环节。 1 5 论文研究内容及意义 随着宽带互联网在中国的迅速发展，全国各大网络运营商的网络规模都在 不断扩张，网络结构日渐复杂，网络业务臼趋丰富，网络流量高速增长。网络 运营商需要通过可靠、有效的网络业务流量监测系统对其网络以及网络所承载 的各类业务进行及时、准确的流量和流向分析，进而挖掘网络资源潜力，控制 网络互联成本，并为网络规划、优化调整和业务发展提供基础依据。 目前国内网络运营商的网络管理系统所能实现的流量监控功能非常有限。 远远不能满足需求。近年来，网络运营商对网络流量的监控管理( 网络应用协 议的监测、病毒检测及告警、流量控制等) ，特别是对网络的实时监控管理变得 越来越难，某些监控系统在对网络应用的监控方面也没有好的可扩展性。针对 以上目前存在的主要特点，本论文设计和实现了一种基于分布式的网络流量监 控系统，主要研究内容如下： 1 ) 对网络数据采集技术( s n m p 、n e t f l o w 和流量镜像) 进行了研究讨 论； 2 ) 研究了应用层协议的识别技术，对应用层协议识别统计按照一次匹配、 二次匹配、p a s v j 可p 匹配进行分类优化处理； 3 ) 对t c p 流量的旁路阻断技术进行优化处理的研究； 4 ) 结合项目技术要求，对流量监控系统的分布式架构进行分析； 5 ) 对各种流量信息，包括网络出口的上下行流量、应用层流量等统计信息 进行图形化处理； 6 ) 设计一套安全的a p i 接口，方便其他网管系统调用； 7 ) 提供应用层协议动态监控的用户终端命令，方便应用层协议动态监控 8 ) 对系统的功能及性能进行了理论分析与测试，测试环境分别是中科院声 学所高性能网络实验室网络和性能实验测试环境。 此系统的设计与实现将会为网络管理提供一个更为人性化的网络流量监控 平台，也为其他的网管平台的设计与实现提供了一个接口，便于扩展，充分体 现了网络流量监控是网络管理中一个非常基础也非常重要的一个环节a 1 6 论文结构安排 论文针对网络管理对网络流量监控的需求，对分布式的网络流量监控技术 兰州大学硕士学位论文分布式网络流量监控系统的设计与实现 进行了深入的研究和探讨，并在l i n u x - 2 6 内核上设计和实现了该系统。论文 的主要内容包括三部分： 第一部分包括第1 章和第2 章。第1 章为绪论，介绍了论文的研究背景与 研究意义，剖析了网络管理现状；第2 章为论文的主要技术研究概述，介绍了 网络流量监控的关键技术：应用层协议分析与应用层协议分析控制技术，网络 流量控制技术等。 第二部分包括第3 章和第4 章。针对目前网络监控的需求，第3 章给出了 系统总体目标及系统的分布式架构方案，同时对系统功能进行了描述。第4 章 讲解了系统的详细设计与实现，同时对系统环境及开源工具包进行了描述。 第三部分即第5 章和第6 章。根据系统需求及测试内容，第5 章对系统功 能及性能的测试作了描述，分析了系统的优点，以及系统仍需改进之处。第6 章对论文做了描述性的总结，并指出下一步的工作内容和研究方向。 兰州大学硕士学位论文分布式网络流量监控系统的设计与实现 第2 章应用层协议分析与控制技术 2 1 应用层协议分析技术 对应用层协议的分析，本文首先研究了基于端e l 识别技术、基于应用层协 议特征码【8 , 9 , 1 0 】识别技术，以及基于p 2 p 协议流的特征识别技术。最后针对 pe p 协议的特殊性，讨论了被动f t p 1 1 】( p a s vf t p ) 的识别技术。 2 1 1 端口识别技术 端口识别技术，就是根据端口号是否匹配的种协议识别技术。这些端口 一般为知名端口，目前有相当部分流控产品及防火墙都是基于这种技术实现 的。下面从端口的性质进行分类说明。 ( 1 ) 知名端口( w e l lk n o w np o r t s ) ；这类端口也常称之为“常用端口”。 这类端口的端口号从o 到1 0 2 4 。它们紧密绑定于一些特定的服务。通常这些 端口的通信明确表明了某种服务的协议，这种端口是不可再重新定义它的作用 对象。例如：8 0 端口实际上总是h t l p 通信所使用的，丽2 3 号端口则是 t e l n e t 服务专用的。这些端口通常不会被木马这样的黑客程序利用。 ( 2 ) 注册端口( r e g i s t e r e dp o r t s ) ：端口号从1 0 2 5 到4 9 1 5 1 。它们松 散地绑定于一些服务。也是说有许多服务绑定于这些端口，这些端口同样用于 许多其他目的。这些端口多数没有明确的定义服务对象，不同程序可根据需要 自己定义。 ( 3 ) 动态和或私有端1 3 ( d y n a m i ca n d o rp r i v a t ep o r t s ) ：端口号从 4 9 1 5 2 到6 5 5 3 5 。理论上，不应把常用服务分配在这些端口上。实际上，有些 较为特殊的程序，特别是一些木马程序就非常喜欢用这些端口，因为这些端口 常常不被引起注意，容易隐蔽。 综上所述，端口识别技术仅仅局限在知名端口范围内，但情况不容乐观， 目前已有部分p 2 p 应用开始使用这些端1 3 进行通信，比如k a z a a 1 2 就是可以 使用端1 38 0 ( 通常是h t t p w e b 使用) 来通信的，从而穿透传统的基于i p 和 端口的舫火墙和包过滤器。 2 1 2 协议特征码识别技术 随着p 2 p 应用的不断增长，更多的通信协议被使用，识别和分类p 2 p 的技 术必须快速、简单，以适应这种技术的变化。但由于大多数p 2 p 应用都使用动 态端1 3 技术或者强行使用一些知名的协议端1 3 进行传输，所以简单地通过端口 识别技术对它们进行识别可能会失效。 现在，识别p 2 p 通信的方法是分析数据包的应用层( l a y e r7o fo s i ) 信 兰州大学硕士学位论文 分布式网络流量监控系统的设计与实现 息，即对t c p 或u d p 的有效载荷( p a y l o a d ) 进行检查，以判断他们是否符 合某些应用协议的特征码，这也就是协议特征码识别技术。 2 1 3 一次匹配、二次匹配识别技术 对于传统的协议( 如a c t i v ef t p 1 1 、h t t p 【1 3 、s m t p l l 4 、p o p 3 1 s 等) 的识别般可基于知名端口，即基于端口的一次匹配技术。但基于知名端 口的识别技术对于p 2 p 应用协议是不起作用的，要准确识别一些新协议( 如 p 2 p 协议) ，还需根据应用层( l a y e r7o fo s i ) 信息( 如应用层协议特征 码) 进行识别、分析，即基于特征码的一次匹配技术。 部分应用层协议要在协议识别的基础上进行识别、分析。例如，当盯客 户端下载时，必须进行t r a c k e r 查询，t r a c k e r 通过h f i p 的g e t 命令的参 数来接收信息，而响应绘对方( 下载者) 的是b e n c o d e d 编码的消息。在 h t t p 请求报文中，携带了b t 的特征值u s e r - a g e n t ：b i t t o r r e n t 1 6 , 1 7 】。 因此。首先须识别h 丌p 协议，然后基于h t t p 协议对此会话进行进一步的 探测识别。针对该情况，可以根据特定的应用层数据包( 如h 丌p 数据包) ，在 会话的基础上对其进行深层的分析( 如根据b t 关键字“b i t t o r r e n t ”，从 h t t p 数据包中识别b t 应用) 。即在协议识别基础上，基于会话重组对应用 层协议进行深层分析的二次匹配技术。 2 1 4p 2 p 行为特征识别技术 这种识别p 2 p 流量技术的主要依据是p 2 p 通信时所表现出的行为特征。该 技术是基于p 2 p 端到端的连接模型，根据端和端的通信连接，对其数据传输上 下行流量及连接行为进行分析、统计，以此识别p 2 p 流量。下面是p 2 p 通信时 所表现出的行为特征研究： ( 1 ) p 2 p 通信的上下行流量基本相当，有别于传统c ，s 模型的流量特 征。相对于网页浏览，邮件、流媒体等传统业务，下行流量远大于上行流量。 p 2 p 通信时不仅要获得数据，同时也为提供数据，因此它的流量更多体现为上 行下行基本对称的模型。 ( 2 ) p 2 p 通信的端和端连接数量较其它协议更多。由于一个非p 2 p 的用 户同时只是和少数的几个用户或服务器进行连接，其连接数一般比较小。而对 于p 2 p 通信来说，由于p 2 p 协议自身的特点，它会与众多的p 2 p 用户连接并 交换信息，其连接数量一般较大。 ( 3 ) p 2 p 通信时，节点既是服务器端，又是客户端。从p 2 p 通信连接来 看，当一端要从其它连接端下载数据时，其扮演客户端的角色；当为其它连接 端上传数据时，则扮演服务器端的角色。 兰州丈掌硕士学位论文 分布式网络流量监控系统的设计与实现 ( 4 ) p 2 p 通信的监听端口的连接特点与传统主机不同。p 2 p 客户端使用动 态、随机端口，若有一个主机( h o s ta ) 加入p 2 p 网络的时候，须向超级节点 发送其i p 地址和监听端1 3 号( h o s ta i p ，h o s ta p o r t ) ，超级节点必须传播 这个消息( h o s ta i p ，h o s ta p o r t ) 给其他p 2 p 客户端( h o s to t h e r s ) ， 以便h o s to t h e r s 连接h o s ta 。如果有1 0 个客户端连接h o s t ：a ，那么这1 0 客户端都连接h o s ta 的h o s ta p o r t ，而这1 0 个客户端都随机选择一个端 口，即理论上有1 0 个不同的i p 地址与1 0 个不同的端口与h o s ta p o r t 进行 连接。 前3 个特征是对p 2 p 通信端进行有效识别的前提条件，第4 个特征是从 p 2 p 通信端的通信流量中识别出p 2 p 协议流的重要特征。 2 1 5 被动f t p ( p a s v 二f t p ) 的识别技术 f t p l l 9 】使用2 个端1 3 ，一个数据端1 3 和一个命令端1 3 ( 也可q 做控制端 口) 。通常来说这两个端口是2 1 ( 命令端口) 和2 0 ( 数据端口) 。但f t p 工作 方式的不同，数据端1 3 并不总是2 0 。这就是主动与被动f t p 1 1 】的最大不同之 处。 主动方式的f t p ：客户端从一个任意的非特权端口n ( n 1 0 2 4 ) 连接到 f - i - p 服务器的命令端口2 1 。然后客户端开始监听端口n + i ，并发送f t p 命令 “p o r tn + 1 ”到f f p 服务器。接着服务器会从它自己的数据端口( 2 0 ) 连接到 客户端指定的数据端口( n + 1 ) 。 在被动方式丌p 中，命令连接和数据连接都由客户端发起，当开启一个 f t p 连接时，客户端打开两个任意的非特权本地端口( n 1 0 2 4 和n + i ) 。 第一个端口连接服务器的2 1 端口，但与主动方式的f 1 。p 不周，客户端不会提 交p o r t 命令并允许服务器来回连它的数据端口，而是提交p a s v 命令。这样 做的结果是服务器会开启一个任意的非特权端口( p 1 0 2 4 ) ，并发送p o r t 命令给客户端。然后客户端发起从本地端口n + i 到服务器的端口p 的连接用来 传送数据。 需经过分析、提取f t p2 1 端口通信时的应用层信息，方可知道被动f t p 的数据传输端e l ，然后根据此端口号对被动f f p 传输进行端口匹配，这就是 p a s 、，_ f t p 的识别技术。 2 2 应用层流量控制技术 2 2 1 基于t c p 的应用层流量控制技术 串联方式接入网络的控制系统，目前对应用层流量控制技术均是根据一些分 组丢弃算法【1 8 】或t c p 速率控制【1 9 , 2 0 】等算法实现。但是这些技术仍存在一些不 兰州大学硕士学位论文分布式网络流量监控系统的设计与实现 足，例如由于t c p 的重传机制，流量带宽仍然被浪费了一部分，也浪费了系统 的一部分处理能力；其最大的威胁来自流量控制设备以串联的方式接入极易形 成网络瓶颈。 旁路方式接入网络的控制系统，对应用层流量控制技术还不成熟，基本上 是根据t c p 协议的特征，构造并发送特殊的t c p 分组( 如f i n 分组、r s t 分 组等) 中断应用协议的部分t c p 连接而实现对网络流量的控制。这种旁路接入 网络方式，难以实现网络流量的精确控制。但这种接入方式对网络本身的稳定 性没有影响，监控系统的瘫痪不会影响到网络的正常运维。 2 2 2 基于u d p 的应用层流量控制技术 对于串联方式的控制系统，实现对u d p 流量控制【z l 】是比较容易的，但其 对网络的威胁也是比较大的，很容易造成网络的瓶颈，成为单点故障；如果采 取丢弃u d p 报文实现流量控制，对于许多实时流媒体通信将是不能容忍的，这 方面的技术还待进一步研究。 对于旁路方式的控制系统，对u d p 的控制一般采用旁路干扰的机制来实 现，目前还不成熟。 2 3 网络流量监控技术 根据对网络流量的采集方式可将网络流量监控技术分为：基于s n m p p 卫_ z j 的监控技术、基于n e t t l o w 6 , 2 3 】的监控技术和基于网络流量全镜像( 2 4 】的监控技 术三种常用技术，下面分别介绍。 2 3 1 基于s n m p 的流量监控技术 s n m p 的工作始于1 9 8 8 年，是由最初的简单网关监控协议s g m p 发展而 来。基于s n m p 的流量信息采集实质上是通过提取网络设备a g e n t 提供的 m i b ( 管理对象信息库) 中收集一些具体设备及流量信息有关的变量。基于 s n m p 收集的网络流量信息包括：输入字节数、输入非广播包数、输入广播包 数、输入包丢弃数、输入包的错误数、输入未知协议包数等。但只能对网络的 重点链路和互联点进行简单的基于端1 ：3 的流量监视和统计，更无法提供端到端 的准确的流量信息，因此对流向的统计手段不明确。 2 3 2 基于n e t f l o w 的流量监控技术 n e t f i o w 是c i s c o 公司提出的网络数据包交换技术，该技术首先被用于网 络设备对数据交换进行加速，并可同步实现对高速转发的i p 数据流( f l o w ) 进 行测量和统计。经过多年的技术演进，n e t f i o w 原来用于数据交换加速的功能 已经逐步改由网络设备中的专用集成电路( a s i c ) 芯片实现。 n e 明o w 流量信息采集是基于网络设备提供的n e t f l o w 机制实现的网络流 1 4 兰州大学硕七学位论文分布式网络流量监控系统的设计与买现 量信息采集，其优点是易于部署，部署成本较低，缺点是数据格式没有形成统 一的标准，而且数据检测的颗粒度较粗，数据的准确度较低，数据的内容难以 扩展，与之相对应的检测以及追溯功能也难以定制、扩展。 2 3 3 基于网络流量全镜像的监测技术 网络流量全镜像采集是目前i d s 主要采用的网络流量采集模式，其原理是 通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备，实 现网络流量的无损复制和镜像采集。和其他两种流量采集方式相比，流量镜像 采集的最大特点是能够提供丰富的应用层信息，这也是本论文选择网络流量全 镜像技术的一个重要依据。 网络流量全镜像的监测技术适合旁路式的网络监控系统。通过分析镜像流 量，探测网络流量分布、分析网络状态，为网络管理提供参考。 兰州大学硕士学位论文分布式网络流量监控系统的设计与实现 第3 章分布式网络流量监控系统总体设计 3 1 系统总体目标 想要对w e b 2 0 时代的网络进行检测、控制，像p 2 p 应用( b t 、 e d o n k e y 2 s 、e m u l e 2 6 j 、m a z e 、p p l i v e 、迅雷等) ，就必须对这些网络应用 进行有效地识别，然而，许多p 2 p 应用使用了不同的通信技术和协议，使用传 统的技术来识别它们非常困难。许多p 2 p 协议不使用固定的端口，而是动态地 使用端口，包括使用一些知名服务的端口。k a z a a 3 5 就是可以使用端口8 0 ： 在系统初始化时，p a s v _ f t p v 6 的处理是根据i p v 6 协议识别配置文件中 是否有f t p 要识别而实现的。即如果配置文件中要求对i p v 6 下的f t p 进行识 别处理，则系统根据这一要求在初始化时就建立一个p a s v f t p 结构链表，否 则系统将不处理p a s v _ f t p 。 下面对动态策略配置文件的解析过程做简要说明。在读文件时，首先检查 文件的完整性，跳过注释行( 以。孝。开始的行) 、空行以及错误行，然后提取文 件各个域的信息更新p o r t s t r p r o t o c o l 、r e g e x p c m p a g a i n 等结构链表。在插 入新的节点时是在已建链表的尾部进行操作。配置文件文件的读取顺序：端口 配置文件，特征码配置文件，二次识别配置文件，i p v 6 协议识别配置文件。 4 1 2 网络流量检测模块 利用l i b p c a p 实现对流经监听接口的网络包的采集，由图4 - 3 可知，对采 集的数据需经分析处理，即进入p a c k e ta n a l y z e s 模块，p a c k e ta n a l y z e s 处 理过程如下： 1 ) 对采集的网络数据进行底层协议的分析； 兰州大学硕= = 学位论文分布式网络流量监控系统的设计与实现 2 )根据源i p 地址( s i p ) 、源端口号( s p o r t ) 、目的i p 地址 ( d i p ) 、目的端1 ：3 号( d p o r t ) 和传输层协议( t c p 或 u d p ) 五元组进行会话重组处理； 3 ) 根据会话状态对数据进行应用层协议的分析： 4 ) 统计流量、更新流量计数器，对流量进行限速等控制操作： 5 ) 最后对流量统计结果图形化存储、显示。 4 1 2 1 旁路监听 分布式网络流量监控系统对网络出口流量的采集是利用了开源代码 l i b p c a p ( p a c k e tc a p t u r el i b r a r y ) ，即数据包捕获函数库。l i b p c a p 提供的 接口函数主要实现和封装了与数据包截获有关的过程，可用于需要采集经过网 络接e l ( 只要经过该接口，目标地址不一定为本机) 数据包的系统开发上。该 库由b e r k e l e y 大学l a w r e n c eb e r k e l e yn a t i o n a ll a b o r a t o r y 研究院的 v a n a c o b s o n 、c r a i gl e r e s 和s t e v e nm c c a n n e 编写，目前的最新版本为 0 9 。 该函数库支持l i n u x 、s o l a r i s 和* b s d 系统平台。它是独立于系统的a p i 接口，为底层网络髓控提供了一个可移植的框架，可用于网络统计收集、安全监 控、网络调试等应用很多u n i x 或l i n u x 下的网络程序都需要l i b p c a p 才能够 运行。 下面对系统用到的l i b p c a p 的主要库函数做一简要说明，见表4 - 1 。 表4 1 分布式流量监控系统调用l i b p c a p 的主要接口函数一览表： 接口函数原形说明 c h a r 用于返回可被p c a p _ o p e n l i v e ( ) i 拥的网络设备名指针。 + p c a pi o o k u p d e v如果函数出错，则返回n u l l ，同时e r r b u f 中存放相关的错误 ( c h a r4 e r r b u f ) 消息。 p c a p j 获得用于捕获网络数据包的数据包捕获描述字。d e v i c e 参数为 + p c a po p e n _ l i v e 指定打开的网络设各名；s n a p l e n 参数定义捕获数据的最大字 ( c h a r + d e v i c e ， 节数；p r o m i s c 指定是否将网络接口置于混杂模式；t o _ m s 参 i n ts n a p l e n ， 数指定超时时间( 毫秒) ；e b u f 参数则仅在 i n tp r o m i s c ， i n tt o _ m s ， p c a p _ o p e n l i v e ( ) 函l 数出错返回n u l l 时用于传递错误消 c h a r4 e b u f ) 息。 p c a p _ d u m p e r _ t 打开用于保存捕获数据包的文件，用于写入。 ， p c a p _ d u m p _ o p e n ( p c a p _ t4 p ， d a m e 参数为”一“时表示标准输出，出错时返回n u l l = p 参数 c h a r4 f n a m e ) ； 为调用p c a p _ o p e n _ o f f l i n e o = j r , p c a p o p e n 一v e ( ) 函数后返 回的p c a p 结构指针；d a m e 参数指定打开的文件名，如果返 回n u l l ，则可调用p c a p _ g e t e r r ( ) 函数获取错误消息。 p c a p _ t打开以前保存捕获数据包的文件，用于读取。 。p c a p _ o p e n o f f l i n e f n a m e 参数指定打开的文件名( 该文件中的数据格式与 ( c h a r f n a m e t c p d u m p 和t c p s l i c e 兼容) ，若d a m e 为”- ”表示标准输入； c h a r4 e b u f ) e b u f 参数则仅在p c a p _ o p e n _ o f f l i n e ( ) i 函数出错返回n u l l 时用于传递错误消息 i n t 捕获并处理数据包。 p c a p _ d i s p a t c h ( p c a p - t + p ， c n t 参数指定函数返回前所处理数据包的最大值，c n t = 一1 表示 i n t c n t ， 在一个缓冲区中处理所有的数据包，c n t = o 表示处理所有数据 p c a p h a n d l e r 包，直到产生以下错误：读取到e o f 或超时读取； c a l l b a c k ， c a l l b a c k 参数指定一个带有三个参数的回调函数，这三个参数 u _ c h a r u s e r ) 为：一个从p c a p _ d i s p a t c h ( ) 函数传递过来的u _ c h a r 指针， 一个p c a p