（计算机应用技术专业论文）深度检测技术探讨及其在校园网中的应用.pdf

摘要 随着互联网和宽带技术的发展，p 2 p 的应用日益广泛，在享受p 2 p 软件带来方便的 同时，p 2 p 的带宽资源占用问题日益凸显出来，已经严重的影响了校园网的正常运行和 使用，p 2 p 的业务监管问题也日益严重，对它的监管问题己经成为全球性的难题。 本论文即针对p 2 p 业务的监管问题进行研究。首先认真分析和总结了p 2 p 技术的发 展历程和特点，针对其自身特点，对p 2 p 检测深入到应用层中，采用深度检测技术d p i 和d f i 进行p 2 p 业务流的识别。紧接着认真分析并研究当前比较流行的模式匹配算法， 在已有k i v i p 和b m 算法基础上，提出了一个更为有效的算法，时间复杂度为d 白圳，其 中i n ，n 分别为模式和文本串的长度。最后结合以上技术设计了一个基于校园网的p 2 p 识别和控制框架，并通过对b i t t o r r e n t 流的成功识别，来实现框架的设计的思想。 关键字：对等网络，深度包检测，深度流检测，模式匹配 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ei n t e r n e t ，t h ea p p l i c a t i o no fp 2 pi sm o r ea n dm o r e p o p u l a r w h i l ew ee n j o yt h eh i g hc o n v e n i e n c ea n ds p e e do ft h ep 2 p , w ea l s oe n c o u n t e rt h et r o u b l eo f p 2 pw h i c ho c c u p ym o r eb a n d w i d t ha n da r i s em o r es e c u r i t yp r o b l e m s a n di th a ss e r i o u s l y i n f l u e n c e dt h eu s eo fc a m p u sn e t w o r k s ot h em a n a g e m e n to fc a m p u sn e t w o r kh a sb e e n f o c u s e db ym o r ea n dm o r ep e o p l e ，a n dt h ei d e n t i f i c a t i o no fp 2 ph a sb e c o m eaw o r l d w i d e p r o b l e m t h ep a p e ri sb a s e do nt h er e s e a r c ho ft h ei d e n t i f i c a t i o n o fp 2 et h ec u r r e n t d e v e l o p m e n tc o n d i t i o na n dt h ed i s a d v a n t a g eo fp 2 pi si n t r o d u c e di nd e t a i l a n dt h e ni tt e l l s t h ep o p u l a rt e c h n o l o g i e s ，d p ia n dd p i i nt h ep a p e r , an e w l yp a t t e r nm a t c h i n ga l g o r i t h mi s s u g g e s t e da n dt h ei d e ab e h i n da l g o r i t h mi sp a r t i t i o na n du s e so fh a s hf u n c t i o na f t e ra n a l y z i n g t h eb a s i ca l g o r i t h m t h et i m es p a c eo ft h en e wa l g o r i t h mi so 伽+ 一) ，h e r em ，nd e n o t et h e l e n 粤ho fs t r i n ga n d t e x tr e s p e c t i v e l y t h en e wl i n e a ra l g o r i t h mi ss u i t a b l ef o r i n d e p t hp a c k e t d e t e c t i o no ff i r e w a l l f i n a l l y , a l li d e n t i f i c a t i o na n dc o n t r o l l e df r a m e w o r km o d e li sb u i l to n t h e s et h e o r i e sa n dt h ei d e n t i f i c a t i o no fb tt r a f f i ci sa c h i e v e ds u c c e s s f u l l y k e y w o r d s ：p e e r - c o - p e e rd e e pp a c k e tin s p e c tio n d e e pfio wjn s p e c tio n p a t t e r nm a t c hin g 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，深度检测技术探讨及其在校园网中的应 用是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明 引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识 到本声明的法律结果由本人承担。 作者签名： 玉缢丝鳗年三月血日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使 用规定，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕士学位论文 全文数据库和c n k i 系列数据库及其它国家有关部门或机构送交学位论文的复印件和 电子版，允许论文被查阅和借阅。本人授权长春理工大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇 编学位论文。 作者签名： 指导导师签 立月盟日 三月n 日 5 0 1 1 研究背景 第一章绪论 近几年来，p 2 p ( p e e r t o p e e r ，对等网络) 作为一项全新的网络技术飞速发展。有 关调查表明，p 2 p 业务己悄然占据了互联网业务总量的6 0 - 8 0 ，成为杀手级宽带互联 网应用。p 2 p 业务不断增加，造成了网络带宽的巨大消耗，甚至引起网络拥塞，降低其 它业务的性能。另一方面对于校园网用户来说，学生利用校园网上网听音乐或收看流 式媒体造成了巨大的i t 资源浪费，影响了正常的办公效率；而通过并不安全的网络环 境获得的应用程序和p 2 p 协议，将可能为校园网安全防护打开一扇后窗，使得病毒和 恶意代码得以躲过安全审查潜入校园网内部网络。因此，实现p 2 p 流量的有效识别已 经成为急需解决的问题。 早期的时候使用端口扫描的方法来识别使用预先定义的端口号的p 2 p 流量识别。 近来，s s e n 和a w m o o r e 窿1 将应用层签名匹配的方法用于p 2 p 流识别，这种方法从 包的载荷中提取应用的名然后与已知的p 2 p 应用签名数据库中的值进行匹配。而 t k a r a g i a n n i s 瞄1 和a w m o r e h 3 对p 2 p 流量行为进行分析，得出一些规律，使用这些规 律识别p 2 p 流量。然而新一代的p 2 p 应用可以使用任意的端口号来避开固定端口阻塞， 而且越来越多的p 2 p 应用开始加密它们的流量来穿越应用层签名匹配。所以p 2 p 流量 识别变得越来越难。 因此研究并提出一种有效的p 2 p 流量识别的方案成为目前急需解决的问题。本文 正是在这样的背景下产生的。 1 2 国内外研究现状 1 2 1 国内现状 虽然目前国内对于p 2 p 技术的研究和应用非常多1 ，但是对于p 2 p 流量检测技术的 研究却很少，在各大论文库中能检索到的p 2 p 流量识别方面的中文文章很少。国内部 分网络设备生产商已经推出了p 2 p 流量监控的一些产品，例如华为的s e c p a t h1 8 0 0 e 防火墙和e u d e m o n 5 0 0 ，1 0 0 0 防火墙、c a f f f e c h 的网络管理软件一网络慧眼，以及畅讯 通信的产品q q s g 1 。这些产品采用的主要技术都是深度数据包检测技术。 1 2 2 国外现状 国外p 2 p 流量检测方面的研究工作和产品化工作都做的非常好，特别是深度数据 包检测技术己经发展的非常成熟。s u b h a b r a t as e n 等人在2 0 0 4 年初的时候提出基于应 用层签名的p 2 p 流量识别方法。应用层签名技术实际上是深度数据包检测技术的一 种，这种方法把p a y l o a d 特征分为固定偏移量( f i x e do f f s e t ) 特征和变化偏移量 ( v a r i a b l eo f f s e t ) 特征，第一步进行固定偏移量的匹配，第二步检查变化偏移量，在 性能和精度上都取得了较好的效果。韩国的j a m e sw o n k ih o n g 等人在2 0 0 3 年提出一 种基于传输层特征的p 2 p 流量检测方法口1 ，该方法先通过离线统计的方式找到各种p 2 p 应用的常用端口，然后根据这些常用的端口信息进行流量的分类。使用该方法针对韩 国当时流行的p 2 p 软件进行了测试，但是没有给出性能参数。 国外网络设备生产商和网络服务提供商都推出了相关的p 2 p 流量识别的产品或技 术。如c i s c o 公司的n e t f l o w 技术、a l l o t 的故障恢复流量管理方案、c a c h e l o g i c 公 司的c a c h e l o g i cp 2 p 管理方案、v e r s ot e c h n o l o g i e s 的n e t s p e c t i v e 系列产品等。这 些产品全部都使用了自行研发的深度数据包检测技术，除了在性能和识别精度上存在 差别外，他们的技术本质都是相同的。 1 3 本文的研究目的以及组织结构 1 3 1 研究目的 本文主要就是针对当前流行的d p i 和d f i 技术进行深入研究，在这两门技术的基础 上构建起一套对p 2 p 业务流进行识别控制的系统框架，并使其能够在校园网中成功发 挥作用，阻断或控制p 2 p 流的使用，以有效的解决当前紧张的宽带使用问题。 1 3 2 论文组织结构 本文组织结构如下： 第一章：从p 2 p 协议的发展及其带来的问题出发，引出本文的研究背景，并分析 了p 2 p 流量识别方案的国内外研究现状，指出现存的p 2 p 流识别方案存在的不足，阐 述了本文的研究目的和研究内容。在本章的最后，列出了本文的组织结构。 第二章：，分析了p 2 p 网络的特点以及目前对等网络存在的问题。介绍了当前深度 检测技术的两个主要的方向，一个是d p i ，另外一个是d f i ，并对这两门技术在当前的 应用以及他们优缺点进行了介绍和比较。 第三章：详细讲述了b i t t o r r e n t 的基本原理、系统组成部分和协议，以此为基础 来构建识别策略。 第四章：主要研究了相关的模式匹配算法，在分析了基本模式匹配算法之外，重 点研究了基于划分和哈希函数的模式匹配算法。 第五章：结合当前校园网存在的问题，设计了一个具有较高的可扩展性和识别性 能的p 2 p 识别和控制框架，并以对b i t t o r r e n t 流的成功识别，来验证设计框架的可行 性。 第六章：对本文所做工作进行了总结，并对以后的研究工作提出了展望。 2 2 1 引言 第二章深度检测技术介绍 固网转型，宽带成为最大亮点，欣欣向荣的宽带业务发展给运营商带来了可观利 润和客户。但是，随着网络应用层出不穷，p 2 p 、网络游戏、i p t v 、w e b t v 等新兴业务， 占用了互联网大部分带宽，以b t 和e d o n k e y 为代表的p 2 p 应用已经占据了整个互联网 流量的2 3 以上，运营商的基础网络建设陷入了“拥塞一扩容一再拥塞”的非正常局面， 盈利能力相应降低。从目前国内统计来看，p 2 p 跨域的流量在干线占用了8 0 的带宽， 在我国宽带不限时包月资费模式下，网络的绝大部分带宽被少量用户所占用，而这些 用户并未支付相应的成本开销，却影响了其他大部分用户的网络质量，因此，运营商 的服务质量也出现问题。造成以上现象的主要原因是运营商对用户缺少一个有效的控 制和区分手段，运营商既不知道用户在网上干什么，也没有办法给不同用户提供一个 不同的服务质量、服务等级的保证，当然就不能根据业务特性设置合理的费率，不能 将业务增量转化为收益增量，反而被提供语音、i m 、游戏等应用的i s p 、i c p ，利用廉 价的网络资源，大力发展客户，撷取了蛋糕上的奶油。无法实现业务识别、内容计费 增加了运营商的运营成本，降低了客户的满意度。于是，如何深度感知网络应用，提 供网络业务控制和管理手段，构建可以运营、可以管理的和谐网络，对p 2 p 有效限制， 合理引导，化不利为我所用已经成为电信运营商目前亟需研究的一个热门课题。 2 2p 2 p 业务定义及发展过程 p 2 p 业务可以简单地定义成通过直接交换共享计算机资源和服务陋1 。在p 2 p 网络环 境中，成千上万台彼此连接地计算机都处于对等地地位，整个网络一般不依赖专用集 中服务器。网络中每一台计算机既能充当网络服务的请求者，又能对其它计算机的请 求做出响应，提供资源与服务。通常这些资源和服务包括：信息的共享与交换、计算资 源( 如c p u ) 的共享使用、存储资源( 如缓存和磁盘空间) 的使用等。p 2 p 软件的发展大致 经历了三个阶段： ( 1 ) 集中式p 2 p 以n a p s t e r 为代表的第一代p 2 p 系统采用集中式网络架构( 如图2 1 所示) ，要求各 对等端o e e 0 都登录到中心服务器上，通过中心服务器保存并维护所有对等端的共享文 件目录信息。此类p 2 p 软件的对等端通常使用固定的t c p 端口号。 优点：采用快速搜索算法，排队响应时间短，使用简单的协议能够提供高性能和弹 性。 3 缺点：容易中断服务。 图2 1 集中式网络架构 ( 2 ) 纯分布式p 2 p 第二代p 2 p 系统( 如早期的o n u t e | l a ) 实现了文件目录的分布式管理( 如图2 2 所示， 所有的对等端共同负责相互间的通信与搜索。此时网中所有节点都成为真正意义上的 对等端，无须中心服务器的参与。为了顺利通过网络安全设备，此类p 2 p 应用普遍采 用随即动态的连接端口、伪装端口( 如利用 r 兀甲的8 0 端口) 或直接利用m r p 作为 其基础通信协议。 优点：不再使用中央服务器，消除了中央服务器带来的问题。没有中央控制点，不 会因为一点故障导致全部瘫痪，是真正的分布式臃络。这种模式具有自组织“d b 瞄行 为，降低了拥有者的成本，提供可扩展性。特别适台在自组织( a d - h o c ) nl - 的应用，如 即时通信等。 缺点：由于每次搜索都要在全网进行，造成大量网络流量，使得其搜索速度慢，排 队响应时间长。用户p c 性能：及其与网络连接方式决定网络弹性和性能。 图22 分布式网络架构 o l 混合式p 2 p 第三代p 2 p 系统( 如f a s t t r a c k ，e d o n k c y 和w i n m x ) ：昕衷了集中式及分布式p 2 p 的特 点，采用混合式架构佛1 图2 3 所示) 。利用多个s u i t o r - p e e r 作为分布式中心服务器，以 实现快速检索以及网络的可测量性。s u p e r - p e e r 是由p 2 p 软件自动随即选择的，负责为 一组普通p e e r 提供目录服务，这就使得目录信息具有某种层次结构。某些第三代p 2 p 系统( 如w i n n y , e a r t h s f a t i o n 5 ) 甚至使用s s l ( s e c u r i t ys o c k e ! l a y e 0 协议( 如h t f p s ( s s l o v e r m l t 加密流量。 这种模式综合第一代和第二代的优点，用分布的超级结点取代中央检索服务器。采 用分层次的快速搜索改进了搜索性能，缩短了排队响应时间，每次排队产生的流量低 于第二代分布网络。超级智能结点的布设提供高性能和弹性。没有中央控制点，不会 因为一点故障导致全部瘫痪。 图23 混台式网络架构 三种分布结构的比较见表2 - 1 ： 衰2 - 1 二种分布结构特点比较表 、。优缺点 特桕 优点 缺点 采用快速搜索算法，响会因为一点损坏，导致 集中式分布 应对间短，效率高全部瘫痪 不会因一点故障导致搜索速度慢，排队响应 分布式分布 全部瘫痪，扩展性好时间长 兼有集中和分布式分结构复杂，规划难度高 混合式分布 布的优点于其他两种 2 3p 2 p 网络的特点 与其他网络模型相比，p 2 p 具有以下特点： 2 3 1 分散化w 1 网络中的资源和服务分散在所有节点上，信息的传输和服务的实现都直接在节点 之间进行，可以无需中间环节和服务器的介入，避免了可能的瓶颈。即使是在混合p 2 p 中，虽然在查找资源、定位服务或安全检验等环节需要集中式服务器的参与，但主要 的信息交换最终仍然在节点中间直接完成。这样就大大降低了对集中式服务器的资源 和性能要求。分散化是p 2 p 的基本特点，由此带来了其在可扩展性、健壮性等方面的 优势。 2 3 2 可扩展性伽 在传统的c s 架构中，系统能够容纳的用户数量和提供服务的能力主要受服务器的 资源限制。为支持互联网上的大量用户，需要在服务器端使用大量高性能的计算机， 铺设大带宽的网络。为此机群、d u s t e r 等技术纷纷上阵。在此结构下，集中式服务器 之间的同步、协同等处理产生了大量的开销，限制了系统规模的扩展。 而在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整体的资源和 服务能力也在同步地扩充，始终能较容易地满足用户的需要。即使在诸如n a p s t e r 等混 合型架构中，由于大部分处理直接在节点之间进行，大大减少了对服务器的依赖，因 而能够方便地扩展到数百万个以上的用户。而对于纯p 2 p 来说，整个体系是全分布的， 不存在瓶颈。理论上其可扩展性几乎可以认为是无限的。 p 2 p 可扩展性好这一优点己经在一些得到应用的实例中得以证明，如n a p s t e r , g n u t e l l a , f r e e n e t 等。 2 3 3 健壮性 在互联网上随时可能出现异常情况，网络中断、网络拥塞、节点失效等各种异常事 件都会给系统的稳定性和服务持续性带来影响。在传统的集中式服务模式中，集中式 服务器成为整个系统的要害所在，一旦发生异常就会影响到所有用户的使用。 而p 2 p 架构则天生具有耐攻击、高容错的优点1 。由于服务是分散在各个节点之 间进行的，部分节点或网络遭到破坏对其它部分的影响很小。而且p 2 p 模型一般在部 分节点失效时能够自动调整整体拓扑，保持其它节点的连通性。事实上，p 2 p 网络通 常都是以自组织的方式建立起来的，并允许节点自由地加入和离开。一些p 2 p 模型还 能够根据网络带宽、节点数、负载等变化不断地做自适应式的调整n 2 1 3 3 。 2 。3 4 隐私性 随着互联网的普及和计算存储能力飞速增长，收集隐私信息正在变得越来越容 易。隐私的保护作为网络安全性的一个方面越来越被大家所关注。目前的i n t e r a c t 通用 协议不支持隐藏通信端地址的功能。攻击者可以监控用户的流量特征，获得i p 地址。 6 甚至可以使用一些跟踪软件直接从i p 地址追踪到个人用户。 在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经过某个集中环节， 用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前解决i n t e r a c t 隐私问题主 要采用中继转发的技术方法，从而将通信的参与者隐藏在众多的网络实体之中。在传 统的一些匿名通信系统中，实现这一机制依赖于某些中继服务器节点。而在p 2 p 中， 所有参与者都可以提供中继转发的功能，因而大大提高了匿名通讯的灵活性和可靠性， 能够为用户提供更好的隐私保护n 制。 2 3 5 高性能 性能优势是p 2 p 被广泛关注的一个重要原因。 随着硬件技术的发展，个人计算机的计算和存储能力以及网络带宽等性能依照摩 尔定理高速增长。而在目前的互联网上，这些普通用户拥有的节点只是以客户机的方 式连接到网络中，仅仅作为信息和服务的消费者，游离于互联网的边缘。对于这些边 际节点的能力来说，存在极大的浪费。 采用p 2 p 架构可以有效地利用票联网中散布的大量普通节点，将计算任务或存储 资料分布到所有节点上。利用其中闲置的计算能力或存储空间，达到高性能计算和海 量存储的目的。这与当前高性能计算机中普遍采用的分布式计算的思想是一致的。但 通过利用网络中的大量空闲资源，可以用更低的成本提供更高的计算和存储能力。 2 4p 2 p 业务特征及危害 相对于传统i n t e r n e t 业务而言，p 2 p 业务表现出以下特征副： 高速传输：p 2 p 用户抢占了6 0 8 0 的网络带宽，仅将剩余带宽留给非p 2 p 用户， 容易引起企业及i s p 瓶颈链路的阻塞。 超大容量：p 2 p 用户以g b i t s s 的速率下载娱乐影音文件，消耗大量带宽。对于企业 来说，6 0 以上的企业带宽被与工作无关的p 2 p 应用消耗了，直接影响了企业关键软 件( e r p , c r m 等) 的运行。对于运营商来说，不得不投入更多的资金进行网络设备扩容。 永远在线：p 2 p 用户不分时段地进行告诉下载，增大网络设备地负荷，容易造成高峰时 段地链路拥塞。 上下行流量对称：与传统i n t e m e t 业务不同，p 2 p 应用上下行流量基本对称这对传统 非对称、尽量支持下行地网络设备( 如x d s l , c a b l em o d e m ) 造成综合性能影响，容易产 生上行链路拥塞。 业务点分布广泛：p 2 p 应用提供端到端的数据传输，使得任何两个普通节点之间都 可能存在大量数据业务，业务的分散性与不确定性极大增加了中转链路的流量。 安全性机制缺乏：p 2 p 软件缺乏安全机制，它们允许单个用户通过p 2 p 网络未经检 验地分发任何内容，也就不可避免地带来蠕虫、病毒或其它的恶意代码。 7 穿透性：p 2 p 软件可以穿透现有防火墙和安全代理，从内部打开一个企业网络安全 防护的漏洞，使得各类病毒可以轻易进入企业，同时也可能造成个人或企业私密泄漏。 2 5 深度检测技术 通过加大对网络流量的监控n 引，可以在一定程度上比较准确地识别流量中的业务 类型，其中d p i ( d e e pp a c k e ti n s p e c t i o n ，深度包检测) 和d f i ( d e e p d y n a m i cf l o wi n s p e c t i o n ，深度动态流检测) 两大技术体系的技术已经在国外商用，通过网络设 备根据业务流进行检测和识别，其适合于检测非运营商的业务，以及利用p 2 p 承载的 业务。 i m s ( i pm u l t i m e d i as u b s y s t e m ，i p 多媒体子系统) 架构则是通过应用层通知网 络设备业务的识别，适合于运营商集中运营的c s 模型的业务n 7 1 ，如v o i p 业务，从而 为业务内容提供计费和电信级的安全保证和服务，向要求服务质量高的、需要带宽保 证的客户提供o o s 保障n 引。i m s 技术是发展方向，但其技术部署和策略应用将是复杂的、 长期的过程，因此本文不作介绍。 2 5 1d p i 技术 传统的i p 包流量识别和q o s 控制技术，仅对i p 包头中的“5 t u p l e s 【1 9 1 ，即“五 元组”信息进行分析，来确定当前流量的基本信息，传统i p 路由器也正是通过这一系 列信息来实现一定程度的流量识别和o o s 保障的，但其仅仅分析i p 包的四层以下的内 容，包括源地址、目的地址、源端口、目的端口以及协议类型，随着网上应用类型的 不断丰富，仅通过第四层端口信息已经不能真正判断流量中的应用类型，更不能应对 基于开放端口、随机端口甚至采用加密方式进行传输的应用类型。d p i 技术在分析包头 的基础上，增加了对应用层的分析，是一种基于应用层的流量检测和控制技术，当 i p 数据包、t c p 或u d p 数据流经过基于d p i 技术的带宽管理系统时，该系统通过深入 读取i p 包载荷的内容来对o s l 7 层协议中的应用层信息进行重组堙，从而得到整个应 用程序的内容，然后按照系统定义的管理策略对流量进行整形操作。针对不同的协议 类型，d p i 识别技术可划分为以下三类： 第一类是特征字的识别技术：不同的应用通常会采用不同的协议，而各种协议都 有其特殊的指纹，这些指纹可能是特定的端口、特定的字符串或者特定的b i t 序列。 基于特征字的识别技术，正是通过识别数据报文中的指纹信息来确定业务所承载的应 用。根据具体检测方式的不同，基于特征字的识别技术又可细分为固定特征位置匹配、 变动特征位置匹配和状态特征字匹配三种分支技术。通过对指纹信息的升级，基于特 征字的识别技术可以方便的扩展到对新协议的检测。 第二类是应用层网关识别技术：在业务中，有一类的控制流和业务流是分离的， 如与7 号信令相关的业务，其业务流没有任何特征，应用层网关识别技术针对的对象 就是此类业务，首先由应用层网关识别出控制流，并根据控制流协议选择特定的应用 8 层网关对业务流进行解析，从而识别出相应的业务流。对于每一个协议，需要不同的 应用层网关对其进行分析。例如：h 3 2 3 、s i p 等协议，就属于此类，其通过信令交互 过程，协商得到其数据通道，一般是r t p 格式封装的语音流，纯粹检测r t p 流并不能 确定这条r t p 流是通过哪种协议建立起来的，即判断其是何种业务，只有通过检测s i p 或h 2 3 2 的协议交互，才能得到其完整的分析。 第三类是行为模式识别技术：在实施行为模式技术之前，运营商首先必须先对终 端的各种行为进行研究，并在此基础上建立行为识别模型，基于行为识别模型，行为 模式识别技术即根据客户已经实施的行为，判断客户正在进行的动作或者即将实施的 动作。 行为模式识别技术通常用于那些无法由协议本身就能判别的业务，例如：从电子 邮件的内容看，垃圾邮件和普通邮件的业务流两者间根本没有区别，只有进一步分析， 具体根据发送邮件的大小、频率，目的邮件和源邮件地址、变化的频率和被拒绝的频 率等综合分析，建立综合识别模型，才能判断是否为垃圾邮件。 这三类识别技术分别适用于不同类型的协议，相互之间无法替代，只有综合的运 用这三大技术，才能有效的灵活的识别网络上的各类应用，从而实现控制和计费。 2 5 2d f i 技术 与d p i 进行应用层的载荷匹配不同，d f i 采用的是一种基于流量行为的应用识别技 术，即不同的应用类型体现在会话连接或数据流上的状态各有不同。例如，网上i p 语 音流量体现在流状态上的特征就非常明显：r t p 流的包长相对固定，一般在1 3 0 , - - , 2 2 0 b y t e ，连接速率较低，为2 0 - - - 8 4 k b i t s ，同时会话持续时间也相对较长；而基于 p 2 p 下载应用的流量模型的特点为平均包长都在4 5 0 b y t e 以上、下载时间长、连接速率 高、首选传输层协议为t c p 等。d f i 技术正是基于这一系列流量的行为特征，建立流量 特征模型，通过分析会话连接流的包长、连接速率、传输字节量、包与包之间的间隔 等信息来与流量模型对比，从而实现鉴别应用类型。 2 5 3 优缺点 d f i 处理速度相对快：采用d p i 技术由于要逐包进行拆包操作，并与后台数据库进 行匹配对比；采用d f i 技术进行流量分析仅需将流量特征与后台流量模型比较即可， 因此，目前多数基于d p i 的带宽管理系统的处理能力达到线速1 g b i t s 左右，而基于 d f i 的系统则可以达到线速l o g b i t s 的流量监控能力，完全可以满足运营商需求； d f i 维护成本相对较低：基于d p i 技术的带宽管理系统，总是滞后新应用，需要紧 跟新协议和新型应用的产生而不断升级后台应用数据库，否则就不能有效识别、管理 新技术下的带宽，提高模式匹配效率；而基于d f i 技术的系统在管理维护上的工作量 要少于d p i 系统，因为同一类型的新应用与旧应用的流量特征不会出现大的变化，因 此不需要频繁升级流量行为模型。 识别准确率方面各有千秋：由于d p i 采用逐包分析、模式匹配技术，因此，可以 对流量中的具体应用类型和协议做到比较准确的识别；而d f i 仅对流量行为分析，因 9 此只能对应用类型进行笼统分类，如对满足p 2 p 流量模型的应用统一识别为p 2 p 流量， 对符合网络语音流量模型的类型统一归类为v o i p 流量，但是无法判断该流量是否采用 h 3 2 3 或其他协议。如果数据包是经过加密传输的，则采用d p i 方式的流控技术则不能 识别其具体应用，而d f i 方式的流控技术则不受影响，因为应用流的状态行为特征不 会因加密而根本改变。 2 6 深度检测技术使用策略 根据d p i 、d f i 两种技术体系的特点，权衡其利弊以及对带宽管理的具体需求，宽 带运营商在不同的网络位置控制点选择了不同的业务识别和控制管理的技术，以期实 现理想的带宽控制效果。 运营商的i p 骨干网通常可分为核心层、流量汇聚层和业务接入层。在业务接入层， 各运营商的布设的设备型号繁多、种类不一，但一般都采用低成本、大容量、高带宽 的设备来组网，因此在接入层内部的p 2 p 流量成本相对较低；而核心层和流量汇聚层， 一般采用高性能路由器来组网，设备成本、带宽成本较高，因此核心层和流量汇聚层 的带宽是运营商宝贵的资源，且承担了一些对时延和抖动较敏感、要求o o s 较高的业 务，大量的p 2 p 流量将影响到这些高价值业务的开展。 因此，运营商根据不同带宽管理需求点的链路类型，在全网实施带宽管理的初期， 可首先在网络核心和汇聚链路出口获取全网流量，利用电信级分流平台，将流量分流 到后台部署了d f i 技术的带宽管理系统，按照事先制定的策略对流量进行分析处理， 这样可以利用对高速链路环境的支持和良好的系统处理能力，在骨干网核心提供一个 高效的应用识别和带宽分配机制，保障有效的流量控制效果；同时，在此出口和链路 上控制p 2 p 流量进行带宽管理的投资效益比也是比较好的。 其次，在用户业务接入侧部署基于d p i 技术的带宽管理系统，采用深度包检测， 监控p 2 p 应用，限制p 2 p 下载应用的带宽，同时也可以监控非加密的v o i p ，更好的保 证网络的畅通，保证网络性能；从而逐渐实现保障网络不同业务o o s 的高价值业务的 开展，真正把网络带宽变成可有机利用、按需分配的资源。 2 7 小结 p 2 p 等网络应用是把双刃剑，带来网络发展繁荣的同时，也带来矛盾和挑战，其必 然促进d p i 和d f i 等带宽管理技术的应用。运营商在有效管理带宽的同时，也为客户 的不同业务o o s 做好网络保障。运营商应加强对技术和市场进行不断研究和探索，开 发更多用户关注的新业务应用，真正把网络带宽变成可有机利用、按需分配的资源， 正如电信集团总工韦乐平所言“疏堵结合，为我所用 ，才能使电信运营商、信息提 供商和客户构建健康和谐的平台。 1 0 第三章b it t o rr e n t 工作原理及协议 3 1b i t t o r r e n t 主体设计思想 b i t t o r r e n t ( 简称b t ) 是为多个用户传输大型文件而设计的文件传输协议啪1 。主体 设计思想是将文件分散为多个块，然后将分散的文件块分发给不同的用户，用户之间 再互相交换文件块。改变过去多个用户从一台服务器读取文件的思想，直接在用户之 间进行文件交换，大大提高了下载传输的速度。 可以这样理解：首先在客户端把一个完整的文件分成了z 个部分，用户a 在服务器 随机下载了第n 各部分，用户b 在服务器随机下载了第m 个部分，这样用户a 的b t 就 会根据情况到用户b 的电脑上去拿已经下载好的第m 部分，用户b 的b t 也会根据情况 到甲的电脑上去拿已经下载好的第n 部分，这样不但减轻了服务器端的负荷，也加快 了用户方( a ，b ) 的下载速度，效率也提高了。而且用户在下载的同时，也在上传。b t 这种下载方式实际上是下载者之间“互助协助”，一个下载者不再是简单的“下载者， 他既要下载，又要充当服务器把自己已经下载的文件或者某些已经下载的部分提供给 其他用户使用阱1 。b t 下载把过去那种“p e e r - t o - p e e r 的下载方式进化成为 “p e e r s t o p e e r s ，大大提高了下载速度。具体地讲，过去的“点对点，是指一个 具有完整文件的点对应多个下载该文件的点，而b t 的“点对点 则是真正意义上的“多 点对多点 。 3 2bit t o r r e n t 系统组成部分 一个完整的b t 系统主要由以下几个要素构成，见图3 1 ： 图3 1b t 系统鱼骨图 b t 系 统 构 成 w e b 服务器( w e bs e r v e r ) 跟踪器( t r a c k e r ) 静态的“m e t a - i n f o ”文件( t o r r e n t ) 具有完整文件的客户端( s e e d s ) 具有w e b 浏览器和b t 下载软件的客户端( 1 e e c h e r s ) 其结构关系见图3 2 ： w e b i y a c k e r 图3 2b i t t o r r e n t 系统组成 p e e r ( 1 e e c h e r ) 3 2 1 w e b 服务器 该服务器提供了b t 发布的统一管理，用来进行b t 发布，并提供t o r r e n t 文件 的下载。它跟网上通用的w e b 服务器相似，通常是在w i n d o w s 的操作系统下架构的。 一般情况，现在大多用户使用的操作系统都是w i n 2 0 0 0 以上的版本。w i n 2 0 0 0 以上系统 基本上都带有ii s ，ii s 是发布w e b 页的重要组件。也可以使用a p a c h e 来架设w e b 。 3 2 2 跟踪器( t r a c k e r ) t r a c k e r 是指运行于服务器上的一个程序，这个程序能够追踪到底有多少人同时在 1 2 下载同一个文件。搜索网络上所有的点( p e e r s ) ，其中包括种子( s e e d s ) 和下载者 ( 1 e e c h e r s ) 。并建立动态的用户列表( 1 i s t ) ，列表中包括其他在线用户的i p ，文件特 征码( i n f o _ h a s h ) 等信息。用户会定时的发送k e e p a l i v e 包，并告诉t r a c k e r 它的下 载、上传等状态。客户端连上t r a c k e r 服务器，就会获得下载人员的名单，根据这个， 盯会自动连上别人的机器进行下载。它应该与w e b 服务器分离独立安装在别的机子上， 但现在普遍的作法是将t r a c k e r 与w e b 服务器同时安装在一台微机上。 种子( s e e d s ) 简单的说，就是在盯下载链中的发布者或下载完成者并保持文件链 接不关闭提供数据的用户。而下载者( 1 e e c h e r s ) 是指下载未完成的用户。t r a c k e r 是 b i t t o r r e n t 服务器最关键的一部分，如果t r a c k e r 关闭了，发布页上的所有种子都将 失效。 3 23 静态的“m e t a i n f o ”文件( t o r r e n t 文件) t o r r e n tf i l e 命名为：盯下载链表文件，链表记录下载链的相关数据。如果你 要发布一个b t 下载，就要首先编译你要发布的文件，生成t o r r e n t 文件，然后启动下 载链种子。t o r r e n t 文件并不等于要下载的文件，它只是提供一些初始化信息。使你能 连接到需要下载的数据，发布t o r r e n t 的用户，需要启动第一次下载，并把保存目录 指向你要发布的文件，这样b t 软件就会扫描以后提供给其他人下载。它也是很重要的， 如果没有t o r r e n t 文件，你就无法知道下载的位置。 t o r r e n t 文件的作用；记录了发布服务器的位置( a n n o u n c e 后跟的就是t r a c k e r 的位置) ，让b t 知道是哪个t r a c k e r 服务器发布的，然后是一些文件信息：文件名， 目录名，长度等等，最后是片段长度，和片段的s h a l 校验码( b t 为了实现续传和文件 校验，就把文件分成若干个片段) 。图3 3 是用u l t r a e d i t 打开的一个t o r r e n t 文件 【- _ l 一一一口蜡幅臂1 2 r 盟k 1 届诗j _ 1 2 n 翮! 0 一_ x j ! # 吨) 嘲精姒4 日啦枧田凹格式q ) w 君哩) 胖。确q ) 亩口q ，$ 韵 一自o 【十彰* 坛i 酽翻袍* 天i 雷礴p v o m 】f 删 0l23567895bcdef一 0 0 0 0 0 0 3 d h 一一一a 一一一t 。、 0 0 0 0 0 0 4 0 h ：6 53 1333 6 37 2 6 56l7 4 6 96 f 6 e2 0 6 q6 17 4 ；目1 3 ：c t i o nd 0 0 0 0 0 0 5 0 h ：6 56 93 l 3 2 3 1 3 9 3 1 3 5 3 03 63 0 3 56 53 43 6 9 ：e i l 2 1 9 7 5 0 6 0 5 e 4 ；1 0 0 0 0 0 0 6 0 h ：6 e6 6 6 f6 4 3 53 6 66 9 6 c6 57 3 6 c6 4363 6 c ；n f o d s ：f i l l d 6l 0 0 0 0 0 0 7 0 h ：6 56 e5 77 6 86 9 3 2 3 23 8 3 5 3 0343 8 3 53 26 5 g t h l 2 2 8 5 0 4 8 5 2 e 0 0 0 0 0 0 b d h ：3 3 10617 6 c3 23 13 b 0f c c 7 e 0 c ce c ； ：p a 卟1 2 1 ：包青天 0 0 0 0 0 0 9 0 h ：d5 eb od 70 1 3 03 12 e7 26 0 7 66 26 5 ；之白龙驹0 1r w v b e 0 0 0 0 0 0 & o h3 l 3 03 7 06 川6 82 e 7 57 46 62d3 8 6 c3 23 8 ：i 0 ：口a c hu t f - 8 1 2 88 0 0 0 0 0 o h ：3 e 58 c 8 5 e 9 9 d9 2e s 4a 9e 日b 98 b e 7 9 9b d ；：键啕谲渣+ 筒捌 0 0 0 0 0 0 c o h ：e 9b e 9 9 e 9a 9 b 93 0 3 i z e1 26 d7 66 26 56 5 6 4 ；摊横0 0 1 一b e e d t， 型趣彗固岛4 旦7d u 器， 脚，一f ， 瞄33 t o r r e n t 文件 从这个文件中可以看到相关信息。a n n o u n c e 记录了t r a c k e r 服务器的位置是 h t t p ：b t f a n s 3 3 2 2 o r g ：8 0 0 0 a n n o u n c e 8 ，文件名为“包青天之白龙驹0 1 r m v b ”，后 面的乱码为片段s h a l 校验码等。 3 24 具有完整文件的客户端( s e e d s ) 这个客户端具有完整的下载文件，也就是通常所说的种子( s e e d s ) 。种子的在线才 能保证其他的客户端不断的进行下载，直到完成整个文件的下载。下载过程中用户 通常会发现若是种子( s e e d s ) 没有了也就是种子数为0 时，他们的文件传输会停止在 5 0 6 0 ，甚至达到9 9 的情况不动了。所以说种子是很重要的，而且它的数目越多， 下载的速度也会越快。 325 具有w e b 浏览器和b t 下载软件的客户端( l e e a h e r s ) 盯客户端一股装有w e b 浏览器和b t 下载的源程序，通过w e b 浏览器连接到服务器， 然后下载得到t o r r e n t 文件，再通过h t t p 协议和t r a c k e r s 服务器取得联系。t r a c k e r 服务器可以提供给b t 客户端其他在线的用户，并与这些用户连接起来，从他们那里取 得需要下载的文件。客户端还要向t r a c k e r 实时的报告f 载的状态，其中包括在线的 种子数目，下载人数，文件下载量，下载速度，