（通信与信息系统专业论文）p2p应用的流量管理研究与实现及语音包检测流模块研究.pdf

北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 摘要 p 2 p ( x , j - 等网络) 技术打破原有c s 架构业务模型，近年来在文 件交换、分布式计算、协同工作、分布式搜索和电子商务等得到广泛 的应用。由于p 2 p 应用基于自组织的弹性的网络结构，对网络的安全 和管理带来了新的挑战。 n g n ( 下一代网络) 中在原有网络的基础上，广泛出现语音和视 频流，网络管理的对象变得更为复杂，网络的性能管理和稳定性管理 更加重要。 本文主要介绍作者在研究生期间对p 2 p 流量的管理研究与实现 的研究与开发工作。该部分包括p 2 p 技术的介绍、各种p 2 p 应用传 输层特性的研究、p 2 p 应用传输层特性识别算法的研究、以及识别算 法的实现和性能分析。 对于运营商来说，p 2 p 业务对宽带网运营模式产生了新的考验， 流量增长导致的扩容投资与营收不成比例。这样必须有新的收费模 式，如：流量管理，基于内容的计费等。在这种情况下增加了网络规 划难度和投资风险。 对于企业而言，对等业务p 2 p 应用占用大量企业网络带宽，而且 无法区分合法和非法的对等业务i 2 p 流量。防火墙难以阻挡对等业务 p 2 p 应用软件，从而p 2 p 软件可以被做成病毒、木马和间谍软件，对 网络安全造成威胁。同时也因为p 2 p 网络自身缺陷容易被人利用，从 而遭到攻击。将来会出现各种专门针对p 2 p 系统的网络病毒，利用系 统漏洞，达到迅速破坏、瓦解、控制系统的目的。 同时本文介绍了语音包检测流模块研究的内容。该部分包括项目 背景介绍、语音包检测系统结构介绍和对其流模块中r t p 识别统计 方法的研究。 原有的网络流量和协议分析的软件n t o p 和e t h e r e a l ，还不能很好 地解决语音视频流( r t p ) 以及信令消息( h 3 2 3 、m g c p 、s i p ) 的 统计特性等各方面的分析。我们要做的是分析n g n 网络中语音视频 业务，监测语音视频数据流的流量、性能。 关键词：p 2 pv o l p 检测s i pr t pr t c p 北京邮电大学硕士论文：p 2 1 应用的流量管理研究与实现及语音包检测流模块研究 a b s t r a c t b r e a k i n gt h ef o r m a lc sb a s e dm o d eo fb u s i n e s s ，p 2 p ( p e e rt op e e r ) t e c h n o l o g y h a sb e e n w i d e l ya p p l i e d i nr e c e n ty e a r so nd o c u m e n t e x c h a n g e ，d i s t r i b u t e dc o m p u t i n g ，c o o p e r a t i v ew o r k ，d i s t r i b u t e ds e a r c h ， e c o m l n e r c ea n ds oo n s e c u r i t ya n dm a n a g e m e n to ni n t e m e ta r em e e t i n g t h en e wc h a l l e n g eb e c a u s et h ea p p l i c a t i o no fp 2 p t e c h n o l o g yi sb a s e do n i t so w nf l e x i b l en e t w o r ks t r u c t u r e o nt h eb a s i so ft h ef o r m e rn e t w o r ka n da m o n gn g n ( n e x t g e n e r a t i o nn e t w o r k ) ，a u d i oa n dv i d e of l o wo c c n rw i d e l y , w h i c hl e a d st o t h e t a r g e t o fn e t w o r km a n a g e m e n tb e c o m e sm o r ec o m p l i c a t e da n d n e t w o r kp e r f o r m a n c ea n ds t a b i l i t ym a n a g e m e n tb e c o m em o r ei m p o r t a n t t h i st h e s i sm a i n l ye x p l a i n sr e s e a r c ha n dr e a l i z a t i o no fp 2 pt r a f f i c m a n a g e m e n td u r i n gt h ea u t h o r sp o s t g r a d u a t es t u d i e s ，i n c l u d i n gp 2 p t e c h n o l o g yi n t r o d u c t i o n ，r e s e a r c ho nt r a n s p o r tl a y e rp r o p e r t yo fa l lk i n d s o fp 2 pa p p l i c a t i o n r e s e a r c ho nt r a n s p o r tl a y e rn e wi d e n t i l y i n ga l g o r i t h m o fp 2 pa p p l i c a t i o na n dr e a l i z a t i o no f i d e n t i f y i n ga l g o r i t h ma n di t s f u n c t i o na n a l y s i s 加t oc a r r i e r s p 2 ps e r v i c ef o r m san e wc h a l l e n g et ot h em o d eo f b r o a db a n dn e t w o r ko p e r a t i o n ，w h i c hi st h ed i s p r o p o r t i o no fe x p a n d i n g i n v e s t m e n ta n db u s i n e s si n c o m ec a u s e db yt r a f f i cg r o w t h s oan e w c h a r g em o d e i sn e e d e dh e r e ，s u c ha st r a f f i cm a n a g e m e n t ，b i l l i n gb a s e do i l c o n t e n ta n ds oo h i nt h a tc a s e ，i tw i l lb em o r ed i f f i c u l tf o rn e t w o r k p l a n n i n ga n di n c r e a s ei n v e s t m e n t r i s k t oa c o r p o r a t i o n ，p 2 pa p p l i c a t i o nt a k e su pm a s s i v ee n t e r p r i s e n e t w o r kb a n d w i d t h ，w h i c hi sm o r e o v e ru n a b l et od i s t i n g u i s hl e g a la n d i l l e g a lp 2 pt r a f f i c t h ef l r e w a l lc a n n o tr e s i s tp 2 pa p p l i c a t i o ns o f t w a r es o t h a tp 2 ps o f t w a r ec a nb em a d ei n t ov i r u s ，t r o j a nh o r s ev i r u sa n ds p y s o f t w a r er e s u l t i n gf o r m i n gat h r e a tt on e t w o r k a tt h es a m et i m e ，i ti st h e f l a wo fp 2 pn e t w o r ki t s e l ft h a ti se a s yt ob et a k e na d v a n t a g eo fs ot h a ti t m e e t sw i t ha t t a c k s a tt h es a m et i m e ，t h i st h e s i sa l s oe x p o u n d sr e s e a r c ho nf l o wm o d u l e o fv o i c e p a c k a g e si n s p e c t i n g ，i n c l u d i n g i n t r o d u c t i o no n p r o j e c t b a c k g r o u n da n ds t r u c t u r e o fv o i c e p a c k a g e si n s p e c t i n gs y s t e m ，a n d i v 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 r e s e a r c ho nr t pi d e n t i f y i n gs t a t i s t i cm e t h o di nf l o wm o d u l e t h ef o r m e rn e t w o r kt r a f f i ca n dp r o t o c o la n a l y s i ss o f 蛔a r e n t o pa n d e t h e r e a l ，a r en o tg o o de n o u g ht os o l v es t a t i s t i cp r o p e r t yo ff l o w ( r t p ) a s w e l la ss i g n a l s ( h 3 2 3 、m g c p 、s i p ) o u rp u 叩o s ei st oa n a l y z ea u d i oa n d v i d e oo p e r a t i o n ，m o n i t o rt r a f f i ca n dp e r f o r m a n c eo fa u d i oa n dv i d e of l o w k e yw o r d s ：p 2 p v o l pi n s p e c t i n gs i pr t pr t c p v 京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 a e s d h t d n s f t p h m i m n g n 0 n p 2 p q h t r a m r i a a s 口 s m t p s n s s l t r l v i d 、，o i p 英文缩略语索弓 a d v a n c e de n c r y p t i o ns t a n d a r d d i s t r i b u t e dh a s ht l b l e d o m a i nn a m es y s t e m f i l et r a n s p o r tp r o t o c o l h y p e rt e x tt r a n s p o r tp r o t o c o l i n s t a n tm e s s a g e n e x tg e n e r a t i o nn e t o r d i n a r yn o d p e e r - t o p c e r q u e r yh a s ht a b l e r a n d o ma c c e s sm e m o r y r e c o r d i n gi n d u s t r ya s s o c i a t i o no f a m e r i c a s e s s i o ni n i t i a t i o np r o t o c o l s i m p l em a i lt r a n s p o r tp r o t o c o l s u p e rn o d s e c u r es o c k e tl a y e r t i m eo f l i f e v i r t u a li m a g ed i s p l a y v o i c eo v e ri p 7 7 高级加密标准 分布式哈希表 域名解析系统 文件传输协议 超文本传输协议 即时消息 下一代网络 普通节点 对等端到对等端 查询哈希表 随机存储器 美国录音工业协会 会话启动协议 简单邮件传输协议 超级节点 安全套接 生命时间 虚拟图像显示器 基于i p 语音传输 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：童查坠日期：兰! 鲤午! 基! ! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 本学位论文不属于保密范围，适用本授权书。 本人签名：垒查整日期：2 1 堡垒主目皇自 导师签名：二社日期：! = 号牛 j 。 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 第一部分p 2 p 应用流量管理研究与实现 1 1 课题背景 第一章绪论 对等业务( p 2 p 业务) 对宽带网运营模式产生了新的考验，流量增长导致的 扩容投资与营收不成比例。这样必须有新的收费模式，如：流量管理，基于内容 的计费等。在这种情况下增加了网络规划难度和投资风险。 对于企业而言，对等业务p 2 p 应用占用大量企业网络带宽，而且无法区分 合法和非法的对等业务p 2 p 流量。防火墙难以阻挡对等业务p 2 p 应用软件：动 态端口，专有协议；通过对等业务p 2 p 破坏内部重要系统，通过对等业务p 2 p 丢 失企业机密或重要资料ip 2 p 对等业务软件上的缺陷被人利用进行攻击；p 2 p 对 等业务软件本身被做成特洛依木马；非开放协议的p 2 p 应用对用户的安全威胁： 间谍软件。信息的安全等等从而p 2 p 业务需要更强大的网络安全功能。 1 1 1p 2 p 安全问题 p 2 p 对等网络系统的开发，除了涉及传统的安全性的领域：身份识别认证、 授权、数据完整性、保密性和不可否认性，还有一系列特殊问题亟待解决： 在p 2 p 对等共享网络中普遍存在的知识产权保护问题。 在p 2 p 对等共享网络中普遍存在着知识产权保护问题。尽管目前g n u t d l a 、 k a z a a 等p 2 p 对等共享软件宣传其骨干服务器上并没有存储任何涉及产权保护的 内容的备份，而仅仅是保存了各个内容在互联网上的存储索引。但无疑的是，p 2 p 共享软件的繁荣加速了盗版媒体的分发，提高了知识产权保护的难点。美国唱片 工业协会r i a a ( r e c o r d i n gi n d u s t r y a s s o c i a t i o no f a m e r i c a ) 与这些共享软件公司展 开了漫长的官司拉锯战，著名的n a p s t e r ( 一种p 2 p 对等共享软件) 便是这场战 争的第一个牺牲者。另一个涉及面很广的战场则是r i a a 和使用p 2 p 来交换正版 音乐的平民。从2 0 0 4 年1 月至今r i a a 已提交了1 0 0 0 份有关方面的诉讼。尽管 如此，至今每个月仍然有超过1 5 0 ，0 0 0 ，0 0 0 的歌曲在网络上被自由下载。后n a p s t e r 时代的p 2 p 共享软件较n a p s t e r 更具有分散性，也更难加以控制。即使p 2 p 对等 共享软件的运营公司被判违法而关闭，整个网络仍然会存活，至少会正常工作一 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 段时间。 另一方面，n a p s t c r 以后的p 2 p 共享软件也在迫切寻找一个和媒体发布厂商 的共生互利之道。如何更加合法合理的应用这些共享软件，是一个新时代的课题。 毕竟p 2 p 对等通信技术除了共享盗版软件，还可以共享相当多的有益的信息。 网络社会与自然社会一样，其自身具有一种自发地在无序和有序之间寻找平 衡的趋势。p 2 p 对等通信技术为网络信息共享带来了革命性的改进，而这种改进 如果想要持续长期地为广大用户带来好处，必须以不损害内容提供商的基本利益 为前提。这就要求在不影响现有p 2 p 对等共享软件性能的前提下，一定程度上实 现知识产权保护机制。目前，已经有些p 2 p 厂商和其它公司一起在研究这样的问 题。这也许将是下一代p 2 p 共享软件面临的挑战性技术问题之一。 对等诚信 为使得p 2 p 技术在更多的商业环境里发挥作用，必须考虑到网络节点之间的 信任问题。集中式的节点信任管理既复杂又不一定可靠。所以在f 2 p 网络中应该 考虑对等诚信模型。实际上，对等诚信由于具有灵活性、针对性并且不需要复杂 的集中管理，可能是未来各种网络加强信任管理的必然选择，而不仅仅局限于对 等网络。对等诚信的一个关键是量化节点的信誉度。或者说需要建立一个基于 p 2 p 的信誉度模型。信誉度模型通过预测网络的状态来提高分布式系统的可靠 性。一个比较成功的信誉度应用例子是在线拍卖系统e b a y 。在e b a y 的信誉度模 型中，买卖双方在每次交易以后可以相互提升信誉度；一名用户的总的信誉度为 过去六个月中这些信誉度的总和。e b a y 依靠一个中心来管理和存储信誉度。同 样，在一个分布式系统中，对等点也可以在每次交易以后相互提升信誉度，就像 在c b a y 中一样。例如，对等点i 每次从j 下载文件时，它的信誉度就提升( + 1 ) 或降低( 1 ) 。如果被下载的文件是不可信的，或是被篡改过的，或者下载被中 断等，则对等点i 会把本次交易的信誉度记为负值( - 1 ) 。就像在e b a y 中一样， 我们可以把局部信誉度定义为对等点i 从对等点i 下载文件的所有交易的信誉度 之和。每个对等点i 可以存贮它自身与对等点i 的满意的交易数，以及不满意的 交易数，则可定义为：勺：以( i ：d w f f i a t 0 ；) ) p 2 p 带来的新型网络病毒传播模式防阻断问题 随着计算机网络应用的深入发展，计算机病毒对信息安全的威胁日益增加。 特别是在p 2 p 环境下，方便的共享和快速的选路机制，为某些网络病毒提供了更 好的入侵机会。 由于p 2 p 网络中逻辑相邻的节点，地理位置可能相隔很远，而参与p 2 p 网 络的节点数量又非常大，因此通过f 2 p 系统传播的病毒，波及范围大，覆盖面 广，从而造成的损失会很大。 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 在p 2 p 网络中，每个节点防御病毒的能力是不同的。只要有一个节点感染病 毒，就可以通过内部共享和通信机制将病毒扩散到附近的邻居节点在短时间内 可以造成网络拥塞甚至瘫痪，共享信息丢失，机密信息失窃，甚至通过网络病毒 可以完全控制整个网络。 一个突出的例子就是2 0 0 3 年通过即时通讯( i n s t a n t m e s s a g e ) 软件传播病毒 的案例显著增多。包括s y m a n t e e 公司和m c a f e e 公司的高层技术主管都预测即 时通讯软件将会成为网络病毒传播和黑客攻击的主要载体之一。 随着p 2 p 技术的发展，将来会出现各种专门针对p 2 p 系统的网络病毒。利 用系统漏洞，达到迅速破坏、瓦解、控制系统的目的。因此，网络病毒的潜在危 机对p 2 p 系统安全性和健壮性提出了更高的要求，迫切需要建立一套完整、高效、 安全的防毒体系。 基于p 2 p 的隐蔽通讯与隐私保护问题； 利用f 2 p 无中心的特性可以为隐私保护和匿名通讯提供新的技术手段。 匿名性和隐私保护在很多应用场景中是非常关键的：在使用现金购物，或是 参加无记名投票选举时，人们都希望能够对其他的参与者或者可能存在的窃听者 隐藏自己的真实身份；在另外的一些场景中，人们又希望自己在向其他人展示自 己身份的同时，阻止其他未授权的人通过通信流分析等手段发现自己的身份，例 如为警方检举罪犯的目击证人。事实上，匿名性和隐私保护已经成为了一个现代 社会正常运行所不可缺少的一项机制，很多国家已经对隐私权进行了立法保护 然而在现有的互联网世界中，用户的隐私状况却一直令人堪忧。目前互联网 网络协议不支持隐藏通信端地址的功能。能够访问路由结点的攻击者可以监控用 户的流量特征，获得口地址，使用一些跟踪软件甚至可以直接从口地址追踪到 个人用户。s s l ( s e c u r es o c k e t sl a y e r 一种国际标准的加密及身份认证通信协议) 之类的加密机制能够防止其他人获得通信的内容，但是这些机制并不能隐藏是谁 发送了这些信息。 p 2 p 技术为解决互联网隐私问题开辟了一条新的可行方案。p 2 p 系统要求每 个匿名用户同时也是服务器，为其他用户提供匿名服务。这意味着经过一个节点 的消息可能是源于该节点，也可能是源于其他节点，很难决定是这两种情况中的 哪一种。p 2 p 系统的另一个特点是攻击者不易找到明确的攻击目标，在一个大规 模的环境中，任何一次通信都可能包含许多潜在的用户。另外，p 2 p 系统具有较 好的可扩展性和柔性，可以在节点之间进行负载均衡，不存在单失效点等优点。 但p 2 p 系统也面临着许多挑战。首先是加入控制( a d m i s s i o nc o n t r 0 1 ) ，系统 很难知道加入的节点是否是恶意节点，是否被攻击者控制等。这样，一个能力强 的攻击者，可以向系统中插入大量被其控制的节点，以进行通信流分析。而对加 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 入系统的节点进行身份认证又与匿名性这一目标相违背。其次是p 2 p 系统的动态 性很强，许多节点在网络中的时间并不长，它们频繁地加入和离开系统。当一个 节点加入系统时，它需要为系统中其他节点形成匿名路径，这可能会带来一些安 全问题。当一个节点离开系统时，该节点所在匿名路径上的那些用户必须等待新 的匿名路径的形成。节点加入和离开系统的另一个问题是节点必须知道网络中的 其他一些节点。而p 2 p 系统不断变化的匿名集又给这一问题增添了困难。晟后， p 2 p 系统中各个节点的性能有差异，尤其是在一个开放的环境中。这导致了一些问 题，例如，一个性能差的节点会降低其所在匿名路径的效率，即使匿名路径上其 他节点的性能很好。性能差异还可能有利于攻击者进行时间分析，因为攻击者可 以从一条路径上的不同的延迟获得一些相关的信息等。 目前，研究者已经设计出了很多p 2 p 匿名通信协议。c l i q u e n e t 协议是由康 耐尔大学设计的一个自组织的可扩展p 2 p 匿名通信协议。它采用分治的思想对 d c - n e t 协议进行了改进，目的是解决d c - n e t 协议效率低和可扩展性差的弱点。 然而，与d c n e t 协议一样，c l i q u e n e t 协议同样需要可靠的广播，这在目前互联 网上是不现实的。c r o w d s ( 一种基于p 2 p 技术的通信与信息共享软件) 的目的 是为用户提供匿名网页( w e b ) 浏览，它使得用户能够匿名的从万维网( w e b ) 服务器取回信息而不对服务器和第三方泄漏用户信息。c r o w d s 的思想是“混在人 群中”，意思是把自己隐藏在群体中，其缺点在于匿名性不高。f r e e n e t ( 一种p 2 p 网络模型) 是应用层的点对点匿名发布系统，主要用于匿名存储和检索。o n i o n r o u t i n g ，t a r z a n ，m o r p h m i x ( 三种源路由匿名通信系统) 都是基于d a v i dc h a u m 提出的m ( 混合加密) 方法的f 2 p 匿名通信协议，它们的匿名性较好，而且 适合于互联网环境。缺点是在大规模情况下，可扩展性和效率不是很好。 另外，匿名通讯技术如果被滥用将导致很多互联网犯罪而无法追究到匿名用 户的责任。所以提供强匿名性和隐私保护的p 2 p 网络必须以不违反法律为前提。 而在匿名与隐私保护和法律监控之间寻找平衡又将带来新的技术挑战。当然，前 提是相关的法律法规必须进一步完善。 p 2 p 网络服务健壮性与抗毁能力等等。 p 2 p 由于其完全分布式架构，网络中的节点既可以获取其它节点的资源或 服务、同时又是资源或服务的提供者，不依赖于少数集中控制节点，具有比传统 的客户端服务器( c l i e n t s e r v e r ) 网络更好的健壮性和抗毁性，成为搭建高健壮 性网络的有效方式。要建立健壮的p 2 p 网络，需要解决以下问题： 故障诊断 在一般的p 2 p 网络中，由于没有集中控制节点，主要的故障最终都归结为节 点失效，失效的原因可能是该用户退出网络或是相关网路中的路由错误等。发现 4 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 节点失效的方法通常比较简单，可以在发起通讯时检测，或采用定时握手的机制。 一些系统进一步监测网络通讯状态，如通讯延迟、响应时间等，以此来指导节点 自适应地调整邻接关系和路由、提高系统性能。 在要求更高的场合，有时还需要发现网络攻击和恶意节点等安全威胁。由于 p 2 p 网络中节点的加入往往具有很大的自由性，而且缺少全局性的权限管理中心 或信任中心，对恶意节点的检测一般通过信誉机制来实现。 容错 在节点失效、网络拥塞等故障发生后，系统应保证通信和服务的连续性。最 简单的办法是重试，这在暂时性的网络拥堵时是有效的。对于经常出现的节点失 效问题，则需要调整路由以绕开故障节点和网络。在混合型的p 2 p 网络中，中心 索引节点可以提供失效节点的替代节点；在g n u t e l l a 等广播型的p 2 p 网络中，部 分节点的失效不会影响整个网络的服务；在c h o r d 、f r e e n e t 等内容路由型p 2 p 网络中，其路由中的每一步都有多个候选，通过选择相近的路由可以很容易地绕 过故障节点，由于其以n 维空间的方式进行编址，中间路径的选择不会影响最终 到达目标节点。 除了通信外，一些p 2 p 网络还提供内容存储和传输等服务，这些服务的容错 能力通过信息的冗余来保证。与广播机制或内容路由算法相结合，可以在目标节 点失效后很快定位到相近的、存储有信息副本的节点。 自组织 自组织性指系统能够自动地适应环境的变化、调整自身结构。对于p 2 p 网络 来说，环境的变化既包括节点的加入和退出、系统规模的大小，也包括网络的流 量、带宽和故障，以及外界的攻击等影响。 目前的p 2 p 系统大都能够适应系统规模的变化。典型的方法是以一定的策略 更新节点的邻接表并将邻接表限制在一定的规模内，使整个网络的规模不受节点 的限制。 在一些对邻接关系有一定要求的网络中，则需要随节点的变更动态调整系统 拓扑。如c l i q u e n e t 协议和h e r b i v o r e 协议等基于d c n e t 的匿名网络，通过自动 分裂合并机制将邻接节点限制在一定数量范围内以保证系统的性能。 1 1 2p 2 p 流量管理问题 p 2 p 已经成为客户机服务器模式以外互联网的另外一种主要模式。就共享 文件下载而言，p 2 p 可以消除服务器瓶颈，使得流量分布平衡，同样的网络资源 可以支持更多用户的文件下载业务。实际上其应用远不只是共享文件下载，在计 算力共享、网络存储、通信和协同计算等方面都会有广泛的应用。 p 2 p 技术现阶段最大的用途就是提供了在个人用户之间交换数据文件，通过 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 集中资源服务器已经不在是资源存放的唯一途径。 p 2 p 技术主要带来了如下一些变化： 1 1 互联网上流量模型的变化，现在互联网上7 0 的流量都是p 2 p 的流量， 而传统的 r 兀甲流量已经不是互联网上的主要流量。 2 ) 个人用户的流量模型的变化。以前个人用户的下行流量( 从互联网到个人 用户) 远远大于上行流量。而由于p 2 p 技术在下载的同时，也需要上传。导致个 人用户的下行流量和上行流量都很大。 3 1p 2 p 流量造成网络的拥塞。 p 2 p 数据流量在不断增长，而目前由于p 2 p 技术的特殊性，对其识别管理有 一定的难度。目前出现的p 2 p 问题源自宽带接入的包月模式，是互联网运营模式 冲击传统运营模式的表现。采用客户机朋务器模式时，由于服务器瓶颈限制了 下载数量，运营商比较容易应付。而p 2 p 文件下载的出现打破了这种平衡，使得 流量急剧增加而收入没有增加。p 2 p 模式对运营商的城域网和骨干网提出了更高 的要求。运营商应该重新设计宽带业务模型，计算带宽需求进行成本核算。 对于运营商来说，按照原有的管理和运营方式无法对增长如此迅速的p 2 p 流量进行合适管理。毫无疑问，p 2 p 技术对运营商的运营模式带来了巨大的影响， 运营商的宽带资源的占用与收入的增长不同步，出现“增量不增收”的尴尬局面。 1 2 作者的工作 作者在研究生阶段参加了“p 2 p 应用流量管理研究”课题研究，在该项目中 主要负责传输层识别算法的研究以及在l i n u x 系统上的实现。具体研究工作为： 首先针对各种p 2 p 协议客户端，分别进行单独的连接、保持连接、文件下载 过程的实验，分别总结出各种p 2 p 协议的网络连接特性、保持连接特性、下载特 性等。最后根据上述特性，分析研究出具有通用性的传输层识别的算法。 其次，以l i n u x 系统作为实现平台，利用c 语言实现该算法，这之中完成了 数据的读取程序，数据的处理程序，其中最多的部分是针对数据的识别程序。最 后针对识别输出的结果分析该算法的性能指标。 同时作者还有幸参加了另一个项目“语音包检测”流模块的研究，学习了网 络处理器，学习了r t p 和r t c p 协议的详细内容，最后提出了r t p 流的识别和 统计的方法。 北京邮电大学硬士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 1 3 论文结构 本论文分为两大部分，共七章，主要内容分别阐述如下： 第一部分p 2 p 应用流量管理研究与实现，包括第一章到第四章的内容。 第一章：绪论。介绍课题的研究背景、作者的相关工作和论文结构。 第二章：p 2 p 应用流量管理综述。介绍p 2 p 技术的概念、发展历史、关 键技术应用。 第三章：p 2 p 应用流量管理传输层识别算法研究。首先阐述p 2 p 网络特 性的研究内容，然后详细介绍了p 2 p 传输层特性研究的内容。 第四章：p 2 p 应用流量管理传输层识别算法实现。阐述了该算法实现的 设计方案、具体实现、实验结果分析和经验体会。 第二部分语音包检测流模块研究，包括第五章和第六章的内容。 第五章：课题背景及系统架构。介绍语音包检测项目课题背景，语音包 检测系统的总体架构。 第六章：流量分析模块研究。介绍了语音包检测系统流模块识别与管理 的研究，主要是阐述作者对r t p 和r t c p 协议的研究以及r t p 流识别方法的 总结。 第七章：结束语。对作者研究生期间研究过程的总结以及对未来工作的展望。 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 2 1p 2 p 概念 第二章p 2 p 应用流量管理综述 p 2 p 是p e e r - t o p e e r 的缩写，指的是点对点的意思，在对等点之间建立直接 交换，允许和其他人共享资源；可以理解为一种计算模型，与客户端甘艮务器( c s ) 模型、浏览器服务器( b s ) 模型相对应；也可以理解为一组技术，比如寻址、 路由、资源管理、信令等等；或是一个基础设施，比如o v e r l a y 、a d h o c 等：或 者是一组思想( 最好地体现口的思想) 。它的特点是：无中心、自组织、多条路由、 动态拓扑。 p 2 p 直接将人们联系起来，让人们通过互联网直接交互。p 2 p 使得网络上的 沟通变得容易、更直接共享和交互，真正地消除中间商。p 2 p 就是人可以直接连 接到其他用户的计算机、交换文件，而不是像过去那样连接到服务器去浏览与下 载。p 2 p 另一个重要特点是改变互联网现在的以大网站为中心的状态、重返“非 中心化”，并把权力交还给用户。p 2 p 看起来似乎很新，但是正如b 2 c ( b u s i n e s s t oc u s t o m e r ) 、b 2 b ( b u s i n e s st ob u s i n e s s ) 电子商务是将现实世界中很平常的东西 移植到互联网上一样，p 2 p 并不是什么新东西。在现实生活中我们每天都按照 p 2 p 模式面对面地或者通过电话交流和沟通。 从网络看，p 2 p 也不是新概念，p 2 p 是互联网整体架构的基础。互联网最 基本的协议t c p i p 并没有客户机和服务器的概念所有的设备都是通讯的平 等的一端。在十年之前，所有的互联网上的系统都同时具有服务器和客户机的功 能。当然，后来发展的那些架构在t i 卫佃之上的软件的确采用了客户机朋臣务 器的结构：浏览器和万维网服务器，邮件客户端和邮件服务器。但是，对于服务 器来说，它们之间仍然是对等联网的。以电子邮件为例，互联网上并没有一个 巨大的、唯一的邮件服务器来处理所有的电子邮件，而是对等联网的邮件服务 器相互协作把电子邮件传送到相应的服务器上去。另外用户之间电子邮件则一 直对等的联络渠道。 p 2 p 作为一种边缘技术，受到众多的关注，特别是近几年，在互联网上其发 展势头是令人惊讶的，p 2 p 技术有着广阔的应用领域，事实上，网络上现有的许 多服务可以归入p 2 p 的行列。即时讯息系统譬如i c q 、美国在线即时消息a o l i n s t a n tm e s s e n g e r 、雅虎寻呼y a h o op a g e r 、微软的m s nm e s s e n g e r 以及国内的 腾讯q q 是最流行的p 2 p 应用。它们允许用户互相沟通和交换信息、交换文件。 北京邮电大学硕士论文：i 2 p 应用的流量管理研究与实现及语音包检测流模块研究 用户之间的信息交流不是直接的，需要有位于中心的服务器来协调。但这些系统 并没有诸如搜索这种对于大量信息共享非常重要的功能，这个特征的缺乏可能正 为什么即时信息出现很久但是并没有能够产生如n a p s t e r 这样的影响的原因之 一o 2 2p 2 p 发雇历史及现状 图2 - 1 中标明了各种f 2 p 出现的时间，另外h o t l i n e ( 一种p 2 p 应用) 是最 早提出的( 1 9 9 5 1 9 9 6 ) 在图中没有标明。 1 9 9 9 现在 图2 - 1 各种p 2 p 出现的时闻 p 2 p 发展的历史过程中，有一个重要的力量就是p 2 p 和唱片业的斗争。2 0 0 0 年是p 2 p 发展上的一个重要年代，法院裁定n a p s t e r 必须阻止非法文件共享，由 于当时大多数文件共享都基本n a p s t e r ，所以p 2 p 发展到了一个重要的转折点。 r i a a 向大多数o p e n n a p 服务器的运营者发出了法律信函，其中大多数都停止 运行了，其余一些则演进到了没有中心服务器的结构，同时也出现了一些新的无 中心服务器的p 2 p 网络。 普遍认为这种无中心服务器结构的p 2 p 网络中，网络的管理方无法对网络中 交互的文件内容进行管理和控制，从而可以避免法律问题，但实际上，应该说， 在软件实现及网络运行模式上，网络的管理方是可以对交互的文件内容进行管理 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 的，r l 气a 正在设法证明这一点。 目前p 2 p 和版权业的斗争依然在进行，将来也必定对p 2 p 应用的发展带来很 大的影响。 2 2 1p 2 p 发展历史阶段 对于p 2 p 的发展大体经历了四个阶段。 第一个阶段是集中目录式结构： n a p s t e r 提供的m p 3 下载服务就是最早的p 2 p 实践。以此为例介绍p 2 p 集中 目录式结构。它并不提供m p 3 音乐资源，只是提供动态刷新的m p 3 目录服务。 音乐资源散布在全球互联网上的用户手中，借助n a p s t e r 几乎可以找到任何一首 歌曲，这是一种集中式对等网络模式。 集中式p 2 p 模式由一个中心服务器来负责记录共享信息以及反馈对这些信 息的查询；每一个对等实体要对它所需共享的信息以及进行的通信负责，根据需 要下载它所需要的其他对等实体上的信息。这种形式具有中心化的特点，但是它 不同于传统意义上的c l i e n t s e r v e r 模式。因为传统意义上的c l i e n t s e r v e r 模式采 用的是一种垄断的手段，所有资料都存放在服务器上，客户机只能被动地从服务 器上读取信息，并且客户机之间不具有交互能力；而集中式p 2 p 模式则是所有网 上提供的资料都存放在提供该资料的客户机上，服务器上只保留索引信息，此外 服务器与对等实体以及对等实体之间都具有交互能力。 集中目录式p 2 p 模型还存在很多问题，主要表现为： 中央服务器的瘫痪容易导致整个网络的崩溃，可靠性和安全性较低： 随着网络规模的扩大，中央目录服务器维护和更新的费用将急剧增加， 所需成本过高； 中央服务器的存在引起共享资源在版权问题上的纠纷，这也是直接导致 n a p s t e r 破产的原因； 缺乏有效的强制共享机制，资源可用性差。 集中式p 2 p 可提供中心服务器目录检索、管理服务和标准的点到点通信，具 有高效的检索和低效的交换服务的特点。集中式p 2 p 对小型网络而言在管理和控 制方面占有一定的优势，但对大型网络并不适合。 北京邮电大学硕士论文：p 2 p 应用的流量管理研究与实现及语音包检测流模块研究 图2 - 2 p 2 p 集中目录式结构( 图片来源：型型卿业曲 第二代p 2 p 分散分布网络体系结构 n a p s t e r 因为中央服务器的存在引起的版权纠纷导致了它的破产，以g n u t e l l a 和e d o n k e y 或e m u l e 为代表的后来者们吸取了n a p s t e r 失败的教训，将n a p s t e r 的理念推进一步。当用户p c 安装这些软件后，就会立即变成一台能够提供完整 目录和文件服务的服务器，并会自动搜寻其他同类服务器，从而联成一台由无数 p c 组成的网络超级服务器。与n a p s t e r 网络不同，它不存在中枢目录服务器，或 者说把所有机器都变成了服务器，这就是第二代p 2 p - - 分布式p 2 p 。 在分布式p 2 p 中，对等机通过与相邻对等机之间的连接遍历整个网络体系。 每个对等机在功能上都是相似的，并没有专门的服务器，而对等机必须依靠它们 所在的分布网络来查找文件和定位其他对等机。 以g n u t e u a 网络为例，一台新对等机首先通过访问某特殊站点提供的“主机 缓存服务”( h o s tc a c h es e r v i c e s ) 机制来得到一台活动对等机地址，通过与它建 立一个连接将自己接入g n u t e l l a 网络；接着，该新对等机主动探查网络中的其它 对等机，找到与之相邻的对等机节点，在进行文件查找时，该对等机首先向与之 相邻的所有活动对等点发送一个查询描述符q u e r y ，在其他对等机接收到该查询 描述符后，检查本地是否有符合查询请求的文件内容，如果有，则按查询描述符 的发送路径返回一个查询响应描述符q u e r y h i t ，无论本地是否存在符合查询请求 的文件内容，其他对等机都会将该查询包通过扩散方式继续在网络中传递，直至 查询包中t t l ( t u n et ol i v e ) 属性值递减为o 时才停止继续转发；一旦定位了 响应查询文件的对等机之后，就与响应对等机建立t c p 连接，通过h i i t 协议 从响应对等机中下载自己查询的文件。文件的传输不再经过g n u t e l l a 网络进行。 分布式对等网络模型也存在很多弊端，主要表现在以下方面： 搜索请求要经过整个网络或者至少是一个很大的范围才能得到结果，因 此，这种模式占用很多带宽，而且需要花费很长时间才能有返回结果。 北京邮电大学硕士论文：1 ) 2 p 应用的流量管理研究与实现及语音