（通信与信息系统专业论文）基于p2p的家庭网络媒体分发技术研究.pdf

摘要 近几年来，随着宽带业务的快速发展，家庭客户需求不断变化，从单一的语音、 上网等通信需求，不断向娱乐、生活应用类的服务需求扩展。电信运营商开始大力发 展基于家庭网络的业务，利用家庭网关为用户提供一站式服务成为电信运营商发展趋 势。家庭娱乐业务是家庭网络业务的一部分，对服务质量、计费、认证等有较高的要 求。采用p 2 p 的内容分发方式，用户节点接受数据包的同时转发数据包，分担了服务 器的负担，大幅度提高系统的用户容量。然而用户节点的不稳定性却使得p 2 p 的服务 质量难以保证，且很难实现业务的管理与控制。因此，全网应用p 2 p 技术进行内容分 发是不现实的。我们提出在现有的c d n 网络中融入p 2 p 技术的解决方案。 论文首先介绍了国内外基于p 2 p 的流媒体系统的研究现状，然后简要分析了几种 p 2 p 的系统结构模型，结合这几种模型和家庭网络的特点提出了一种基于p 2 p 的家庭 网络模型，接着讨论了该模型中媒体分发服务体系，并对该体系下节点的控制协议以 及节点加入、离开和失效的处理流程及算法作了详细的介绍。最后对正在研究的家庭 娱乐业务平台的方案提出了应用p 2 p 技术的改进建议。 论文的主要创新点有：1 ) 通过分析几种主要的p 2 p 系统结构模型，在现有c d n 网络中融入p 2 p 技术，提出了一种基于p 2 p 的家庭网络媒体分发模型；2 ) 为了维护 家庭网络媒体分发模型中节点间数据的正确、高效的转发以及系统的稳定性，对模型 中节点的控制协议及节点加入、离开和失效的处理流程进行了研究，提出了相应的算 法。 关键词：对等网络技术：家庭网络；媒体分发模型；内容分发网络；控制协议 a b s t r a c t i nr e c e n ty e a r s ，t h en e e do fh o m ec u s t o m e r si sc o n s t a n t l yc h a n g i n ga l o n gw i t ht h e r a p i dd e v e l o p m e n to fb r o a d b a n ds e r v i c e sa n de x p a n dc o n s t a n t l yf r o mas i n g l e v o i c e ， i n t e r a c ta n do t h e rc o m m u n i c a t i o nn e e dt ot h en e e do fe n t e r t a i n m e n ts e r v i c e sa n dl i f e a p p l i c a t i o n t e l e c o mo p e r a t o r sb e g a nt od e v e l o pt h es e r v i c eb a s e do nh o m e n e t w o r k u s i n g t h eh o m eg a t e w a yt op r o v i d eu s e r sw i t ho n e s t o ps e r v i c eb e c o m e st h ed e v e l o p m e n tt r e n d o ft e l e c o mo p e r a t o r s t h es e r v i c eo fh o m ee n t e r t a i n m e n ti s p a r to ft h es e r v i c eo fh o m e n e t w o r k t h e r ei sah i g hr e q u e s tt ot h eq u a l i t yo f s e r v i c e ，c o s t ，a u t h e n t i c a t i o na n ds oo n b v u s i n gp 2 pc o n t e n td i s t r i b u t i o n ，t h eu s e rn o d er e c e i v e sd a t ap a c k e t sa n dt r a n s m i t st h e ma t t h es a m et i m ew h i c hc a ns h a r et h eb u r d e no nt h es e r v e ra n di n c r e a s et h eu s e rc a p a c i t yo f t h es y s t e ms i g n i f i c a n t l y h o w e v e r ，t h ei n s t a b i l i t yo ft h eu s e rn o d em a k e si t d i f f i c u i tt o e n s u r et h eq u a l i t yo fs e r v i c eo fp 2 pa n da c h i e v et h em a n a g e m e n ta n d c o n t r o lo fs e r v i c e a s a r e s u l t ，n e t w o r k w i d ea p p l i c a t i o no fp 2 p t e c h n o l o g yf o rc o n t e n td i s t r i b u t i o ni sn o tr e a l i s t i c w ec a n l eu pw i t has o l u t i o nw h i c hi s p u t t i n gt h ee x i s t i n gc d nn e t w o r ki n t ot h ep 2 p t e c h n o l o g y i nt h i sp a p e r , w ef i r s ti n t r o d u c ec u r r e n tr e s e a r c h s t a t u so fs t r e a m i n gm e d i as y s t e m b a s e do np 2 pa r o u n dt h e w o r l d ，a n dt h e n b r i e f l ya n a l y z es e v e r a lp 2 ps v s t e m a t i c m o d e l c o m b i n i n gt h e s ek i n d so fm o d e l sa n dt h ef a m i l yn e t w o r kc h a r a c t e r i s t i c 、ep u t f o r w a r dak i n do fh o m en e t w o r km o d e lb a s e do np 2 et h e n ，w ed i s c u s s et h em e d i a d i s t r i b u t i o ns e r v i c e ss t r u c t u r ei nt h i sm o d e l ，a n dd e t a i l e d l yi n t r o d u c en o d ec o n 仃o lp r o t o c o l a n dt h ep r o c e s s i n gf l o wa n dt h ea l g o r i t h mo f t h en o d e j o i n ，l e a v ea n di n v a l i d a t i o n a tl a s t 、ep u tf o r w a r da p r o p o s a lf o rt h ei m p r o v e m e n to fa p p l y i n gp 2 pt e c h n o l o g yi nt h ec u r r e n t p l a t f o r mf o rh o m ee n t e r t a i n m e n ts e r v i c e t h em a i ni n n o v a t i o np o i n t si nt h i sp a p e ra r e ：1 ) w ep u tf o r w a r dak i n do fh o m e n e t w o r km o d e lb a s e do np 2 p b ya n a l y z i n gs e v e r a lm a i np 2 ps y s t e ma r c h i t e c t u r em o d e l s a n dp u t t i n gt h ee x i s t i n gc d nn e t w o r ki n t ot h ep 2 p t e c h n o l o g y 2 ) i no r d e rt om a i n t a i nt h e i n t e r - n o d ed a t a sc o r r e c ta n de f f i c i e n tt r a n s m i s s i o na n dt h es t a b i l i t yo ft h es y s t e mi nt h e 武汉邮电科学研究院硕士论文 一一一_ h o m en e t w o r km e d i ad i s t r i b u t i o nm o d e l ，t h en o d ec o n t r o lp r o t o c o la n dt h ep r o c e s s i n gf l o w o ft h en o d ej o i n ，l e a v ea n di n v a l i d a t i o ni n t h em o d e la r es t u d i e d b yu s ，a n dt h e c o r r e s p o n d i n ga l g o r i t h mi sp u tf o r w a r d k e yw o r d s ：p 2 p ( p e e rt op e e r ) ；h o m en e t w o r k ；m e d i ad i s t r i b u t i o nm o d e l ；c d n ( c o n t e n td i s t r i b u t i o nn e t w o r k ) ：c o n t r o lp r o t o c o l 武汉邮电科学研究院硕士论文 第1 章引言 计算机技术特别是网络技术的飞速发展，深刻地改变着人们的工作、生活和思维。 随着单机处理能力的增强和宽带网络的普及，人们不再满足于传统的网页浏览、文件 下载、聊天等因特网呆板的表现形式，流媒体以其特有的娱乐性和交互性正在成为推 动未来宽带应用的主动力【1 1 。尽管满足流媒体服务的基础环节如服务器性能、网络带 宽、视频编码及传输技术等已取得飞速发展，但由于流媒体本身对带宽资源要求高且 服务时间长，若对每个请求均采取在服务器上为其单独分配一条数据流的i p 单播方 式，则不仅无法满足大规模的流媒体应用部署需求，同时会使得服务器成本居高不下， 并且很容易导致局部网络发生拥塞，从而也无法保证客户端的服务质量。i p 组播技 术以其多路复用的方式能够减轻服务器和网络的负载，但其在实现方面的复杂性以及 在拥塞控制、可靠性管理方面的不足使其在近几年内难以广泛实施。而最新兴起的 c d nfc o n t e n td e l i v e r yn e t w o r k ) 架构服务通过在i n t e m e t 上广泛部署服务节点，把服 务内容“推 向网络的“边缘”，并把客户请求路由到距客户最近的服务节点，从而 减轻对服务器的压力和对骨干网络的带宽消耗，但c d n 按字节收费的方式使一般流 媒体内容提供商( i c p ) 无法承担其租赁费用。因此；在有限的资源条件下，如何满足 快速增长的用户需求，并在满足l 定服务质量水平的同时，降低单条流的服务成本， 成为流媒体分发技术研究中一个具有挑战性的课题1 1 1 课题背景及挑战 随着互联网在全世界的普及，越来越多的机器获得了网络连接，并且其连接方式 正迅速发展为以宽带为主的方式。对于个人用户，可以利用的带宽己经从几年前的 1 0 k b p s 级提高到了1m b p s 级。骨干网的带宽也在不断提高。网络连接情况的改善使 得网络应用情况也发生了变化。在低速网络时代，网络应用以客户机服务器模式为 主，大型服务器处于网络应用的核心地位，它拥有相对充裕的计算资源和网络带宽资 源，可以同时为许多用户服务；个人用户只能作为访问网络的终端，不可能为他人提 供服务。但是在高速网络时代，随着网络带宽的迅速提高和宽带用户的迅速增长，尽 管服务器的部署方式也已从传统的单一服务器发展到集群服务器、并行服务器以及分 武汉邮电科学研究院硕士论文 布服务器等方式，但其面临的服务压力也日趋增大，并在很多领域也难以满足不断增 长的应用需求：另一方面，个人计算机的性能在迅速提高的同时其价格也在不断下降， 现在的一台普通个人计算机，其计算能力和存储能力很可能超过二十年前的大型机， 计算资源和网络带宽这两方面条件的改进，使得很多网络终端也具备了一定的服务能 力。而如果能够把网络上数量巨大的网络终端作为一个整体联系起来，就可以提供任 何集中式服务器无法比拟的计算资源。基于这样的思想使得许多基于p e e r - t o p e e r 的 网络应用迅速兴起。 与传统的客户机朋艮务器模式相比，如果把p 2 p 思想引入到流媒体服务中，充分 发挥以往被忽略的众多网络终端( p e e r 节点) 的作用，通过让它们缓存一部分信息，行 使一部分服务器的功能，使服务分散化，从而减轻服务器的负载以及对局部网络带宽 的高要求以及高消耗，具有潜在广阔的应用前景。目前，基于p 2 p 网络的流媒体内容 分发技术己引起国内外许多大学( 如美国的斯坦福大学、普渡大学、伊利诺大学、卡 内基梅隆大学、佛罗里达中央大学、俄勒冈州立大学、加拿大的西蒙弗雷泽大学、韩 国的汉城大学、国内的香港中文大学、清华大学、华中科技大学等) 、科研机构( 如微 软研究院等) 的重视并纷纷开展了研列2 1 。 与p 2 p 文件共享相比，在p 2 p 流媒体内容分发研究过程中所面临的挑战也更为 严峻，这是因为可提供服务的p e e r 节点的服务能力有限、不同p e e r 节点的服务能力 具有差异性，此外p e e r 节点还可随时退出系统，从而造成其它部分节点流传输的中 断；而流媒体本身又具有其特殊性，如带宽资源占用高、服务持续时间长、对数据的 播放有较为严格的时限和顺序要求等。归纳来说，在p 2 p 流媒体分发技术研究中所面 临的挑战主要包括如下几点： 1 ) p e e r 节点的搜索定位 在p 2 p 流媒体中由于请求节点一般需要从其它p e e r 节点获取流数据，因此当新 节点请求加入时首先需要在系统中搜索定位其它能为其提供数据服务的p e e r 节点， 而当提供服务的p e e r 节点离开或失效后也同样需要在系统中搜索定位新的p e e r 服务 节点。对这个问题最直观的解决方法是采用某种中心索引服务器来记录并维护系统中 所有p e e r 节点的状态信息，而当节点在加入或重新加入系统时则直接从中心索引服 务器上获取p e e r 服务节点。这种方式虽然简单易行，但至少有两点缺陷：一是当系 2 武汉邮电科学研究院硕士论文 统规模较大( 如对重要球赛的直播其用户很容易就达到了1 0 0 0 0 0 多甚至1 0 0 0 0 0 0 多的 规模) 时，这种基于中心索引的搜索定位方式是否可行还值得商榷，因为此时中心索 引服务器本身可能就会被与p e e r 节点状态维护相关的信息所淹没；二是中心索引服 务器将成为系统的单点失效节点，从而会削弱系统的鲁棒性。因此在大规模的p 2 p 流媒体应用环境下如何建立有效的p e e r 节点搜索定位机制，成为p 2 p 流媒体分发技 术研究中所面临的第一个挑战； 2 ) p e e r 节点退出行为的检测与处理 p 2 p 网络中的p e e r 节点不象传统的服务器那样具有较为稳定的状态，它们可随 时离开系统，也可因发生故障而失效，从而导致系统中其它部分节点数据传输服务的 中断，并影响这些节点的播放质量。由于p e e r 节点的离开行为不可避免且频繁发生， 因此如何从数据分发体系设计的角度来避免或减少节点离开或失效行为的影响，或者 建立何种类型的快速反应机制来减少其它节点服务被中断的时间，成为p 2 p 流媒体分 发技术研究中所面临的又一挑战； 本课题的研究主要针对上述挑战，并在研究过程中假设p e e r 节点都是无私的 ( a l t r u i s t i c ) 的，即并不涉及对激励机制及其它方面的研究。 1 2 相关研究现状 1 2 1 传统的流媒体服务系统 美国是最早开展v o d 技术研发和实验的国家。早在1 9 8 6 年南贝尔b e l ls o u t h 公 司就开始了有关v o d 的实验。1 9 9 3 年大西洋贝尔b e l la t l a n t i c 公司进行了电视视频 拨号音的实验并尝试将m p e g 1 的压缩数据节目传送到2 0 0 0 个用户的机顶盒通过机 顶盒解码再传给用户。同年n y n e x 公司也开始向曼哈顿的居民提供第一套试验性的 影视点播系统。1 9 9 4 年1 2 月1 4 日在美国召开了t i m ew a r n e r 全业务网f u l ls e r v i c e n e t w o r k 新闻发布会。成立于1 9 9 2 年的美国s t a r l i g h t ，专门设计i p 网络上的多媒体 播放软件。s t a r w o r k s ，s t a r w a r e 和s t a r c a s t 是它的主要产品，在l a n 和w a n 上提供 了软件方式的桌面视频应用。 随后，美国c o n c u r r e n tc o m p u t e r 公司的m e d i a h a w k 视频服务器作为一种可扩展 3 武汉邮电科学研究院硕士论文 的开放式的多处理器系统，适用于高性能的交互式视频点播应用。b ge v o l u t i o n 公司 的b gi n t r a s t r e a m 系统支持在企业内部网上的多个用户同时浏览、搜索、播放全屏幕 的视频节目。b gi n t r a s t r e a m 包括基于w e b 的访问方式和数据库系统，可以在不同的 网络( 从1 0 b a s e t 到a t m ) 上播放v o d 节目 3 1 1 4 。 国内的v o d 研究和开发已经逐渐成熟发展起来。最早在上海的一间卡拉o k 娱 乐中心，采用s g i 工作站和a t m 网络建设了第一套v o d 系统。清华大学多媒体研 究中心一直致力于视频服务器、机顶盒和多媒体档案智能检索等技术的研究，取得了 高水平的研究成果，得到了国家8 6 3 计划的大力支持。企业方面，北京的海航公司是 国内开发p c 视频软件较早的企业，他们制作的海航v c d 软件已为大家所熟悉。其 他公司的软件产品已经非常丰富，在电影点播、远程教育、信息点播、远程医疗、网 吧应用等领域已经应用的非常广泛。 这些传统的流媒体服务系统主要基于c s 模式，系统主要由流媒体服务器、高速 传输网络和客户端组成。基于c s 的流媒体服务系统的不足主要表现在： 1 ) 节目源都存放在流媒体服务器上面，由于服务器的能力有限，往往只能为一 定数量的用户提供流媒体服务并提供有限的片源。 2 ) 用户都通过高速网络直接连接到服务器上面，会导致服务器端的带宽瓶颈。 针对以上缺陷所采用的相应策略主要包括：使用多媒体代理服务器、c d n 、流媒 体服务器集群等。虽然一定程度上缓解了服务器的压力，但是瓶颈依然存在。p 2 p 技 术为根本解决服务大量用户的问题提供了一个好的途径。 1 2 2 基于p 2 p 的流媒体服务系统 p 2 p 技术的出现为c s 模式下的瓶颈提供了解决方法。p 2 p 网络中的每个节点的 地位都是对等的。每个节点既充当服务器，为其他节点提供服务，同时也享用其他节 点提供的服务，通过节点之间的直连和数据交换，极大的减轻了服务器的工作负荷。 同时，提高了节点资源的利用，包括存储、网络带宽。 由于p 2 p 流媒体服务的优越性，近年来，基于p 2 p 的流媒体传输方法得到极大 关注。国外特别是欧美在流媒体系统研究取得了良好的研究成果，推动了p 2 p 流媒体 技术的发展【5 】【6 】。目前，主要模型可以分为基于树状拓扑协议及其扩展的模型 4 武汉邮电科学研究院硕上论文 ( t r e e b a s e dp r o t o c o la n de x t e n s i o n s ) 、基于网状的模型( m e s h b a s e dp r o t o c 0 1 ) 和基于 g o s s i p 协议的模型( g o s s i p b a s e dp r o t o c 0 1 ) 。 基于树状拓扑协议及扩展的模型把参与p 2 p 流媒体的节点组织成一棵组播树，树 的父节点负责为子节点传送数据。这种模型有两个主要问题：( 1 ) 节点离根节点越远， 时延就越大。所以树的深度和宽度要使用某种策略达到均衡；( 2 ) 叶子节点没有参与 数据分发，资源没有得到有效利用。这类模型主要有：s p r e a d l t 7 1 、p e e r c a s t 8 1 、n i c e l 9 、 z i g z a g 10 1 、c o o p n e t l l l 】【l2 1 、s p l i t s t r e a m t l 3 1 、p 2 p c a s t 1 4 】等。 基于网状的模型方案中，组的成员首先自已组织成一个网状的拓扑，即控制拓扑， 每两个成员之间有多条路径。在这个网状拓扑中，每一个成员都会保存这个组中其他 的所有成员的状态信息，而这个信息将会得到周期性的刷新。目前较成熟的此类协议 有n a r a d a 【15 1 、y o i d 1 6 噜。 基于g o s s i p 协议的系统模型中，节点之间不需要构造复杂的拓扑关系。基于 g o s s i p 的算法是目前流行的在p 2 p 系统中分发消息的算法。一个典型的g o s s i p 算法 中，节点随机的给系统中的部分节点发送消息，每个接收到消息的节点继续向其它节 点发送消息，重复这个过程，直到消息被发送给系统中的所有节点。在基于g o s s i p 协议的流媒体系统中，每个节点动态的和其它节点交换数据，在这种系统中，通常需 要比较大的缓存，系统的启动延迟相对比较大。但是，因为每个节点的数据来源并不 依赖于某个特定的父节点，所以系统有更强的健壮性。这类模型典型的是d o n e t 1 7 1 。 这些典型的p 2 p 流媒体服务模型大都基于应用层的组播( a l m ，a p p l i c a t i o nl a y e r m u l t i c a s t ) 。 1 2 3 成型的p 2 p 流媒体应用 利用p 2 p 技术实现大规模流媒体点播和直播应用的系统w e b c a s t 出现于1 9 9 8 年。 w e b c a s t 采用树状拓扑，在用户之间利用一棵二叉多播树进行实时多媒体数据的传输 和共享【18 1 。 2 0 0 0 年，美国普渡大学的g 1 1 u s 仃e 锄f 1 9 】是在g n u t e l l a 网络基础之上实现的第一个 p 2 p 准点播系统( 不提供v c r 操作) ，该系统使用了网状多播的策略。但是由于版权问 题，该系统并未大规模的使用。 5 武汉邮电科学研究院硕士论文 马塞诸塞大学则设计实现了d r e c t s t r e a m 2 0 1 ，一个基于目录的流媒体点播系统， 目录中维护了服务器的影片信息索引以及组播树中所有p e e r 的信息，新的p e e r 加入 时查找目录，若存在提供其请求服务的组播树则加入相应的组播树，否则由服务器处 取得服务并创建新的组播树。 p 2 v o d 2 1 】是佛罗里达大学提出的一种基于p 2 p 的流媒体点播系统。该系统仅仅 使用网络层的单播策略。利用客户端的资源来处理用户的异步的请求。p 2 v o d 中的 每个客户端采用一个可变长的f i f o 缓存来保存它接收到的最近的视频流。p 2 v o d 引进了代的概念。代是某段时间内进入到p 2 p 系统的一组节点。这种“代”允许客户 端在不同的时刻加入到p 2 p 网络中来，并且存储接收到的视频。 2 0 0 3 年提出的基于c o l l e c t c a s t 协议【2 2 1 的p r o m i s e 2 3 】系统和使用p a t c h i n g 策略 提高流媒体服务质量的p 2 c a s t 2 4 】等都具有理论参考价值。 2 0 0 4 年中国开始出现采用p 2 p 流媒体技术的应用，张欣研在d o n e t 模型上提 出了一个基于p 2 p 的流媒体直播系统c o o l s t r e a m i n g 【2 5 j 。清华大学提出的 g r i d m e d i a 【2 6 】【2 7 1 ，华中科技大学提出的a n y s e e l 2 6 】等原型系统是现在比较成型的系统， 目前己处在测试运行阶段。 目前中国有1 0 多个网站使用各自发展的软件提供p 2 p 流媒体直播业务，掀起了 一股p 2 pi n t e m e tr r v 浪潮【2 引。主要i n t e m e tt v 系统有：p p l i v e 网络( 采用s y n a c a s t 软 件) 、p p s t r e a m 网络、q q 直播网络、猫眼网络电视( 猫扑网) 、t v k o o 网络、r o x 磊客 网等。一些电信运营商也开始加入这一潮流，贵州网通采用上海网用公司的技术开展 实验运营，上海电信也在实验。p 2 p 流媒体一方面提高了电视的通达性，另一方面降 低了电视播出的门槛。 1 3 论文研究的内容 国内外研究现状表明，目前的流媒体系统存在着扩展性差、可靠性不高、服务质 量得不到保障等缺陷。本文在研究现行模型和技术的基础上，提出了一种基于p 2 p 家庭网络媒体分发模型，并针对此模型进行了媒体分发的研究，以促进p 2 p 环境下流 媒体服务技术的进一步应用和发展。主要研究内容包括以下几点： 1 ) 分析研究了几种典型的p 2 p 网络拓扑结构，根据现有的家庭网络模型提出了一 6 武汉邮电科学研究院硕士论文 种基于p 2 p 的家庭网络媒体分发模型； 2 ) 对基于p 2 p 的家庭网络媒体分发模型中的控制协议、节点的加入和节点的离开 与失效进行了研究。 1 4 论文的组织结构 论文全文共六章。围绕着基于p 2 p 的家庭网络媒体分发技术的研究，论文的各章 节组织如下： 第一章绪论部分先介绍了课题背景，分析了p 2 p 流媒体分发技术研究面临的挑 战。最后指出了论文的研究内容和组织结构。 第二章介绍了p 2 p 的定义，并把p 2 p 和传统的c s 模型进行了比较。接着介绍了 p 2 p 的应用类型及p 2 p 的系统结构模型。 第三章针对家庭网络的特点及可运营、可管理的要求，提出了一种基于p 2 p 的家 庭网络模型。其核心的思想是在传统的c d n 网络的边缘节点上引入p 2 p 自治域，由单 个或若干个边缘缓存服务器及其覆盖的最终用户作为对等实体，共同构成一个p 2 p 自治域。在域内利用p 2 p 技术实现资源共享，而自治域之间不发生流量交换。 第四章详细的讨论了一种p 2 p 环境下的家庭网络媒体分发服务体系，首先介绍了 该服务体系的构成，它在系统每个p e e r 节点上分配一段固定长度的f i f o 队列以缓存 其最近所接收到的数据，并为其它点播请求该数据段的节点提供服务。接着介绍了该 体系下的控制协议以及节点加入、离开和失效的处理流程。 第五章首先介绍了家庭娱乐业务中媒体分发的解决方案，然后在此基础上提出了 在c d n 边缘服务器之下构造局部p 2 p 覆盖网络的改进建议。 第六章对全文的研究工作进行总结，并展望了进一步的研究工作。 7 武汉邮电科学研究院硕士论文 2 1p 2 p 概念 第2 章p 2 p 技术介绍 p 2 p 是英文p e e r - t o p e e r 的缩写，p e e r 的英文含义是“( 地位、能力等) 同等者、 同事、伙伴”。p 2 p 也就可以理解为“伙伴对伙伴 的意思，在计算机领域一般就称 为“对等 网络【2 9 1 3 0 l 。 目前，业界对p 2 p ( p e e rt op e e r ) 的定义还没有一个标准说法，i n t e l 将p 2 p 技术定 义为“通过系统间的直接交换达成计算机资源与信息的共享”，这些资源与服务包括 信息交换、处理器时钟、缓存和磁盘空间、硬件i o 等。i b m 则对p 2 p 赋予了更广阔 的定义，把它看成是由若干互联协作的计算机构成的系统并具备如下若干特性：系统 依存于边缘化( 非中央式服务器s e r v e r ) 主机设备的主动协作，每个成员( p e e r ) 直接从其 他成员而不是从中心服务器的参与中受益；系统中成员同时扮演服务器和客户端 ( c l i e n t ) 的两种角色；系统应用的用户能够意识到彼此的存在而构成一个虚拟或实际的 群体( p e e r sg r o u p ) t 3 1 】。 简单地说，p 2 p 技术是一种用于在不同用户之间、不经过中继设备直接交换数据 或服务的技术，p 2 p 网络通讯方式如图2 1 所示。 一：z ，j ! “，1 一：j l t i7 1 图2 1p e e r 之间关系及逻辑通信示意图 囝 武汉邮电科学研究院硕士论文 p 2 p 打破了传统的c l i e n t s e r v e r 模式，在对等网络( p e e rt op e e rn e t w o r k ) 中，每个 节点的地位都是同等的，具备客户端和服务器双重特性，可以同时作为服务使用者和 服务提供者。由于p 2 p 技术的飞速发展，互联网的存储模式将由目前的“内容位于中 心 模式转变为“内容位于边缘”模式，改变i n t e m e t 现在的以大网站为中心的状态， 重返“非中心化，将权力交还给用户。p 2 p 技术有着广阔的应用领域，目前主要的 应用有文件交换、分布式计算、协同工作、分布式搜索和电子商务等【3 2 j 。 p 2 p 看起来似乎很新，但是正如b 2 c 、c 2 c 是将现实世界中很平常的东西移植到 互联网上一样，p 2 p 并不是什么新东西。在现实生活中我们每天都按照p 2 p 模式面对 面地或者通过电话交流和沟通。 即使从网络看，p 2 p 也不是新概念，p 2 p 是互联网整体架构的基础。互联网最基 本的协议t c p i p 并没有客户机和服务器的概念。所有的设备都是通讯的平等一端。 在十多年之前，所有的互联网上的系统都同时具有服务器和客户机的功能。当然，后 来发展的那些架构在t c p i p 之上的软件的确采用了客户机服务器的结构：浏览器和 w e b 服务器，邮件客户端和邮件服务器。但是，对于服务器来说，它们之间仍然是对 等联网的。以e m a i l 为例，互联网上并没有一个巨大的、唯一的邮件服务器来处理所 有的e m a i l ，而是对等联网的邮件服务器相互协作把e m a i l 传送到相应的服务器上去。+ 另外用户之间e m a i l 则一直是对等的联络渠道。 但是过去的1 0 多年里，互联网的发展至少从表面上远离了p 2 p ，互联网上绝大 部分的节点也不能和其他节点直接地交流。n a p s t e r 正是唤醒了深藏在互联网背后的 对等联网。n a p s t e r 的文件共享功能在局域网中共享目录也是再平常不过的事情。但 是n a p s t e r 的成功促使人们认识到把这种“对等联网 拓展到整个互联网范围的可能 性。当然，在许多人的眼中，n a p s t e r 并不是纯粹的p 2 p ，它仍然需要一个处于中心 协调机制。 2 2p 2 p 与c s 模型的比较 p e e rt op e e r ( p 2 p 或对等网络) ，是一种在不同用户之间不经过中继设备而直接 完成数据交换或服务交换的技术，与传统的c s 模式截然不同。互联网上最通用的通 信模式是客户服务器模式，即用户通过客户端软件与服务器端连接，然后进行文件 9 武汉邮电科学研究院硕士论文 检索、w e b 游览、文件传输等应用。在这种模式下客户知道如何请求信息和发送信息 到服务器上，服务器也知道如何响应客户的请求。邮件客户端和邮件服务器就是一个 很好的c s 模式。邮件服务器能够在某个端口监听，当邮件客户端发出请求时，邮件 服务器就会做出相应的应答。在这种模式下服务器不能随意发送信息给客户，也就是 说服务器只能根据客户端的请求作出应答。这是一种单方向的请求方式，应用只能被 客户初始化，是被动的。 p 2 p 应用与c s 结构不同，它没有或几乎没有中心节点，即没有服务器，一台机 器在网络中既是客户机同时又是服务器，它们都是平等的角色，能发出请求，能应答 请求，它允许互联用户直接使用对方的文件。这种方案增加了网络上可用的资源数， 因为一台机器不仅从网上取得资源同时也增加了一个网络资源节点，其它机器可以把 它作为一个信息源。p 2 p 与c s 方式的一些比较见表2 1 。 表2 1p 2 p 与c s 模式比较 p 2 p c sp 2 pc s 数据流动速度快 慢数据发布方便不方便 数据管理复杂度高低数据接收一般方便 数据成本控制 差好数据互动性好差 数据质量一般好 数据安全性差好 数据更新快慢 需要说明的是，我们这种比较是从宏观上或者较高的逻辑层面上做出的，从某种 程度上说，也许不应该将p 2 p 和c s 模式完全的对立起来，就某项特定的应用，以 及特定的时间，p 2 p 网络也许是以c s 方式进行工作的。 与c s 模式相比，p 2 p 计算具有分布性、可扩展性、匿名性、自组性、用户透明 性、容错性、协作性等特点。从技术应用上，具有以下优势： 1 、可扩展性好，正是由于分布式计算的这种低代价、非集中式的特性使得它能 够支持大规模的网络应用，为成千上万的用户同时提供服务； 2 、具有高伸缩性和高可用性，因为每个p e e r 都是相似的，所以很容易添加更多 1 0 武汉邮电科学研究院硕士论文 的p e e r 组成更大规模的p 2 p 网络。而且每个p e e r 可以根据其能力( 网络带宽、磁盘大 小、c p u 速度等) 提供不同的服务类型和服务质量。由于p 2 p 分散式的结构，可以有 效地减少用于建设集中式网络需要的一些固定设备的开销： 3 、可以有效地整合分散资源，相互协作，共同为一些大型应用服务。随着大规 模计算、存储资源的高获得性和低开销以及网络日益增长的连通性，p 2 p 计算模式有 希望获得更多更广泛应用； 4 、具有丰富的信息资源，任何p 2 p 网络用户能够扫描活动节点并搜索需要的信 息，然后直接从这个节点上下载信息。用户可以在他们的机器上把下载的信息共享出 来，这样，请求率高的文件能够很快地在许多节点上扩散开来。在一个开放网络环境 下，p 2 p 网络能够迅速积累相当丰富的信息； 5 、基于内容( 关键字) 的寻址，在w e b 上，u r l 地址并不能直接反映出它们的内 容。但在p 2 p 网络中，存储特定信息的节点地址对于用户是透明的，用户向网络提交 查询请求时，请求信息中便包括需要查询的信息，p 2 p 软件把请求转化成存放这些信 息的节点地址。信息标识符等价与一组存储有该信息的节点地址，所以把信息按照内 容分类后再分布在网络上，这更易于信息资源的查找； 6 、有效的信息搜索，w e b 搜索引擎存在一些问题，因为这些搜索引擎依赖执行 程序在i n t e m e t 上进行搜索，得到的信息存储在巨大的、可扩展的数据库中。这些索 引信息仅包括开放的服务器，并且数据库不会随着网络状况动态更新。但在p 2 p 网络 中，任何节点的信息只有当节点在线的时候才被索引，因此索引信息与网络状态同步； 7 、能实现较好的负载均衡，p 2 p 网络环境下由于每个节点既是服务器又是客户 机，减少了对传统c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在 多个节点，更好的实现了整个网络的负载均衡； 8 、具有冗余和容错特性，p 2 p 网络的多个节点间的信息复制导致高度冗余，其 直接结果是提高了信息的可得性，使之为更多的用户提供服务。另外，冗余使得网络 不会产生“单点失效”问题，所以分散式的p 2 p 网络提高了网络的容错和安全； 9 、隐私保护，在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经 过某个集中环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前解决 i n t e r n e t 隐私问题主要采用中继转发的技术方法，从而将通信的参与者隐藏在众多的 武汉邮电科学研究院硕士论文 网络实体之中。在传统的些匿名通信系统中，实现这一机制依赖于某些中继服务器 节点。而在p 2 p 中，所有参与者都可以提供中继转发的功能，因而大大提高了匿名通 讯的灵活性和可靠性，能够为用户提供更好的隐私保护。 2 3p 2 p 应用现状 从目前情况看，p 2 p 实际的应用研究主要体现在以下几个方面【3 3 1 。 ( 1 ) p 2 p 分布式存储系统 p 2 p 分布式存储系统( 文件共享与下载) 是一个用于对等网络的数据存储系统，它 可以提供高效率的、鲁棒的和负载平衡的文件存取功能。它在数据的定位、搜索以及 路由的效率、安全性等问题具有比集中方式更好的优越性，能够满足大规模数据存储 的要求。这些研究包括全分布式存储系统：如o c e a n s t o r e 、p a s t 和f r e e h a v e n 等。其 中，基于超级节点结构的半分布式p 2 p 应用如k a z a a 、e d o n k e y 、m o r p h e u s 、b i t t o r r e n t 等也属于p 2 p 共享存储的范畴，并且用户数量急剧增加。 ( 2 ) p 2 p 计算能力的共享 加入对等网络的节点除了可以共享存储能力之外，还可以共享c p u 处理能力。 目前已经有了一些基于对等网络的计算能力共享系统，比如s e t i h o m e 。 s e t i h o m e 是由加州伯克利大学开展的寻找外星生命的研究计划。它使用p 2 p 技术 串联所有参与研究计划的闲置计算机来执行复杂的运算，用来分析行星的无线电信 号，寻找宇宙可能存在其他外星文明的证据，这些电脑每天平均发挥的效能超过了全 球造价最高、运算最快的超级电脑。这种计算能力共享系统还可以用于进行基因数据 库检索和密码破解等需要大规模计算能力的应用。 ( 3 ) p 2 p 协同工作环境 协同工作是指多用户之间利用网络中的协同计算平台互相协同来共同完成计算 任务，共享信息资源等。通过采用p 2 p 技术，个人和组织可以随时采用多种方式建立 在线、非在线的协同应用环境。协同应用一般包括：实时通信、聊天室、文件共享、 语音通信等基本功能，除了这些基本功能，用户之间还可以共享白板、协同写作、视 频会议等。另外，协同有时候还包括工程人员的协作开发软件。例如，j b u i l d e r 2 0 0 6j a v a 集成开发环境就增加了p 2 p 协同开发的属性。采用p 2 p 技术使协同工作不再需要中 1 2 武汉邮电科学研究院硕上论文 心服务器，参与协同工作的计算机可以点对点建立连接。g r o o v e 就是基于p 2 p 的协 同软件平台，已经被微软公司收购。 ( 4 ) p 2 p 应用层组播 组播技术( m u l t i c a s t ) 是一种针对多点传输和多方协作应用的组通信模型，有高效 的数据传输效率，是下一代i n t e r n e t 应用的重要支撑技术。早期的组播技术研究试图 在口层提供组播通信功能，但i p 组播的实施涉及到对现有网络基础设施的调整，因 此大规模应用受到限制。随着p 2 p 研究的兴起，基于应用层的组播技术逐渐受到广泛 关注。基于p 2 p 应用层组播协议将组成员节点自组织成重叠网络( o v e r l a yn e t w o r k ) ， 在主机节点实现组播功能，为数据多点并发传输提供服务。应用层组播是在应用层实 现组播功能而不需要网络层的支持，这样就可以避免出现由于网络层迟迟不能部署对 组播的支持而使组播应用难以进行的情况。 ( 5 ) p 2 p 流媒体技术 传统的分布式多媒体系统一般是基于c s 模式，服务器以单播的方式和每个用户 建立连接，随着用户数量的增加，服务器的带宽很快被消耗完，所以以前的网络电视 经常出现断断续续，需要不断地进行数据缓冲。由于p 2 p 网络本身的可扩展性，基于 p 2 p 方式的流媒体技术很好地解决了传统流媒体带宽不足的问题。单源的p 2 p 流媒体 系统由一个发送者向多个接收者发送数据，接收者有且只有一个数据源。服务器和所 有客户节点组织成组播树，组播树的中间节点接受来自父节点组播的媒体数据，同时 将数据以组播的方式传送给子节点。而多源的p 2 p 流媒体传输系统，则是由多个发送 者以单播的方式同时向一个接收者发送媒体数据。 ( 6 ) p 2 p 搜索技术 p 2 p 搜索技术使用户能够深度搜索文档，而且这种搜索无需通过w e b 服务器， 也可以不受信息文档格式和宿主设备的限制，可达到传统目录式搜索引擎无可比拟的 深度。目前，集中式搜索引擎g o o g l e 、雅虎、百度是人们在