（计算机应用技术专业论文）多源p2p流媒体传输调度算法研究.pdf

华中科技大学硕士学位论文 i 摘 要 p2p流媒体系统根据发送节点的数量可以分为两种类型：单源(single source)的 p2p流媒体和多源(multi- source)的p2p流媒体。实际上，单个节点没有能力或者根本 不愿意提供足够大的上行带宽资源以维持接收端的播放。多源交互模式能够为接收 端提供更高的聚合带宽和更好的播放质量。promise系统可谓是多源p2p流媒体应 用的典型代表。 多源p2p流媒体传输调度策略主要包含以下2个方面：(1)从候选节点集中，选择 活动发送节点集；(2)在各个活动发送节点之间协调的发送数据包。针对promise系 统稳定性和缩短启动延迟问题进行研究， 设计了一套更加完善的多源p2p流媒体传输 调度算法ipromise。对于活动发送节点集选择方面，ipromise在promise拓扑感 知技术基础上，给出了基于缓冲区填充进度、节点积分等级和网络拥塞程度的速率 自适应调整的活动发送节点选择算法。该算法充分重视缓冲区的调节作用和对网络 环境的适应能力，也融入了激励机制以鼓励节点尽其所能贡献资源。对于数据包分 配问题，ipromise在启动播放时试图使数据包按照包序号到达接收端，以确保最小 化启动延迟。 ipromise可以通过总接收速率调整机制自适应网络环境的变化， 使它可以在不 太稳定的环境中仍然有比较稳定的性能。模拟实验结果表明，在已建立网络拓扑结 构的前提下，相对promise系统而言，ipromise可以较大缩短了启动延迟、能更 好的保障播放质量的稳定性。 关键词：p2p 流媒体，节点选择，速率调整，数据包分配 华中科技大学硕士学位论文 ii abstract based on quantity of sending peers, p2p media streaming can be classified into two categories: single source peer- to- peer media streaming and multi- source peer- to- peer media streaming. in fact, a single serving peer may not be able or willing to contribute an upload bandwidth enough for the media playback at the receiver. this multipoint- to- point communication can provide a higher overall throughput to the receiver, hence resulting in a higher quality. promise system is a typical representative of multi- source peer- to- peer media streaming. transmission and schedule strategies on multi- source peer- to- peer media streaming mainly include the following two aspects: (1) selecting active sending peers from the candidate set; (2) scheduling data packets to receiver by all active sending peers cooperatively. to aim at research of stability improvement and latency shortening in promise system, more perfect transmission and schedule algorithms of multi- source peer- to- peer media streaming are designed, named ipromise. for the aspect of active sending peers selection, based on technology of topology- aware selection in promise, ipromise gives the algorithm of active sending peers selection by adaptive rate adjustment mechanism based on occupied state of receiver peer s buffer, degree of receiver peer s score and level of network congestion. the algorithm sufficiently pays attention to adjustment role of buffer and adaptive capability to network environment, and adopt stimulation mechanism to urge peers to contribute their resources. as for the aspect of data packets assignment, policy adopted in ipromise is to try to make data packets arrive according to packet sequence number at the stage of start playback, to make sure start latency minimized. ipromise can adjust aggregated bandwidth to adapt itself environment variation, so that it can provide stability of playback quality even though network environment isn t stable. simulations show, on the assumption that network topology is built, compared with promise, ipromise can greatly shorten start delay, and better guarantee stability of playback quality. key words: p2p media streaming, peer selection, rate adjustment, data assignment 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密 ，在_年解密后适用本授权书。 不保密。 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 本论文属于 华中科技大学硕士学位论文 1 1 绪 论 随着多媒体编解码技术、网络结构和信息传输技术研究的不断进步，近几年来 流媒体技术得到了突飞猛进地发展，使得网络用户享受到了流媒体技术所带来的种 种便利。在这期间，为了提供更快捷和高效的流媒体服务，人们将注意力集中到了 具有极大发展空间的流媒体传输技术研究领域。 1.1 课题背景 为了提供快捷高效的流传输服务，人们探讨了各种流媒体传输技术：由客户端- 服务器模式到针对服务器提出的各种流处理技术、ip 组播技术、cdn 内容分发网络 技术和 p2p 对等网络技术。下面将对以上传输技术进行简要分析，进而提出本论文 的研究内容和意义。 传统的客户端- 服务器 c/s 模式是服务器以单播的方式和每个客户建立连接并进 行传输。在 c/s 模式下，提供持续的视频媒体流服务是一项极具挑战性的任务，主 要原因在于服务器同时以单播的方式给多用户实时传送大量的视频数据需要极大的 网络带宽和服务带宽。调查显示为了提供近似 dvd质量的视频流，所需要的带宽至 少需要 500kbps，即使是一般的视频质量也需要 350kbps1。如果采用 c/s 模式为广 大用户提供各种视频节目的良好播放效果，系统规模随着客户数目的快速增加而扩 大，服务器的资源如带宽很快就会被消耗完，成为系统瓶颈所在。在这种模式下传 输视频流服务其费用是相当的高，而且可扩展性差。针对服务器提出的批处理技术、 补丁流技术、周期性广播以及流合并、流搭载等技术虽然在降低服务器的带宽需求 和客户等待时间方面取得了不错的效果，但仅仅在一定程度上缓解了服务器的压力。 cdn（content delivery network）内容发布网络2，是一个建立并覆盖在互联网 之上，且由分布在不同区域的节点服务器集群组成的虚拟网络。cdn 的基本思路是 通过分布在各个边缘的代理服务器更快更稳的传输数据给用户。通过各个边缘代理 服务器在现有互联网基础之上所构成的智能虚拟覆盖网络，cdn 能够实时的根据网 络流量和各节点的连接负载状况以及到用户的距离和响应时间等综合信息将用户的 请求重新导向离用户最近的服务器上。通过 cdn 系统，请求响应时间大大缩短，视 频流的播放质量大大提高3。然而 cdn 系统的部署成本太高，且由于随着用户数量 的变化和用户范围的扩大，如何合理的部署边缘代理服务器也是一个难题。 ip组播是一种允许一个或多个发送者发送单一的数据包到多个接收者的网络技 华中科技大学硕士学位论文 2 术。它是标准i p 网络层协议技术的一个扩展。其基本思路是组播源把数据包发送到 特定组播组，而只有属于该组播组地址的用户才能接收到相应的数据包。通过ip组 播技术，无论有多少个目标地址，整个网络的任何一条链路上只传送单一的数据包。 流媒体应用中，ip组播技术能够有效的节省网络带宽，然而ip组播技术有着其自身的 问题4- 5。虽然研究人员对i p 组播技术做了很多研究，然而在实际的部署中，ip组播 技术仍然存在一些很重要的关键问题。主要包括: 网络协议的复杂性、网络和终端系 统的异构性、组播的可靠性。这些原因导致了ip组播无法广泛应用。 正是以上传统的流媒体传输系统存在的各种先天不足激发了人们对基于 p2p 流 媒体传输系统的研究。在 p2p 方式下6- 7，每个对等节点既是服务的提供者，又是服 务的享用者。节点为系统提供自身有限的计算或存储资源，相互之间协作为其他节 点提供服务，将服务器的负载分散到节点中，从而减轻了服务器的负载和网络带宽 占用。 p2p 流媒体传输系统根据其源节点提供数据的方式可分为两种：单源(single source)的 p2p 流媒体传输和多源(multi- source)的 p2p 流媒体传输。单源的 p2p 流媒 体系统建立在应用层组播技术的基础之上，由一个发送者向多个接收者发送数据， 接收者有且只有一个数据源。这种方式对节点的性能要求较高，如上行带宽要足够 大以至能发送一个完整地媒体流8。splitstream 和 anysee9都是典型的基于应用层 组播的 p2p 流媒体传输系统。而多源的 p2p 流媒体传输系统是由多个发送者同时向 一个接收者发送媒体数据。由于发送者和接收者是多对一的关系，节点之间的协作 更加紧密。每个节点又可以给同时给多个接收者发送数据，系统会根据网络和每个 节点自身状况计算出每个节点可承受的并发发送连接数目。gnustream、promise 和 coolstreaming/donet 是都是典型的多源 p2p 流媒体应用系统。 在现实的 p2p 网络中，对于占用较大带宽播放速率 r 的流媒体文件播放，单个 节点没有能力或者根本就不愿意提供带宽为 r 的资源。 在这种背景下，单源的 p2p 流媒体传输系统的应用前景就受到限制。而多源的 p2p 流媒体传输系统能将若干发 送者的能力聚合在一起，使得其上行带宽的总和大于 r，提供正常稳定的流媒体服 务。这种方式非常适于性能较低的节点，如 pda、手机以及 adsl上网的 pc 机等， 而且这种方式也充分考虑了网络和节点的异构性，因此它具有广阔的应用前景。 本文的主要研究内容是多源 p2p 流媒体传输调度算法。目前多源 p2p 流媒体传 输技术是一种极具实用价值的新兴研究方向，所以对它的研究是一件非常有意义有 价值的工作，同时也面临很多挑战。 华中科技大学硕士学位论文 3 1.2 国内外相关工作与进展 在近几年里， p2p 内容发布网络系统模型获得了空前的发展。 其中该系统最流行 的模型是文件交换共享系统。napster10、gnutella (bearshare)11、fasttrack (kazaa)、 edonkey12和 bittorrent13都是一些非常经典的应用。在资源发现、节点选择和数据 传输策略方面，这每一个应用都在逐步不断的提高。表 1.1 对它们的这些策略进行了 简要的概述。这些文件共享系统并不支持实时的流媒体服务，它们在传输的过程当 中，没有时序和时间约束的概念。尽管如此，p2p 流媒体传输调度系统在很大程度上 借鉴了文件共享系统的一些成熟技术。 表 1.1 p2p 内容发布网络系统模型 名称 类型 资源发现 节点选择 数据传输 napster 应用程序 消费节点首先连接到 服务器，在服务器进 行检索后，由服务器 返回含有申请文件的 节点信息。 无（手动） 点到点的单节点文件传输，若 节点失败，用户不得不选择另 一个节点重新开始传输。 gnutella 基础架构 (尤其侧重 于 资 源 发 现) 消费节点在进行查找 时，首先将请求信息 传播到它的所有相邻 节点，然后再传播到 相邻节点的所有相邻 节点，直至文件被找 到或者到达预先确定 的层次为止。 无 （ 由 应 用 程 序决定） 无（由应用程序决定） 早期发布的应用程序的文件 传输采取的是点到点单文件 传输；近期发布的应用程序变 为多节点的文件传输。然而文 件必须被完全下载到一个节 点后才能共享。 fasttrack 基础架构 （ kazaa 为 其 中 一 个 应 用 程 序的例子） 消费节点首先连接本 地的超级节点（它具 有维护本地的节点目 录功能） ， 在本地超级 节点没有找到相应文 件时会求助其他超级 节点。每一个消费节 点下载完文件后要通 知本地超级节点。 无 （ 由 应 用 程 序决定） 无（由应用程序决定） 应用程序选择多个节点并发 传输请求文件，其中没有规定 块大小和特别的传输顺序。 当 一个活动传输节点失效时，必 须选择一个新节点替代。文件 必须被完全下载到一个节点 后才能共享，但可以断点传 输。 edonkey 应用程序 与 fasttrack 类似，不 同的是 edonkey 的超 级节点还维护正在下 载请求文件的节点清 单 基 于 被 发 现 节 点 的 发 现 时 间 和 可 用 上 传 带 宽 自 动 选 择 发 送 节 点 来 并 发 传 输 请 求 文 edonkey 选择多个节点并发 传输请求文件，其中没有规定 块大小和特别的传输顺序。当 一个活动传输节点失效时，必 须选择一个新节点替代。文件 可以断点传输，且一旦有一个 固定大小的块下载完毕后就 华中科技大学硕士学位论文 4 件，被选择的 最 大 节 点 数 由 用 户 预 选 设置。 可以用于共享。 bittorrent 应用程序 消费节点通过 tracker 节点查找文件对象， tracker 节点是用于管 理和维护正在下载相 同文件或有该文件信 息的节点清单。在网 上发布的种子文件含 有下载的重要指引信 息。 随 机 选 择 的 同 时 兼 有 最 少优先选择， 即 含 有 稀 有 资 源 的 节 点 优先被选择， bittorrent 选择多个节点并发 传输请求文件，以固定的块大 小为单位，被最少节点拥有的 块被优先下载。当一个活动传 输节点失效时，必须选择一个 新节点替代。文件可以断点传 输，且一旦有一个固定大小的 块下载完毕后就可以用于共 享。为了公平起见，一个节点 的下载速率与上传速率是相 对称的。 目前p2p流媒体系统模型主要可以分为两大类: 应用层组播模型和基于gossip协 议的纯p2p模型。下面将对它们进行分别概述： 1.2.1 应用层组播模型 应用层组播，顾名思义，它是在应用层实现的组播功能，即直接调用应用层协 议实现组播。不同于ip组播，应用层组播不需要路由器支持，组播路径由应用软件 自行设计与维护。应用层组播模型中一对多或多对多的资源传输是通过已建立的组 播树中的父节点给子节点转发数据而实现的。当节点加入和退出系统时，如何去合 理的建立和调整组播树成为提高系统性能的关键14。在组播树中，如果节点离根越 远，则数据的延时就越大，因此树的深度应该不宜过长，但是每个节点的有限输出 带宽限制了树节点的宽度，理想的组播树是应该在深度和宽度之间达成树的平衡。 peercast15是最简单的应用层组播模型。在peercast中，当节点加入和离开时， 树的调整策略都很简单。虽然该系统提供了一些策略尽量使组播树平衡，但并无保 证。 zig- zag模型16提供了更完整的构建组播树的规则， 能保证树深度维持在o(logn) 内，其中n为树节点数量。zigzag 的最大贡献是在无法预知整棵树的变化情况下， 通过预先设置好的算法维护树的结构。在不影响现有节点、不给服务器带来任何负 担的情况下，达到局部容错的特点尤其出众。然而zig- zag存在不能充分利用大量叶 子节点资源的不足。 针对zig- zag存在的不足, splitstream17提出了“森林”的概念，其基本思想是把 媒体数据分成k条独立的码流（可以通过mdc多码流编码实现），然后为每条码流构 华中科技大学硕士学位论文 5 造一个组播树，形成一个“森林”，每个节点可以根据带宽情况选择接收其中的几 个流。媒体数据被分成k条独立的流决定了森林中有k棵树，所有在这k棵树中的节点 被要求在一颗树中为中间节点，在其它k- 1颗树中为叶子节点。这样，森林中的每个 节点都可以为其他节点提供服务。 coopnet18，类似于splitstream，也是通过构造多棵组播树使所有节点参与数据 分发的p2p流媒体系统模型。不同的是组播树的构造方式，在coopnet中，所有组播 树的构造都是通过服务器来完成的，即有一个中心服务器维护系统中所有节点之间 关系的一个全局视图，也就是说用服务器的超强能力来换取简单的组播树构造逻辑。 当有一个新的节点加入时，服务器扫描所有的节点为新节点寻找合适的父节点。当 节点离开时，树的修复工作也由服务器来完成。 以上内容是对几种典型的应用层组播模型的简要介绍。应用层组播的思想起源 于ip组播，是为克服ip组播的缺点而设计的，并且取得了一定的成功。然而，在应用 层组播模型中，由于树中的节点可能会随时退出系统，使得组播树的结构脆弱，对 于对带宽和连续性都有严格要求的视频流媒体应用而言，这样会直接影响其播放服 务质量。为解决这个问题，人们提出了网状或森林结构作为改进，但是这些改进的 结构同时也带来了一些缺点复杂性高或者扩展性差。在这方面，基于gossip协议 的纯p2p模型就具有更大的灵活性。 1.2.2 基于 gossip 协议的纯 p2p 模型 在p2p系统中， 基于gossip协议的分发消息算法是目前流行的。 一个典型的gossip 算法中，节点随机的给系统中的部分节点发送消息，每个接收到消息的节点继续向 其它节点发送消息，重复这个过程，直到消息被发送给系统中的所有节点或者系统 已经获得了满足要求的节点集合信息。系统会根据返回的节点集合信息，采取相应 的底层机制来选择最优的节点集合用于发送数据给请求节点19。从以上简要的描述 中，我们可以看出基于该协议的系统属于多源p2p流媒体系统。 在基于gossip协议的纯p2p模型中，节点之间不需要显示地构造和维护组播树的 结构。在这种模型中，每个节点维护系统中部分其他节点的视图，通过相应的gossip 协议动态的和其它节点交换缓存信息，并根据缓存信息交换节点之间的媒体数据。 在这种系统中，通常需要比较大的缓存，系统的启动延迟相对比较大。但是，因为 每个节点的数据来源并不依赖于某个特定的节点，所以系统具备了良好的灵活性、 扩展性和更强的健壮性，且启动延迟较大的问题可以通过一些改进措施得到解决。 正由于以上的优势，人们将更多的目光投向了这种模型的研究。gnustream、 promise和donet是这种模型的典型代表。 华中科技大学硕士学位论文 6 gnustream 20是一个基于gnutella 协议的p2p 流媒体系统，也是一种接 收端驱动的媒体播放系统，由需求节点发起并组织资源的查询，整个查询过程通过 调用gnutella协议的资源发现服务实现。 gnustream系统由以下三层构成： (1) 网络抽象层（network abstraction layer）：网络抽象层nal掩盖了底层p2p网络的特 性，提供了一个通用的p2p网络查找机制。nal 使得gnustream 不仅可以使用 gnutella作为底层查找机制，还可以使用其他的底层p2p网络；(2)流控制层 (streaming control layer)：流控制层scl用于处理p2p网络的动态性和异构性。作为 系统的核心，scl实现了系统的如下关键功能：带宽聚合、数据搜集、节点状态变化 监控和恢复以及缓冲区管理；（3）媒体播放层(media playback layer)：媒体播放层 mpl是基于已经由scl搜集到的数据来实现媒体质量的调整。 promise21是一种基于应用层p2p服务collectcast的多源流媒体系统。 collectcast含有以下三个公功能：1)推断和揭示隐藏的网拓扑结构和性能信息；2)监 测每个节点的状态变化；3)动态地在candidate集中的活动发送节点(active senders)和 备用节点(standby sends)之间切换。基于collectcast所提供的功能，promise能够根 据具体网络结构选取发送节点以获取最优的播放集合速率及最低的集合丢包率，并 对网络节点情况进行监测，在备用集和选择发送集之间动态切换，即使在网络中节 点状态不稳定的情况下也可以达到较好的播放质量。 donet22是一种基于数据驱动的覆盖网络模型，应用于直播流媒体系统。 donet的系统主要包含三个模块：(1)节点的管理(membership manager)：负责维护 系统中部分节点的视图；(2)伙伴管理(partnership manager)：和其它节点建立伙伴关 系；(3)调度器(scheduler)：负责动态地调度视频数据的传输。在该模型中，对于每一 个视频流的数据段而言，一个donet可能是发送者也可能是接收者，或者两者都是。 不过有一个例外节点源节点，它总是数据段的供应者。该模型具有易于实现、 高效、健壮性和扩展性强的优点。coolstreaming就是基于donet的实现，它已经发 布了几个版本，吸引着众多的观众收看，在高峰期同时在线的用户高达4000多人。 1.3 主要研究内容 在 promise 的基础上，给出了一种更完善的多源 p2p 流媒体传输调度算法 improved- promise，以下简称为 ipromise，主要包括节点选择算法和数据包分 配算法。针对节点选择问题，给出了基于缓冲区填充进度、节点积分等级和网络拥 塞程度速率自适应调整的节点选择算法，使其流媒体服务更加稳定和高效；对于数 据包传输分配问题，给出了基于缓冲区状态的数据包分配算法，既进一步缩短启动 华中科技大学硕士学位论文 7 延迟且减少了计算量。最后通过分析模拟实验结果证实了所提出算法的可用性和优 越性。 论文组织结构如下： 第一章介绍了流媒体传输技术及其相应的国内外研究进展。首先从整体上介绍 了课题的研究背景，然后介绍了国内外 p2p 流媒体的研究现状主要包括应用层 组播模型和基于 gossip 协议的纯 p2p 模型这两大类 p2p 流媒体模型。 第二章详细介绍基于 p2p 架构的流媒体应用核心思想。讲述 p2p 技术、流媒体 技术相关理论，以及二者相结合进行网络流媒体应用开发时的关键技术。 第三章主要针对多源 p2p 流媒体传输调度问题给出了新的算法 ipromise。 ipromise 主要包括节点选择和数据包分配算法。它能更进一步的提高系统的稳定 性和缩短启动延迟，使得流媒体传输变得更加快捷和高效。 第四章主要针对第三章所提出的节点选择和数据包分配算法进行性能分析和仿 真实验，用以说明改进的流媒体传输算法更快捷和高效。 第五章在对该论文的主要工作进行总结的基础上，对下一步的工作提出了展望。 华中科技大学硕士学位论文 8 2 p2p 流媒体关键技术 流媒体应用凭借自身的各种优势正越来越受到人们的青睐。然而由于它对网络 和流服务器的带宽要求高，使得它的发展并不顺利。直到与 p2p 模式相结合，流媒 体应用得到了迅速的发展。 p2p 与流媒体的结合构成了一种低成本、高效率的流媒体传输机制，大大降低了 服务器的负载和带宽占用。本章将详细介绍网络流媒体应用程序中所涉及到的 p2p 技术和流媒体技术。 2.1 p2p 网络技术 最近几年，peer- to- peer (对等计算，简称 p2p) 迅速成为计算机界关注的热门话 题之一，财富杂志更将 p2p 列为影响 internet 未来的四项科技之一。 客观地说，这种计算模式并不是什么新技术，自从上个世纪 70 年代网络产生以 来就存在了,只不过当时的网络带宽和传播速度限制了这种计算模式的发展。90 年代 末，随着高速互联网的普及、个人计算机计算和存储能力的提升， p2p 技术重新登上 历史舞台并且带来了一场技术上的革命。许多基于 p2p 技术的应用程序应运而生， 给人们的生活带来了极大的便利23。 2.1.1 p 2 p 的基本概念 从不同的行业和视角来看，p2p 的定义略有差别。一种典型定义为：p2p 是一种 分布式网络，网络的参与者共享他们所拥有的一部分硬件资源（处理能力、存储能 力、网络连接能力、打印机等） ，这些共享资源能被其他对等结点直接访问而无需经 过中间实体。在此网络中的参与者既是资源（服务和内容）提供者，又是资源（服 务和内容）获取者。 p2p 技术的优势体现在如下几个方面24： （1）非中心化 网络中的资源和服务分散在所有节点上，信息的传输和服务的实现都直接在节 点之间进行，无需中间环节和服务器的介入，避免了可能的“ 瓶颈” 。非中心化是 p2p 的基本特点，带来了其在可扩展性、健壮性等方面的优势。 （2）可扩展性 在 p2p 网络中，随着用户的加入，不仅服务的需求增加了，系统整体的资源和 华中科技大学硕士学位论文 9 服务能力也在同步地扩充，始终能比较容易地满足用户的需求。理论上其可扩展性 几乎可以认为是无限的，例如：通过传统的 ftp 文件下载方式，当下载用户增加之 后，下载速度会变得越来越慢，然而 p2p 网络正好相反，加入的用户越多，p2p 网 络中提供的资源就越多，下载的速度反而越快。 （3）负载均衡 p2p 网络环境下由于每个节点既是服务器又是客户机，减少了对传统 c/s 结构 服务器计算能力、存储能力的要求，同时因为资源分布在多个节点中，能更好地实 现了整个网络的负载均衡。 （4）健壮性 p2p 架构具有耐攻击、高容错的优点。 p2p 网络通常都是以自组织的方式建立起 来的，并允许结点自由地加入和离开。不同的 p2p 网络采用不同的拓扑构造方法， 根据网络带宽、结点数、负载等变化不断自适应地调整拓扑结构。由于服务是分散 在各个节点之间进行的，部分节点或网络遭到破坏对其他部分的影响很小，即便是 部分节点失效了， p2p 网络也能通过自动调整机制重构整体拓扑结构，保持与其他节 点的连通性。 （5）高性价比 性能优势是 p2p 被广泛关注的一个重要原因。随着硬件技术的发展，个人计算 机的计算和存储能力以及网络带宽等性能依照摩尔定理高速增长。采用 p2p 架构可 以有效地利用互联网中散布的大量普通节点，将计算任务或存储资料分布到所有节 点上，利用其中闲置的计算能力或存储空间，达到高性能计算和海量存储的目的。 目前， p2p 在这方面的应用多在学术研究方面， 一旦技术成熟， 能够在工业领域推广， 则可以为许多企业节省购买大型服务器的成本。 （6）隐私保护 在 p2p 网络中，由于信息的传输分散在各节点之间进行，无需经过某个集中环 节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前解决 internet 隐私 问题主要采用中继转发的技术方法，从而将通信的参与者隐藏在众多的网络实体之 中。在传统的一些匿名通信系统中，实现这一机制依赖于某些中继服务器节点。而 在 p2p 中，所有参与者都可以提供中继转发的功能，因而大大提高了匿名通讯的灵 活性和可靠性，能够为用户提供更好的隐私保护。 从以上分析可以看出： 与传统分布式系统相比， p2p技术具有无可比拟的优势25， 使其具有广阔的应用前景。 华中科技大学硕士学位论文 10 2.1.2 3种 p2p 网络模型 p2p 网络结构模式的发展变化经历了集中式、分布式和混合式三个阶段26- 27。 下 面以典型的 p2p 文件共享软件为例来研究 p2p 的几种主要结构： 1. 集中式对等网络 第一代对等网络结构是集中目录式的模型。该模型由两类节点构成：一类是对 等节点 peer；一类是具有超级服务能力的中心服务器节点 server。中心服务器负责保 存用户上传的文件索引信息和存放地址信息。当某个对等节点需要某个文件时，该 节点首先连接到中央服务器获取相关文件的地址信息，然后根据网络流量和延迟等 因素进行选择，并和合适的对等节点建立连接，最后开始传输文件。napster 就属于 这种集中式对等网络模型。 这种集中式的对等网络模型优点主要在于易于实现，缺点主要在于当中央服务 器失效时，整个系统会瘫痪，且随着网络规模的扩大，中央目录服务器维护更新的 费用将急剧增加，所需成本过高，或者服务性能会急剧下降。 基于以上分析可以得出： p2p 对小型网络而言在管理和控制方面占有一定的优势, 但对大型网络并不适合。 2. 纯分布式对等网络 以 gnutella 和 edonkey 为代表的第二代对等网络分布式对等网络将第一代 集中式对等网络模型的理念更推进了一步，避免了中央服务器的存在。该模型仅由 对等节点 peer 构成。当对等节点安装相应软件后，就成为了一台能够提供文件服务 的服务器，并会自动搜寻其他同类服务器，从而联成一台由对等节点 peer 组成的网 络超级服务器。与 napster 网络不同的是它不存在中央目录服务器，所以纯分布式 p2p 系统都采用洪泛机制或类似洪泛的机制来查找系统中可用的资源。 洪泛机制的基 本思想是将请求文件信息散播到网络的各个对等节点中，直到生命周期(ttl)结束或 者是找到了目标资源节点。当某个 peer 收到请求文件消息并且发现自己能够提供这 种资源时，就发送一条响应消息，按照原路径反馈给源节点。其实这种洪泛机制主 要是为了确保查询消息能够在短时间内发送给尽量多的节点，以便能找到所需要的 资源28。 纯分布式对等网络由于不需要中央服务器，所以不存在了服务器单点瓶颈问题， 但是大规模的洪泛查询会导致大量消耗网络带宽。 3. 混合式对等网络 第三代对等网络结构混合式对等网络29- 31，结合了集中式和分布式对等网 络的优点，在分布式模式的基础上，将用户节点按能力进行分类，使某些节点担任 华中科技大学硕士学位论文 11 特殊的任务。该模型由三类节点构成： (1)普通节点：不具有任何特殊的功能； (2)搜索节点：处理搜索请求； (3)索引节点：保存搜索节点信息，并收集状态信息，维护网络结构信息。 需要注明的是一个节点可以既是搜索节点又是索引节点。 这种结构的两个关键之处是引入了索引节点和搜索节点。索引节点不会直接连 接到有版权的资料上，它就像搜索引擎一样，只是搜索和所需资料相关的地址，至 于用户到底连接下载了什么内容则和它无关；搜索节点管理着所属用户的文件列表， 用户节点通过索引节点获得搜索节点信息之后，用户节点就与获得的节点相连，每 一次查询都通过该搜索节点进行。当用户发出搜索请求后，一旦和用户节点直接相 连的搜索节点查询结果数量达到要求就停止(搜索结果数量可由用户自己设定)； 如果 不足，就向相邻的搜索节点请求，如果查询结果还不够,就继续向外快速发散，直到 所有的搜索节点都被搜索到为止。若所有搜索节点都被访问过，就意味着整个网络 上的节点都被搜索到了。 bt 就是第三代混合式 p2p 网络的典型代表，它将中心目录服务器的稳定性同优 化的分布式结构结合起来，从而在效率上远远超出了 edonkey这类产品。 第一代集中式对等网络有利于网络资源的快速检索，并且只要服务器能力足够 强大就可以无限扩展，但是其中心化的模式容易遭到直接的攻击；第二代分布式对 等网络解决了抗攻击问题，但是缺乏快速搜索和扩展性差；而第三代混合式对等网 络结合了集中式和分布式对等网络的优点，在设计思想和处理能力上都得到了进一 步的优化，搜索的效率有了进一步的提高。随着网带宽的增加和台式机性能的增强 对等网络的混合式结构将充分显示其优越性并发挥更大的作用。 2.1.3 p2p 模式与 c/s 模式的比较 目前互联网的主流技术模式是 c/s 方式，此方式的应用需要在互联网上设置拥 有强大处理能力的高性能计算机，配合高档的服务器软件，将大量的数据集中存放 在上面，安装多样化的服务软件，在集中处理数据的同时可以对互联网上其他 pc 进行服务。c/s 模式造成互联网络上的资源集中，无论信息资源还是成本资源均向同 一方向集中，这样的模式符合一对多、强对弱的社会关系形式，如政府对个人、学 校对学生、企业对职工等。 不同于 c/s 模式，p2p 是一种分散的网络模式。在 p2p 网络模式下，每一个实 体被称为对等实体或者对等节点。对等节点既可以充当服务器为其他节点提供服务， 华中科技大学硕士学位论文 12 又可以充当客户机享用其他节点提供的服务。从本质上降低了对中心服务器的依赖， 能够避免因为过度依赖而产生的不良影响。随着网络中对等节点数量不断的增加， 网络所提供的资源也会更加丰富，服务性能也越来越强。p2p 方式使信息数量、成本 资源都向互联网络各节点均匀分布，这样的模式符合彼此相当的社会关系形式，如 个人对个人、规模相当的企业之间等。 c/s 模式与 p2p 模式的通信方式如图 2.1 所示： 服务器 客户端 对等节点 （a）c/s 模式 （b）p2p 模式 图 2.1 c/s 模式与 p2p 模式结构图 c/s 模式与 p2p 模式进行网络通信时，各方面的性能对比情况如表 2.1 所示。 表 2.1 c/s 模式与 p2p 模式通信方式比较 特性 c/s 模式 p2p 模式 易管理性 好 差 容错性 差 好 可扩展性 差 好 数据发布 差 好 数据接收 好 中 数据互动性 差 好 数据即时性（传输速度） 差 好 数据更新 差 好 数据质量（价值） 好 中 抗干预性 差 好 成本控制 差 好 华中科技大学硕士学位论文 13 鉴于 c/s 模式和 p2p 模式各有所长，所以这两种模式会共存在。然而，对于实 时音频、视频流数据传输应用作来说，p2p 模式大大改善了内容的流量分布，解决了 internet不能为所传输的流媒体数据提供足够网络带宽的问题，同时也极大程度缓解 了流媒体服务器的压力，相比 c/s 模式，它具有无可比拟的优势，因此，p2p 模式无 疑是流媒体传输应用的一种更好选择。 2.2 流媒体技术 在网络上传播多媒体数据主要有两种方式：下载和流式传输。下载方式是指所 有的媒体数据下载到本地后才可以播放，这种方式需要用户等待较长时间，并且对 本地的存储容量也有一定的要求，这就限制了 pda 等低存储容量设备的使用；而流 式传输则不同，它是边下载边播放，用户只需要等待几秒或几十秒的启动延迟即可 收看节目，且这种方式将媒体数据存放到内存缓冲区，而不是硬盘，这样做的好处 是一方面可以避免用户的硬盘受到损伤，另一方面也有助于保护多媒体数据的版权。 近几年来，流媒体应用技术与 p2p 网络技术的结合，使其自身取得了突飞猛进 的发展。下面将从流媒体传输协议、流媒体文件定位机制、发送节点选择机制、容 错机制和数据传输调度机制等方面对 p2p 流媒体关键技术做详细的探讨。 2.2.1 流媒体传输协议 在尽力而为、包交换的网络中，传输视频流数据包面临着重大挑战，比如高比 特率、低延迟 、包丢失敏感。正因如此，像 tcp 这样的传输协议已不适用流媒体数 据包的传输。设计新的网络协议以适应流媒体应用是一个必然的趋势。所以，ietf 提出了 rtp/rtcp 、rsvp 、rtsp 协议，目前这些协议已经成为流媒体传输使用 最广泛的协议，并且还在不断完善当中。 下面将简要地介绍 rtp/rtcp 、rsvp 、rtsp 协议32。 1. rtp/rtcp rtp 协议是一种提供实时数据传输协议，rtcp 协议则是一种用于监控 rtp 会 话中各个参与者的情况，并进行流量控制和拥塞控制的服务协议。也就是说 rtp 是 数据传输协议，而 rtcp 是控制协议。 与传统的注重的高可靠的数据传输的运输层协议相比，rtp 协议尤其注重考虑 数据传输的实时性。rtp 协议提供如下的特性： 1) 时间戳：rtp 提供时间戳用于同步不同的媒体流，rtp 本身并不负责同步， 而是由上层的应用程序完成。 华中科技大学硕士学位论文 14 2) 序列号：rtp 协议并不规定底层使用的传输协议，但是出于效率的考虑，大 多数的实现依赖于 udp，而 udp 并不保证包的有序性，rtp 提供序列号保证包的有 序性，同时，序列号也用于包丢失的检测。 3) 数据包类型标识：数据包标识用于指定 rtp 包的负载类型，应用程序根据负 载类型解释包的内容，负载内容类型可以为 mpeg1、mpeg2、mpeg4 和 h.263 等。 4) 数据源标识：数据的接收端通过数据源标识判断数据的来源。 rtp 协议不能为按顺序传送数据包提供可靠的传送机制，也不能提供流量控制 和拥塞控制，它依靠 rtcp 协议来提供这些服务。rtcp 协议在 rtp 会话之间周期 的发放一些 rtcp 包，用来传送监听服务质量和交换会话用户信息等功能。rtcp 包 中包含有已发送的数据包的数量、丢失的数据包的数量等统计资料。因此，服务器 可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。 rtp 和 rtcp 配合使用，能以有效的反馈和最小的开销使传输效率最佳化，因 而特别适合网上实时数据的传送。 2. rtsp rtsp（real time streaming protocol）实时传送协议是一个应用层协议，用来控 制具有实时特性的数据的传送。它提供了一种可扩展框架，使得可控的、点播的实 时数据的传送成为可能。除此之外，rtsp 想要提供一种选择传送通道的方法，例如 udp、tcp、ip 多目标组播通道，以及一种基于 rtp 的传送方法。rtsp 的另一个重 要的功能是在发送端和接收端之间建立和控制流媒体的传输。 rtsp 的主要特点有以下几点：1)rtsp 是应用层协议，可以协同更低层协议 rtp、rsvp 一起设计来完成流式服务；2)rtsp 有很大的灵活性，可被用在多种操 作系统上，它允许客户端和不同厂商的服务平台交互；3)rtsp 在体系结构上位于 rtp 和 rtcp 之上，它使用 rtp 完成数据传输，它可控制流式媒体数据通过网络 传输到客户端。 3. rsvp 由于音频和视频数据流比传统数据对网络的延时更敏感，要在网络中传输高质 量的音频、视频信息，除带宽要求之外，还需其他更多的条件。通过 rsvp 协议预 留一部分网络资源，流媒体的服务质量能在一定程度上得到保障。 rsvp 协议可在 ip 协议 （ipv4 或 ipv6） 上实现， 也可在 udp 协议上实现。 rsvp 协议在服务分类思想的具体实现时选择了无连接的方式。这种实现方式使 rsvp 协 议在预留资源的共享方面更具有灵活性。因此，rsvp 协议与 ip 的基本思想具有高 度一致性。rsvp 协议从接收端开始向到发送端的沿途路由器要求预留资源。通常把 华中科技大学硕士学位论文 15 发送端称作数据流的上游，接收端称作数据流的下游。所以，rsvp 协议的资源预留 是一个由下游向上游方向进行预留的单向预留过程。 2.2.2 媒体文件定位技术 流媒体服务的一个重要的特点是实时性强，这就要求系统能够快速准确地定位 客户所要求的媒体文件，因此，媒体文件定位是需要解决的最基本问题之一。下面 将分别针对 3 种对等网络结构阐述媒体文件定位机制。 在集中式的对等网络中（如 napster） ， 定位媒体文件一般是通过集中的服务器来 实现。集中式的目录服务器上存放有对等节点的地址信息，元数据和文件的关键词 信息，它可以对请求查询进行快速的查找并返回最合适的目的节点。这种集中式的 管