（计算机应用技术专业论文）p2p网络实时流媒体分发技术的研究探讨.pdf

ab s t r s c t t h eapp l i c a t i o n so fm e d i as tr e ami n gin th en e two rk c nr i c h e dw i th t h e pop u l a ri zatfo n o f t h e n e two r k ， t h e i m p ro v e m e nto f the b a n d wid t h and t h e a d v anceo f p cc a p a b i l i t y . in atrad i t i o n at cl i ent 一 s e rv er s trea m i n gs y s t e m，山 es e rver o ft e n b eco m est h e bot ti e neckd u e t o th e hi ghb and w i d t h . i c p s can n o t a ffordt h e e x p e nsiv e c h a r g e o f c d n ， w h i l e i p m u l t i cas t i s h a rdt o d e p l o y e 月 七 c t i v e l y for i tso wn l 汕i t a t i on. in trod u cep z p i n tore al 一 t line m e d i a s treami n g d i s t ri b u t i n g w i l l r edu ees e rver ， s l o a d a n d p artb andwi d thb y d i s t ri b u t e s erve rsb y m e a n s o f m a ki n g s o m e p cass e rv e r . 11 1 5 cos t 一 e ffect i v e and con ta i n s g 0 0 d app l i cat i onv a l u e infu t u re . t h 1 sarti c lein troduc e dth ed e s i gn a n d汕p l e m e n t o fp z pre a l 一 t i m em e di a s treami ngd i s tri b u t in g s y s t em. a ft e r b ri e fl y ana l 邓e p z p t ec h n o l o g y and t y p i cal p z p m edias t re aming m o d e l ， t h ek e yt e c h n of o g yw h i chwil l i n fl u e n c eth es y s t e m 5 p e rforma n ceand th e cha l l e n g e o f p 2 p re a l 一 t i m e m e d i a s t r e ami n g d i s t ri b u ting s y s tem are fu l l y ana l y z e d . con s i d ering n c two r k e ffec 6 v e ， q o s ， re s o urce m ana g e m ent ， t i m e dsl a y ， performance， 加 c l l i t y andcom p l e xity o f re a l 让 a t i o n ， this a rt i c l e ana l yze s and des i gns t h e key a l gori th mand t h e p rot oco l o f m c d i a m ana g e m ent， n o d e m ana g e m ent ， m e di a st re amin g qos c o n t l ol ， bu月 沁 r m anage m ent， 卯w e r m ech has ma n d t rytom a k e aboveb a l a n c e . int b ee n 氏d a tad i s t ri b u tes ystem b ased on p 2p re a l 一 t i m cm e di a s trca m 1 n gn ame dms tream1 n gi sdev e l oped a n dt ested t 七 et e s t r e s u l t s h o w s th at w i 1 h o u t c h a n g i n gth e curr e ntd e p l o yme n t o f n e t w 0 rk， 此 sys t e mre a l is ed the fa s l di s t ri b u t i o nandl o c a t 1 o no freso u rces ， t aket h ea d v a n t a ge o fp z pto solve the n “k bot d e o f s ery仍 e ffect i v e l y and m a k e th6 s e rv ice and r es o u ree d i s pers iv e . k e y w o 川5 : p eer一p c er ， m e d i a s treaming， con t ent d i s t ri b u t io n ， rea l . 舫 m e m e d i a stre am ing 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了 文中 特别加以 标注和致谢的 地方外，论文中不包含 其他人已 经发表或撰写过的 研究成果， 也不包含为获得 南昌大学 或其他教育 机构的学 位或证书而使用过的 材料。与我一同工作的同 志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示谢意。 学 位 论 文 储 签 。写 心 依 参签 字 日 期 : 。 7 年 月 二 日 学位论文版权使用授权书 本 学位论文作者完全了 解南昌大学有关保留、 使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和借阅。 本人 授权南昌大学可以 将学位论文的全部或部分内容 编入有关数据库 进行检索，可以 采用影印、 缩印 或扫描等复制手段保存、 汇编学位论文。 ( 保密的 学位论文在解密后适用本授权书 ) 学 位 论 文 作 者 签 名 (手 写 ): 材衷 变 ” 师 签 “ (手 “ ，: 再 佬去 签 字 日 期 : 叫年比 钾 日 签 字 日 期 :。 7 年月 砂 日 学位论文作者毕业后去向: 工作单位: 通讯地址 : 电话 邮编 第一章 绪论 第一章 绪论 l l课题研究的背景及其意义 计算机技术特别是网络技术的飞速发展，深刻地改变着人们的工作、生活 和思维.随着互联网在全世界的普及，以及网络带宽不断提高和个人计算机性 能迅速提升，网络应用越来越丰富。人们不再满足于传统的网页浏览、文件下 载、聊天等因特网呆板的表现形式，流媒体以 其特有的娱乐性和交互性正在成 为推动未来宽带应用的主动力。根据第十九次 中国互联网络发展状况统计报 告 ll ， 截至2 (x)7 年1 月， 我国宽 带上网 人数 达到卯7 0 万人， 宽带逐渐成为网 民上网的首选方式。网络连接情况的改善使得网络应用情况也发生了变化。在 当 前网 络用户上网的 最 主要目 的中， 经常上网 休闲 娱乐 ( 包括网络游戏和 在线点 播) 的网民 人 数己 经占 到了 总 上网 人数的42.5 % ， 列居 第 三的 位置; 而 在 用户 经 常使用的网络服务功能一项中，在线影视收看及下载和在线音乐收听及下载的 使用人数也分别占到了 总人数的3 6 3 % 和3 4 .4 % 。 这些数字说明， 目 前已 经有1 /3 甚至更多的网民开始认同并津津乐道于网络“ 动” 媒体的传播与使用， 而一个前所 未有的流媒体网络时代也在悄然迫近。流媒体技术在多媒体新闻发布、网上演 示、 在线直播、 网络广告、 电子商务、 视频点播、 远程教育、 实时视频会议、 i p r v 、 互动娱乐、培训咨询等一系列基于互联网的 通信和视讯服务领域都将蓬勃发展. 因此，向大规模的用户群提供高质量、可交互的流媒体服务被认为是未来 互联网的重要应用之一。 传统的c l i e n 灯 s e r v e r 架构的流媒体服务远远不能满足大 量并发用户对高质量流媒体服务的需求。由于流媒体对带宽的高占有特型，传 统的基于单播的传输方式很容易导致服务器的性能瓶颈，则不仅无法满足大规 模的流媒体应用部署需求，同时会使得服务器成本居高不下，并且很容易导致 局部网络发生拥塞， 从而也无法保证客户端的服务质量。上世纪80年代，以 微 软 的下 gc r s h ark流 媒 体 集 群 文 件 系 统 12 和 美 国 南 加 州 大 学 的yi m a 集 群 视 频 服 务 系统 131 为 代 表的 技 术 希 望 通过集 群 技术来 提高 流 媒体 服 务 系 统中s erver端的 服 务能力。 然而这类系统在服务能力上仍然只能停留有限的规模之上。与此同时 另外两种思想在学术研究界得到了 广泛的认同。一种就是通过正层的组播技术 第一章 绪论 和客户端流合并技术来提高系统的并发服务量。 然而， 现有的inte m et缺乏对ip 层多播技术的支持，以及ip层组播在可靠性、安全性等方面存在的缺陷，使得 这种技术在产业界没有得到有效的实现。另一种是通过高性能的中心服务器和 靠 近 用 户的 边 缘 代 理 服 务 器 来 组 建 多 媒 体cdn(cont en t di str ibu ti onn e tw o rx)i 的方式为大规模的用户提供高质量的流媒体服务。 然而， 极其昂贵的c d n造价 使得大多数的流媒体服务商望而却步。 随着网络带宽的迅速提高和宽带用户的迅速增长，个人计算机的性能在迅 速提高的同时其价格也在不断下降，现在的一台普通个人计算机，其计算能力 和存储能力很可能超过二十年前的大型机，计算资源和网络带宽这两方面条件 的改进，使得很多网络终端也具备了一定的服务能力。而如果能够把网络上数 量巨大的个人计算机作为一个整体联系起来，就可以提供任何集中式服务器无 法比拟的计算资源。基于这样的思想使得许多基于p ee卜 to 一 p ee; 的网络应用迅速 兴起。 把 p z p思想引入到流媒体服务中，充分发挥以 往被忽略的众多个人计算 机( 节 点 ) 的作用， 通过让它们缓 存一部分 信息， 行使一 部分服务 器的 功能， 使服 务分散化，从而减轻服务器的负载以及对局部网络带宽的高要求以 及高消耗， 具有潜在广阔的应用前景。 因此，在有限的资源条件下，如何满足快速增长的用户需求，并在满足一 定服务质量水平的同时降低流媒体服务成本，是 p z p实时流媒体分发技术研究 中一个具有挑战性的课题! l z pzp实时流媒体内容分发技术及国内外研究现状 针对流媒体高带宽的需求，采用 pzp技术是解决流媒体内容分发中服务器 链路瓶颈问 题的理想模式，其核心思想就是把流媒体数据采用 pzp网络进行分 发，在 p z p系统中各节点地位是平等的，贡献自己资源给群体，反过来又使用 其 他节 点 提供的资 源， 从 而 达 到 节点 数 越多 ( 规模越 大 ) 流 媒 体传 输 质 量 越高。 目 前普通用户所使用的计算机能力、存储能力和带宽较强大和丰富，并且用户所 拥有的巨大的资源通常处于闲置状态，若能将这些闲置的存储空间、带宽资源 和处理能力利用起来，就可以在不增加用户使用费用的同时增加巨大的数据分 发能力，用户在将自己的计算机资源贡献出来的同时也分享其它用户提供的资 源。在 p z p网络中，流媒体数据使用节点自己的带宽进行分发，节点为了共享 第一章 绪论 内容而合作，数据通信量不会固定在某个特定的地方，不会造成某个特定地方 成为性能瓶颈。 如何实现基于 p z p网络对流媒体内容进行大规模分发是近些年来多媒体领 域的热点研究方向。目 前基于 pzp网络的流媒体内容分发技术己引起国内外许 多 大 学 和 研 究 机构的 纷 纷重 视并开 展 研究 ( 如美国 的 斯 坦 福大 学 1581 、 普 度大 学 tsl 一 21 、 卡内 基 梅隆大 学 159 】 、 佛罗 里达中 央 大学 门 、 微软 研究院 l3 .l 4.1 . 乃 、 国 内的 香 港 科 技 大 学 1加 一川 、 清 华 大学 1物 1 、 华中 科 技 大 学 1叫 等 ) 。 也 有 些系 统已 经 开 始尝试商业化运作，目前比较成功的如香港科技大学张欣研博士带领的 r o x b e am 团 队 1601 、 华中 科 技大 学 姚 欣带 领的ppl i ve el 】 以 及上 海 众 源 网 络 有 限 公 司 的p p s tr e a m l62 1 。 图1 . 1基于咒p 的流媒体分发技术方案 目 前基于 p z p网络对流媒体分发的应用研究可以划分为两类:基于p z p的 流 媒 体直 播 和基 于pzp 的 流 媒体点 播 伴0 0)。 前者 主 要实 现 对 采集到的 实 时 流 媒 体数据的分发，后者则侧重实现在流媒体文件分发服务中的交互。 在基于 p zp 的实时流媒体分发系统中首先需要解决的一个问题是让新加入的节点从哪个或 哪些节点获取节目 数据，这实际上也是节点逻辑拓扑组织的问题。 另外一个需 要解决的问题是当节点退出或失效时对与其相关节点的处理问题，这也就是节 点 逻辑 拓 扑 调 整的问 题。 文 献【5 在目 前 基 于p z p 的 实时 流 媒 体分发 方 案中， 按 照 pzp网络中节点所构成的网络拓扑划分为三类:基于单棵树的数据分发、基 于多棵树的数据分发以及基于随机拓扑的数据分发。在本文的第三章将会就当 前几种典型的模型作详细的介绍。 第一章 绪论 、. 产 ， . ， b 何 图1 .2p zp实时流媒体分发网络拓扑 补。 l 2. 1基于单棵树的数据分发 在基于单棵树数据分发模式中，每棵组播树上的节点共享从源服务器一个 频道所流出的数据，每个节点只参与到一棵组播树。研究的焦点主要是如何设 计组播树构造协议以达到特定的性能指标要求，此外还包括如何增强系统的容 错性，即如何减少节点离开或失效行为对其它节点的影响。 在基于单棵树的 p ee r c a s t i6 模型中提出了 一种简单组播树构造协议: 节点 被组织成一个树状结构， 树的父节点给子节点提供服务。 新节点c 的加入时， 试 图向根节点n 请求加入， 如果节点n 有足够的资源， 则向节点c 提供服务， 否则 节点n 把c 的请求根据一定的策略转发给其某个直接的子节点。 子节点根据自己 的资源情况判断是否给c 提供服务， 以此类推， 直到c 找到一个父节点。 对于节 点的 失 效情况， 通过在所有父 子节点之间 维持心跳( heart一 b ea t) 功能， 如果在几个 周期内内收不到父节点的心跳信号，就认为父节点己经失效，并重新向根节点 发起加入搜索过程。 在 p e e r c as t 中，虽然提供了一些策略使组播树尽量的平衡， 但并没有任何 理论的 保证。针对这个问 题， 及a n等提出了一种基于分层簇思 想的组播树构建 的21 9 一 z a g 模型 网 ， 提 供了 更 完 整的 构 造 组 播 树的 规则 ， 保 证 树 的 深 度 维 持 在 o(lo g n ) ， n为 系 统中 的 节点 数量。 在21 9 一 zag 中 ， 节点 之间的 关 系 有两 种， 一 种是逻 辑关 系: 簇 管理结 构 ( a d m i ul s trati veo r g a n l z a t in n) ， 还有 一 种 是 真正负 责 数据 分 发 物 理关 系: 组 播树 伽ul ti cast t re e) 。 在zi g- zag 中 ， 节点 通过 某 种 规则 组 织成簇(c lu st e 力 ， 簇管理结构通过把所有的 节点组织成一个 继承体系 来成管 理系 统中所有的节点。 为 减少 组播树中 节点 离开 或失效时 子节点服务被中 断的时间， 、 乞 n g 等提出 了一种基于对组播树进行主动重建的中断恢复方案151 ， 它让组播树中的每个中间 第一章 绪论 节点预先为每个子节点计算出一将来的父节点印 arent 一 to 一 b e) ，以 便当节点退出系 统时，服务被中断的子节点就可以直接与其将来的父节点进行联系，从而能够 快 速 地重 新加 入系 统。 对 于 如 何为 每 个 子节点 预先计 算 将来 父 节点 的问 题， 、 、 n g 等考 虑了 每个节点 可带 子节点 个数( 度 ) 的约束， 把上述问 题归 结为带 度约束的生 成树问 题 ( de gr e e 一 con s tra嘛d sp a d n i n g t reep r o b lem) ， 并 提出 了 相 应的 算 法。 在基于单棵树的数据分发方案中，由于节点的离开或失效都将可能导致其 后续子节点传输服务的中断， 为维护每个节点上视频播放的 连续性， ou。 等提出 了 一 种 基 于p a tc h in g 流 的 数 据 分 发 模 式 1妇 刃 : 在 源 服 务 器 节 点 除 了 用 一 条 频 道 分 发正常的 直播数 据外， 还 额外启用多 条 频道， 每条频道用于 传输一条s hi ft i n g 流， 这 些s hi ft in g 流 之间 存 在固 定 的 发 送 启 动延 迟; 当 有中 间 节点 离开 或失 效时， 在 服务被中断的节点上同时发起下述两种类型的操作，一是选择加入某条合适的 shifting流， 以 便 从数 据 被中 断 处 继续 获取 数据 伊 a t c h in g 流 ) ， 二 是 重新 加入 组播 树，以便跟上视频直播的正常进度;当节点服务被中断时所产生的数据“ 空洞” 被p atc恤9 流 填充 完毕 后， 随即 释 放p a t c h i ng流 所占 用的 数 据 频 道， 从而 恢复 仅从组播 树上单个 节点 获 取数据的 状态。 上述模式中 的 p a t c h i n g流均直接从源 服务器节点获取。针对如何减少节点离开失效或链路故障对节点播放质量的影 响， b an 州ee等提出 了 一 种联 合 随 机转发 ( r an d o m 议 e d forwardin g) 技 术及n a k 触 发 侧g g e r edn a k ) 机 制 的 流 媒 体 直 播 数 据 分 发 系 统s r m slll-1 月 。 在s r m s 系 统中，每个节点除了给其子节点转发数据外，还从系统中随机挑选出固定数目 的节点并以较小的概率向这些节点转发数据;而对任一节点x而言，在给另一 节点y所转发的每个数据包中还须捎带一些数据元信息，用以表示节点x己正 确收到了该数据包之前的哪些数据包;节点y在收到该数据包后用该数据包中 所附带的元信息与其缓冲区内 容进行比较，即可检查出 缓冲区中 还缺少哪些数 据包， 从而向 节点x发送n a k消息以 便请求传输那些空缺了的数据包。 在s r m s 中以 多大的概率向固定数目 的节点转发数据是系统设计的一个关键，如果概率 选择过大则可能会导致节点接收到大量的重复报文， 从而造成带宽资源的浪费; 如果概率选择过小，当节点离开失效或链路发生故障时，子节点可能需要经历 较长的等待时间才能有机会发送n a k报文， 从而使得传输服务被中断的时间也 较长。 第一章 绪论 l 2. 2基于多棵树的数据分发 由于基于单棵组播树的数据分发存在诸如叶节点带宽资源得不到有效利 用、中间节点的离开或失效行为对子节点的影响较大、0 0 5难以保障等问题， 人们因此也提出了基于多棵组播树的数据分发。针对基于单棵组播树的数据分 发方案中节点离开或失效行为会中断后续子节点数据传输的问 题， p a d m ，叱h all 等首 先 提出 了 一 种 基 于 多 棵 组 播 树的 数 据 分 发 方 案。叩 n et ll3 一141 : 它 首 先 在 源 服 务器 端 对 视 频节目 进行m d c ( m u lt ip le o e 颧p t ionc o d i n g) 编 码1 ， 5 1 ， 产生多 条 m d c子流，这些md c子流在解码时不存在依赖关系;而对每一条 m d c子流 均采用一棵独立的组播树进行分发;新节点在加入系统时可选择同时加入到多 棵组播树: 对任一节点而言， 其接收到的m d c子流数量越多， 则播放质量越好; 当某棵组播树上的父节点离开或失效时， 只会导致一条m d c子流的数据传输被 中断， 节点还可以从其它组播树上继续接收其它的m d c子流， 在这种情形下除 了画面质量会有所下降外，并不影响节点对节目 数据的连续播放。对于多棵组 播树的组织和维护，主要由中心索引服务器集中承担，节点在加入或重新加入 时均向中心索引服务器提交请求，以获取多个或单个父节点。此外，针对节点 带宽资源异构的问 题， padmana b ll a n 等还提出了一种基于分层m d c编码网的多 棵组播树数据分发方案1 时 刀 ，以 解决不同 节点对不同 播放质量等级的要求. 在基于单棵组播树的数据分发方案中存在如下两方面的矛盾:一方面组播 树上的中间节点承担着较重的数据传输负载，另一方面还有大量叶节点的带宽 资源得不到有效利用。针对此问题微软亚洲研究院的 c as t ro等提出了另一种基 于 多 棵 组 播 树 的 数 据 分 发 方 案sp lit s treajn ll s-1 9 1 ， 它 与。 沁 p net 一 样 在 源 服 务 器 端 采用 md c编码，并让每棵组播树对应传输一条 md c子流，不同之处是在 s pl its 加am 中 ， 每 个 节点 只 在其 所 参与 的 一 棵 组 播树中 充当 中 间 节点， 而 在剩 余 的其它组播树中只充当叶节点，这样就可以减小节点离开或失效对其它节点所 造成的影响。 与基于单棵组播树的数据分发方案相比，基于多棵组播树的数据分发方案 的优点是可以充分利用系统中每个节点的带宽资源， 通过与md c编码结合可以 减少节点离开或失效对其它节点播放质量的影响; 其缺点是对组播树的维护和 管理比较复杂， 此外md c编码本身的效率也比较低， 并且其解码过程也比较复 杂。 第一章 绪论 l 2 3 基于随机拓扑的数据分发 在基于随机拓扑的数据分发方案中，节点之间所构成的网络逻辑拓扑是随 机的，采用这种数据分发方案的典型直播系统有 c oo lst ream insl脱11 、 grid m ed ial 22 一、 anys ee 降251 等， 它 们的 共同 特点 是 节点 在 加 入时 均 从 现 有 系 统 中随机挑选出多个节点作为其邻居节点，每个节点均和其邻居节点定时交换其 所缓存数据的元信息，并以此为基础在每个节点上定时运行数据调度算法，用 于确定从哪个邻居节点获取哪些数据，以最大化节点的播放质量。由于节点同 时从多个节点调度获取数据，因此它可以在很大程度上降低节点离开或失效对 其它节点的影响。与基于多棵组播树的数据分发方案比较，基于随机拓扑的数 据分发方案的最大优势是既不需要在节点间维护复杂的网络逻辑拓扑结构，也 不需要在源服务器端把数据流切分为多条子流。但是基于随机拓扑的数据分发 也有其自 身的缺点，需要从多个节点中寻找适合每个数据片断的合适提供者， 这样就增加了启动过程中的延时。 1 3论文的主要内 容 本课题的研究是实现基于 p z p网络下的实时流媒体分发的一个尝试。本文 所展开的研究既涉及流媒体数据分发体系，也涉及流媒体数据传输控制的算法 和协议，其主要研究内容包括以 下几点: 1)在基于即p实 际应用的 环 境下， 研究了 如何 基于单源的 树状结构来实 现 对实时流媒体数据的分发，其主要目标是实现新节点能够快速有效地加入系统， 而当节点离开或失效时，能够快速有效的重新调整相关节点，并在中断恢复的 过程中 如何尽量保证被中断节点对目 标数据实现完整接收。 2)考虑p z p 网 络的 波动 性， 研究了 在数 据分 发 过 程中 节点 和网 络 状态发 生 变化时对待数据获取源进行优化分配调度的问题，其目 标是最小化网络波动对 流媒体数据分发的影响的同时，最大化利用节点的带宽资源。本文在节点中采 用主动的方式检测网络和节点状态的变化。 3)在实时 性要 求高的实时 流媒体服务中， 研究了 如何实现系统中 各节点能 够快捷方便的检索到所需要的流媒体资源，并且能够快速准确地定位到所要求 的媒体文件。 涉及到的内 容包括系统如何实现资源目 录服务、如何对流媒体资 第一章 绪论 源实现定位。 叼针对p z p 网 络中 节点 “ 搭 便车 ” ( fte卜 ri d in g) 的 现 象， 研究 采 用 何种的 策 略 促使各节点贡献出自己更多的资源，以达到最大化利用各节点处于空闲状态的 带宽、处理器和存储等资源。本文将采用基于信誉的节点激励机制与节点加入 时的选择相结合的策略以实现“ 搭便车” 现象的最小化。 5)本文在研究了 典型的 流媒体系统模型的 基础之上，设计了 系统的关 键算 法和协议，并在现实的网络环境中对基于 p z p实时流媒体数据分发系的具体实 现作了尝试，在设计和实现过程中考虑了p z p网络的特性以及节点之间网络传 输路径上的丢包、延迟等特性，试图在网络效率、传输质量、资源消耗、时延、 系统的易用性以及实现的复杂性等方面取得权衡。 论文工作涵盖了 p z p实时流媒体数据内容分发研究中的资源定位、节点加 入退出行为的检测与处理、媒体0 0 5 和处理p z p网络中“ 搭便车” 现象等挑战。 l 4论文结构 本论文共分为六章。 第二章主要回顾了当前一些主要的流媒体相关技术。对流媒体编解码技术 进行介绍并作了比 较，接着介绍了流媒体的传输与控制协议和流媒体的同步机 制，之后介绍了流媒体系统的一般模型。 第三章首先介绍了pzp技术的定义、特点和典型的p zp 网络模型。在此基 础上，引入了pzp流媒体技术，接着讨论了目 前典型的p z p流媒体系统模型， 之后分析了p zp 流媒体系统中的关键技术，叙述了实现p zp 网络实时流媒体分 发系统面临的挑战。为后面的章节提供技术铺垫. 第四 章介绍了m stre am吨 系统的总 体设 计。 首先阐 述了 系统的 设 计目 标 和 设计原则，接着介绍了系统架构和网络模型，之后重点对系统中重要的算法和 协议进行了设计。最后对系统进行优化。 第五章介绍了系统功能模块的实现和测试过程.首先介绍了开发平台的选 择，之后介绍了系统的功能架构，重点叙述了资源管理、目录服务、接收和服 务等模块的实现。最后对系统进行了测试，并得出了测试结果。 第六章总结了整篇论文，并指出存在的不足以及下一步的工作. 第二章 流媒体系统技术 第二章 流媒体系统技术 本章首先介绍流媒体系统技术，然后对流媒体系统技术相关的流媒体编码 技术、流媒体侧传输与控制协议，以及流媒体的同步机制作了介绍，最后介绍 了一个典型的传统实时流媒体分发系统。 2. 1流媒体系统技术概述 流媒体 (me di a stre现in 幼 是指采用 流式传输的 方式在hite m e 物t ranet 播放的 媒体格式，如音频、视频或多媒体文件。以前，多媒体文件需要从服务器上下 载后才能播放。由于多媒体文件内 存一般比较大，一个典型mp e g 一 1 编码视频 节目 ， 1 分钟的数据为n . 3 m b ， 利用56kbps带宽 下载至少需要27分钟， 因 而 限制了人们在互联网上使用多媒体数据进行交流。流媒体不同于传统的媒体， 它在播放前并不下载整个文件，只将开始部分内容存入内存，在计算机中对数 据包进行缓存并使媒体数据正确地输出。流媒体的数据流随时传送随时播放， 只是在开始时有些延迟。流式传输主要指将整个音频和视频及三维媒体等多媒 体文件经过特定的编码方式解析成一个个压缩包后进行顺序或实时传送。 麟黔翻 1. 卜 硕 弓 卜 . 1. 卜哑亚 源文件发送接收缓冲区解码播放 图21流式传输 流媒体系统技术主要包括流媒体编解码技术、流媒体服务器技术和端到端 ( e n d ote n d ) 流媒体技术。 流媒体编解码技术建立在传统多媒体编解码 技术的 基 础上并得到蓬勃发展。目 前最具代表性的流媒体编解码技术为可扩展性编解码 技术 fgs (fmegr anul arscalab l e)l 圳和渐进的精细可扩展性编解码技术 p fgs 印 ro gres sive 血e gr anu俪scalab le)l切 。 流 媒 体 服 务 器 技 术 是 对 传 统 文 件 服 第二章 流媒林系统技术 务器进行扩展和改造，使之能够有效地支持流媒体应用。典型的流媒体服务器 技术包括数据放置策略、磁盘调度算法、内存缓冲区管理算法等。 端到端流媒 体技术用以解决媒体流在两个端系统间传输的相关问题，包括媒体流拥塞控制 (con g e s t ionco n trol ) 策略、 差 错控 制 ( e rror co n t ro l) 策略 和 速率 整形 ( r a t e s h 叩 i n g) 策略等， 端到端技术的研究目 标是为了 提高流媒体应用的 q os(q ua lit yof servl ce ) 。 流媒体系统技术不仅包括此三类技术， 还 要优化系 统的 综合性能， 提 高 流 媒 体的 系 统 效 率。 28 本章接下来的部分将介绍在流媒体系统技术中所涉及到的流媒体数据编解 码技术、流媒体传输协议以及流媒体的同步机制，最后将介绍流媒体系统的一 般模型。 2. 2流媒体编解码方案 流媒体的传输得以实现，离不开配套的编码。多媒体与传统数据有着显著 的 区 别:1)多 媒体数 据量 远远 大于 传统 媒体 数 据 量。 典型的 m p e g 一 1 码 率为 1 .5 m bp s ， 1 分钟 数据量高 达 n .2 s m 。 如 果 多 媒体 数据 未经 压 缩 就 传 输的 话， 数据量非常 大， 容易 造成通信线路故障 及数 据存储容量紧张。 为多 媒体数据有 媒体 质 量 属 性。 如 视频、 音频均可 用峰 值信 噪比 少 s n r ) 来衡 量媒 体 质 量， 部 分 丢失媒体数据使媒体质量下降，但不至于使信息完全丢失。由于原始的流媒体 数据存在着很大的冗余，包括时域冗余、空域冗余和主观视觉冗余，使得可以 对原始数据进行压缩，以便有效的存贮和传输。 2 么1传统的编码技术 文献 【 28 中 介绍了 几 种传 统的 编码 技术: 最小 传 输 (min linum trans 而ss ion) : 为了 解决 视 频在网 络中 传 输 带宽 不 足的 问题，最简单的办法是最小传输，即按带宽最低的用户的接收条件产生视频码 流传送给所有的用户。这种方法可以保证所有的用户都获得视频，但是带宽足 够的用户也只能观看质量很差的视频，因而带宽利用率极低. 自 适 应编 码 (a d ap ti ve ) : 在实时 编 码 传输 中， 根据 信道的 条 件调 整 编 码器的 参数，生成适当的视频码流。通常采用 r t p /ud p 八 p协议，发送方将压缩数据 第二章 流媒体系统技术 划分成r t p 协议包发送给接收方， 接受方监测f j p 数据包得传输延时和丢失率， 通过r f p 协议中的rtc p 协议将网络传输情况反馈给发送方， 发送方根据网络 带宽情况调整数据发送码率以使之相匹配。自 适应编码可以 适应网络带宽的变 化，但是它对服务器的要求太高，当用户增加时，服务器的开销太大，很难应 用于实际系统。 码流 切 换伪 it s trcam swil c b i n 幼 : 基 本思 想是 服 务 器 保 存同 一 个视频 节目 的 不同 质量 ( 码率也 相应的 不同 ) 的多 个拷贝， 这些 码流的 关 键帧是 对齐的。 当网 络带宽发生变化时， 服务器选择一个合适的 码流传送给用户。 将码流切换和组 播结合，采用几个独立的组播通道将多个码流发送到网络，用户根据自己的需 求和网 络质量选择接收。 这种 方式 称为 联播(sim u l c a s t) ， 虽然联播可以 满足不同 用户的不同需求，但联播存在带宽利用率的问题，因为不同码率的码流存在着 很大的冗余数据， 相对于自 适应编码， 实际上是将计算的复杂性转移到了存储。 分层可 扩展性编码 o a ye red s calab le cod in 幼 : 基本思 想是将把原始的视 频流 压缩成多个视频流层，原始流被压缩成了一个基本流和多个增强流，基本流可 以被单独解码，提供最基本的视频质量，增强层解码后叠加在基本流上，可以 提供更好的视频质量。分层可扩展性编码主要有三种:时域可扩展性、空域可 扩展性和质量可扩展性。如图2. 2 为质量可扩展性编码的示意图。 基本层质量 低1高 第一层 增强层 第二层 第三层 图2. 2质量可扩展性编码示意图 时 域可扩展性(tcm po r a l s ca l ab ili t 刃 编码 通常是通过添加b帧来实 现。 b帧 是用于它在时间上最邻近的前后两个1 帧或者p帧来预测的，而自己 不能作为 其它帧的参考帧，因此，在传输中丢弃b帧不影响其它帧的质量，而仅仅降低 第二章 流媒休系统技术 帧率。因此可以在基本层传输1 帧和p 帧以及部分b帧，在增强层传输更多的 b帧来提高帧率。 空 域可 扩展 性 ( sp ati als ca l ab ili t 力 编 码是 通过为 视频中 的 每 一 帧都 创建多 分 辨率的表示来实现的。原始视频首先通过下采样得到低分辨率的视频，编码得 到基本层:然后编码原始视频和基本层的差，生成增强层。 质量可 扩展性 伊 s n r scal ab ili t 刃 编 码思想 和空 域可 扩展性编码很类似， 只 是 基本层不需要对原始视频进行下采样，而是进行一次很粗的量化形成基本层， 然后对原始流和基本层的差在进行编码生成增强层。如果要生成多个增强层只 需重复上面的过程。 将分 层可 扩 展性 编 码 和组 播结 合称为 分 层组 播 (l ay er edm ul ti cast) 。 其 基 本思 想是发送方将每一层的压缩视频流发送到一个组播组中，用户根据自己的网络 带宽状况来接受基本层数据和多个增强层数据， 然后解码获得不同质量的视频. 与联播相比，分层组播的优点在于网络带宽的利用率高。但是分层可扩展性编 码的各个压缩层的码率在编码完成时就固定了， 而各分层的码率一般间距较大， 各层在传输时要么完全传输，要么不传输。因此用户通过接收多个组播组中的 压缩视频数据只能获得有限的码率调整范围。 从前面的讨论可以看到传统的视频编码不适合网络传输，其根本原因在于 它们的目 标是将视频压缩成一个或几个固定比率的码流，是面向存储的。由于 网络的异构性及缺乏qos 保证，网络带宽会在一个很大的范围内发生变化， 因 而面向网络传输编码的目 标就是将视频压缩成适合一个码率范围变化的码流。 2. 2. 2适合网络传输的编码 面向网络传输的视频编码方案其基本思想是:将视频编码成一个可以单独 解码的基本层码流和一个可以在任何地点截断的增强层码流，其中基本层码流 适应最低的网络带宽，而增强层码流用来覆盖网络带宽变化的动态范围。目前 主要 有 三 类 解决 方 案: d c t 变 化 技术、 小 波变 换 技术 和m a tc h ing pu 招 uit技 术。 最终 从 编 码效 率 和 复 杂 性方 面 加以 考 虑， wciping li等人 提出 的 方 案 被m peg 组 织 采 纳 291 。 精 细 的 可 扩 展 性 编 码fgs (fi n 。 gr an ul arscalab le co di n 助 1网 : f g s 的 基 本 层 编码与普通的m p e g 一非可扩展性编码相同， 都是由运动估计、 运动补偿、 d c t 变 换、 标量量化和变长编码 (v ariab lc l en gt h co d in 助 组成。 而 在增强 层编码时， 从 第二章 流媒体系统技术 原始的d c 几 ， 系数中减去基本层逆量化后重建的d c i ， 系数值获得d c 牙残差， 然 后对每个8x8 的块按从上到下、 从左到右的顺序使用位平面进行编码。 mp e g-4 的fgs 主 要有以 下 特性: 1)基本层通过 基于 分块运动补偿和d ct 变换的 编码 方式达到网 络传输的 最低要求; 2) 增强层 使用位平面编码技术对d cr 残差进行 编 码 来覆 盖网 络带宽 的 变 化范围 ; 3 ) 每一 帧的 增强 层 码流 可以 在任 何地点 阶 段: 4 ) 解 码器 重建 的 视频 质量 与 收到 并 解码的比 特数成 正比。 如图2. 3 所示 为f g s 的体系结构示意图。 基本层质量 低lseeseelllse山，高 第一层 第二层 第三层 第四层 图2. 3 f 0 s 的体系结构 渐 进 的 精 细 可 扩 展 性 编 码 印 m gr e s s ive fgs 以 记 in 目网: 前 面 讨 论 的 质 量 可 扩展性编码和f g s 编码分别走向了两个极端， 质量可扩展性编码使用同层的解 码图 像做参考保证了 编码效率， 但它对错误极为敏感，一旦某个增强层出 现了 错误，它后面的增强层直到遇到下一个1 帧才能重新解码，而f g s 保证了对错 误的恢复能力但由于参考图像的质量较低，因而效率不高。为了在编码效率和 错误恢复能力之间取得一个权衡，微软亚洲研究院的学者李世鹏和吴岚等人提 出了一种被称为渐进式的精细可扩展性的编码方案p f g s ， 在保持了fos 所具 有的网络带宽自 适应和错误恢复能力的同时提高了编码效率。 精 细 的 空 域 可 扩 展 性 视 频 编 码 (fi negr anular sp ati all y sc a la b k ) 到 : 在p f g s 编码方案中，对于网 络带宽小于基本层码流的码率的用户而言不具有网 络带宽 适应能力。为此清华大学媒体研究所的钟玉琢和王琦等人提出了一种称为精细 的空 域可 扩展性视频编码fgs s1 28。 它将p fgs和传统的空 域可扩展性 编码相 结合，提供了多分辨率和机枪的网络带宽适应性，并且具有错误的恢复功能。 第二章 流媒体系统技术 与p f g s编码相比，它的基本层码流的码率更低;与传统的空域可扩展性编码 不同， 低分辨率的视频和高分辨率的视频质量可随码率的增加连续地加以改进。 2. 2 )两种编码方案的比较 图 2. 4是面向网络传输的视频编码方法与传统编码方法的比较，途中曲 线 显示了质量随着码率编码变化而变化。图中阶梯状的黑线对应传统的方法，绿 色的曲线代表面向网络传输的编码方法，红色的曲线代表理想状态。在传统的 编码方法中，当带宽达到一定的程度时用户可以接收到一定质量的视频，但随 着带宽的继续增加， 视频质量得不到继续改善， 直到带宽达到阶梯的下一条线。 为了适应网络带宽的变化，理想的视频编码方式具有可以在任何地点截断的特 性，视频的解码质量随着码率的增加而增加。 -声 户 型 万 ， “; ; 带宽 图2. 4面向网络传输的编码方法与传统编码方法的比较 因此可以看出， 面向网络传输的视频编码方案f g s 、 p fgs 和f g s s 更适用 于实际应用中的流媒体数据分发， 而使用采用了f g s 编码的mp e g 一 4 对所采集 的视频进行编码是一种比较理想的方案。 2. 3流媒体的传输与控制协议 流式传输的实现需要合适的传输与控制协议。根据功能，传输协议可以分 为三 类: 1)网 络层协 议( ip ) ， 提供最基本的网 络服务; 2)传输层协议， 提供端 到端的 传输服务， 包括t c p 和u d p ; 3 ) 应用层协议， 定义多 媒体 会话过程中 的消息控制及处理， 包括r t p / r t c p 、 rsvp、rtsp等。 第二章 流媒体系统技术 z j . i t c p和 u d p t c p和u d p都是属于传输层的协议， 但它们却有很大的不同。t c p是面 向连接的传输，在传输数据前，必须在发送方和接收方之间先建立通讯通道， 它提供高可靠性的服务。 而u d p 是无连接的数据报传输， 它不需要建立连接和 撤销连接，而直接把数据送到接收端，并且还取消了重发校验机制，能够达到 较高的通讯速率。 u d p 的主要特点是传输的高效率， 但可靠性低. 一般情况下， t c p 和u d p 共存于一个网间网中， 前者提供高可靠性服务， 后者提供高效率服 务， 高可靠性的t c p 用于对传输质量要求较高的情形， 如文件传输， 远程登录 等。 高效率的u d p 用于对传输效率要求较高及网络的可靠性较高的场合， 如实 时的语音图像传输。 u d p 的可靠性由应用程序提供，因为交换次数不多，即便 发生传输错误，必须重传，应用程序也不会为此付出太大的代价。 z j .2实时传输协议 k 即 用 汀 c p 【 rfc18 89 1 是 端到 端的 协 议， 翻 即 用 汀 cp 虽 然 位于 应用 层 但多 数 应用还在 k即胭 汀 c p之上建立更符合应用要求的协议。在网络传输过程中 义 即朋 汀 c p不处理连接建立工作，其下层网络既可以是有连接的，也可以是无 连接的。 义 即 / r t c p协议族由 两个相关的协议构成 r t p ( r e alt i m ctr a n s fer 枷加 。 1) 用 于数 据 传输: r t c p ( r e al t i m e tr a n s ferc 劝 n 喊 p r o toc o 1)