（计算机应用技术专业论文）无线网络下流媒体多路自适应传输的研究与实现.pdf

浙江大学硕：t 学位论文摘要 摘要 本文研究了在无线网络环境下实时流媒体传输的难点，特别是受制于移动无 线网络的有限带宽和高丢包率，提出了一种在无线网络条件下提供可靠多媒体传 输的方法。其创新点就在于把多描述编码结合多路无线传输网络，利用多路独立 的信道传输多个数据流，使得所有数据流同时出错的概率大大减少，显著提高了 播放质量。 提出的系统包括两个子系统：( 1 ) 面向多路无线传输的流媒体多描述编码；( 2 ) 多路自适应负载均衡传输。多描述编码解决了解码端的错误扩散问题，提高了系 统的容错性。它把数据流分割成多个独立可解码的流，每个有各自的预测过程和 状态。如果其中一个数据流在传输中丢失，其他数据流依然能够解码并提供可播 放的音视频。而且，其他成功传输的数据能够为恢复丢失数据提供双向信息( 之 前和未来) 。与传统把所有数据通过单一路径传输不同，多路自适应负载均衡系 统把数据拆分成不同的子包，然后通过多个独立路径进行传输，提供了一条“平 均”路径。本文称此为多路径差异性，特点是平均路径比单一路径要表现得更好。 本文实现了一套完整的系统来验证本文研究的方案，通过多方面测试证明本 文的方法具有可扩展性强，实时性好，带宽利用率高的特点，减少网络时延和丢 包所产注的影响，达到了更低的误码率，也就是音视频播放呈现出更好的效果。 关键词：流媒体容错传输，多描述符编码，路径多样性，无线流媒体传输 浙江大学硕上学位论文 摘要 a b s t r a c t m u l t i m e d i as t r e a m i n gc o m m u n i c a t i o no v e rl o s s yp a c k e tn e t w o r k ss u c ha st h e m o b i l ew i r e l e s sn e t w o r ki sh a m p e r e db yl i m i t e db a n d w i d t ha n d p a c k e tl o s s t h i sp a p e r p r e s e n t sas y s t e mt op r o v i d ear e l i a b l em u l t i m e d i ac o m m u n i c a t i o no v e rs u c hn e t w o r k s o u rs y s t e mc o n t a i n st w os u b s y s t e m s ：( 1 ) m u l t i p l ed e s c r i p t i o ne n c o d e r d e c o d e r o v e rw i r e l e s sa n d ( 2 )am u l t i p a t h s e l f - a d o p t i v et r a n s m i s s i o ns y s t e m m u l t i p l e d e s c r i p t i o nc o d i n ga d d r e s s e st h ep r o b l e mo fe r r o rp r o p a g a t i o na tt h ed e c o d es i d eb y d i v i d i n gt h ed a t ai n t os e v e r a li n d e p e n d e n t l yd e c o d a b l es t r e a m s ，e a c hw i t hi t so w n p r e d i c t i o np r o c e s sa n ds t a t e i fa n ys t r e a mi sl o s td u r i n gt r a n s m i s s i o n ，t h eo t h e r sc a n s t i l lb ed e c o d e dt op r o v i d eu s a b l ev i d e o a u d i o w h a t sm o r e ，t h o s ec o r r e c t l yr e c e i v e d d a t ac o n t a i nb i d i r e c t i o n a l ( p r e v i o u sa n df u t u r e ) i n f o r m a t i o nt h a th e l p st oi m p r o v es t a t e r e c o v e r yf o rt h ec o r r u p t e dd a t a t h em u l t i p a t hs e l f - a d o p t i v et r a n s m i s s i o ns y s t e m s e n d sd i f f e r e n ts u b s e t so fp a c k e t so v e rd i f f e r e n tp a t h s ；d i f f e rf r o mu s u a lc a s ew h i c h p a c k e t sg oa l o n gas i n g l ep a t h ，t h e r e b yp r o v i d i n gab e t t e ra v e r a g ep a t h w ec a l lt h i s m u l t i - p a t hd i v e r s i t y g e n e r a l l y , t h i sa v e r a g ep a t hb e h a v i o rp r o v i d e sb e t t e rp e r f o r m a n c e t h a na n yi n d i v i d u a lr a n d o mp a t h w ei m p l e m e n tas y s t e mf o r a c h i e v i n gp a t hd i v e r s i t y , a n de x a m i n et h e e f f e c t i v e n e s so fp a t hd i v e r s i t yi nc o m m u n i c a t i n gv i d e oo v e ral o s s yp a c k e tn e t w o r k t h er e s u l ti se n c o u r a g i n g k e y w o r d s ：e r r o r - r e s i l i e n ts t r e a m i n gc o d i n g ，m u l t i p l ed e s c r i p t i o nc o d i n g ，p a t h d i v e r s i t y , w i r e l e s ss t r e a m i n g 浙江大学硕士学位论文 图目录 图目录 图1 1 上网设备2 图1 2 中国手机有效卡数增长情况3 图1 3 因特网第一落脚点5 图2 1 编码器、解码器l2 图2 2 编码后数据量分布1 3 图2 3 网络部分1 4 图2 4 基于运动估计的编解码18 图2 5 一般变长编码发生错误时的数据丢弃18 图2 6 冗余与图像恢复质量的关系1 9 图2 7 分层编码基本流程图2 1 图2 8 可逆变长编码发生错误时候的数据丢弃2 2 图2 9 典型的多描述编码2 3 图3 1 多描述符编解码系统2 5 图3 2 多描述符编码器2 7 图3 3 多描述符解码器2 8 图3 4 多路传输2 9 图3 5 单描述符编码出错模型3 0 图3 6 多描述符出错模型3 1 图3 7 出错频率统计3 2 图3 8 传统编码出错修复措施3 3 图3 9 多描述符出错修复措施3 4 图4 1 网络反馈与编码器3 6 图4 2 网络传输分块模型3 7 图4 3 状态转移概率3 9 图4 4 传统编码流程4 0 图4 5 基于反馈的自适应编码4 1 图4 6 平均路径效果4 1 图4 7 不同包大小的成功率4 2 图5 1 系统结构4 4 图5 2s i m 6 0 0 评估板4 5 图5 3 多路网络信号变化图4 6 图5 4 单路解码成功帧数4 6 图5 5 单路码流1 6 k b ，3 2 k b ，6 4 k b ，9 6 k b 的解码效果4 7 图5 6 不同码流下的丢包率4 8 图5 7 同时成功的概率4 8 图5 8 双路解码成功帧数4 9 i i i 浙江大学硕士学位论文 图目录 图5 9 单双路解码成功帧数5 0 图5 1 06 4k b 码流下单路、双路的吞吐量5 0 图5 1 19 6k b 码流下单路、双路的吞吐量5 l 图5 1 21 2 8k b ，1 9 6k b 码流下单路、双路的吞吐量5 1 图5 13 单路播放缓冲5 2 图5 1 4 双路播放缓冲5 2 图5 15 双路3 2 k b 和6 4 k b 码流的播放效果5 3 图5 1 6 双路9 6 k b 和1 2 8 k b 码流的播放效果5 3 i v 浙江人学硕士学位论文 表目录 表目录 表1 1 不同接入方式的网民规模1 表1 2 网络应用使用率4 表5 1 不同码流下的丢包率4 7 表5 2 单双路解码成功帧数4 9 v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得滥望盘堂或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 旃幽 j 签字日期：伊衫年易月中日 学位论文版权使用授权书 本学位论文作者完全了解 逝姿盘茔有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆盘堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 签字日期：pp 年6 月中日 导师签名： 签字日期： 浙江人学硕士学位论文第l 章绪论 第1 章绪论 1 1 课题背景 随着因特网的发展，网络带宽和终端计算能力的不断增强，音视频被越来越 多的运用于内容的表达和信息的承载。在网页上的成功应用，显示了音视频传播 领域不可忽视的重要性。不可否认网页已经成为一个巨大的、分布的、动态的、 快速增长的多媒体资源库，然而，人们更加热衷于随时随地的进行交流。形式上 从原来通过e m a i l 、短信的单纯文本交流，电话语音交流，到能够音视频结合的 视频会议。虽然因特网的带宽已经比开始时高出几十倍甚至更多，但是手机等无 线网络的普及正经历当年有线网络发展的状况。目前的应用，如视频和音频通信 的发展受阻于一直困扰无线网络的发展的带宽有限和网络丢包等问题。这些应用 的特点天生就需要具有高压缩、高差错复原的技术支撑。但同时要达到这些条件 是很困难，因为这些条件在很大程度上都是相互冲突的要求2 4 1 1 2 5 1 。因此，在无线 网络环境下，如何高质量地把流媒体传送给对方，使得双方能够流畅的交互成为 当今信息交流的一个重要课题。 1 1 1 无线接入现况 无线接入设备的不断升温已经成为了业界关注的热点。根据c 订c 的第 2 1 次中国互联网络发展状况统计报告【l 】( 至到2 0 0 7 年1 2 月3 1 日) ： 表1 1 不同接入方式的网民规模 占总体网民比例规模( 万人) 宽带 7 7 8 1 6 3 3 8 有线窄带 1 1 1 2 ，3 3 8 2 8 o 5 。8 8 0 窄带 无线窄带其中：手机接入 2 4 0 5 ，0 4 0 其中：j e 他无线接入5 5 1 1 5 0 手机上网是计算机上网的补充，也是业界关注的热点。从统计上看，以手机 浙江大学硕士学位论文 第1 章绪论 为接入方式的无线窄带网民正在快速发展。目前已有5 0 4 0 万人( 比2 0 0 7 年6 月 增加了6 1 0 万人) 在使用其他上网接入方式的同时，还选择使用手机上网，已经 占到总体网民的近1 4 ( 2 4 ) 。越来越多的网民为了弥补上网计算机的不易携带和 设备成本昂贵的缺点，选择了手机上网，而且网民的上网条件在逐渐改善中。从 长远看，手机上网价格的下降以及带宽的不断增长，会促使手机与因特网继续趋 于融合。 1 0 8 0 卜_ 4 6 0 。4 0 p 2 嚣0l0 l 9 4 0 o ：，：茹 2 6 7 2 4 0 ”i - 。j 矮圈圆 台式机 笔记本手机 w w w e m | i cc n 。2 0 0 7 ，1 2 图1 1 上网设备 手机作为通信工具，已被越来越多的人拥有。并且由于手机接入因特网不受 地点的限制，手机已经成为居民上网设备的补充。 根据信息产业部公布的( ( 2 0 0 7 年1 0 月通信行业统计月报【2 1 ，目前中国已 有5 3 亿手机有效卡数。近几年来，中国手机有效卡数增长一直维持在1 7 以上， 平均每年增长6 0 0 0 万张卡，增量非常可观。从这点可以看出，无线应用的容量 不断扩大。 根据中国互联网络信息中心( c n n i c ) 调查结果，平均每个手机用户拥有1 3 3 个手机卡，即目前中国共有4 亿手机用户，约有3 0 的居民拥有手机。这些都是 无线应用的潜在人群。 2 浙江大学硕士学位论文第1 章绪论 亿张 6r 5l 4l 3 2 1 l 0 l 一 = ，1 i 秀誊。 r 挚； 系 豢，? ， j ：o t 、爨霉： ，一琵，j 。砂 ：， w ， ：i ， j， ! i - j ，? ： e+_。 。i 謦2 。 ? j tf i ：， 曩7 | _，。? !j-5 ： “ 、一：b，q：7 7 | 一j7 ， 2 0 0 3 1 22 0 0 4 0 62 0 0 4 1 22 0 0 5 0 62 0 0 5 1 22 0 0 6 0 62 0 0 6 1 22 0 0 7 0 62 0 0 7 1 0 ( n ( w w w c n n “：c n ，2 0 0 71 2 图1 2 中国手机有效卡数增长情况 目前中国4 亿手机用户中，在过去半年有过手机接入因特网行为的网民数量 是5 0 4 0 万人。即网民中的2 4 、手机用户中的1 2 6 是手机网民，手机上网已 经渐成风气。 中国目前仍旧没有推行3 g ，手机上网速度很慢，如果下载一段同样大小的 视频资料，手机上网费用要比通过电脑上网下载贵上很多倍。速度慢和费用贵阻 碍了中国手机上网的发展。邻国韩国手机上网则已经很发达，目前已有过半数 ( 5 1 3 ) 的手机用户都使用手机上网。中国想要达到这样的高度，还需要更多努 力。中国如能推行无线宽带，降低手机上网资费，居民的上网条件将会进一步得 到改善。 1 1 2 多媒体应用情况 最新的c n n i c 的第2 1 次中国互联网络发展状况统计报告指出，中国因 特网的特点与别的国家很不一样，是以多媒体应用和即时通讯应用结合的，而且 使用量非常庞大。 表1 2 可以明显看出，前七类网络应用的使用率按高低排序依次是：网络音 乐 即时通信 网络影视 网络新闻 搜索引擎 网络游戏。体现出因特网娱乐 作用的网络音乐、网络影视、网络游戏等排名靠前，中国因特网市场娱乐功能占 驺网引幽 浙江大学硕士学位论文第i 章绪论 主体地位；即时通信高居第二位，体现了中国因特网鲜明的本土特色；因特网新 媒体的地位更加突出。音视频即时通讯作为多媒体应用和即使通讯的有机结合， 市场巨大。 表1 2 网络应用使用率 网络应用使用率用户规模( 万人) 因特网基础应用搜索引擎 7 2 4 1 5 ，2 0 4 电子邮件 5 6 5 1 1 ，8 6 5 即时通信 8 1 4 1 7 ，0 9 4 电子政务2 5 4 5 ，3 3 4 网络媒体网络新闻7 3 6 1 5 ，4 5 6 更新博客个人空间 2 3 5 4 ，9 3 5 数字娱乐网络游戏 5 9 3 1 2 ，4 5 3 网络音乐8 6 6 1 8 ，1 8 6 网络影视 7 6 9 1 6 ，1 4 9 电子商务网络购物2 2 1 4 ，6 4 1 网上支付 1 5 8 3 ，3 1 8 网上银行 1 9 2 4 ，0 3 2 其他网络求职 1 0 4 2 ，1 8 4 网络教育1 6 6 3 ，4 8 6 网上炒股票基金 1 8 2 3 ，8 2 2 关于因特网第一落脚点，即网民上网后的第一件事，通过即时通信聊天的比 例是3 9 7 ，另外2 0 的网民则是看新闻。即时通信工具和网络新闻是网民上网 的两个重要落脚点，两者占到了6 0 的份额。从这里大家同样可以发现，结合多 媒体应用的即时通讯聊天应用( 即时视频聊天) 未来很有可能发展成为网民上网 第一件事。 4 浙江大学硕士学位论文第1 章绪论 嘲民的互联网第一落脚庙 阚络新闻 2 0 0 即时通信 3 9 7 ( 熬嫩 网络游戏 9 3 搜索引擎 7 4 谬紫 磷错辫。c n r 瞄, c ，鬼2 0 0 7 12 图1 3 因特网第一落脚点 第2 1 次中国互联网络发展状况统计报告反映出的现象看来，中国因特 网发展具有自己的特色，这个特色最重要的体现之一，就是即时通信在中国的火 爆发展。 即时通信与电子邮件相对应，是一种即时的在线信息沟通方式，可以随时得 到对方的回应。目前中国网民的即时通信使用率已经达到8 1 。4 ，超越搜索引擎 与电子邮件，成为仅次于网络音乐的第二大网络应用，有1 7 亿使用者。询问网 民上网做的第一件事，有3 9 7 的网民选择了即时通信，是因特网第一落脚点中 网民人数最多的一项。与2 0 0 7 年6 月份相比，中国即时通信使用率提高了1 1 6 个百分点，增长迅速。 综合考虑上述各个因素发现，推广即时视频通讯的主要限制来自于手机上网 费用和网络带宽。 1 2 无线流媒体研究现状 在因特网上，最近正经历着音频和视频各种流媒体应用的爆炸性增长【2 1 1 。这 类实时应用的特征有一定的共性：就是对延迟十分敏感，过大的延迟会导致用户 浙江大学硕士学位论文第l 章绪论 中断使用；现有网络的可靠率低，也就是丢包率和误码率，导致音视频解码效果 下降；信道的传输率随着时间变化，有时候带宽大，有时候很堵塞，会出现解码 端播放缓冲下溢出，也就是没有内容可以播放，出现画面静止。因此，从端到端 的角度来看，这类应用非常需要健壮的同步处理和服务质量保证( q o s ) 。 但是，当今的因特网( 无线网络更是如此) 并不试图提供端到端最大延迟上界 保证或确定的可用带宽下界。可见，在这样既不是可控的，也无法预见的网络下， 即使尽了最大的努力，也难以提供实时的优质的应用服务。 然而，虽然缺乏服务质量保证的支持，在过去几年中，并没有妨碍因特网上 快速增长的实时流媒体应用，可以预见这一趋势将会一直持续下去。网络上出现 了许多通过网络为客户提供存储媒体( 如视频或音频) 播放服务的类似应用。比 如，流媒体服务器，数字图书馆，远程教育和协作，网上购物和娱乐服务等应用。 这些应用中的流媒体播放部分允许承受略有延迟的播放，并且通过缓冲一些数 据，以局部吸收网络带宽的变化和端到端延迟带来的影响，因此在用户可以承受 的范围内。 在一个共享网络，如当今的因特网，所有终端系统( 包括实时和非实时) ，都 可以采取一些措施来预先为网络可能出现的拥塞作好准备，比如通过修改其传输 的速率。这不仅是为了避免由于网络拥塞导致没有内容以供播放，而且还能提高 网络资源利用率。 网络应用的另一个重要问题就是公平问题。调整传输率的目的，应该是公平 地分享现有的带宽，让所有数据流的传输沿着同样的通道并存，而不是自己独占 带宽。对于这些能够妥善、及时地调整其传输速率的应用程序，被称为“网络好 公民 。 无线网络流媒体传输集无线通讯、流媒体传输、音频处理、视频处理、计算 机网络与一身，广泛应用在移动网络视频监控、视频会议、视频直播等。主要面 向 g e n e r a lp a c k e tr a d i os e r v i c e ( g p r s ) e n h a n c e dd a t ar a t e sf o rg s m e v o l u t i o n ( e d g e ) 、c o d ed i v i s i o nm u l t i p l ea c c e s s ( c d m a ) 、3 g 等提供较高带宽 ( 1 0 0 k b i t s 以上) 的无线网络，具有不受时间、地点限制的特点，使流媒体移动业 6 浙江大学硕七学位论文第l 章绪论 务应用更为吸引。 如何在移动无线网络下，更好地传输流媒体，提供一套稳定的解决方案是本 文所关心的主要问题。 1 3 流媒体传输系统性能评价 要达到一套在无线网络下稳定的音视频传输系统，为了找出关键问题所在， 并有的放矢的解决问题，本文需要对此问题有更精确的描述。为此，本文给出以 下若干性能评价指标： 指标一：音视频恢复质量 音视频恢复质量是针对播放器和解码器提出的，包括了数据传输解码的实时 性，解码后画面清晰程度和声音的质量，画面出错频率( 即是否出现马赛克或者 静止画面) ，播放是否流畅( 即播放码流是否平稳) ，以此来评价用户满意度。影 响的因素主要在于网络传输。 指标二：数据压缩比 数据压缩比指的是原始数据( 摄像头采集后的y u v 数据、麦克风采集的音 频数据) 大小与压缩后数据( 如h 2 6 4 格式) 大小之比。数据压缩比越大，也就是 同样的原始数据需要的数据量越小，因此对带宽的占有量也同样变得越小。但是 数据压缩比不可能无限大，一方面由于多媒体编码是有损压缩，也就是经过压缩 恢复后的音频和视频与原始音视频是有差异的，过大的压缩比会造成解码后的数 据失真，意味着质量下降。另外，越高的压缩比意味着需要更大的计算量，同时 流媒体应用的特殊性决定了需要计算的实时性，也就是对c p u 的计算速度更高， 这也是不可能无限大的。 指标三：传输实时性 综合考虑整个系统，延时的组成包括：编码+ 传输+ 解码。也就是当摄 像头采集到画面开始，到解码器完成解码并播放，是有一定的延时的。延时过大 ( 超过3 秒) ，会导致用户的感受严重下降，因为用户做出的任何动作，都需要很 长时间才能表现出来。 浙江大学硕士学位论文第l 章绪论 在现有芯片的计算能力下，编码和解码完全能够达到实时，但是在无线网络 高延时的情况下，传输实时性主要关心的是网络传输的时间。传输实时性直接影 响了用户满意程度。 指标四：播放稳定性 播放缓冲的稳定性【1 4 】，指的是是否会由于出现网络堵塞，现有的缓冲区内容 耗尽，导致播放缓冲空闲，也就是没有内容可以播放，只能采取静止画面的情况， 用户感受下降。 指标五：传输鲁棒性 传输鲁棒性是指传输过程中出现的误码现象和丢包现象，是否会导致解码器 出错或无法解码，播放出现问题时，系统能否及时恢复，不被用户察觉，不影响 播放。 指标六：解码失败 当一帧视频或音频通过无线网络传输时，首先会被分割为一个或多个数据 包。解码失败是指当出现数据包丢失时，无法通过其它信息完全正确的恢复相应 的数据。 指标七：数据恢复 在当前帧完成传输前，当后续帧早已成功传输到了接收端( 如在本地保存的 视频或当发送端缓冲区是出现堵塞) ，这时候就没有必要去预测该帧的大小。相 反，下一帧的大小可以简单的复制到当前帧上来。 1 4 本文的主要工作以及安排 在无线网络信道上，提供连续音视频播放及尽可能少的品质退化，是充满挑 战的。音视频应用需要严格的延迟保证和相对较高的吞吐量。而无线信道是容易 出错误，通信质量随着时间变化而改变，而且带宽有限。 本文介绍了一种在易出错的网络( 如移动无线网络) 下可靠的音视频通信系 统。提出的系统由两个联合设计的子系统组成：( 1 ) 面向多路无线传输的流媒体 多描述状态编码及解码；( 2 ) 一种多路自适应负载均衡的传输系统。 浙江大学硕士学位论文第1 章绪论 多描述状态的音视频编码是旨当有网络丢失的情况下，解决基于运动补偿预 测编码的误差传播问题的困扰。通过这样的做法，音视频编码成多个独立可解码 播放的数据流，每个描述流都有它自己的预测过程和状态。如果其中一数据流丢 失了，其他数据流仍然可以解码并提供质量较高的音视频。此外，正确收到的数 据流提供双向( 之前和未来的) 信息可以恢复损坏的数据流的信息，提高内容恢复 的信息。 本文使用的音视频编码器是多描述编码( m d c ) 的一种形式，其创新点就在于 结合了多路无线传输网络，它利用从多个数据流从多路独立的信道传输，使得所 有数据流通是出错的概率大大减少，显著提高了信息进行状态恢复可能。 本文提出的多路自适应负载均衡传输系统，使得应用程序不需要知道数据将 通过不同的路径发出不同的子数据包，而假设认为同一数据流的数据包沿一个单 一的路径传输。通过使用多个路径，在同一时间，该端到端的音视频应用能够认 为通过了一个“平均 路径的有效效果。一般来说，这种路径的平均行为比任 何随机挑选个别的路径提供更好的效果。路径多样性的好处，包括( 1 ) 应用看到 一个虚拟的平均路径，表现出较小的变异性，在通信质量比超过一个单独的路径， ( 2 ) 突发的连续丢包的损失转换为孤立的数据包的损失，以及( 3 ) 网络中断的概率 ( 如所有的数据包在一个时间段内全部丢失) 是大大减少。 这些改善措施，为音视频通信丢包时的表现提供了好处，并有可能也将简化 一般基于数据报通信系统设计。本文提出的系统不依赖于网络是否提供不同的服 务质量控制( 如高、低优先级的数据包) ，因此当所有数据包都被平等的处理，同 样的丢失概率的情况下，系统性能不会受到影响。 本论文目的在于对用户体验上有所提高，满足用户随时随地流畅的音视频交 流的需求。下面章节都会围绕流媒体在无线网络上的问题展开。 第2 章主要讲述目前流行的无线流媒体通讯问题研究方向与解决思路，最后 说明了本论文提出的多路自适应传输的可行性。 第3 章是详细说明了面向多路无线传输的流媒体多描述符编解码技术。 第4 章是在第3 章基础上，设计多路自适应负载均衡传输技术的详细说明。 9 浙江大学硕士学位论文第1 章绪论 第5 章是构建原型系统，并测试证明本研究对音视频传输的性能提升。 第6 章是总结和展望。 最后是本文的参考文献列表。 1 0 浙江大学硕上学位论文第2 章无线流媒体通讯中编码及传输技术的研究 第2 章无线流媒体通讯中编码及传输技术的研究 无线网络流媒体传输集无线通讯、流媒体传输、音频处理、视频处理、计算 机网络与一身，孤立的讨论其中任何一部分都是不够的。本章针对其中最主要的 环节：无线网络传输和音视频编解码，展开讨论。 2 1 无线流媒体传输技术面临的挑战 无线网络和移动设备近年来发展迅速【l6 1 。以g p r s ( 通用分组无线业务) 和 c d m a1 x ( 码分多址) 为代表的2 5 g 方案，在越来越多的地区得到应用。迅速膨 胀的无线网络和移动设备的要求丰富的内容和应用的发展。视频即时通信作为 一个交互式工具，为人们的生活绝对是一个非常好的选择。问题是：一些无线 网络，如g s m 、g p r s 和c d m ai x ，只有非常有限的带宽，传统视频技术，在 如此低的比特率中不能很好地工作。 m p e g 视频编码【1 3 】【2 6 1 ，是一种混合d i f f e r e n t i a lp u l s e c o d em o d u l a t i o n ( d p c m ) 和d i s c r e t ec o s i n et r a u s f o m ( d c t ) 的有损压缩算法。基本方法是：在单 位时间内采集并保存第一帧信息，然后就只存储其余帧相对第一帧发生变化的 部分，以达到压缩的目的。基于块的运动补偿能够消除视频方面时间冗余信 息。内部空间相关性的压缩通过提取离散余弦变换、标量化、熵编码的方法。 根据如何进行时间预测，三种不同的数据类型是，即i ( 自身可解码) 帧，p ( 下预 测) 帧和b ( 双向预测) 帧。预测的性质和使用可变长度编码( v l c ) 编码视频在出 现传输错误时会受到很大影响。因此有人提出容错编码技术【2 7 】【2 8 】【2 9 】【3 0 】【3 l 】，以规 避在不可靠的信道上使用信源编码技术，引起的质量严重下降。 此外，压缩视频的可变比特率性质在类似移动c d m a 蜂窝网络上传送实时 视频，仍然是一项重大挑战。事实上，h 2 6 3 和m p e g 一4 视频码流呈现出高峰 率和频繁的码率变化，在2 5 g 和3 g 移动网络上这是难以支持的【8 】【1 0 】【1 1 1 。 多媒体浏览器在由静态数据组成的因特网上是很好的浏览工具【1 5 】。然而， 在现有的浏览器中尝试添加音频和视频受限于必须把整个媒体文件都顺序下载 浙江大学硕士学位论文 第2 章无线流媒体通讯中编码及传输技术的研究 f 来。 在传统的信息获取途径中，文件传输模式是足够的，但是在面对实时流媒 体数据时却显得蹩脚。在因特网上的音频和视频需要几分钟甚至几小时去获 取，在播放前需要等待相当长的时间，使得在现有网页上添加音视频的受到限 制。同时基于文件传输的浏览假设了数据都是静态的或者很少改变的。而像视 频会议这样的实时应用，并非静态的，并且持续相对长的一段时间，甚至几天 以上。 在因特网上通常使用的t c p 协议，并不适合于实时音频和视频的传输。首 先，t c p 有自己的数据流控制和窗口管理特征。这些机制对视频和音频的数据 包的时间连续特性是相当有害的。其次，视频和音频的传输并不要求可靠的消 息传递机制。音频视频流能够忍受丢帧的情况。丢帧很少会导致画面或声音质 量的严重损害。t c p 内置的重传机制甚至会导致音视频流抖动，也就是在已经没 必要播放的数据上浪费时间。 2 1 1 数据高效压缩 首先，从编码角度来看整个问题【6 】： 当前一种流行的做法包括了使用一个低码流的编解码器，通过信道校验码 的技术来保障编码后的数据流，并使用一种标准的因特网传输协议对编码后的 数据流进行传输。由于采用低码流编码器，编码后的码流足够低，且通讯信道不 是太拥塞，意味着有足够的带宽能够保证传输的流畅性，这时候就会选用t c p 协 议进行传输。在这种情况下，这不会因为出现错误或丢包导致问题，也不需要信 道校验码。 网络传输 图2 1 编码器、解码器 但这种做法的主要缺点在于，它并不能很好的处理信道会随着时间改变通 1 2 浙江大学硕士学位论文第2 章无线流媒体通讯中编码及传输技术的研究 讯质量的特性。通过使用低码流的编码器能够避免处理这些时变特征，但是信 道利用率通常被严重浪费。这是由于随着发送数据的增加，包丢失率的存在会 影响到解码器能否成功解码的概率。 流媒体传输主要由音频与视频数据构成，其中视频数据量大，在目前视频 采用q u a r t e rc o m m o ni n t e r m e d i a t ef o r m a t ( q c i f ) ，17 6 x 14 4 = 2 5 3 4 4 个像素点， 无压缩的情况下，每个像素用2 4 位表示，一帧图像的数据量达到5 9 4 k b i t 。而通 常一路信道带宽只有l o o k b i t s ，只有把数据高效压缩后，才能每秒传输若干帧 图像，达到实时音视频传输的要求。 未经压缩的视频信号会消耗大量的网络带宽和存储空间。然而视频压缩一 般是通过各种预测机制和统计数据来实现，数据间相关性比较强。一旦某个位 置的数据在传输中发生了错误，这一错误往往会发生扩散，进而影响整个视频 数据的解码质量。 图2 2 编码后数据量分布 从图2 2 可以看出，视频编码后，码流的变化非常厉害，特别是i 帧的峰值 很大。如果采用每秒5 帧的帧率，同时每5 帧出现一个i 帧，那么每秒的数据中， 有超过一半的数据量被i 帧占用，在无线网络丢包率较高的情况下，i 帧数据很容 易丢失。 浙江大学硕士学位论文第2 章无线流媒体通讯中编码及传输技术的研究 2 1 2 无线环境特点 现在把问题的焦点放在网络的角度【2 4 】： 对于如何解决网络传输问题，一种广泛采用的方法是设计一种新的传输协 议，通过使用标准的编码算法来的到固定格式的压缩数据流，或者通过分层编 码技术。这种方法比前面讨论的方法有一个很明显的优势，就是协议中包含了 流控制技术。此外，由于数据流的格式已知，就能在网络堵塞出现的时候作文 章。比如说，可以把同一运动模块的所有块数据放在同一数据包中，当此数据 包丢失的时候，就能把错误限制在单一的运动路径上。或者，可以根据丢包的 类型来进行选择性重传。 编码器 图2 3 网络部分 解码器 但是这种做法的问题在于，它的表现受限于使用的编码器的特性。基于不 同层次的编码技术在没有包区分的网络上是不合适的。而且修改后的网络协议 不能保证无错误传送，当错误真的发生时，解码后的信号会受到严重的影响。 相对于有线环境，无线信道环境复杂，变化多，有效的带宽资源十分有限。 在面向大众的无线可视应用中，无线网络的时变特征，使得流媒体的服务质量保 障更为复杂。 现有多媒体业务大多基于d 网络，而当初设计口协议是尽力而为的情况 下，传输数据，并不支持服务质量控制，面向流媒体传播的情况下，带来一定的 难度。建立在p 协议基础上的因特网以及其他包交换网络并不能为视频传输提供 可靠的服务。因此，视频传输中发生错误是难以避免的。 m p e g 视频可传送一个p u d p 数据r t p 协议为基础的网络系统，实现实时 应用，有可能结合的更高层的通信协议，如h 3 2 3 1 3 】。虽然传输几乎是不会出现 误码，可能会出现因交通挤塞问题导致高丢包率( 高达3 0 ) 。丢包通常是爆发式 1 4 浙江大学硕士学位论文第2 章无线流媒体通讯中编码及传输技术的研究 的，会破坏一幅图像的后续几帧。常规错误隐藏技术可能效率不高或难以实施， 因为在此情景下，他们通常假定可获取靠近失去的宏块信息。 因为无线网络信号质量参差，音视频传输速率需要得到相应的调整眩羽。需要 测量的数据包在m a c 层的传输延迟是用来选择最优音视频比特率。受益的跨层 信号，其中在m a c 层自适应率控制是应用结合在现场视频自适应速率控制编 码。音视频码流匹配，也通过切换多码流之间在不同码流的编码得到。在数据包 的相对重要性和紧迫性的基础上，也可以进行包智能丢弃。 2 1 3 流媒体传输应用需求 不管是眼睛对视频信号，还是耳朵对声音，都要求延迟小，流畅，实时性 好。相对于因特网传统应用，在编码、传输、解码各个环节都需要为其提供更 好的实时性。 编码后的视频数据对信息丢失和信道错误非常敏感，解码后的视频质量在 信道位错误率较高的时候会受到严重影响。一个位的传输错误就可能导致灾难 性后果。编码后数据的脆弱性导致了错误在空间和时间上迅速地蔓延。 传统的方法往往是通过重新传输发生错误的部分来消除错误。然而重传经 常是不被允许的。试想在进行视频会议的时候，一旦发生错误必须进行重传， 必将导致不同步的情况。 2 2 音视频传输差错控制技术 现在音视频传输中的差错控n f - j 题已变得越来越重要【1 7 】。由于编码后的数据 对信息丢失和信道误码相当敏感，解码后的质量会因为高误码率而迅速下降。如 现在视频编码标准广泛采用的时间和空间运动估计，使得视频流对于信道差错更 加脆弱。这种脆弱性表现在时间和空间上迅速的差错传播以及解码后视频质量的 迅速下降。差错控制技术就旨在解决这些问题。面对无线网络环境，尤其需要有 很好的差错控制。 浙江大学硕士学位论文第2 章无线流媒体通讯中编码及传输技术的研究 2 2 1 编解码技术标准化历程 国际电信联盟( i t 驴t ) ，制定了h 2 6 x 一系列标准，包括h 2 6 1 ( 1 9 9 0 ) 、 h 2 6 3 ( 1 9 9 5 ) 、h 2 6 3 + ( 1 9 9 8 ) 、h 2 6 3 + + ( 2 0 0 0 ) 。h 2 6 x 专门用于低比特率视频 通讯的视频编码标准，具有较高的压缩比，在无线视频流的传输需求上十分适合。 m p e g 组织也注意到了低比特率应用的潜在巨大市场，在m p e g - 4 制定中， 包含了适用于无线传输的应用。 2 2 2 编解码技术研究重点 2 2 2 1 算法复杂度 算法复杂度( c o m p l e x i t y ) 一直是视频编码考虑的重要方面。高复杂度的算法 也许可以得到比较高的压缩效率，但也因此导致了编码过程的繁琐和时间的延 长。而且在移动设备等运算能力较差的应用场合，过高的算法复杂度可能导致这 些设备的硬件条件无法承受。因此，在算法复杂度和压缩效率( e f f i c i e n c y ) 之间找 到一个合适的折中是广大研究人员长期以来的难题。或者说，应该根据不同的场 合使用不同复杂度的压缩算法以适应相应的环境。 2 2 2 2 冗余分配 在多描述编码中，要使得接收端的解码器能够从接收到的数据中恢复出视频 数据，编码器就必须在这些描述中加入一定的相关信息、即冗余( r e d u n d a n c y ) 。 冗余信息越多，解码器的解码效率就会越高；而在某些描述传输失败的情况下， 冗余信息的多少还会影响到接收端恢复数据的效果好坏。 虽然冗余信息的增加有助于提高数据恢复的能力，但同时也增加了网络传输 的压力。而且当多个描述传输成功时，多描述编码系统的效果就会降低。因为过 多的冗余使得接收端要抛弃更多的信息，从而使得实际上各个描述所携带的信息 减少，导致系统的r d ( r a t e d i s t o r t i o n ) 特性变差。因此，冗余分配还需要考虑折 中的问题。 2 2 2 3 差错恢复 差错恢复往往和冗余分配紧密联系。一种冗余分配方法往往会有相应的差错 1 6 浙江大学硕士学位论文 第2 章无线流媒体通讯中编码及传输技术的研究 恢复机制。这两方面互相结合，其中前向纠错技术( f e c ) 和自动重复请求( a r q 协议) 是以提高无线网络信道系统可靠性的常用方法。若设计为最坏的信道条件 下，前向纠错技术可以提供恒定持续的吞吐量和可接受范围内的时间延误。不过， 当该信道是处在良好的条件时，这会造成不必要的额外开销，并降低可实现的最 高吞吐量。 在另一方面，单独使用自动重复请求协议，难以实现严格的延迟保证，尤其 是当无线信道是处在深度衰弱时期。播放缓冲区占用率对目标音视频质量发挥着 重要作用。因为错误的数据包的重传，及使用前向纠错技术的额外开销导致吞吐 量减少，将导致播放缓冲区空闲饥饿以及发送端缓冲区溢出。因此，这不是可取 的方法。当信道预计变坏或预测接收播放缓冲区饥饿时，不应该采用以上提议的 方法。 2 2 2 4 多通道传输 多描述编码的主要应用场合是视频传输。因此，将多描述编码与路由算法进 行结合也是很重要的研究环节。受到现在的网络环境影响，网络状况变化复杂。 要充分发挥多描述编码的差错恢复能力，选择最佳的通道进行传输，就必须把多 描述编码和多通道传输( m u l t i - p a t ht r a n s p o r t ) 紧密结合【3 1 。通道差异( p a t h d i v e r s i t y ) 不仅仅受到路径长短的影响，还要考虑拥挤程度等多种因素。 2 2 3 差错分类 差错复原视频编码机制4 1 ，可分为三大类【1 3 】。第一，错误复原能力的编码方 法，利用联合信源信道编码，使压缩流更强大，以避免灾难性的后果。第二， 当一个反馈通道的情况下，一个互动的编