（计算机应用技术专业论文）视频传输中拥塞控制和容错技术的研究与实现.pdf

中北大学学位论文 视频传输中拥塞控制和容错技术的研究与实现 摘要 视频流在网络中的实时传输与控制是近年来研究的一个热点。随着i n t e m e t 的普及 与发展，视频在网络中有着越来越广泛的应用，但由于实时视频通信具有数据量大、网 络带宽要求高、延时敏感等特性，而目前的i n t e m e t 尚不能对视频流提供任何q o s 保证， 这使得在i n t e m e t 上的实时视频传输面临许多困难。如何在共享网络上提供有效、公平 而且最优的视频流服务，已成为一个无论在理论上还是在实践中都具有挑战性的研究课 题。 本文在研究了视频压缩标准、口网上传输协议和目前在网络和端系统两方面常见的 实时流拥塞控制的基础上，提出了一种适合实时视频流传输控制算法即基于端系统的网 络自适应发送速率控制方法( e n d - b a s e dn e t w o r k a d a p t i v er a t ec o n t r o la p p r o a c h ，e n r c ) ， 仿真试验表明该算法具有较好的适应性与t c p 友好性。 具体来说，本文的主要研究工作如下： 1 给u d p 数据报封装附加报头信息，不仅丰富了u d p 协议信息，而且还可以根据 序号进行数据的重新组合，保证数据的正确解包。 2 e n r c 建立在u d p 之上，基于a i m d ，通过合理地调整i p g ( i n t e r - p a c k e t - g a p ) 去 适应发送速率。其中a i m d 参数的选择和i p g 的调整减少了a i m d 的波动，适合实时 流的传输，达到t c p 友好。实验结果表明e n r c 在视频流的实时传输中取得了显著效 果，适合单播视频流应用。 3 结合分层编码，提出了一种e n r c 和分层编码相结合的机制。该机制不仅保证 了相对高的平滑传输速率，而且防止了网络对视频质量的影响。另外本文系统分析了视 频传输中的各种差错控制，并论述了这些差错控制技术在目前视频编码国际标准中的组 合应用。 综合上面的工作，本文不仅从理论上对视频传输进行了深入研究，而且在现有网络 中北大学学位论文 基础上提出了新的算法，试验结果表明该算法在视频流的实时传输中取得了显著效果。 关键词：视频流，实时传输，拥塞控制，差错控制 中北大学学位论文 r e s e a r c ha n dr e a l i z a t i o no fc o n g e s t i o nc o n t r o la n df a u l t t o l e r a n c et e c h n o l o g yi nv i d e ot r a n s m i s s i o n a b s t r a c t t h es u r v e yo fn e t w o r kr e a l t i m ev i d e os t r e a mt r a n s m i s s i o na n dc e n t r e li sah o ti s s u e w i t ht h ed e v e l o p m e n ta n dp o p u l a r i z a t i o no fi n t e r a c t ，v i d e oi sw i d e l ya p p l i e di nn e t w o r k t r a n s m i s s i o no fr e a l t i m ev i d e oh a sm u c hl a r g ed a t a , i tr e q u i r e sw i d e rn e t w o r kb a n d w i d t ha n d l o w e rd e l a y h o w e v e r , t h ec u r r e n ti n t e r n e tc a nn o to f f e rq u a l i t yo fs e r v i c e ( q o s ) g u a r a n t e et o r e a l - t i m et r a f f i c ，i tm a k e sr e a l - t i m ev i d e oo v e rt h ei n t e r a c tf a c em a n yd i f f i c u l t i e s t h e r e f o r e ，i t h a sb e c o m eab i gc h a l l e n g et or e s e a r c h e sb o t hi nt h e o r ya n dp r a c t i c eh o wt op r o v i d ee f f i c i e n t , f a i ra n do p t i m a ls t r e a m i n gv i d e oo v e rt h ei n t e r a c t b a s e do nt h er e s e a r c ho ft h ev i d e oc o m p r e s s i o ns t a n d a r d s ，t h et r a n s p o r tp r o t o c o l so v e ri p n e t w o r ka n dt h ec u r r e n tc o n g e s t i o nc o n t r o l so fr e a l - t i m ev i d e ob o t hi nn e t w o r ka n de n d s y s t e m ，t h i sp a p e rp r e s e n t san e wc o n t r o la l g o r i t h mt or e a l - t i m ev i d e os t r e a mt r a n s m i s s i o n ， n a m e l ye n d - b a s e dn e t w o r k - a d a p t i v er a t ec o n t r o la p p r o a c h ( e n r c ) ，t h es i m u l a t i o nt e s t s h o w st h a tt h ep r o p o s e da l g o r i t h mh a sb e t t e ra d a p t a b i l i t ya n dt c p - f r i e n d l i n e s s t ob es p e c i f i c ， t h em a i ne n d e a v o ra n dc o n t r i b u t i o n so ft h ep a p e ra r ea sf o l l o w s ： 1 w eh a v ee n c a p s u l a t e da d d i t i o n a lh e a d e ri n f o r m a t i o nt ou d p d a t a g r a m s n o to n l yd o e s i tm a k eu d p p r o t o c o li n f o r m a t i o ne n r i c h ，b u ta l s o t h ed a t ai sr e c o m b i n e da c c o r d i n gt o s e q u e n c en u m b e ra n dg u a r a n t e e du n p a c k i n gc o r r e c t l y 2 e n r co p e r a t e so nt o po fu d b e m p l o y sa d d i t i v ei n c r e a s em u l t i p l i c a t i v ed e c r e a s e ( a i m d ) a n da d a p t st h es e n d i n gr a t eb yp r o p e r l ya d j u s t i n gt h ei n t e r - p a c k e t g a p ( i p g ) t h e s e l e c t i o no fa i m dp a r a m e t e r sa n di p ga d j u s t m e n t sr e d u c et h em a g n i t u d eo fa i m d o s c i l l a t i o na n da l l o wf o rs m o o t ht r a n s m i s s i o np a t t e r n s ，w h i l et c p f r i e n d l i n e s si sm a i n t a i n e d t h er e s u l t ss h o wt h a te n r ce v e n t u a l l ya c h i e v e sr e m a r k a b l ep e r f o r m a n c eo nr e a l - t i m ev i d e o d e l i v e r ya n di so p t i m i z e df o ru n i c a s tv i d e os t r e a m i n ga p p l i c a t i o n s 中北大学学位论文 3 c o m b i n e dw i t hl a y e r e dc o d i n g ，an e wm e c h a n i s mo fe n r ca n dl a y e r e dc o d i n g c o m b i n a t i o ni sp r o p o s e d n o to n l yd o e st h em e c h a n i s mg u a r a n t e er e l a t i v e l yh i g hs m o o t h t r a n s m i s s i o ns p e e d ，b u ta l s oi t p r e v e n t s t h a ta w k w a r dn e t w o r kc o n d i t i o n s i m p a i r t h e p e r c e p t u a lv i d e oq u a l i t y i na d d i t i o n ，t h i sp a p e rs y s t e m a t i c a l l ya n a l y s e se r r o rc o n t r o li nv i d e o t r a n s m i s s i o na n de l a b o r a t e st h e s ee r r o rc o n t r o lt e c h n o l o g yc o m b i n a t i o na p p l i c a t i o n si nt h e p r e s e n tv i d e oc o d ei n t e r n a t i o n a ls t a n d a r d s t h i sp a p e rh a sn o to n l yt h e o r e t i c a l l yd e e p l ys t u d i e do nt h ev i d e os t r e a mt r a n s m i s s i o n ， b u ta l s op r e s e n t san e wc o n t r o la l g o r i t h mb a s e do nt h ec u r r e n tn e t w o r k t h ee x p e r i m e n t r e s u l t sp r o v et h a tt h i sa l g o r i t h me v e n t u a l l ya c h i e v e sr e m a r k a b l ep e r f o r m a n c eo nr e a l t i m e v i d e od e l i v e r y k e yw o r d s ：v i d e os t r e a m i n g , r e a l - t i m et r a n s m i s s i o n ，c o n g e s t i o nc o n t r o l ，e r r o rc o n t r o l 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：一牲一一一 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包 括：学校有权保管、并向有关部门送交学位论文的原件与复印件； 学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的，复 制赠送和交换学位论文：学校可以公布学位论文的全部或部分内容 ( 保密学位论文在解密后遵守此规定) 。 签 名：么22 丝主 日期：兰竺：兰：；z一 导师签名： 塾墨圭蕴 日期： 2d 口p ，兮z 6 中北大学学位论文 1 1 研究背景 1 引言 随着网络通信技术和多媒体技术的迅速发展，基于互联网的流媒体技术已经走进了 人们的生活，像可视电话、实时视频会议、视频监控、多媒体电子邮件、视频点播( d e 0 o nd e m a n d ，v o d ) 、远程教学、远程医疗、多媒体新闻发布、电子商务、交互式游戏、 网络虚拟世界等应用。这种直观而丰富的新一代信息技术极大地改变了网络信息交流的 方式，对人们的工作和生活产生了深远的影响。 以往收看的多媒体内容是通过完全下载的方式，而流媒体是边下载边观看，以流的 形式进行数字式媒体的处理和传输，从而使人们能够联机欣赏连续不断的多媒体节目。 流式技术大大增强了网络应用的交互性和娱乐性，除了e m a i l 和网上冲浪外，越来越多 的人将成为网上音视频内容的消费者。有关数字表明，2 0 0 6 年西欧流媒体市场规模从 2 0 0 1 年约2 5 0 0 万美元成长为约2 亿美元，规模扩大1 0 倍。日本影视及音乐流媒体信息 内容在2 0 0 6 年达到约1 6 8 0 亿日元，规模是2 0 0 1 年的8 4 亿元的2 0 倍。从流媒体业务 内容的数量看，目前有7 万多s t r e a m i n gp a g e ；每天可提供1 万个不同内容的流媒体业 务；每星期创建6 0 0 0 小时新的流媒体节目；互联网上每周约有4 5 0 0 0 小时的广播节目； 每月大约有6 0 0 0 万人看或听流媒体内容。从在网上访问流媒体的人数上看，2 0 0 3 年访 问人数增加了6 5 ，西方发达国家访问流媒体的人数已达到1 8 亿，约占网民的1 3 ， 在亚洲则已达到3 5 0 0 万人，将占网民的1 6 。可见，丰富的流媒体应用对用户有很强的 吸引力，解决了制约流媒体的关键技术问题以后，可以预料，流媒体应用必然会成为未 来宽带网络的主流应用。 ， 二十世纪九十年代中后期以来，国际上开始了对实时i n t e r n e t 音视频传输的研究， 并得到世界各国、各大厂商的重视，一些国际化标准组织，包括国际标准化组织 ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ，i s o ) 、国际电工委员会( i n t e r n a t i o n a l e l e c t r ot e c h n i c a lc o m m i s s i o n ，i e c ) 、互联网工程任务组( i n t e r n e te n g i n e e r i n g t a s kf o r c e ， i e t f ) 和国际电信联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n ，i t u ) 都致力于视频流 1 中北大学学位论文 传输控制的研究，制定相应的协议和标准。 国际上音视频编解码标准主要有两大系列：i s o i e c 制定的m p e g 系列标准和i t u 针对多媒体通信制定的h 2 6 x 系列视频编码标准和g 7 系列音频编码标准。1 9 9 4 年由 m p e g 和i t u 合作制定的m p e g 2 是第一代音视频编解码标准的代表，也是目前国际 上最为通行的音视频标准。经过十多年演变，音视频编码技术本身和产业应用背景都发 生了明显变化，后起之秀辈出。目前音视频产业可以选择的信源编码标准有四个： m p e g 2 、m p e g - 4 、m p e g - 4a v c ( 简称h 2 6 4 ，也称j a v c ) 和中国具有核心知识 产权的a v s 。可以推测，由于技术陈旧需要更新及收费较高等原因，m p e g 2 即将退出 历史舞台。 i e t f 为多媒体数据的实时传输提出了r t p r t c p 协议，其中实时传输协议 r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 负责传输数据：实时传输控制协议r t c p ( r e a l t i m e t r a n s p o r tc o n t r o lp r o t o c o i ) 负责监视传输的服务质量，并提供有关会话信息。r t p 位于 t c p 或u d p 之上，它本身并不提供任何传输可靠性的保证和流量的拥塞控制机制，具 体实现时靠开发者来完成。在音视频传输控制中，从国内外的研究现状来看主要表现在： 拥塞控制、流量控制和差错控制。 i n t e m e t 由过去单纯的数据载体，发展成支持数据、语音、视频等多种信息的多媒 体信息和通讯平台。当前，i n t e m e t 上大多数数据流使用的是t a p 协议，而口网络 只提供b e s te f f o r t 服务，即所有的分组受同等对待，网络尽力发送每个进入网络的分组， 不保证服务质量( 吞吐量、端到端延迟、丢失率) 。这样用户获得服务质量不仅取决于 网络自身，也取决于其他用户在网络中产生的负载，所以网络的容量经常会因为不能满 足所有流应用的带宽需求而导致网络拥塞，由于网络拥塞会导致不可预知的延迟和丢 失，不利于实时的多媒体应用。目前对流的拥塞控制机制主要从协议间公平性、稳定性、 响应性能几方面进行研究。 在现有的网络条件下，信源即使是在网络平稳的情况下也不能避免丢包等差错的出 现，所以需要相应的差错控制技术。视频信号对实时性的要求也非常高，通常不采取重 传策略，以避免产生重传延迟。而在网络变坏的情况下，传输的图像、声音质量难以让 人接受，因此必须对传统的传输协议进行改进，并采取更为有效的差错控制、速率控制 和拥塞控制算法以保证视频信号的实时性要求。 2 中北大学学位论文 1 2 课题研究的意义 近年来，随着互联网的普及与发展，视频在网络中有着极其广泛的应用如v o d 、 远程教育、远程医疗、实时视频会议、可视电话等，多媒体通信成为应用和研究的热点。 画面清晰和无延迟抖动是视频通信应该实现的功能，也是视频通信处理的重点和难 点。i n t e r a c t 是一个异构的网络环境，它对实时多媒体应用缺乏足够服务质量( q u a l i t yo f s e r v i c e ，q o s ) 保证。随着多媒体通信量的激增，网络拥塞现象时常发生，造成多媒体数 据包的延迟和丢失，导致媒体播放停顿、视频音频不清晰，音频与视频不同步等质量问 题，目前网络拥塞己经成为制约网络发展和应用的一个瓶颈。如何更好地预防和控制拥 塞一直是近年来网络研究的热点问题，因此有效解决拥塞问题对于提高网络性能具有重 要意义。i n t e m e t 上数据传输时常出现丢包现象，网络传输中丢包可能使得某些图像帧 无法解码，从而导致视频的图像质量下降。如何及时恢复丢包数据，以保证实时视频的 质量对i n t c r n e t 上的此类应用至关重要，因此在现有的传输网络上传输视频信号时，其 错误处理、数据重组、错误隐藏也显得尤为重要。 随着i n t e r a c t 的迅速发展，通过网络访问音视频信息十分实用，而且具有重要意义， 实时音视频流的传输与控制是目前研究韵热点与难点，国内外许多大学、研究机构、厂 商都致力研究相关课题，不断提高i n t e m c t 的功能。 1 3 本文的内容安排 本文的内容安排如下： 第一章概述部分，主要介绍了音视频数据在i p 网上实时传输的背景，本课题研究意 义和主要研究内容； 第二章重点介绍目前常见的m p e g 2 、m p e g - 4 、h 2 6 4 和a v s 视频压缩标准以及 球网上主要的传输协议，同时对比了它们在流媒体视频传输中的优缺点； 第三章在分析了拥塞产生的原因后，从网络和端系统两方面研究了目前常见的实 时流的拥塞控制，最后指出在设计拥塞控制算法时需要把t c p 友好性、收敛性、平稳 性三方面都综合考虑在内； 第四章通过比较几种拥塞控制算法的优缺点，提出了一种基于端系统的网络自适 3 中北大学学位论文 应发送速率控制方法( e n d b a s e dn e t w o r k a d a p t i v er a t ec o n t r o la p p r o a c h ，e n r c ) 。它建 立在u d p 之上，基于a i m d ，通过合理地调整i p g ( i n t e r - p a c k e t g a p ) 去适应发送速率。 该方法在探测带宽和估计r t r 上很有效，并且能及时调整视频流的传输速率。最后结 合分层编码，提出了一种e n r c 和分层编码相结合的机制； 第五章本章系统分析了视频传输中的各种差错控制，对它们的性能进行了评价， 并论述了这些差错控制技术在目前视频编码国际标准中的组合应用； 第六章对本文所做工作进行了总结，并对下一步研究工作做了简要的阐述。 4 中北大学学位论文 2 常见的视频压缩编码和传输协议 音视频流是人们利用听觉和视觉来获取信息的一种通信方式，具有确切性、直观性 及高效率等特点。由于视频流传输的大信息量和有限的传输带宽，使得视频的压缩编码、 传输信道和网络协议的选择成为基于网络的视频传输应用中的关键技术。本章重点介绍 目前常见的m p e g 2 、m p e g 4 、h 2 6 4 和a v s 视频压缩标准和i p 网上主要的传输协议， 以及在流媒体视频传输中的优缺点。 2 1 视频压缩编码标准 信息时代的重要特征是信息的数字化，而数字化了的视频和音频信号的数量是非常 惊人的，这与当前的硬件技术所能提供的计算机存储和网络带宽之间还有很大差距，因 此需要对数字化的视频和音频信息数据进行压缩。为了促进世界范围的信息传输和信息 交流，在i s o i e c 和1 1 r u 等国际组织的努力下，制订了一系列的多媒体数据压缩国际标 准和建议，如j p e g ( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 、m p e g - 1 、m p e g 一2 、m p e g - 4 i l j 、 h 2 6 3 和h 2 6 4 1 2 】等。另外还有我国自主制定的a v s 3 。下面，我们将重点介绍在口网 传输中经常采用的m p e g 2 、m p e g 4 、h 2 6 4 和a v s 标准。 2 1 1m p e g 2 标准 m p e g 1 主要针对运动图像和声音在数字存储的压缩编码，由于m p e g 1 的图像质 量达不到电视质量，因此在m p e g 1 视频标准的基础上，专门针对数字电视制定了 m p e g 2 标准。制定m p e g 2 的初衷是得到一个针对广播电视质量的视频信号的压缩编 码标准，但实际上最后得到的是一个通用的标准，它能在很宽范围内对不同分辨率和不 同输出比特率的图像信号有效地进行编码。m p e g 标准支持固定比特率传送、可变比特 率传送、随机访问、分级解码、比特流编辑以及一些特殊功能，如：快速播放、快退播 放、慢动作、暂停和画面冻结等功能。该标准与m p e g 1 兼容，并与s d t v ( s t a n d a r d d e f i n i t i o nt e l e v i s i o n ，标准清晰度电视机) 、e d t v ( e n h a n c e dd e f i n i t i o nt e l e v i s i o n ，曾 强清晰度电视机) 和h d t v ( h i g hd e f i n i t i o nt e l e v i s i o n ，高清晰度电视机) 向上或向下 5 中北大学学位论文 兼容。美国的“大联盟( g r e a t a l l i a n c e ) 和欧洲的d v b ( d i g i t a lv i d e ob r o a d c a s t i n g ，数 字电视广播) 先后决定采用m p e g 2 用于h d t v 广播。 m p e g 2 主要增加以下几项功能： ( 1 ) m p e g 2 增加了场图像的场间预测、帧图像的场间预测、用于p 帧的双基预 测和用于场图像的1 6 x 8 预测等4 种对隔行扫描图像更为有效的预测模式； ( 2 ) m p e g 2 引入了更高的色信号取样模式，除了4 ：2 ：0 外，还支持4 ：2 ：2 和4 ：4 ：4 模式，前者色信号的样点数在垂直方向上与亮度信号相同，只在水平方向上是亮度信号 的1 2 ；后者的色信号的样点数和亮度信号则完全相同； ( 3 ) 增加了可伸缩的视频编码方式。所谓可伸缩( s c a l a b l e ) 的视频编码是指编码 所产生的码流具有下述特征：对码流的一部分解码和对码流的全部进行解码能够分别获 得不同质量的重建图像。对部分码流解码获得的图像比对全部码流解码获得的图像分辨 率( 或信噪比、或帧率) 要低。m p e g 一2 所支持的可伸缩编码方式有空间可伸缩性、时 间可伸缩性、信噪比可伸缩性和数据分割等4 种。当视频服务器( v s ) 中存放的是这种 具有分层编码的视频节目时，在传输带宽允许的情况下，v s 将传送全部的码流。如果 传输带宽不支持全部码流的传送，v s 将只发送基本层的码流。因此，可伸缩的编码， 在异构网以及带宽不确定的网络( 如m 网) 中提供了传输的灵活性。 2 1 2m p e g - 4 标准 设计m p e g 4 标准是为了在支持传统应用的同时，满足新一代高度交互性多媒体应 用系统的需求。相对于m p e g 的前两个压缩标准，m p e g 4 t 4 l 已不再是一个单纯的视频 音频编解码标准，它将内容与交互性作为核心，从而为多媒体数据压缩提供了一个更加 广阔的平台。它更多定义的是一种格式和框架，而非具体的算法，这样人们就可以在系 统中加入许多新的算法。除了一些压缩工具和算法外，各种各样的多媒体技术如图像分 析与合成、计算机视觉、语音合成等也可以应用于编码中。 m p e g 4 的目标定义大致来源于两方面：一是极低比特率下的多媒体通信，二是多 产业多媒体通信的融合，主要有通信业、计算机业、消费电子业和娱乐影视业等。因而， 一方面，m p e g 4 要求有高效的压缩编码方法，另一方面，m p e g 4 要求有独立于网络 的基于视频音频对象( a v 对象) 的交互性。m p e g 4 在信息描述中，首次使用了对象 6 中北大学学位论文 的概念，如：v i d e oo b j e c t ( v o ) 、a u d i oo b j e c t ( a o ) 等，这是一个新的飞跃。这种 以内容为核心的描述方法更符合人的心理特性，从而不仅能获得比现有以像素为基础的 标准更优越的压缩性能，也为应用提供了各种新的功能。 m p e g 4 采取的是以功能为基础的策略，即并不针对任何特殊的应用，而是力图尽 可能地支持对多种应用均有帮助的功能组。m p e g - 4 包括如下几部分主要功能： ( 1 ) 基于内容的编码( c o n t e n t o r i e n t e d ) ，即不是像m p e g 2 基于像素的编码，而 是基于对象( o b j e c t ) 和实体( e n t i t y ) 进行编码。对每一个对象的编码形成一个对象码 流层，该码流中包含着对象的形状、位置、纹理以及其他方面的属性等。对一幅图像编 码所形成的码流就由一系列这样的对象层码流所构成。用户可以直接对“对象层 进行 存取操作。例如，有选择地只对其中的几个对象解码和显示，对其中某个对象进行缩放、 移位和旋转等操作，以后再解码显示或增加原图像中没有的新对象等。这里所讲的对象 可以是由图像表示的自然界的物体，也可以是利用计算机图形学的方法生成的物体，或 者是两者的综合。 ( 2 ) 编码效率的改进和并发数据流的编码。可以对多个并发数据流编码，并根据 对象和背景的特点调整和分配其码率，在相同主观质量下可达到更低的码率。 ( 3 ) 差错处理的鲁棒性，有助于低比特率视频信号在高误码环境下( 如移动通信 环境) 的传输。 ( 4 ) 基于内容的可伸缩性i 研，可以有选择地只对感兴趣的对象进行传输、解码和显 示。 2 1 3h 2 6 4 标准 h 2 6 4 是由i t u t 的v c e g ( v i d e oc o d ee x p e r tg r o u p ，视频编码专家组) 和i s o i e c 的m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ，运动图像专家组) 组成联合视频组( j o i n tv i d e o t e a m ，j ) 开发的一个新的数字视频编码标准，它既是1 1 r u t 的h 2 6 4 ，又是i s o i e c 的m p e g 4 的第1 0 部分一先进视频编码( a d v a n c e dv i d e oc o d i n g ，a v c ) 。 相对于先期的视频压缩标准，h 2 6 4 引入了很多先进的技术，如包括4 x 4 整数变换， 空域内的帧内预测，统一的v l c ( v a r i a b l el e n g t hc o d i n g ，变长编码) 符号编码，高精 度、多模式的位移估计，分层的编码语法等。这些措施使得h 2 6 4 算法具有很高的编码 7 中北大学学位论文 效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的码率【6 】。h 2 6 4 的码流 结构网络适应性强，增加了差错恢复能力，能够很好地适应i p 和无线网络的应用。 h 2 6 4 7 】与以往的编码方法的不同之处主要体现在以下几方面： ( 1 ) 4 x 4 块的整数变换 h 2 6 4 与先前的标准相似，对残差采用基于块的变换编码，变换的单位是4 x 4 块， 而不是以往常用的8 8 块。由于用于变换块的尺寸缩小，运动物体的划分更精确，这 样，不但变换计算量比较小，而且在运动物体边缘处的衔接误差也大为减小。 h 2 6 4 为了提高码率控制的能力，量化步长的变化的幅度控制在1 2 5 左右，而不 是以不变的增幅变化。变换系数幅度的归一化被放在反量化过程中处理，以减少计算的 复杂性。为了强调彩色的逼真性，对色度系数采用了较小量化步长。 ( 2 ) 基于空域的帧内预测技术 在先前的h 2 6 x 系列和m p e g - x 系列标准中，都采用帧间预测方式。在h 2 6 4 中， 当编码i n t r a 图像时可用帧内预测。这种帧内预测不是在时间上，而是在空间域上进行 的预测编码算法，可以除去相邻块之间的空间冗余度，实现更为有效的压缩。 ( 3 ) 统一的v l c 1 - 1 2 6 4 中熵编码有两种方法，一种是对所有的待编码的符号采用统一的v l c ( u n i v e r s a lv l c ，u v l c ) ，另一种是采用基于上下文自适应的二进制算术编码 ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 。c a b a c 是可选项，其编 码性能比u v i _ c 稍好，但计算复杂度也高。u v l c 使用一个长度无限的码字集，设计结 构非常有规则，用相同的码表可以对不同的对象进行编码。这种方法很容易产生一个码 字，而解码器也很容易地识别码字的前缀，u v l c 在发生比特错误时能快速获得重同步。 ( 4 ) 高精度、多模式运动估计 h 2 6 4 支持1 4 或1 8 像素精度的运动矢量。在1 4 像素精度时可使用6 抽头滤波器 来减少高频噪声，对于1 8 像素精度的运动矢量，可使用更为复杂的8 抽头的滤波器。 在进行运动估计时，编码器还可选择“增强内插滤波器来提高预测的效果。 在h 2 6 4 的运动预测中，一个宏块( m b ) 可以按被分为不同的子块，形成7 种不 同模式的块尺寸。这种多模式的灵活和细致的划分，更切合图像中实际运动物体的形状， 大大提高了运动估计的精确程度。在这种方式下，在每个宏块中可以包含有1 、2 、4 、8 8 中北大学学位论文 或1 6 个运动矢量。 在h 2 6 4 中，允许编码器使用多于一帧的先前帧用于运动估计，这就是所谓的多帧 参考技术。例如2 帧或3 帧刚刚编码好的参考帧，编码器将选择对每个目标宏块能给出 更好的预测帧，并为每一宏块指示是哪一帧被用于预测。 ( 5 ) 分层设计 h 2 6 4 的算法在概念上可以分为两层：视频编码层( v i d e oc o d i n gl a y e r , v c l ) 负 责高效的视频内容表示：网络适配层( n e t w o r ka b s t r a c t i o nl a y e r , n a l ) 负责以网络所 要求的恰当的方式对数据进行打包和传送。这样，高编码效率和网络友好性的任务分别 由v c l 和n a l 来完成。 ( 6 ) 面向口和无线环境 h 2 6 4 草案中包含了用于差错消除的工具，便于压缩视频在误码、丢包多发环境中 传输，如移动信道或口信道中传输的健壮性。 2 1 4 a v s 标准 a v s ( a u d i ov i d e oc o d i n gs t 卸d a r d ) 标准是中国数字音视频编解码技术标准工作组【8 】 ( a v s 工作组) 制定的数字音视频编码标准。a v s 视频标准主要面向高清晰度和高质量 数字电视广播、数字存储媒体和其他相关应用。a v s 标准以当前国际上最先进的m p e g 4 a v c h 2 6 4 框架为基础，强调自主知识产权，同时充分考虑了实现的复杂度。 a v s 的主要特点如下： ( 1 ) 8 x 8 的整数变换与6 4 级量化； ( 2 ) 亮度和色度帧内预测都是以8 x 8 块为单位，亮度块采用5 种预测模式，色度 块采用4 种预测模式，而这4 种模式中又有3 种和亮度块的预测模式相同； ( 3 ) 采用1 6 x 1 6 、1 6 x 8 、8 x 1 6 和8 x 8 这4 种块模式进行运动补偿； ( 4 ) 在1 4 像素运动估计方面，采用不同的4 抽头滤波器进行半像素插值和1 4 像 素插值； ( 5 ) p 帧可以利用最多2 帧的前向参考帧，而b 帧采用前后各一个参考帧。 a v s 通过与m p e g 2 、m p e g 4 、m p e g - 4a v c h 2 6 4 1 9 j 相比，具体表现如下： ( 1 ) 从主要技术指标一编码效率比较：m p e g - 4 是m p e g 2 的1 4 倍，a v s 和h 2 6 4 9 中北大学学位论文 相当，都是m p e g 2 的2 倍以上； ( 2 ) a v s 算法复杂度比h 2 6 4 明显低，软硬件实现成本都低于h 2 6 4 ： ( 3 ) 从制定者分，m p e g 2 、m p e g 4 、m p e g 4 a v c h 2 6 4 是由国外制定的标准， 只有a v s 是我国掌握主要知识产权的标准，并且专利授权模式简单，费用低。 ( 4 ) 从发展阶段分，m p e g 2 是第一代信源标准，其余三个为第二代标准。 2 2 常见的网络传输协议 通信网络是多媒体应用的传输环境，多媒体通信对信息的传输和交换都提出了新的 更高的要求，其中传输信道和网络协议的选择至关重要，它将影响到多媒体数据流传输 的实时性能和通过网络传输以后客户端接收的质量。 2 2 1 多媒体通信的要求 多媒体通信在带宽、实时性、误码率、拓扑结构等方面的要求和传统数据业务有本 质上的区别。对于数据应用，用户需要的是快速响应，这通常可以通过增大网络带宽来 实现。为了提高网络传输的效率，数据网络的设计是基于带宽共享和时分复用的。当网 络的负载增加时，所有用户的平均响应时间均会增加。 音视频等多媒体信号和传统的数据应用不同，不管是l i v e 应用还是s t o r e d 应用， 媒体的传输是以流的方式进行的，即网络需要传递一个连续的分组流，每个分组必须在 预定的期限内到达目的地，否则将影响业务的质量。为了支持多个a n 信号，网络必须 有足够的带宽，并且要有确保每个流的带宽机制。因此，对于一个给定带宽的多媒体网 络，它能支持的a n 流的数量是有限的。 对于数据应用，典型的带宽是几十到几百k b s 。而对于一个视频信号，数据率在几 百k b s 到几十m b s 。数据业务主要是点到点的通信，通常一个源向某个目的地发送数 据，或者一个源广播数据到所有的用户，由用户主机来过滤这些数据。多媒体应用中， 如视频会议、计算机协作工作等，需要网络支持多目广播( m u l t i c a s t ) 方式。 与传统的数据业务不同，多媒体业务允许一定的误码率。对多媒体业务在传输中出 现误码和丢包，只会影响到某段时间的服务质量，同时，音视频数据具有一定的冗余， 1 0 中北大学学位论文 可以承受一定的差错。在数据业务中，一个比特的错误将可能导致结果完全不同。因此， 数据业务中出现误码和丢包时，需要重传数据，而音视频业务由于有端到端的延时要求， 通常是不重传的。 随着通信技术的迅速发展，i p 与多种传输网络的有机结合，使之逐步成为统一的通 信平台。在i p 网上提供高质量的视频服务吸引了国际科学技术界越来越多的注意，宽 带多媒体业务被认为是下一代网络发展的重要动力。我们在口网上开展多媒体应用的 研究，就是努力使口网能满足多媒体通信的特殊要求。 2 2 2t c p 和u d p 协议的优劣 i n t c r n c t 在口层之上使用了两种传输协议：，一种是传输控制协议t c p ( t r a n s f e r c o n t r o lp r o t o c 0 1 ) ，另一种是用户数据报协议u d p ( u s e rd a t a g r a mp r o t o c 0 1 ) 。 t c p 协议是面向连接的协议，用于各种网络上提供有序可靠数据传输的虚电路服 务。如果有足够大的缓冲区、充足的网络带宽，在t c p 协议上，接近实时的音视频传 输也是可能的。然而，如果在丢包率较高、网络状况不好的情况下，利用t c p 协议进 行实时的视频音频通信几乎是不可能的。主要表现在以下几个方面： ( 1 ) t c p 的重传机制 虽然t c p 下层的i p 层提供的报文服务不是无差错的，但t c p 连接却必须保证可靠 的、次序不颠倒的比特流传输。为此，t c p 规定收端在接收到每一个包后必须返回一个 确认信号。如果发端在一定时间( 大于双程往返时间) 内收不到确认信号，则自动从未 收到确认的包开始重传，然而这将需要一个甚至更多的周期( 根据t c p 口的快速重传 机制，这将需要三个额外的帧延迟) ，这种重传对于实时性要求较高的音视频数据通信 来说几乎是灾难性的，因为接收方不得不等待重传数据的到来，从而造成了延迟和断点。 ( 2 ) t c p 的拥塞控制机制 t c p 的拥塞控制机制在探测到有数据包丢失时，它就会减小它的拥塞窗口。而另一 方面，视频、音频在特定的编码方式下，产生的编码数量( 即码率) 是不可能突然改变 的。正确的拥塞控制应该是变换视频、音频信息的编码方式，调节视频、音频信息的帧 频或视频图像幅面的大小等等。 ( 3 ) 启动速度慢 1 1 中北大学学位论文 在网络运行状态良好、没有丢包的情况下，由于t c p 的启动需要建立连接，因而 在初始化的过程中，需要较长的时间，而在一个实时多媒体数据流传输应用中，尽量少 的延迟正是我们所期望的。由此可见，t c p 协议不适合传输实时多媒体数据流数据。 ( 4 ) t c p 报文头的大小 t c p 不适合实时视频传输的另一个缺陷是：t c p 的报文头比u d p 的报文头大。t c p 的报文头为4 0 个字节，而u d p 的报文头仅为1 2 个字节。并且这些可靠的传输层协议 不提供时间戳( t u n es t a m p ) 和编解码信息( e n c o d i n gi n f o r