（计算机应用技术专业论文）基于视觉的视频传输抗误码技术研究与系统实现.pdf

摘要 网络技术的迅速发展使多媒体通信的应用和研究受到前所未有的重视，但由 于目前网络有限的带宽、i n t e m e t 的分组丢失率、无线网络的高误码率、网络异 构性以及网络延迟等多种因素的影响。使这一技术的发展面临着严峻的挑战。这 里，本文针对无线网络有限的带宽，严重的误码现象和移动设备有限的计算与存 储能力等问题，设计并实现了一个主要是面向无线应用，并综合了实时m p e g 一4 编码、传输和解码的实时多媒体通信系统。在该系统设计与实现过程中，获得了 一些有特色的研究成果： 1 、在有限的网络带宽和高误码率的信道环境下，如何利甩人体视觉模型的 特性来合理的使用网络带宽，减少因网络传输而发生的丢包或误码现象对视频重 建图像质量的影响，是非常有意义的。对此，本文在对视频编解码技术以及当前 抗误码技术研究的基础上，主要是针对无线局域网( w l a n ) 环境下的高误码率 和严重的分组丢失问题，设计了一种基于视觉质量控制策略的综合抗误码方法 f m r v ) 。该方法是在权衡考虑影响视频主观质量多种因素的基础上，并综合了传 输、鲁棒性编码和解码端错误隐藏等技术的抗误码方法。在模拟实验中测试表明， 采用基于视觉质量为控制策略的综合抗误码方法，在高误码的环境下，可使重建 视频图像的p s n r 值提高3 1 1 分贝( d b ) 。该方法己运用到已经申请软件著作权 登记的“无线流媒体服务系统( w - m e d i a v lo ) ”中，收到了较好的效果。 2 、设计了一种适合流式传输的解码器模型。该模型具有很好的扩展性，且 非常适合用目前流行的多线程机制来实现，从而可在很大程度上提高编程和系统 运行效率。 3 、针对多媒体数据流分开存储、传输、接收与解码的特点，提出了一种与 该解码器模型相适应的多媒体数据同步方法基于全局时钟参考的同步法。该 方法实现简单，且同步效果较好。 4 、设计了一种可随机检测的视频水印算法，其与m 2 p e g - 4 标准相结合。在 纹理信息的i n t r a 模式的d c t 系数块中嵌入水印，并通过d c 和a c 系数预测方 向来生成控制码，以控制水印密钥和水印信息的同步，从而有效地解决了视频水 印检测的实时性和随机性问题。 关键词：视频通信：抗误码技术；m p e g 一4 ；视觉中心：数字水印：同步 a b s t r a c t w i t ht h ea d v a n t a g eo fn e t w o r kt e c h n o l o g y t h ea p p l i c a t i o n so fm u l t i m e d i a c o m m u n i c a t i o nh a v e u n d e r g o n e e n o r m o u sa t t e n t i o n l a t e l y h o w e v e r ，t h e r e s e a r c ho fs t r e a m i n gm e d i af a c e ss e v e r ec h a l l e n g e sf o rl i m i t e db a n d w i d t h h i g h b i te r r o rr a t eo v e rw i r e l e s sn e t w o r k s ，p o c k e tl o s t r a t ei n i n t e r n e t ， h e t e r o g e n e i t ya n dd e l a yo fn e t w o r k s i nt h i sp a p e r ，w ep r o p o s ear e a l t i m e m u l t i m e d i ac o m m u n i c a t i o ns y s t e mb a s e do nt h ew i r e l e s sn e t w o r ka n dp d a w i t ht h et e c h n o l o g yo ff o v e a t i o nb a s e dc o d i n g ，i n t e g r a t i o no fe r r o rr e s i l i e n c e f o rt h em p e g 一4r e a lt i m ec o d i n ga n dw i r e l e s st r a n s m i t t i n g i tc o u l di m p r o v e v i d e oq u a l i t ye v e nu n d e rt h el i m i t e dn e t w o r kb a n d w i d t h ，h i g hb i te r r o rr a t e ( b e r ) i nw i r e l e s s n e t w o r k s w e a k e rp o w e ra n dd e f i c i e n t s t o r a g ef o rm o b i l e t e r m i n a lu n i t ，e x p e r i m e n t sp r o v et h a ti tc a np e r f o r mw e l li nt h e 亿a na n d p d ai nt h ec o u r s eo ft h ed e s i g na n di m p l e m e n t a t i o no ft h es y s t e m s o m e i m p r e s s i v ec o n t r i b u t i o n sa r el i s t e da sf o l l o w s 1 ，i ti sv e r yi m p o r t a n tt oi m p r o v ev i d e oq u a l i t yb y u s i n gt h em o d e lo f h u m a n v i s i o ns y s t e mt od e c r e a s et h ee f f e c to fp o c k e tl o s to rb e ru n d e rt h el i m i t e d n e t w o r kb a n d w i d t h h i g hb i te r r o rr a t e ( b e r ) i nw i r e l e s sn e t w o r k s s oah o v e l i n t e g r a t e de r r o rr e s i l i e n c em e t h o d b a s e do nv i s i o nq u a l i t y ( i e r v ) u n d e rt h eh i g h p o c k e tl o s t r a t ea n dh i g hb i te r r o rr a t e ( b e r ) i nw i r e l e s sn e t w o r k s w h i c h i n t e g r a t e st h et e c h n o l o g yo f r o b u s tc o d i n ga n de r r o rc o n c e a l m e n t ，i sp r e s e n t e d i nt h i s p a p e r w i t hw e i g h t i n g t h ef a c t o r so fv i d e o s u b j e c t i v eq u a l i t y ，i t i n t e g r a t e st h et e c h n o l o g yo ft r a n s m i s s i o n ，r o b u s tc o d i n ga n de r r o rr e s i l i e n c eo f t h ed e c o d e r s i m u l a t i o nr e s u l t ss h o wt h a tt h eo b j e c t i v ea n ds u b i e c t i v ev i d e oi s o b v i o u s l yi m p r o v e du s i n gp r o p o s e di n t e g r a t e de r r o rr e s i l i e n c et e c h n o l o g yw i t h c o n t r o lo fv i s i o nq u a l i t y 2 t h i sp a p e r d e s i g n s am o d e lo fd e c o d e rf o rs t r e a m i n gm e d i a f o ra c c o r d i n g t ot h ep o p u l a rm u l t i t h r e a dm e c h a n i s m ，i ti s e a s y t oe x p a n da n di m p r o v et h e e f f i c i e n c yo fd e v e l o p m e n ta n dd e c o d i n g 3 m o r e o v e r ，t h i sp a p e rp r e s e n t s am e t h o do f m u l t i m e d i a - s y n t h e s i z e d s y n c h r o n i z a t i o n b a s e do n g l o b a l c l o c k f o rm u l t i m e d i as t r e a mi s s t o r e d ， t r a n s m i t t e d ，r e c e i v e da n dd e c o d e di n d i v i d u a l l y ，t h em e t h o di se a s l yr e a l i z e d 4 ，t h i sp a p e rd e s i g n sas c h e m eo fr a n d o mv i d e ow a t e r m a r kf o rm p e g 一4 ， w h i c he m b e dt h ew a t e r m a r ki nt h ed c tc o e f 五c i e n tb l o c ko ft h ei n t r am o d eo f t h et e x t u r ei n f o r m a t i o na n d g e n e r a t e t h ec o n t r o lc o d e b y t h e p r e d i c t i o n d i r e c t i o n so ft h ed ca n da cc o c f f i c i e n tt o s y n t h e s i z et h ew a t e r m a r ka n dt h e s e c r e tk e yo fw a t e r m a r ki tc a ne f f i c i e n t l yd e t e c tt h ew a t e r m a r ki nr e a lt i m ea n d i nr a n d o m k e yw o r d s ：v i d e oc o m m u n i c a t i o n ；e r r o rr e s i l i e n c e ： m p e g - 4 ：f o v e a t i o n w a t e r m a r k ； s y n c h r o n i z a t i o n 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得 的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集 一 体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承 担。 名：尹尔蜂 眺年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密回。 ( 请在以上相应方框内打“、”) 作者签名：孚 ， 导师签名：7 槲 日期： 日期： 年月日 年月目 在职人员同等学力硕士学位论文 1 1 引言 第1 章绪论 近年来，随着网络技术的飞速发展，多媒体通信业务出现了爆炸性的增长。 互联网的发展更是决定了该业务的广阔前景。正如前几年的i p 网络和w e b 技术， 多媒体通信业务正处于高速持续增长韵时期。目前，多媒体通信业务在我国的宽 带网建设中也被列为最主要的应用之一，且越来越多的提供网络在线服务的运营 商开始采用网络视频媒体服务解决方案，以增强其在网络服务上的优势。 随着与多媒体通信相关的应用不断发展，多媒体及网络领域的相应国际标准 和协议也充分考虑了其发展的需要。在多媒体领域，t p e g 系殉标准 ( m p e g 一1 t 1 j m p e g 一2 【2 m p e g 4 【3 】) 和h 系列视频( 包括h 2 6 1 【4 1 、h 2 6 3 ( h 2 6 3 + ) 5 i 和h 2 6 4c m 】等) 编码标准，都为适应网络传输的需要，增加了相应的特性。如： 、f p e g - 2 定义了传输流( t s ，t r a n s p o r ts t r e a m ) ，支持多路m p e g 一2 比特流在网络中 的传输复用；m p e g - 4 中的精细可扩展编码技术( f g s ，f i n eg r a n u l a r i t ys c a l a b l e ) 【2 1 是为适应网络带宽的变化的特性而制定；h 2 6 3 以及后续标准也主要是适应低 速率下的视频应用的需要而制定的，其非常适合于p s t n 、无线网络与i n t e r n e t 环境下传输。而h 3 2 3 、h 3 2 4 等系统标准更直接面向网络应用。在网络领域， i n t e r n e t 工程任务组( i e t f ，i n t e r n e te x p e r tt a s kf o r c e ) 制定了r t p r t c p ( r e a l t i m et r a n s f e rp r o t o c 0 1 r e a l t i m et r a n s f e rc o n t r o lp r o t o c 0 1 ) 协 议族。这一协议族是多媒体通信的应用层协议，该协议族在1 9 9 6 年已成为 i n t e r n e t 的国标标准。针对具体应用，i e t f 还制定了r t p 与特定媒体相结合的 标准( r f c ) ，如f e co v e rr t p 卅等。m p e go v e l - r t p 的标准为r f c 2 2 5 0 t 7 i ，该协议 不仅将m p e g 比特流中的特征信息，如时戳、编码层次结构等信息封装到r t p 包 头中，并为适应网络传输的需要，还提供了支持q o s 保障的一些特性。用户终端 可通过对r t p 包头的分析来确定传输中的差错( 如r t p 分组丢失、乱序、延迟和 抖动等) ，再采用相应的抗误码算法，可在一定的程度上修复网络传输中的差错。 随着r t p 协议族的成功应用，最新制定的多媒体标准己考虑到同r t p 协议的结合， 如i e t f 就针对m p e g 一4 标准，制定了如何将其比特流封装为r t p 分组的协议p j 。 另外，二十世纪九十年代中后期，不以语音业务为中心的第三代无线通信系 统( 3 g ) ，以及未来的宽带无线通讯网络，均以提供高速接入和多媒体服务为特征。 如第三代无线通信标准( i m t - 2 0 0 0 ，i n t e r n a t i o n a lm o b i l et e l e e o m m u i _ l i c a t i o n s 2 0 0 0 ) 在通用移动通信系统( u m t s ，u n i v e r s a lm o b i l et e l e c o m r n u n i c a t i o i ls y s t e r n ) 基于视觉的视频传输抗误码技术研究与系统实现 中承诺，u m t s 用户的网络按入速度在快速移动时为1 4 4 k b p s ，慢速移动时可达到 3 8 4 k b p s ，户内则可达到2 m b p s 。以i e e e8 0 2 1 l b ( 即w i - f i ) 为代表的无线局 域网w l a n ( w i r e l e s sl o c a lh c c e s sn e t w o r k ) 的网络接入速度为1 5 4 m b p s 【i 。而 b l u e t o o t h 则致力于在低功耗、小范围( 1 0 m ) 的前提下提供高达1 m b p s 的接入速 度【1 。 但是，未来的i n t e r n e t 与无线通信网的发展将不再是孤立的，通讯世界正面 临着通讯( t e l e c o n l l o n i c a t i o n s ) 、计算( c o m p u t i n g ) 与i n t e r n e t 的结合；固定服 务( f i x e ds e r v i c e s ) 与移动服务( m o b i l es e r v i c e s ) 的结合【1 2 lu 3 1 。跨越网络界限， 自由地传递多媒体信息，这将使得人类在任何地点、任何时间、与任何人通讯的 梦想成为现实。这也为多媒体通信的发展带来新的机遇和挑战。 1 2 多媒体通信所面临的挑战 网络系统负责多媒体信息的传输，而多媒体通信不同于简单的文本或图像传 输，其不仅传输数据量大、实时性强且对于信道的误码也非常敏感，这就需要网 络系统提供服务质量( q o s ，q u a l i t yo fs e r v i c e ) 保障。而对于目前的网络系 统，影响多媒体通信的q o s 的因素很多，典型的有带宽( b a n d w i d t h ) 、i n t e r n e t 分组丢失率( p a c k e tl o s sr a t e ) 、无线网络传输差错( t r a n s m i s s i o ne r r o r ) 、异 构性( h e t e r o g e n e i t y ) 以及网络延迟( d e l a y ) 等h 0 。 网络带宽是影响多媒体通信q o s 的重要因素。由于多媒体通信所传输的数据 量很大，传输时间也较长，这就需要有足够且稳定的网络带宽来保障。如m p e g l 比特流需1 5 m b p s 左右的带宽，即使采用h 2 6 3 + 编码的视频比特流最少也需 2 8 k b p s 以上的带宽。然而，目前i n t e r n e t 尚未采用资源预留协议( r s v p ，r e s o u r c e r e s e r v a t i o np r o t o c 0 1 ) ，其中的链路带宽( 如m o d e m 链路一般只有5 6 k b p s ) 和路 由器( 无法应付繁忙网络) 都可能成为网络带宽的瓶颈( b o t t l e n e c k ) ；无线网络则 由于其高误码和带宽抖动现象，其有效带宽( a v a i l a b l eb a n d w i d t h ) 也不能满足 多媒体通信的需求。 分组丢失率是i n t e r n e t 的一个特性。由于i n t e r n e t 的“尽力服务型”( b e s t e f f o r t ) 网络，当网络繁忙时，路由器在不能处理到达队列中的所有数据时，往 往会丢弃新到达的数据，从而造成分组丢失。分组丢失会引起媒体质量下降，在 严重情况下甚至会导致终端无法解码播放。在现有i n t e r n e t 条件下，降低分组 丢失率的基本策略是采用可靠的网络传输协议，如t c p 协议。然而，由于t c p 协 议的网络负载较重，延时也较长，而不太适合于多媒体通信( 尤其是实时通信) 。 这里，但可将t c p 差错重传等控制策略引入到专为多媒体通信设计的传输协议中。 传输差错主要发生在无线网络中。对于无线网络，除非在无线网络中设计可 在职人员同等学力硕士学位论文 靠的新协议，使其上层变成分组交换网络，否则，就需考虑传输差错问题。在无 线网络中，由于多径衰落( m u i t i - p a t hf a d s ) 和阴影衰落( s h a d o w i n gf a d s ) ，造 成信道的误码率很高，数据在传输过程中常会出现随机性或突发性的错误。在目 前的技术条件下，无线网络传输错误是不可避免的，而高度压缩的媒体流对错误 又非常敏感，特别是采用预测编码和交长编码( v l c ) 的视频比特流( 如m p e g 一4 比特流) ，即使l 比特的错误也可能会被积累或扩散，从而造成解码端重建图像 质量严重下降。所以，在有限的带宽和高噪声的无线网络信道下，怎样有效的进 行视频通信将是本文的研究的重点。 异构性可以分成两种情况：i n t e r n e t 中通信子网的异构性和接收方的异构性， 通信子网的异构性是由于各子网的网络资源( 处理能力、带宽、存储和拥塞控制 策略) 分布不平均，即不同的用户在不同的通信子网上传输数据，其体验到的实 际传输吞吐量、数据丢失率、传输延迟是不同的。而接收方异构性是由于用户设 备的不同处理能力以及用户要求的不同服务质量造成的。 网络延迟是由媒体流跨越多个子网和路由器而造成的，在i n t e r n e t 上，传统 的数据通信( 文件、静态图片的传输) 主要关注的是数据传输的正确性，对于传 输延时没有特别的限制。而对于视频数据而言，视频数据到达需要满足严格的时 间限制才能保证视频的连续播放。目前的i n t e r n e t 体系结构并不能保证数据传 输过程中的延时不变或在较小的范围内波动，当网络拥塞发生时，数据的传输会 经历漫长的排队等待时间，客户端的播放将会因等待数据而暂停，造成播放效果 的严重降质。在网络实况转播的应用中，对于滞后于所期望的时间间隔的数据包， 即使最终的数据传输是正确的，也只能丢弃不用。因此，不断波动的数据传输延 迟是多媒体通信的难点。 综上所述，由于当前的i n t e r n e t 是一个与时间和空间变化都相关的共享通信 信道，其可用带宽随所处位置和所处时间的变化而变化，其不提供任何q o s 保证。 而由网络拥塞所导致的丢包、传输延迟和抖动现象都是不可预见的。这种“尽力 而为型”的网络，对于要求连续实时传输大量的多媒体数据有点“力不从心：。 而对于无线网络( 如w l a n ) ，还因其存在着更窄的网络带宽和严重的误码等问题， 要在其上开展多媒体通信业务将会更困难。另外，网络传输中同一群组中的各个 用户可能在机器类型、操作系统、外设性能、c p u 处理能力等方面存在较大的差 异，连接各用户的网络区段也会在带宽、延时和误码率等方面存在差别 i $ 1 t 9 1 。而 实时的多媒体播放对时间的要求非常苛刻，那些在播放时刻后接收到的数据，也 只能弃之不用。且高度压缩的视音频比特流对误码非常敏感，这些，都可导致视 听效果的严重降质。 目前，网络现状和实时多媒体通信之间的矛盾主要表现为接收端视音频媒体 基于视觉的视颡传输抗误码技术研究与系统实现 播放的流畅性和清晰性。虽然随着目前宽带网的逐步普及，这种矛盾将有所缓解。 但是，随着网络上多媒体数据的激增、未来的无线网络的高误码率等因素同样又 会加重矛盾。所以，作为缓解这种矛盾的一种手段一一抗误码技术在相当长的时 间内是多媒体通信应用的关键。本文也正是从这一角度出发，着重研究能够缓解 上述矛盾的视频抗误码技术。 1 3 本文的主要工作及各章组织 1 3 1 本文的主要工作： 本文主要完成以下两方面的工作： ( 1 ) 窄带和高噪声无线环境是视频通信的难点。其困难在于窄带信道要求视 频信源编码效率高，大幅度去除信源的冗余。也正因为这些具有高压缩率的编码 方法，大大削弱了视频比特流的抗误码能力。而信道误码会引起整帧图像、甚至 后续图像的不可恢复，“最终导致视频通信的中断。对此，本文充分利用人体视觉 模型的特点，在权衡考虑影响视频重建图像主观质量的多种因素，来优化视频编 码比特在图像各部分合理分配的基础上，并综合鲁棒性编码、解码端的错误隐藏 以及交互式抗误码等技术，设计出一种基于视觉质量的综合抗误码方法( i e r v ) 。 该方法能在高误码率信道环境下，使视频重建图像的主客观质量可以接受。在文 中给出了该综合抗误码方法的部分实验分析结果。 ( 2 ) 本文设计并实现了一个在移动环境下的实时多媒体通信系统。该系统集 成了基于视觉质量的综合抗误码方法( i e r v ) 、实时随机数字水印嵌入与检测技 术以及基于全局时钟参考的同步技术等多项具有特色的技术。同时，系统在设计 与实现上充分考虑了今后可扩展性要求，并在实现上做了大量的优化工作。从而， 该系统即使在窄带、高噪声的无线网络环境和处理能力较弱的移动设备( 如p d a ) 上，也能得到较好的播放效果。 1 3 2 本文的各章组织： 本文的第二章介绍视频编码和相关抗误码技术；第三章介绍基于视觉质量的 综合抗误码方法( i e r v ) 并给出了实验分析结果；第四章介绍融入i e r v 方法的 无线实时多媒体通信系统及其实现的关键技术；最后是对全文的总结。 d 在职人员同等学力硕士学位论文 第2 章视频编码及其抗误码技术 多媒体通信技术是指在网络中连续、稳定、同步地传输具有一定q o s 保障的 多媒体数据的流式技术。它是综合了适合流式传输的网络通信技术、多媒体数据 采集、压缩技术和实时技术等多种基础技术的统一体。其中，对于多媒体通信系 统中的一部分一一视频通信，由于其传输数据量大、实时性强且对于信道的误码 非常敏感而成为通信的难点。因此，其中适合网络传输的视频编解码技术与视频 通信中的抗误码技术是目前研究的热点。本文将在这两类技术研究与探讨的基础 上，寻找适合在无线网络环境下的视频数据传输解决方法。二 2 1 视频编码技术 对于适合于视觉欣赏和网络传输的视频编解码技术，既要有非常高的数据压 缩率，又要保证影片有较高的清晰度，还要对因网络传输所引起的误码数据有较 强的鲁棒性。这就对视频编解码技术提出了很高的要求。 视频编码的一个主要目的是在保证一定重构质量的前提下，以尽量少的比特 数来表征视频信息。在数字域，表示图像视频的通常方法是基于像素的，目前 使用的主要技术都依赖于这种表示方法。在m p e g 一4 标准之前的m p e g - 1 、 m p e g - 2 、h 2 6 l 和h 2 6 3 等标准都是采用传统的图像编码方法，根据香农信 源编码理论，将图像作为随机信号，利用统计特性来达到压缩的目的。这种方法 把视频序列按时间先后分为一系列的帧，每一帧的图像又分成许多宏块，以宏块 为单位进行运动补偿和编码，这种基于帧、块和像素的编码方法被称为第一代视 频编码技术。 第一代视频编码的核心技术是基于分块的离散余弦变换( d c t ，d i s c r e t e c o s i n et r a n s f o r m ) 这主要有两个方面钧原因：一是d c t 具有良好的去相关性和 能量集中特性，二是d c t 存在快速实现算法。但随着研究和应用的不断深入，分 块d c t 的缺点逐步暴露出来。尤其在低速率的应用环境下，压缩图像不可避免地 会出现“玛赛克”效应和“飞蚊”噪声。这是因为采用平稳的高斯过程来刻画非 平稳的图像信号，用余弦基进行非平稳信号的逼近，其结果必定不是最优的。另 外，这种方案本身未能考虑信息获取者的主观特性以及图像的具体结构和内容， 也没有充分利用人类视觉系统的特性，难以实现对图像内容的查询、编辑和回放 等操作。 为了与人眼视觉特性相符合，第二代视频编码技术采用了基于非像素的表征 方法。其采用由轮廓、纹理等定义的区域( r e g i o n ) 来表征视频数据，这些区域对应 基于税觉的视频传输抗误码技术研究与系统实现 的是对象( o b j e c t ) 或对象的一部分。该方法将在提高图像视频的压缩效率上发挥 重要的作用。 2 1 1 基于对象的视频编码标准一m p e g - 4 为了适应多媒体通信的快速发展，i s o 于1 9 9 4 年开始制定m p e g - 4 标准， m i 。e g - - 4 最初是为满足视频会议的需要来制定的，其采用了对视音频对象进行高 效压缩的算法和工具，仅限于极低速率下的应用。后来经过不断的发展成为一个 可以适应于多种多媒体应用，提供多种传输速率的标准。 m p e g 4 标准更多地强调多媒体通信的- 交互性和灵活性，以及多产业领域的 融合。m e g 4 的目标定义大致来源于两方面：一是极低速率下的多媒体通信， 二是多产业多媒体通信的融合，主要有通信业、计算机业、消费电子业和娱乐影 视业等。因而，m p e g 4 一方面采用了高效的压缩编码算法，另一方面，m p e g 4 强调独立于网络的基于视频音频对象( a v 对象) 的交互性。在m p e g 一4 信息描述 中，首次使用了对象的概念，如：v i d e oo h 3 | e c t ( v o ) 、a u d i oo b j e c t ( a o ) 等，这是 一次飞跃。这种以内容为核心的描述方法更符合人的心理特性，从而不仅能获得 比现有的以像素为基础的标准更优越的压缩性能，也为应用提供了许多新的功 能。但是，从编码方案上看，m - p e g 4 仍然是以块为基础的混合编码方案。 应该强调的是，m p e g 4 为适应高误码环境下的低速率应用( 如移动通信) 的需 要，首次在音频、视频表示规范中考虑了信道的特性，并提供了用于误码检测和 误码恢复的一系列工具，其目的不是取代已有通信网络所提供的错误控制技术， 而是为了使压缩后的比特流在不可靠的信道上传输时具有较强的鲁棒性。 然而，在传统的视音频服务中，数据是按单一的速率发送的，而由于网络的 异构性，终端用户常以不同的速率连接到网络上。而传统的以单一速率发送视频 数据的方式不能满足这种多媒体应用的需求【2 ”。为此，能较好的适应这种需求的 m p e g 4 的可扩展编码技术成为了当今研究的热点。 m p e g 4 不仅提供了较好的人机交互接口，而且其编码压缩效率也很高。同 时，m p e g 4 针对无线信道特性，提供了用于误码检测和误码恢复的一系列错误 控制工具，这使压缩后的视频比特流对于信道的传输误码具有的较强的鲁棒性。 另外，m p e g 4 标准中的f g s 编解码技术，其不仅对网络带宽和终端设备有较强 的适应性，并且对误码也有较强的鲁棒性。因此，m p e g 4 是流媒体应用中首选 的编码标准。本文也是在m p e g 4 标准的基础上开展工作的。 2 2 视频传输中的抗误码技术 抗误码技术f e r r o l r e s i l i e n c e ) ，又称“差错控制方法”。其实质在于：无论何 时检测到误码，都使丢弃的数据量为最小，或者说使因误码所造成的伤害影响最 6 在职人员同等学力硕士学位论文 小【1 4 l 。 由于实际的无线和i p 信道是不可靠的，如：不可靠的有线无线信道在传 输比特流中会引入随机误码；无线信道因多径衰减会产生突发误码：而在尽 力型的网络传输中，i p 信道上的拥塞会引发丢包现象等。正是由于信道带宽的限 制，视频通信的数据一般需要采用低速率的视频压缩技术处理后再传输。而压缩 后的视频比特流对信道的干扰是非常敏感的，这对于视频解码，轻则使解码重建 图像出现令人讨厌的方块效应，重则根本无法解码播放。因此，视频通信中使用 有效的抗误码技术是一项非常有意义和具有挑战性的工作。而对于传统的抗误码 方法，如自动重传请求( a r q ) 、前向错误纠正编码( f e c ) 和数据交错( i n t e r l e a v i n g ) 等技术【2 2 1 。但它们均存在着一些缺点，如a r q 要求存在一条双向信道并引入了延 时，而且还有可能导致网络拥塞的发生，所以，限制了它的应用范围。而f e e 要 求较多的冗余位来进行检错和纠错，从而会引起码率和计算量的增加，并且f e c 方法对无线信道的突发误码不太适合，这是因为在大多时候没有误码发生时，f e c 方法浪费了许多可用的带宽。而一旦发生突发性误码，f e c 方法又没有能力纠错： 另外，i n t e r l e a v i n g 技术也会导致系统的延时1 2 ；4 】。 近几年来，对视频抗误码提出了很多新的技术，包括误码检测技术f 2 6 】、传 输层的差错控制技术、比特流变换技术【2 7 】、解码端的误码掩盖技术和防误码扩散 技术等。 2 2 1 误码检测技术 一般来说，误码检测可在两个层面上进行；传输解码层和视频解码层。 1 ) 传输解码层上的误码检测： 传输解码层上的误码检测是指在信道解码环节上检测传输误码。在传输层添 加头信息是常用的一种误码检测方法。如在基于包交换的网络中，视频编码器输 出的比特流被打成一定大小的数据包，每个数据包都包含一数据包头。其中包含 有数据包的顺序信息等，该信息在解码对就可用来检测是否存在丢包现象。如i ；, t p 协议就使用了这种方法。 前向纠错( f e c ) 是在传输层常用的另一种误码检测方法。其将在2 2 2 节中介 绍。 ( 2 ) 视频解码层上检测溪码： 视频解码层上检测误码是指在视频解码环节上检钡l 传输误码。由于信源编码 协议对比特流的结构作了详细规定，所以可通过检查比特流是否符合语法结构来 检测是否发生误码。例如，量化步长不应该为零，d c t 系数的个数存在一个最大 可能值( 对8 8 的d c t 变换，该值为6 4 ) ，运动矢量也应在一定的范围内取值等。 7 基于视觉的视频传输挽误码技术研究与系统实现 当解码器检测到这些规则遭到破坏时，就可以断定发生了误码。 其次，如果信源编码器使用可变长编码( v l c ) 。即使出现1 比特的误码，也 可能会因丢失解码同步字而导致后面的比特无法解码。一般情况下，编码器所使 用的v l c 码表是不完全码表，即不是所有码字都是合法的。因此，解码器一旦检 测出一个不属于码表的码字，那么就可以确定发生了误码。 另外，还可以根据视频信号的自然特征来检测误码。如平滑特征是视频信号 的重要特征。在脉冲编码和差分脉冲编码中，如果相邻两行像素的差值大于一定 阈值，就可以认为当前图像块遭到了误码破坏。 最新的方法是对视频图像宏块在空域或时域上加入某种强制关系构成脆弱水 印。如果在解码端发现水印信息遭到破坏，也可以断定发生了误码。 综上所述，在传输层添加头信息，或利用f e c 技术，均是较为可靠的方法， 其缺点是要牺牲一定的网络带宽。利用视频信号本身的属性及比特流语法结构进 行误码检测，不会增加额外的传输负担，但会增加计算量，且有可能会发生误检。 在比特流中添加同步标志，利用v l c 编码表的不完整性，则以较小的冗余，换取 了更高的误码检测效率，是一种较好的方法。而使用脆弱水印来检测误码，其最 大的问题是当没有误码发生时，水印本身引入了噪声。这些方法并不互相冲突， 在实际系统中可以结合使用。 2 2 2 误码隐藏技术 误码隐藏技术是利用人体视觉能忍受一定程度视频失真的原理，将客户端接 收的数据错误实行隐藏的技术。空间内插和时间内插是错误隐藏的两种基本方 式。空间内插利用相邻空间信息来重建发生错误位置的像素，而时间内插是利用 前面视频帧的信息来重构发生错误位置的信息。由于误码隐藏技术是在接收端完 成的，因此不会出现网络拥塞和网络延迟问题。目前，主要有如下一些错误隐藏 方法； ( 1 ) 基于运动补偿的时间预测： 基于运动补偿的时间预测的原理是把前一帧中相应空间位置的图像块直接用 来填补当前帧中受损伤的图像块。然而，当画面存在较大运动时，会出现非常明 显的方块效应( m o s a i c ) 。当运动矢量被正确传输时，使用运动补偿块代替同样位 置的图像块，可以有效的弥补上述缺点。 事实上，在m p e g 2 标准中，即使是采用i n t r a 模式编码的图像块，也允许传 输相应的运动矢量，其目的就是为了有效恢复受损图像块。据研究，在丢包率达 1 l o 。时，使用基于运动补偿的误码隐藏技术，m ：p e g 一2 重建图像的质量大约可 以提高l d b 。这种方法的局限性在于必须保证运动矢量的正确传输。 在职人员同等学力硕士学位论文 ( 2 ) 平滑最优恢复： 这种方法主要利用了大多数视频信号的平滑特征，来估计受损块数据。即通 过最小化块内相邻像素之间的空间和时间偏差，使估计得到的视频信号最平滑。 ( 3 ) 空域、频域擂值法； 视频信号的平滑特征还意味着受损图像块中的系数与相邻图像块中的对应系 数比较接近。如果受损块只是损失了个别系数，可以利用四个相邻块系数的插值 估计这些受损系数。如果受损块的所有系数都已丢失，这种频域插值的方法相当 于用相邻块对应像素的插值估计受损块的像素值，而不是利用空间距离最近的像 素来插值。由于四个方向上用来做插值的像素点与被插值的像素点相距8 个点， 它们之间的相关性较小，因此估计精度较差。为此，人们提出了一种新的插值方 法：利用受损块周围四条单像素宽的边界线做插值。其有两种具体的实现方法： 一种方法是使用距离最近的两条边乔上的像索做插值，另一种方法是使用四条边 界上的对应像素做插值。 不过，该方法只利用了空间平滑属性，主要针对的是静止图像或者视频中使 用帧内编码的图像块。对于使用帧问编码的视频图像块，因为预测误差的d c t 系数相关性不强，频域插值方法并不适用。当然，可以用空域插值来直接估计像 素的原始值。 自然图像的平滑特征仅表现在低频系数部分，高频系数的相关性不强，因此， 频域的插值往往只需要对低频部分有限的几个系数进行，其余高频系数往往强制 设为零。 ( 4 ) 运动矢量的恢复( r e c o v e r yo fm o t i o f tv e c t o r s ) 同样基于视频信号的平滑属性，运动矢量也可以用类似的插值方法加以恢 复。常用的运动矢量恢复方法有： 直接将受损运动矢量置零，适用于运动较少的视频信号。 用上一帧对应图像块的运动矢量代替。 使用空间相邻图像块的运动矢量的平均值代替。 综上所述，所有的误码隐藏技术都利用了若干关于视频图像的先验知识，如 时域空域中的平滑特征等，以平滑特征为最优目标的恢复技术强化了这一性质。 插值法被认为是能量最小化的一种特例。直接利用空间插值法的缺陷在于完全忽 略了受损块中完好的系数，并且只利用了图像的空间相关性。而以平滑特征为最 优目标的平滑最优恢复方法，将空域和时域的相关性都利用了。 2 2 3 传输层的差错控制技术 传输层的差错控制技术是一种在视频传输中非常典型的差错控制技术，其包 奎 基于视觉的视频传输抗误码技术研究与系统实现 括：前向纠错、利于错误恢复的包化技术和多路复用技术、有延时限制的自动重 传技术和不等的错误保护技术等。该方法被应用于已经编码的视频流，通过误码 检测和纠正，并在可能的情况下，通过请求重传损伤数据的方法来达到抗误码的 目的。 ( 1 ) 前向纠错( f e o f o r w a r de r r o rc o rr e o t i o n ) ： 一f e c 的基本思想为，在信源数据的基础上，增加一定的冗余数据，形成信道 编码。信道编码通过高误码率的信道( 如无线) ，可能会发生数据丢失或差错等 问题。然而，由于在接收到的数据中包含了冗余数据，因此在一定的差错范围内， 接收端仍可利用冗余数据来修复被破坏的数据。根据所加冗余信息的类型不同， f e c 编码主要可以分为信道编码、基于信源编码的f e c 、结合前两者的编码【2 8 1 三 种： 信道编码是将k 个源信息包和n k 个冗余包编码后传输，客户端只要收到任 意m 个包( k m n ) 就可以还原源信息，即重建k 个源信息包( 如图2 1 所示) 。 这种编码纠错能力很强，而且纠错完全在客户端进行，且发送端可以向任意多的 用户传送信道编码的数据，因而非常适合于多播。然而信道编码牺牲了编码效率， 增加了延迟，并且难以适应网络突发、短期的拥塞现象。 源救妊辅蠲詹数据接收的散据重建后数据 露罔 e 主= = ! = 辈= = 瑁l 图2 1前向纠错编码 基于信源编码的f e c 是将源数据包以相差很大的压缩率进行分别编码，一般 让压缩率高的数据作为压缩率低的冗余信息。若压缩率低的包丢失了可利用压缩 率高的包中的信息来恢复，只是效果有所下降罢了。同样，该方法编码效率也不 高，但是其延迟较小，并且可以通过引灭反馈来提高编码效率。 将信道编码和基于信源编码的f e c 相结合，已在两者之间寻找最优的速率分 配点f 4 ”。 有效的f e c 应该是用尽可能少的冗余信息就能够消除丢包或误码所造成的 不良影响。尽管目前基于信道编码的f e c 的应用很广泛，但是根据信道编码f e c 的原理，添加了r 个冗余包的块在传输中只要丢包的数目r ( 不管丢的包是冗余 包还是源信息包) ，在接收端都可以通过重建，完好的恢复所有的源信息。换句 话说，如果源信息丢失了s 个包，则只要接收到任意s 个冗余包，都可以纠正错 误。