（通信与信息系统专业论文）基于h263编码的无线视频通信差错控制技术研究.pdf

浙江大学硕上学位论文 摘要 在许多数字通信的应用中，传输的数据比特序列都由不同的重要性，因此产生了一些不 等误差保护方案。h 2 6 3 的基准句法结构对信道干扰非常敏感，通过试验我们可以得到在传 输速率在3 2 k b i t s 和6 4 k b i t s 情况下h 2 6 3 各个元素的敏感性。从仿真结果中我们可以得 出结论，在h 2 6 3 码流中，一些元素非常敏感，而其他一些不是很敏感。敏感的程度也和 h 2 6 3 信源码率无关。所以在我们提出的方案中，在编码端根据数据的敏感性对视频流进行 分组，然后在信道编码中对不同的分组加以不等误差保护。 本论文说明了当信源和信道特性相关时，可以得到更好的重建视频质量。我们所做的研 究对象为阎定的传输速率的无记忆信道，信源编码为i t u t 的h 2 6 3 标准。h 2 6 3 信源编码 速率和信道的误比特率有关。首先，我们说明了h 2 6 3 句法元素的误差敏感性并根据其敏感 性将其进行分类。通过试验说明了分类可以在一定程度上提高误差容限。通过分组，h 2 6 3 中一些元素的敏感性下降了很多。而有一些几乎不受影响。其次，在视频数据分组的基础上 设计u e p 方案。信道编码采用r c p c 码，在r c p c 码的基础上实行了几种u e p 和e e p 方案，并 在不同的b e r 下对u e p 方案和e e p 方案进行了性能比较。在b e r 大于4 xi 0 。3 时，u e p 方案 比没有保护时p s n r 有2 0 d b 的提高，比e e p 方案也有相应的提高。最后，试验结果表明在高 误码无线信道上u e p 编码方案比无误差保护算法有更好的鲁棒性。 关键字：h 2 6 3 ，误差容限，联合信源信道编码( j s c c ) ，不等误差保护( u e p ) ，r c p c 码 塑垩查堂婴主兰竺笙兰 a b s t r a c t i nm a n ya p p l i c a t i o n so fd i g i t a lc o m m u n i c a t i o ne n g i n e e r i n g ，t h eb i t so ft h ed a t a s e q u e n c et r a n s m i t t e dd on o th a v ee q u a ls i g n i f i c a n c e s o m eu n e q u a le r r o rp r o t e c t i o n ( u e p ) c o d i n gs c h e m e sh a v eb e e nd e v i s e d t h eh 2 6 3b a s e l i n es y n t a xi sv e r yv u l n e r a b l e t oc h a n n e le r r o r s ，t h r o u g ht h ee x p e r i m e n tw eh a v e b e e na b l et oi d e n t i f y t h e s e n s i t i v i t i e so fa l lh 2 6 3s y n t a c t i c a le l e m e n t sa tt h et r a n s m i s s i o nr a t e so f3 2a n d 6 4 k b i t s f r o mt h es i m u l a t i o nr e s u l t s ，w ec a nc o n c l u d et h a ts o m ee l e m e n t si nh 2 6 3 a r es e n s i t i r e ，w h e r e a so t h e rt y p e sa r en e a r l yi n s e n s i t i v e t h es i g n i f i c a n c e o r d e r i n g i sa l m o s ti n d e p e n d e n to ft h eh 2 6 3s o u r c eb i tr a t e s oi no u rs c h e m e ，v i d e od a t a a r ef i r s tp a r t i t i o n e da c c o r d i n gt ot h e i ri m p o r t a n c ea te n c o d e r ，a n dt h e nd i f f e r e n t i m p o r t a n td a t ap a r t i t i o n sa r ef u r t h e re n c o d e dw i t hu n e q u a le r r o rp r o t e c t i o na t c h a n n e le n c o d e r t h em a i np u r p o s eo ft h i sp a p e ri st os h o wt h a to n c et h ev i d e os o u r c ei sd e p e n d e n t o nt h ec h a n n e lc h a r a c t e r i s t i c s ，b e t t e rp e r f o r m a n e ec a nb ea c h i e v e di nt e r m so f r e c o n s t r u c t e dv i d e o q u a l i t y o u rs t u d i e sc o n s i d e raf i x e do v e r a l lb i tr a t e t r a n s m i s s i o no f6 4 k b i t so v e rp r o n e m e m o r y l e s sb i n a r yc h a n n e l sa n dt h es o u r c ec o d e r i st h ei t u th 2 6 3v i d e os t a n d a r d ，t h ev a r i a b l eh 2 6 3s o u r c e c o d i n gr a t ea d a p t st o p a r t i c u l a rc h a n n e lb i te r r o rr a t e ( b e r ) a ta n yi n s t a n t o ft i m e f i r s t l y ，w e i n v e s t i g a t e dt h ee r r o rs e n s i t i v i t i e so f1 f ，2 6 3s y n t a c t i c a le l e m e n t sa n dg r o u p e dt h e m i n t os e v e r a lc l a s s e so fd i f f e r e n ts i g n i f i c a n c e b yi d e n t i f y i n gt h em o s ts e n s i t i v e e l e m e n t s ，w ed e v e l o p e dad a t ag r o u p i n gt e c h n i q u et h a tb yi t s e l fe x h i b i t si m p r o v e d e r r o rr e s i l i e n c e w er e p e a t i n g t h e s e n s i t i v i t ye x p e r i m e n t s f o rp a r t i c u l a rd a t a g r o u p s c h e m e ，a sc a nb eo b s e r v e d ，t h es e n s i t i v i t yo fs o m et y p eo ft h ee l e m e n t sw a sg r e a t l y r e d u c e da n ds o m et y p ew a sn e a r l yu n a f f e c t e d s e c o n d l y ，av i d e od a t ag r o u p i n gw a s d e v i s ei no r d e rt od e s i g nu e ps c h e m e s t h ec h a n n e lc o d e su s e d i no u rs i m u l a t i o n s a r er a t ec o m p a t i b l ep u n c t u r e dc o n v o l u t i o n a l ( r c p c ) c o d e s ，w h i c hf i tf o ro u rn e e d s i na l l o w i n gs e v e r a lu e pa n de e ps c h e m e s w ed e s i g na l lu n e q u a le r r o r p r o t e c t i o n ( u e p ) i 钉 浙江大学硕七学位论文 s c h e m ea n dc o m p a r ei t sp e r f o r m a n c ew i t ha de q u i v a l e n t ( s a m es o u r c ec o d i n gb i tr a t e ) e q u a le r r o rp r o t e c t i o n ( e e p ) s c h e m e ，u s i n gr c p cc o d e so fd i f f e r e n tr a t e sf o rf o r w a r d e r r o rp r o t e c t i o n u e ps c h e m eh a v er e s u l t e di np s n ri m p r o v e m e n t so v e r2 0 d bt h a nn o p r o t e c t i o ns c h e m ew h e nb e ri sh i g h e rt h a n4 1 0 f i n a l l y ，t h ee x p e r i m e n t a lr e s u l t s s h o wt h a tt h isp r o p o s e dc o d i n ga l g o r i t b mi sm o r ee r r o rr o b u s ta g a i n s tt h en oe r r o r p r o t e c t i o na l g o r i t h mu n d e rh i g he r r o rw i r e l e s sc h a n n e l k e y w o r d s ：h 2 6 3 ，e r r o rr e s i l i e n c e ，j o i n ts o u r c e c h a n n e lc o d i n g ( j s c c ) ，u n e q u a l e r r o rp r o t e c t i o n ，r c p cc o d e 塑垩茎兰堡圭堂堡笙兰 第一章无线视频通信概述 1 1 无线视频通信技术的发展 随着i n t e r n e t 技术和计算机技术的迅猛发展，现代视频通信，语音通信以及实时数据 通信己经成为目前通信和网络发展的人趋势。其中，视频通信是以人类视觉为基础的一种通 信方式目前，实时视频通信技术己山现在i pp h o n e 、i n t e r n e tt v 、v i d e oc o n f e r e n c e 、 手机视频通信等网络应用中。在未来数年内，可以预计视频通信技术将被广泛应用于 i n t e r n e t 远程教育、分布仿真、分布式工作等领域。随着移动通信业务的增加，无线通信 己获得非常广泛的应用。无线网络除了提供语音服务之外，还提供多媒体、高速数据和视频 图像业务，无线通信环境( 无线信道、移动终端等) 以及移动多媒体应用业务的特点对视频图 像的编码与传输技术提出了新的要求。面向无线通信的视频图像编码与传输技术已成为当今 信息科学与技术的前沿课题。 众所周知在处理视频图像时首先遇到的问题就是庞大的数据信息量，这使得存储和 传输这些信息极为麻烦。因此，首先必须通过信源编码对这些信息进行压缩，即尽可能多地 消除信息中的冗余。实际上，对于视频序列图像来说，图像数据是高度相关的，存在着大颦 的冗余信息。首先，图像序列在帧内与静止图像一样，存在着像素之间的相关性；其次，由 于画面物体在大多数情况下的运动总是连贯的。而且背景也有一定的稳定性，这决定了图像 序列帧与帧之间具有更强的相关性。序列图像的这些特性，都为压缩图像数据并获得比较大 的压缩比提供了可能。 由于传输的数据不是图像的原始数据，而是经过了压缩编码后所得到的数据，因此它们 对信道的噪声干扰非常敏感。如果差错发生在一些比较关键的部位，即使是很少的差错量， 也会造成接收端恢复出来的图像质量严重下降。而本课题中所涉及到的传输信道却又恰恰是 噪声于扰比较严重的无线信道，存在看多径效应、衰落等多种干扰。所以对通信系统的可靠 性要求比较高。 与有线传输相比，当信息数据在无线信道中传送时，更容易被无线信道所具有的噪声所 淹没。特别是对于视频图像通信来说，由于图像原始数据量极为庞大，因此发送端必须先对 其进行压缩编码，然后再传送出去。这就使得被传送的数据对噪声干扰非常敏感，倘若差错 发生在关键部位，即使很少的差错最，也会造成接收端恢复出来的图像质最严重+ r 降。因此， 浙江大学硕士学位论文 必须对信息数据进行纠错编码即在要传输的数据序列中，按一定规律加上若干个冗余位或 监督码元，使序列按满足一定规律的码字传输，在接收端则利用这种规律性对接收序列进行 译码，从而纠正传输中的错误。另外，由于视频图像通信具有实时陛的特点，接收端进行译 码的过程不能太耗时间。因此，寻找一种抗干扰性能较强的译码算法保证其具备恢复图像 质量好、运算快速的优点，使得在具有噪声的传输环境中能够实时传送图像信息就成了问题 的关键所在。 通常，一个单向数字通信系统模型可以火致用如。r 的框图来表示。 臣互卜匝亟 _ 堕圃l 匝叵 一 匝三卜由 图卜1 数字通信系统框图 本课题中所研究的无线信道序列图像传输，也是这样一个过程。由于序列图像自身的一 些特性，体现在通信的各个环节上也就有不同于其他通信过程的一些特点。 无线通信中视频系统应至少满足三个要求；低功率消耗( 限于移动终端) ，高压缩率 和较好的信道误差弹性。由于无线视频系统往往是便携式系统，其供能系统的容量受到较大 限制，因而减少功率消耗是能限系统正常丁作的关键。低能耗系统设计一般着眼于减小工作 电压，优化硬件结构，减小每次采样中的操作次数并根据各种操作功率消耗顺序( 内存操 作 乘法操作 加法操作) 来优化算法。无线系统又是带限系统，而视频业务是甚高比特率 业务，要实现无线视频通信，首先必须实现高效压缩，并且压缩算法的设计要结合低能耗、 高容错性来综合考虑；同时，无线信道是易错、时变和带限的，为了克服远近效应等问题， 获得无线信道的高系统容量，低的s n i ( 信噪比) 值是必要的，这可能导致更高的误比特率： 视频信号又对误比特率有更严格的要求，因此提高信道误差弹性具有重要意义。一般通过增 强信源编码算法的容错性、用强有力的信道编码方式来提高抗误码能力。而增强信源编码的 容错性常利_ i = i j 以一v j l 个特点：能生成较大码问距离的编码方法( 如矢量量化) 具有较强容错性 ( 原理同卷积码) ；分层编码技术使得比特分配灵活，在编码和传输方面部很有优势：帧内编 2 浙江大学硕士学位论文 码方式比帧间编码方式容错性强；定比特率可防止误若传播。 视频幽像的压缩编码可以有效的减少图像的数据量，从而降低对网络带宽的要求，但 经压缩过的图像数据对丁误码是相当敏感的，并且误码可能会在空间域和时间域上扩散，这 将引起图像质母的急剧下降。统计资料显示，对于不压缩的视频数据，用户可以接受的误码 率约为1 0 一，而对于压缩编码视频通信，用户可以接受的误码率约为1 0 一，而且压缩倍数 越高，其对于误码率的要求就越离，同时码流速率越高，错误平均时间间隔越短。有些网络， 如无线网络，其信道误码率一般在l o “以上，有时可高达1 0 ，在这样的信道传送视频信 号，如果没有有效的容错措施，恢复的视频图像质量是无法接受的。 1 2 无线视频传输面临的问题 由于图像和视频业务的数据量大、对误比特率( v b r ) 要求高，无线信道又具有易错、 时变和带限的特点，因此信道的误比特率要比有线环境大得多，并且随着基站、终端位置、 方向的改变而变化很大。一方面，试图通过适应尽量做好( b e s t e f f o r t ) 的i n t e r n e t 模型 来保持端到端的视频服务质量( q o s ) 实在太具有挑战性了，因为视频流具有可变比特率 ( v b r ) ，同时无线信道是一个不可预测的时变信道。另一方面，许多媒体编码器根本就没有 考虑信道的情况。基于无线信道不太稳定和易受干扰的特性，在考虑压缩算法的同时，也要 考虑容错和纠错技术。为了适应带有更多便携无线终端的下一代无线网络进行信息传输，在 满足q o s 需求的同时必须使功率的消耗最小化。由于上述原因，无线视频系统在实用化进程 中面临着许多艰难的问题，具体如下： 实时性要求高 人目硅对视频信号的基本要求是，延迟小，实时性好。而普通的数据通信对实时性的要求 就比较低，因此相对普通数据通信而言，视频通信要求更好的实时性。人的视觉和生理特性 要求视频图像的编解码器必须满足每秒完成1 6 幅以上图像的编解码才不会让人产生“闪 烁”，“慢动作”等不良效果。因此，课题中所有应用的算法都必须满足实时应用的要求。也 就是说，容错算法的复杂度上要满足简单快速的要求。预测编码可以有效去陈时间域上的冗 余信息，运动估计则是预测编码的重要环节。运动估计是要在参考帧中找到一个和当前帧图 像块最相似的图像块，即最佳匹配块。估计结果用运动向量来表示。研究运动估计算法就是 要研究匹配块搜索算法。研究分析表明，原始运动估计算法在编码器运行中消耗了编码器 7 0 左右的执行时间。因此，为了提高编码器执行速度必须首先提高运动估计算法的效率。 浙江大学硕士学位论文 穷尽搜索法是最原始的运动估计算法它能得到全局最优结果，但是由于运算照大，不 宜在实际应用中使用。快速运动估计算法通过减小搜索空问，加快了搜索过程。虽然快速运 动估计算法得到的运动向量没有穷尽搜索法的结果那样精确，但是由于它可以显著减少运算 时间，精度也能满足很多应用的需要，因而它们的应用十分广泛。典型的快速搜索算法有： 共扼方向搜索法( c d s ) 、二维对数法( t d l ) 、三步搜索法( t s s ) 、交叉搜索法( c s a ) 等。 缺乏q o s 保证 无线视频的播放有严格的实时性要求，要求网络为视频传输提供足够的带宽、可以容 忍的延时和误码率。为了获得可接受的重建视频质量，视频传输通常至少需要2 8 k b s 左右 带宽。而视频传输对延时菲常敏感，为了保证连续、流畅地搔放，视频数据必须及时地到达 接收端，否则播放过程会中断，造成播放质量的严重下降。然而一般的无线通信网络难以提 供可靠的服务质量( q 0 s ) 保证。视频通信数据往往是通过压缩编码之后的数据。压缩编码 一般都使用去除视频空间和时间相关性的技术，在接收端恢复时，恰恰又是利用这些相关性 恢复原来的视频数据。从中可以看出，视频编码数据在传送时如果发生误码，就不只是影响 本数据的恢复而且还影响了与其有相关性( 包括空间和时间相关性) 的数据的恢复，这一 现象，通常称之为误码扩散。即使误码对于图像质量影响不大，经过以上的误码扩散，也会 使恢复图像面目全非。 功率控制和联合信源信道编码是保证无线网络上视频传输q o s 的两个主要的方法。大多 数的功率控制方案都试图在移动台保持常数的信干比( s i r ) 来减弱衰落信道的影响。但是 在大多数设计中都仅仅只考虑到了传输功率，而没有考虑到联合编码的问题。同时，大多数 的联合信源信道编码控制都是仅仅是用来减少失真。 无线信道的不可靠性和带宽波动 对于无线移动信道来说，网络的可用带宽是有限的。无线传输的开放性，导致信号的衰 落与干扰，无线传输中经常会出现连续的、突发性的传输错误。信道的可用带宽、传输速率 具有时变的特性，这些都使得传输的可靠性大为降低，信道误码率很高。由于无线信道环境 恶劣，有效的带宽资源十分有限。实现大数据量的视频信号的传输。尤其在面向大众的无线 可视应用中，无线信道的资源尤其紧张。 用户的异构性 用户的异构性分为两种情况：用户接收设备的异构性和用户对服务质量、业务内容需求 的异构性。手持无线终端( 手机、无线以及笔记本电脑等) 是无线移动接人中使用的主要终端 设备。这些终端在功率、显示能力以及内存、硬件的支持等方面存在很火的差异，每个用户 4 浙江大学硕士学位论文 ，_ 一 。 的网络连接带宽也不尽相同。不同的用户对服务质量、视频内容等的个性化需求，也有很大 的不同。 由此可以看出，视频信号对传输的需要和无线环境的特点存在尖锐的矛盾，因此无线视 频传输面临着巨人的挑战。要获得较好的视频压缩比，就要用更少的比特描述视频图像；要 保证视频传输的实时眭，就需要更短的传输延时和较快的编码速度：要增加视频传输的鲁棒 性，就要更好地适应传输中的误比特干扰。事实上，这些性能指标有的是相互制约的。例如， 视频图像压缩比的提高会增加编码算法的复杂度，因此会影响算法的实时实现，并且可能降 低视频恢复质罱。 为了能在时变、带宽有限、误码率高的无线信道上实时传输海量的视频数据，井能适应 用户的异构性特点，视频编码算法必须满足以下要求：具有高效的压缩能力；很强的误 码容忍能力；可同时支持带宽、码率等多种扩展形式t 低的算法复杂度。显然，田特网 视频应_ ； j 中的码间切换、转码等技术已经不适合无线视频应用。视频编码的目标已由过去的 面向存储转变为面向网络传输，低速率编码、容错性编码、多描述编码、可扩展编码就成为 近年来无线视频编码的前沿课题。 无线视频流系统的设计还必须要考虑频谱资源的利用率以及无线终端的接收能力。无线 频谱资源极为有限，而无线终端的解码、显示、通信能力也受到诸多限制。为了更有效地利 用带宽和终端资源，理想的方法是根据无线终端的接收能力发送分级的视频数据流。 1 3 抗干扰方法的选择 一股说来，提高可靠性、降低误码率可以采取两方面的措施：一是降低信道本身引起的 误码率。如( 1 ) 选用合适的数据传输线路，改善信道的传输特性，采用均衡技术。( 2 ) 利 用高增益天线，增加发射机的发射功率以增加发射信号的能量。( 3 ) 采用分集接收技术及低 噪声器件。( 4 ) 选用抗干扰性能较强的调制解调方案。改善信道的带宽性能。二是采用著错 控制的方法。如( 1 ) 检错重发法：接收端在受到的信码中检测出错码时，即设法通知发送 端重发，直到正确收到为止。采用这种差错控制方法需要具备双向信道。( 2 ) 反馈校验法： 接收端将收到的信码原封不动地转发回发送端，并与原发送信码相比较。如果发现错误，则 发送端再进行重发。这种方法需要双向信道，且由于每一信码都相当于至少传送了两次，所 以传输效率较低。( 3 ) 前向纠错法：接收端不仅能在收到的信码中发现有错码，还能够纠正 浙扛大学硕+ 学位论文 错码。对丁二进制系统，如果能够确定错码的位置，就能够纠正它。这种方法不需要反向信 道，也不存在由于反复重发而延误时间，实时性蚶。方法( 1 ) 、( 3 ) 都需要在接收端检测出 错码，这样在发送端就必须进行差错控制编码，即纠错编码，在发送的信息码序列中加入一 些监督码元，它们与信息码元之间存在一定的关系，从而使得接收端能够利用这种关系发现 或纠正可能存在的错码。 现在。随着针对图像特点对数据进行压缩和编码的相关理论研究的不断深入，新的编 码算法的不断提出，图像的压缩比和保真度也日渐提高。而采用改进线路技术、提高元件可 靠性的方法不仅代价高而且也不一定能够获得理想的效果。因此在无线信道这样的传输环境 中进行视频图像的通信，采用压缩和纠错编码技术结台来提高通信可靠性的方案是可行的， 也是比较适宜的。往往是可利用的信道越窄，信道噪声也越高。信道越窄，要求视频编码的 压缩比越高，视频压缩比越高则对于误码的敏感性越强。如果想要获得较为满意的视频恢复 质量，哪怕是可以接受的视频质量，就要有好的容错算法和技术。本课题的目的就在于通过 改造传统的纠错算法，增强算法的灵活性和鲁棒性，研究出一套抗干扰性较强的编、译码算 法，达到在具有噪声干扰的环境里实时传送图像的目的。 1 4 课题研究的内容 本文的研究的内容安排如下： 第一章首先简要介绍了无线视频通信的发展及无线视频传输所面临的问题。并对抗干 扰方法进行了初步的分析。 第二章对视频编解码的一些核心概念和原理做了简单介绍，简要分析了无线视频的编 码技术及差错控制，并给出了其应用范围和局限性。 第三章对基于h 2 6 3 协议的编解码器进行了分析和理解，以便为容错算法的嵌入准备 条件这部分的内容包括对协议本身的阅读和对h 2 6 3 + 开放式测试模型t e t 8 的理解和分 析。 第四章对h 2 6 3 中的各个元素的敏感性进行了分析，并提出了分组方案来降低元素的 敏感性，最终使用峰值信噪比米对算法进行分析，说明其有效性。 第五章在第四章的基础上提出了种应用于h 2 6 3 视频通信中的混合容错方法，采用 基丁r c p c 码的不等误差保护( u e p ) 方案米保护压缩过的视频流，提出了对不同的分组采取 相应的误差保护，仿真结果说明了u e p 方案相对于无保护方案和e e p 方案的优越性。 6 浙江大学硕十学位论立 究。 第六章对研究工作做了总结，分析不足及可能的改进方法，说明了今后可做的进一步研 7 塑垩点堂堡圭堂堡丝= ! 兰； 第二章无线视频编码技术与差错控制 2 1 视频编码概述 这部分对视频编解码的一些核心概念利原理做了简单介绍，主要从帧内编码和帧间编 码，运动向量( 也可称作运动欠揖) 、运动估计和运动补偿两个方面来说明： ( 一) 帧内编码和帧间编码 图像编码按编码区域来分有两种：帧内编码和帧间编码。我们常用的m - j p e g 汇是典型 的帧内编码：而条件块补偿编码( c b r ) 为最早出现的帧间编码( 实际上，h 2 6 x 和娅e g 都可 姒在最原始的情况下退化到c b r 这种情况) 。由于帧内编码的信源编码失真比较容易计算， 因此，现在很多的工作都是用帧内编码作为研究对象，如m j p e g 。帧内编码有时也被称作 帧内预测，其实质就是静止图像压缩编码，即只对一幅图像的时域和空域冗余信息进行压缩 编码，帧内编码一般称为i n t r a 编码，简称i 帧。 帧间编码有时被称为帧间预测，其利用了视频图像的前后图像几乎相似的特性，把当 前特编码图像和前帧图像进行运动补偿得到一个参考帧和运动向量数据，再将当前待编码图 像和这个参考帧做差值得到一个差值图像数据，最后再把这个差值图像数据作为静止图像编 码。帧间编码一般称为i n t e r 编码，简称p 帧。 ( 二二) 运动向量、运动估计和运动补偿 下面以两幅图像数据( 大小为4 4 ) 为例，对运动向量、运动估计和运动补偿一一进 行说明：现在要以2 x 2 大小块为单位对图像进行编码假设已经编码到第四个块，接着耍 用前帧重建图像数据来做运动补偿，得到参考块和运动向量。 当前待编码图像数据前幅重建图像数据当前参考帧图像数据 3 63 53 44 02 37 28 51 6x x x xx xx x 2 82 92 53 68 28 37 91 7x xx xx xx x 2 79 87 38 46 59 21 69 3x xx x7 28 5 1 82 98 38 26 24 92 73 7 x xx x8 37 9 第一步：就是把当前待编码图像数据的第四小块( 用斜黑体标注的部分) 和右边的前 幅图像数据以块为单位做一个一个像素的移动进行匹配，找到差值的和为最小的块( 该块同 样在第二个4 4 块中以斜黑体标注出) 。 浙江大学硕士学位论文 第二步：直接把找到的差值和最小的块拷贝过来作为当前待编码图像块的参考块，并 记录下这个数据块相对丁当前特编码图像中的2 2 小块的偏移量，该例中为 一1 ，2 。 第三步：在对当前特编码图像数据块进行编码时，不是直接对7 3 、8 4 、8 3 、8 2 编码， 而是将其与参考块数据( 参考帧中的7 2 、8 5 、8 3 、7 9 ) 做差值，对差值进行编码该例中 即为对( 1 、一1 、0 、3 ) 这个差值做静止图像方式的编码。 在上面的三步过程中，找到匹配块( 即参考块) 和得到偏移量的过程叫做运动估计； 偏移量叫做运动向量( 相对左上方向为负，而右下方为正) ；在解码的时候，首先解码得到 差值数据，然后得到当前持解码块的参考块数据，最后把参考块数据和差值数据相加就得到 真止的i 訇像块数据。解码过程中参考块的数据得到必须依靠该块对应的运动向量和前帧解码 得到的图像数据，得到当前待解码块的参考块图像数据其实很简单，只要按照运动向量大小 的偏移直接在前帧已解码的图像中直接拷贝就可以，解码过程的这个找到参考块的过程就是 运动补偿。 因此可知，对于帧间编码方式完整传输给解码器的图像数据是差值图像编码数据平u 运 动向量。对于i 帧编码就没有运动估计和运动补偿这个过程，因为其并没有利用图像与图像 间的相关性编解码。 对一些宏块使用帧内模式以阻止帧间错误传播。这局限于仅在严重受损的图像区域使 用。而在无差错的传输中，使用更有效的帧间模式，系统能更好地适应变化的信道条件。这 是在编码器的编码控制中处理从反馈信道来完成的。基于反馈信道中的信息，编码器能够重 建当前帧中的错误部分。前向自适应编码器的编码控制当一个宏块严重受损时通过选择帧内 模式来有效地阻止帧问错误传播。另一方面，如果错误隐藏是成功的，而且宏块的错误很少， 编码器就能够判断帧内模式是不必要的。然而对于严重的错误，涉及到大量的宏块，编码器 要使用粗量化以保持恒定的帧率和码率。在这种情况下，反馈控制信息会以更高的频率出现， 整个图像质量会降低。不象重传技术如a r q 。使用帧内编码不会增加编码器和解码器间的延 迟。因此这特别适用于需要较短延迟的应用。 2 2 无线视频编码技术 为了在无线网络中传输视频数据，需要使用高效的视频编码算法将视频信号进行压缩。 另外，由于无线信道的不可靠性，需要使用前向错误纠正和自动请求重传等错误控制技术。 9 浙江大学硕十学位论义 视频实时传输时更多的需考虑f e c 。信源编码和网络传输是端到端视频传输的两个主要的组 成部分。接收端图像的失真主要由信源编码的量化误差和在网络传输中的信道误码( 如数据 包的丢失) 造成。这两种类型的失真称为信源失真和信道失真。 下面简要分析一下无线视频的编码技术。 2 2 1 多描述编码 多描述编码是由一个视频源生成多个码流( 称作对视频源的一种“描述”) ，这些码流分 别在独立的信道上传送。在接收端，根据被正确传输码流的不同，选择不同的解码恢复方案。 只要有任何一种描述被正确传送到接收端，多描述编解码器就可以恢复出一定质量的视频信 号；如果有多个描述被正确传输，则视频信号的恢复质量能得以增强。基于多描述的编码系 统中多描述源编码器和解码器框图如图2 1 所示。 p ( 七 图2 1多描述源编码器和解码器框图 多描述编码器把原始信号编码成两个描述，然后把它们送入信道编码器进行信道编码。 在多描述解码器端有3 个解码器，除了每一个描述相应于一个解码器外。还有个中央解码 器，它把多个描述组合后解码。至于利用哪个解码器，要根据信道解码器的接收情况来决定。 假设传输了一个原始信号x ，它被编码为两个描述进行传输，若两个描述中没有数据块错误。 那么选择中央解码器的输出膏。( ) 作为最终输出；假如一个描述中有数据块错误，那么选择 另外一个描述解码器的输出量( t ) 或j 2 衅) 作为最终输出；假如两个描述的数据块都错误， 1 0 浙江大学硕士学位论文 那么只有用原始信号x 的期望值膏米对x 进行估计，这当然是最糟糕的情况了。 为保证从任意一个描述可以恢复出一定质量的视频，每个描述都必须包含足够的视频信 息，这也意味着多描述编码方案的编码效率耍比单描述编码方案低许多。这种损失换来的是 对误码频繁山现环境下视频信号的鲁棒传输。对于误码率很高的环境，单描述编码方案需要 使用很强的纠错机制；而多描述编码方案中每个描述的传输可以使用较弱的纠错机制，因为 所有描述同时出错的概率很小。对于网络带宽有限的无线网络来说，多描述编码会造成网络 传输效率的下降，因此并不是一种理想的视频编码方案。 2 2 2 容错性编码 容错性编码的目的是通过设计编码方法使得压缩后的码流对某些类型的误码具有容错 能力。对于容易发生误码的无线网络来说，编码结构是否具有一定的容错能力将直接影响接 收端的重建质量。现有的国际标准，如h 2 6 3 、m p e g 一4 等基本上都采用相似的编码结构，即 帧阃运动补偿( m o t i o nc o m p e n s a t e d ) 预测。为了最大限度地提高编码效率，预测误差的块d c t 变换往往采用变长的哈夫曼编码对运动补偿信息和变换后的预测残差进行编码。这样的编码 结构对传输误差非常敏感。一旦传输时产生误差，不仅会使码流失去同步，还会造成误码的 扩散( e r r o rp r o p a g a t i o n ) ，使恢复出来的信号面目全非。 h 2 6 3 和m p e g 一4 编码标准都充分考虑了易发生误码环境中( 如无线移动环境) 视频传输 的鲁棒性问题，采取了一定的措施，如重同步标记、可逆变长编码、头扩展码和数据分割等 来提高编码的容错性能。采用这些方法的目的不是取代已有通信网提供的误码控制技术，而 是提高视频编码的容错性能，尽可能提高视频的重建质照。 误码扩散问题可以在应用层和网络层来解决。在网络层，重传是一种常用的方法，但 重传不仅器要反馈信道，还往往无法满足实时视频传输的要求。在现有的很多基于h 2 6 3 的 实时视频传输系统中，往往通过周期性的帧刷新( f r a m er e f r e s h ) 来防止误码的扩散，即每 隔一段时间就采用i 帧编码模式进行编码，使得发生误码的码流具有自愈的能力。但采用i 帧会造成编码效率的下降。而对于自适应的帧刷新来说，也需要反馈信道来支持，但不是所 有的无线网络均具有反馈信道。 2 2 3 可扩展编码 可扩展编码( s e a l a b l ec o d i n g ) 被认为是在无线网络、因特网等异构的网络环境中传输 浙江大学硕十学位论文 视频的首选方案。可扩展编码又称为分层编码，是将视频信息编码成多个不同性质的码流， 其中包括一个基本层和多个增强层。基本层提供的是视频信号的基本信息，可以独立解码恢 复出基本质量的视频信号。而增强层提供的是视频信号细节信息，它不可以单独解码，与基 本层结合起来可以增强视频的重建效果，如空间分辨率、质量、帧率等。 可扩展编码支持以层为单位进行截断，具有一定的码率调整能力。与非可扩展编码方法 只能提供一种表达方式不同，可扩展编码允许用户根据信道的容量和质量需求，接收一个或 多个分层，从而恢复出具有不同质量与分辨率的视频信号，满足不同处理能力的终端和用户 要求。可扩展编码还非常适合于结合不等的错误保护，构成种可以有效地抗误码的信源信 道联合编码方案，即基本层码流传输时可以附加纠错能力较强的纠错编码机制，而增强层码 流传输时可以米用冗余度较小的纠错编码机制。在保证传输质量的同时提高网络的传输效 率，因此可扩展编码方法更适合在时变的无线环境中进行传输。 从采用的编码技术来看，可扩展编码可以分为两类：一类是以现有的国际标准m p e g 一4 、 h 2 6 3 + 为代表，以d c t ：运动补偿混合编码作为主要技术的编码方法；另一类是以三维小波编 码为代表的可扩展视频编码方法。 ( 1 ) d c t + 运动补偿混合编码的可扩展编码方法。 以h 2 6 3 、m p e g 一4 等编码标准为代表的可扩展编码方法，是以o c t + 动补偿泄合编码作为 主要技术。这种方法将码流分为一个基本层和多个增强层，增强层或者完全被解码器接收和 解码，或者完全被放弃，得到的解码质量是跳变的，不连续的。这类方法虽然具有一定的码 率调节能力，但调节的粒度太粗，无法很好地适应无线网络的动态变化。2 0 0 1 年m p e g 制定的 m p e g 一4 可精细扩展( f g s ，f i n eg r a n u l a rs c a l a b i l i t y ) 编码标准是可扩展编码中的一种，基 本层采用非可扩展的单层m p e g 一4 编码方法，增强层采用比特平面编码技术对原始图像与基本 层重建图像的残差进行编码，增强层码流可以任意裁断，每一个比特均可以看作是一个增强 层，解码质量与解码比特数成正比，因此易于码率控制。 m p e g 一4f g s 可以提供细粒度的可扩展性，能更好地适应网络带宽的变化。但m p e g 一4v t , s 还存在以下问题： 编码效率低于非可扩展编码方法。这是因为为了避免因为接收不到增强层的信息而造 成的误码扩散，f g s 预测时采用的是一种“开环”的预测方式，预测时没有利用高质量的增 强层信息。 f g s 方法在编码时确定帧尺寸、帧率、解压缩的质量，在图像质量和编码效率之问达 到均衡，并没有考虑实际可用的传输带宽、用户爱好以及接收端的部分解码等问题，造成接 1 2 浙江人学硕上学位论文 收端得到的视频质量并非最优。 f g s 的可扩展功能是以编码复杂度增加、编码效率的下降为代价的。 f g s 编码方法是针对因特网上的视频流应用提出来的，因此，虽然m p e g 一4f c , s 编码方法 实现简单，可以在编码速率、显示分辨率、内容、解码复杂度、抗误码等方面提供灵活的自 适应和可扩展性，可以很好地适应网络带宽的动态变化，其基本思想也为视频传输提供了很 好解决方案。但编码效率低，无法很好地满足用户对q o s 的个性化需求，则是这种方法的缺 点。 w u 等提出了渐进可精细扩展方法p f g s ( p r o g r e s s i v ef i n eg r a n u l a r i t ys e a l a b i l i t y ) 。 该方法针对f g s 方法编码效率不高的缺点，利用多个增强层进行预测以减少预测误差，提高 了编码效率，但同时运算复杂度也相应地提高，给无线终端的处理能力提出了很高的要求。 ( 2 ) 小波视频编码方法。 小波压缩技术可以消除分块d c t 变换的方块效应和飞蚊噪声，在码流具有天然的可扩展 能力的同时能获得高效的压缩，因此基于小波变换的视频编码方法得到人f f j 广泛的关注。视 频图像区别于静止图像的一个重要特征是不仅一帧图像内部存在空间相关性，相邻图像帧之 间也存在时间相关性。如何去除时间相关性，就成为提高视频编码压缩效率的关键。根据去 除时间冗余机制的不同，可以将目前的各种基于小波变换的视频编码方法分为3 类：基于空 间域运动补偿的小波视频编码、基于变换域运动补偿的小波视频编码和基于时间滤波的三维 小波视频编码方法。 第一类方法与现有的编码标准h 2 6 3 、m p e g - - 4 的区别，仅仅是用小波变换代替o c t 对运动 补偿后的预测残差进行变换。这种方法不能提高编码效率，因为残差信号的统计特性与原始 图像有很大的差别，块边界处会产生高能量的小波系数，必须采用相应的措施去除这种块效 应。为此。人们提出了重叠块运动补偿和滤波技术以有效去除方块效应，还能提高运动补 偿的效率，从而提高编码效率。 第二类方法是先采用小波变换去除空间冗余度，在小波域进行运动补偿消除时间冗余， 再对变换域补偿后的残差进行编码。但小波变换不具有空间平移不变性，小波变换中的f 采 样、滤波等操作降低了运动补偿的效果，编码效率低。 第三类方法在三维小波编码方法中加入了时间滤波技术。这种方法首先采用传统的块匹 配方法确定运动方向，沿运动方向进行l 2 精度的运动补偿时间滤波( 这样的时间滤波允许 精确重建) ，再采用三维编码对时间滤波后的图像进行三维编码。这种方法采用的是非递归 的编码结构，因此克服了现有很多编码方法中普遍存在的“漂移”( d r a f t i n g ) 问题，可以同 1 3 浙江大学硕上学位论文 时支持质量、时间、空间、码率、复杂度等多种可扩展形式，在支持容错方面有着显著的优 点，解码图像没有块效应，编码效率也有了很大的提高。实验结果表明，这种编码方法在高 码率r 可以获得与i t 2 6 l 相当的效果。 2 3 差错控制 由于无线信道不太稳定和易受干扰的影响，这就对传输的码流造成一定的误码率。而熵 编码的码字必须在码同步下才能正确解码，因为熵解码器必须确定码字的范围才能解码，当 码同步丢失或误码时，就会产生码同步错误，解码器就不能工作，必须等到正确的码同步时， 解码器才能正确工作。 f i 2 6 3 等视频图像压缩标准对图像信息压缩的处理都采用了变长编码( v l c ) 的方式，码 流数据的任何一位( b i t ) 的丢失或者一个比特的错误会影响一个区域的图像的质量，导致 图像失真，甚至于不能得到后续的视频图像，也就是“错误衍生”。在视频通信中，时延过 大到达的分组被认为没有用而丢失，这降低了视频的质量。由于数据错误恶化了解码图像的 质量和解码的成功率，因此，加入