（光学工程专业论文）基于avs的差错控制技术的研究.pdf

摘要 摘要 视觉是人类获取外部信息最为重要的途径。图像视频相应的视觉信息给人们以直 观、生动的形象，而它们的数字表示带来了可以再生中继、易于加密、抗干扰能力强等 诸多优点，但数字表示需要的大量数据量对存储和传输极为不利，已成为人类有效地获 取和使用信息的瓶颈之一。图像视频编码的一个主要目的，就是在保证一定重建质量 的前提下，以尽量少的比特数来表征图像视频信息。目前国际上比较主流的视频压缩 编码标准有m p e g - 2 、m p e g - 4 、h 2 6 4 以及我国具有自主知识产权的a v s 等。为了获得 高压缩比，目前的视频压缩编码均采用了运动补偿、帧间预测和v l c 等去除信息冗余度 的技术。传输环境的不佳，往往造成误码，尤其是无线、工p 共享信道等误码易发环境， 其输出码流极易受到传输中误码的影响，即使是单个误码也可能在一幅图像内产生大片 错误，并且会传播到后续帧。因此，根据编码视频和信道的特性，对传输误码进行差错 控制是视频通信中类非常重要的技术。 本文在对a v s 标准做了详细介绍后，重点研究如何提高视频编解码器的差错控制 性能，使得编解码器对信道丢包有较强的抵抗和恢复能力。在总结近几年的差错控制 技术基础上，重点研究了交互式差错控制技术的参考帧选择算法，论文扩展了有反馈信 道r p s 的概念，提出了一种新的基于关键参考帧的有反馈关键参考帧选择( k e yf r a m e r e f e r e n c ep i c t u r es e l e c t i o n ，k r p s ) 方法，通过关键帧的选择，来阻止关键参考帧之 间的差错扩散。同时在解码器端提出了一种基于边界的时域错误隐藏算法，根据边缘像 素的梯度大小进行边缘检测，进而估算出边缘走向后利用已恢复出的边界将出错宏块划 分为两个子块，通过每个子块的边界像素和正确解码的周围像素在参考帧中进行解码器 运动矢量估计，实现子块的错误隐藏。通过在a v s 的标准测试平台r m 5 2 9 上试验证明， 本文所提出的方案不但可以有效地减少或阻止视频传输过程中由于传输错误引起的图 像质量下降，在存在边缘的区域对边缘和不同子块内容分别进行恢复，具有较好的差错 控制效果，因此有一定的优越性和实用价值。 最后，本文对所研究的成果做了总结，并提出了将来努力的方向 关键字：a v sh 2 6 4 差错控制关键参考帧错误隐藏 i v a b s t r a c t a b s t r a c t v i s i o ni st h em o s ti m p o r t a n tw a yt og e ti n f o r m a t i o n v i s i o ng i v e su sf l a n ka n dv i v i d i m p r e s s i o n d i g i t a lf o r mo fp i c t u r e v i d e oi n f o r m a t i o nh a st h ev i r t u e so fe a s yt oe n c r y p ta n d s t r o n ga n t i - j a m m i n ga b i l i t y h o w e v e r , al a r g ed e a lo fd a t ai nd i g i t a lf o r mi sd i s a d v a n t a g e o u s t os t o r a g ea n dt r a n s m i s s i o n ，w h i c hi so n eo ft h eb o t t l e n e c k st oo b t a i na n du s ei n f o r m a t i o n e f f e c t i v e l y o n eo ft h em a i np u r p o s e so fp i c t u r e v i d e oc o d i n gi st or e p r e s e n tp i c t u r e v i d e o i n f o r m a t i o nu s i n gb i t sa sl i t t l ea sp o s s i b l e w h i c hi so b t a i n e do nt h eb a s i so fe n s u r i n gr e b u i l d q u a l i t y c u r r e n t l y , t h em a i n s t r e a mv i d e oc o m p r e s s i o ns t a n d a r d sa r em p e g 一2 ，m p e g - 4 ， h 2 6 4 a n da v sw h i c hh a si n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i g h t si nc h i n a f o rt h ev i d e o s t r e a mt r a n s m i t t i n g ，c u r r e n tw i r e l e s so rw i r et r a n s m i s s i o nc h a n n e lc a nn o tg u a r a n t e er e l i a b i l i t y , a n dt h et r a n s m i s s i o nm a ys u f f e re r r o ro rp a c k e tl o s s p a c k e tl o s sw i l lm a k em a c r o b l o c k s c o n s e c u t i v ee r r o r a n daw r o n gi m a g et r a n s m i s s i o nt h r o u g hm o t i o nc o m p e n s a t i o nm a ys p r e a d t ot h ef o l l o w - u pf r a m e r e s u l t i n gi nc o n t i n u o u sd e c l i n ei nt h eq u a l i t yo fs e v e r a lf r a m e s t h e r e f o r e e r r o rc o n t r o la l g o r i t h m sa r en e e d e dt or e d u c et h ed e c l i n eo fv i d e oi m a g eq u a l i t y t h i st h e s i sf i r s tr e v i e w e dt h er e c e n te r r o rc o n t r o la l g o r i t h m s t h e nt h ea v ss t a n d a r di s d e t a i l e di n t r o d u c e di nt h i sp a p e r , t h e nf o c u so nh o wt oi m p r o v et h ev i d e oc o d e ce r r o rc o n t r o l p e r f o r m a n c e m a k i n gt h ec o d e co fc h a n n e lp a c k e tl o s sh a sas t r o n gr e s i s t a n c ea n dr e c o v e r y c a p a b i l i t i e s a tt h ec o n c l u s i o no ft h el a s tf e wy e a r so nb a s i ce r r o rc o n t r 0 1t e c h n o l o g y , f o c u s i n g o ni n t e r a c t i v ee r r o rc o n t r o lt e c h n i q u e sr e f e r e n c ep i c t u r es e l e c t i o na l g o r i t h m a n de x t e n d i n g t h ec o n c e p t i o no ft h er p sw i t ht h ef e e d b a c kc h a n n e l an e wf e e d b a c kr e f e r e n c ep i c t u r e s e l e c t i o na l g o r i t h mb a s e do nk e yf r a m ew a sp r o p o s e d 1 1 1 ee r r o r sb e t w e e nt h ek e yr e f e r e n c e f r a m ea r ep r e v e n t e db yt h es e l e c t i o no fk e yf r a m e a l s ob a s e do ne d g ed e t e c t i o nt i m e d o m a i n e r r o rc o n c e a l m e n ta l g o r i t h mw a sp r o p o s e d ，u s i n gt h eb o u n d a r yt h a th a sb e e nr e s t o r e dt o d i v i d et h ef a u l t b l o c ki n t ot w os u b b l o c k s m o t i o nv e c t o re s t i m a t i o ni sp e r f o r m e db yu s i n gt h e b o u n d a r yp i x e l sa n dt h ec o r r e c td e c o d i n gp i x e l si nt h ef r a m eo fr e f e r e n c e ，t h e nt h ed e d u c e d m vi su s e dt oc o n c e a lt h eb l o c k i nt h i sp a p e r , t h ep r o p o s a ln o to n l yc a ne f f e c t i v e l yr e d u c eo r p r e v e n td e c r e a s e di m a g eq u a l i t yb e c a u s eo ft r a n s m i s s i o ne r r o r si nt h ep r o c e s so fv i d e o t r a n s m i s s i o n b u ta l s oh a sag o o de f f e c to fe r r o rc o n t r o la tt h ee d g eo fd i f f e r e n ta r e a s s ot h e p r o p o s e da l g o r i t h m sh a v es o m ea d v a n t a g e sa n dp r a t i c a lv a l u e a tt h ee n d ，t h er e s e a r c hw o r k so ft h i sd i s s e r t a t i o na r es u m m a r i z e da n df u r t h e rr e s e a r c h e s i nt h i sf i e l da r ep r o p o s e d k e y w o r d s ：h 2 6 4 ，a v s ，e r r o rc o n t r o l ，k e yf r a m er e f e r e n c e ，e r r o rc o n c e a l m e n t v 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 丑午。7 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 i i i 乒篼虹日期：砷心7 第一章绪论 1 1 课题的背景和意义 第一章绪论 随着人类社会信息化的加剧，多媒体应用已经渗透到人们生活的各个领域。视频作为一种生动、 直观、信息量丰富的多媒体应用备受人们青睐，但是其巨大的信息量也限制了其灵活应用。人们通 过采用视频压缩技术从一定程度上解决了这个问题。当前国际上主要的压缩标准有h 2 6 x 系列、 m p e g 系列等。2 0 0 6 年，我国完成了具有自主知识产权a v s 标准的制定，并正式成为国标。a v s 标准的主要应用范围为：高分辨率和标准分辨率的数字电视广播、激光数字存储媒体、互联网宽带 流媒体、视频会议、多媒体通信等。a v s 包括系统、视频、音频、数字版权管理等四个主要技术标 准和一致性测试等支撑标准，其编码效率比m p e g 2 高2 3 倍，与h 2 6 4 相当，而且技术方案更加 简洁，复杂度也更低，更利于硬件实现。 压缩后的视频数据对传输中产生的误码非常敏感。一旦传输中出现了误码，不仅影响误码数据 的恢复，还会影响与之相关的其他数据的恢复，使传输过程中的错误迅速扩散，严重降低视频业务 的服务质量。而为了获得高压缩比，目前的视频压缩技术均采用了运动补偿、预测和变长编码等技 术来去掉视频序列中的大量时间与空间相关性，在减小传送带宽需求的同时，也使得编码后的视频 码流数据抗差错能力很弱。由于信道传输差错使得编解码失去同步，不仅出错位置的解码过程受到 影响，而且因为预测编码技术的使用，会使得差错迅速扩散到后续帧中并长时间存在，进而导致重 建图像质量严重下降，甚至无法重建图像。 因此，对传输误码进行差错控制是视频通信中非常重要的技术，也是近年来视频通信领域的研 究热点之一。 1 2 国内外研究现状 差错控制技术1 16 】就是对在视频传输系统中的各个环节，如视频输入信号的统计特性、编码器的 编码策略、信道传输条件和解码器的解码策略等，采取一定的控制措施，在保证一定压缩效率的前 提下，提高视频传输系统抵抗传输误码和分组丢失的能力，实现压缩效率和容错能力的均衡。 作为视频传输的一个重要方面，差错控制从第一个视频标准h 2 6 1 的颁布开始就成为了一个不 可忽视的研究方向。随着视频压缩技术的发展，国内外学者针对不同的视频压缩标准，采用了多种 手段先后提出了一系列差错控制算法。最早期的差错控制技术主要在视频信号的空域、时域、频域 以及变换域、时空域结合等方面进行，这些差错控制技术主要利用视频信号固有的相关性，其处理 方法一般不太复杂，因此目前在差错控领域应用最广泛。但是视频信号固有的相关性为基础的技术 存在很大局限性，其主要原因是根据传输差错发生程度及视频序列内容特性的变化，其处理效果会 有很大差异。因此t s u h a nc h e n 等人以模板匹配为基础提出了第二代差错控制技术1 1 9 1 ，而s u n g d a e c h o a 等从对编码数据进行分级或分类嵌入处理的思想入手 2 3 1 ，采用添加冗余的手段实现对重要数 据的保护，从而在差错控制中取得了很好的效果。目前差错控制技术主要可以分为三类：基于编码 器的差错控制、基于解码器的差错隐藏技术、基于编解码交互式差错隐藏。 压缩位流对传输错误敏感的主要原因之一是由于编码器使用v l c ( 变长码) 表示符号。任何一 个码字的比特错误不仅使该码字无用，而且使后面的码字也无用。下面的技术可以增强码字的抗误 码能力： 重同步技术：一种使编码器增强容错能力的简单且有效的方法是周期性地插入同步标识i l 。这 些标识码字容易从其它码字中区分，一些重要的信息紧接在同步标识后面，使得解码器能够在检测 到同步码时，能够继续解码。很明显，同步标识的插入降低了编码效率：首先，这些标识码字越长， 插入越频繁，将要使用越多的比特位：第二，同步标识中断了一些帧间预测机制，比如m v 预测和 d c 系数预测，这增加了更多的比特。但是，同步码字越长，插入得越频繁，也能使解码器越快地从 错误中恢复，使传输错误的影响限制在一个较小的区域内。在实际应用中，经常使用较长的同步码 字。可逆变长码( r v l c ) ：使用r v l c ，解码器不仅能解同步码字之后的比特流，也能从后向前、反 向地解下一个同步码字之前的比特流。因此，很少有正确收到的比特位被丢弃，受传输错误影响的 区域将进一步减小。通过检查前向和后向解码器的输出，r v l c 能帮助解码器检测非r v l c 编码 器不能检测的错误，提供更多出错比特的位置信息，减少了被丢弃的数据量。r v l c 联合同步标识 东南大学硕士学位论文 的编码方法被m p e g 4 和h 2 6 3 编码标准采用i l 。3j 。压缩位流对传输错误敏感的另一个主要原因是 时间预测的使用。一旦有错误发生，在解码端重建的图像将会不同于编码端本地重建的图像，使接 下来编解码两端使用的参考图像不一致，造成后续的重建帧错误，引起误差扩散。下面的技术有助 于消除误差扩散效应：插入i n t r a 帧i n t r a 块：阻止误差扩散的方法之一是周期性地插入i n t r a 帧或 者i n t r a 宏块。在实时应用中，由于码率的限制，i n t r a 帧的使用受到一定限制，而i n t r a 宏块的使用 证明是一种有效的和高度可分级的容错工具。这种方法需要决定i n t r a 编码宏块的数量和它们空间位 置，这依赖于网络连接的质量。许多实际系统可以提供网络质量的信息或者获得该信息的方法。比 如在无线环境中的天线信号强度或者i n t e r n e t 连接中的r t c p 接收方报告。文献【1 9 】讨论了如何正确 地选择i n t r a 宏块数量进行了讨论。关于i n t r a 宏块的空间位置的讨论，有如下几种方案。随机分布 和高运动区域分布被证明是有效的两种方案，其中高运动特征由平均m v 大小决定。一种较好的同 时决定数量和位置的方法是考虑丢包的率失真优化策略【2 。独立分段预测：另一种限制误扩散的方 法是将数据域分成几个独立可解的段，并在段内执行时空预测。通过这种方法，在某个段内的错误 将不会影响其它的段数据。这种方法的一种做法是按照奇偶序号将所有的帧分成两个段，这样奇帧 通过奇帧预测，偶帧通过偶帧预测。这种方法被称为视频冗余编码( v r c ：v i d e o r e d u n d a n c yc o d i n g ) 2 1 - 2 2 。另一种方法是将一帧分成若干区域( 比如g o b 或者s l i c e ) ，并且一个区域只能从上一帧的同 样区域预测，这在h 2 6 3 标准中被称为独立分段编码( i n d e p e n d e n ts e g m e n te n c o d i n g ) 。 基于u e p 的分层编码：分层编码( l c ：l a y e r e dc o d i n g ) 或者可分级编码将视频编码成一个基 本层( b l ) 和一个或多个增强层( e l ) 。基本层提供较低的但是可接受的图像质量，每一个增强层 都进一步增加图像质量。l c 编码使具有不同带宽和不同终端处理能力的用户在不同级别上访问同 一个视频服务。作为一种容错工具，l c 必须结合不等错误保护( u e p ：u n e q u a le r r o rp r o t e c t i o n ) ， 使基本层能被优先保护【6 l 】。在基于块的混合视频编码器系统中，有多种方法将视频信号分成两个或 者多个层。比如，视频能被从时间上下采样，基本层包含较低帧率的流，增强层包含原始视频和基 本层上采样之间的误差。同样的方法能被应用到空间分辨率上，使基本层包含较小尺寸的编码视频。 基本层也能包含粗量化的d c t 系数。最后，基本层也可能包含头信息和运动信息，而将剩余的信 息作为增强层。在m p e g 和h 2 6 3 术语中，前三种选择分别被称为时间、空间、s n r 可分级，最 后一种称为数据分割( d p ：d a t ap a r t i t i o n i n g ) 。 多描述编码：与l c 编码类似，多描述( m d c m u l t i p l ed e s c r i p t i o nc o d i n g ) 也将一个信源编 码成几个子流，称为描述子，但是这种分解的结果是描述子之间具有相关性并且有同等的重要性。 任何单独的描述子提供基本的视频质量，更多的描述子提供改善的质量。为了使每个描述子提供基 本的质量，所有的描述子必须共享一些基本的信源信息，因此它们之间是相关的l l 掩j 。这种相关性 使解码器能够从收到的描述子估计丢失的其它描述子，因此能由任何描述子得到可接受的视频质量。 另一方面，这种相关性来自于编码冗余。m d c 编码优于l c 编码的特点之一是不需要网络提供可 靠的子信道。 错误掩盖：基于解码端的错误掩盖是利用已有信息估计丢失的信息。在基于块的编码框架下， 需要估计两种信息：纹理信息和运动矢量信息。自然场景的图像主要含有大量的低频分量，也就是 说空间或时间上相邻像素的颜色值变化比较平坦，特别在边缘区域，因此估计纹理信息的技术就是 利用这种图像信号的平滑性，执行空间域或时间域上的插值。运动矢量m v ，在某种程度上基于 h 2 6 4 a v c 的视频容错技术研究上也具有这种平滑性，能够通过空间或时间的插值恢复。运动补偿 时间预测：一个简单且有效的掩盖方法是根据m v 复制参考帧中的对应宏块，恢复的效果很大程度 上取决于m v 的可用性。当m v 也丢失时，必须进行估计，并且为了减少估计误差，通常联合使用 时空预测。空间插值：另一种简单的方法是从周围正确解码的像素插值得到受损宏块的像素值1 2 2 1 。 还有一种方法是估计受损块的d c 系数，然后用这个常数去恢复块中的所有像素值。d c 系数能够 用相邻块的d c 系数的平均值估计或者用其临近像素的q 均值估计1 23 | 。编码模式和运动矢量的估 计：估计编码模式的一种方法是搜集临近宏块的编码模式信息，为损坏的宏块找出一种最可能的模 式1 3 0 】。对于m v 的估计，有几种简单的操作：a ) 假设丢失的m v 为零，这对于运动较小的视频序列 来说性能很好；b ) 使用前一帧对应块的m v ；c ) 使用空间上临近块的中间值；d ) 重新估计m v 【36 1 。研 究表明，后两种方法的效果较好。 编解码器交互的误码控制：当有一条反馈信道可用时，解码器能通知编码器哪一部分信息出现 传输错误，编码器能相应地调整其操作，以便减少或者消除传输错误带来的影响。下面是两种基于 反馈的编码方法1 2 4 - 2 7 1 ：参考帧选择( r p s ) ：假如编码器知道前一帧损坏的部分，它可以选择更早的 帧作为参考帧。这要求编解码器都存储多个解码帧。当参考帧相距不是特别远时，与直接使用i 帧 编码相比较，这种方法大大降低了位率和延迟的代价。实际上，编码器不需要等待前一帧信息的反 馈，它可以在得到损坏信息后选择一帧无错图像作为参考帧。比如：当编码器在编第n + d 帧时，才 2 第一章绪论 收到第n 帧损坏的信息，则解码器重建的1 3 + l 到n + d - 1 帧都有错，通过选择n l 帧作为n + d 的 参考帧，误差扩散将能被消除。显然，反馈延迟越大越长，编码效率的损失越大。基于反馈信息的 误差跟踪：编码器通过跟踪第n 帧损坏的区域对第n + l 到第n + d - 1 帧解码的影响，然后执行下面 的步骤之一：a ) 对第n + d 帧中将要用n + d - 1 中受损的区域预测的那些块，采用i n t r a 编码；b ) 不使 用第n + d - 1 帧中受损的区域做预测；c ) 第n + l 到第n + d - l 帧，做与解码器同样的错误掩盖，使编 码器的参考图像与解码器相同。前两种方法只需要知道受损像素区域的位置，第三种方法要求重复 解码器的操作，因此更为复杂。 差错控制技术的算法，在恢复效果与复杂度上面始终存在着矛盾。因此，找到一种复杂度较低， 差错控制效果较好的算法将是研究的重点。 3 东南大学硕士学位论文 1 3 论文主要研究内容及结构安排 1 3 1 主要研究内容 差错控制与视频的传输息息相关，不管是在信源编码或信道编码过程中，视频信息在网络上的 传输必然要用到差错控制技术，可见其应用范围之广泛。而对于无线传输这样的不可靠信道传输， 差错控制技术有着更大的应用价值。纵观视频传输差错控制技术的发展情况，我们可以看出差错控 制始终存在以下几个矛盾，即视频压缩去相关性与差错处理利用相关性之间的矛盾，差错控制算法 复杂度与有效性之间的矛盾，降低传输冗余与差错控制添加冗余之间的矛盾以及差错控制算法针对 性与传输差错随机性、视频内容可变性之间的矛盾等。因此，如何针对不同的网络环境和不同的视 频应用场合采用有效的差错控制手段，寻求以上矛盾中的平衡点才是视频传输差错控制研究得以实 用化的出发点。 本文研究的是视频传输中的差错控制技术，而视频流之所以容易受到信道噪声的影响，主要是 因为视频压缩编码造成的，因此本文首先对视频乐缩编码做了简要概述，着重介绍了h 2 6 4 与a v s 两种编码标准的框架技术。重点研究如何提高视频编解码器的差错控制性能，使得编解码器对信道 丢包有较强的抵抗和恢复能力。并在总结近几年的差错控制技术基础上，论文提出了一种新的基于 反馈信道的关键参考帧选择算法，并在解码器端采用了基于边界的时域错误隐藏算法。最后，修改 了a v s 测试软件r m 5 2 9 的编解码器，并结合实时实现的要求，编写丢包函数模拟网络丢包，进行 视频序列的仿真试验。 1 3 2 论文结构 第一章，绪论部分介绍了论文的研究背景以及意义。 第二章，首先简单介绍了视频压缩编码的基础知识。随后，重点介绍了h 2 6 4 与a v s 的编码框 架结构以及关键技术。最后简要的介绍了视频传输通信协议。 第三章，分别从编码器、解码器以及编解码器交互式角度，介绍了视频传输差错控制中的各类 错误隐藏技术。 第四章，在交互式差错控制技术中的参考帧选择( r p s ) 策略基础上，提出了一种基于反馈信 道的关键参考帧选择算法；然后介绍了图像边缘检测算子，并在解码器端提出了一种新的基于边缘 检测的时域运动矢量重新估计的错误隐藏算法。最后在a v s 平台上进行了仿真试验。 第五章，结论与展望。 1 3 3 论文试验环境 本论文以a v s 的参考软件r m 5 2 9 为测试平台，对q c i f ( 1 7 6 x 1 4 4 ) 格式的标准测试序列f o r e m a n 进行编解码，该测试序列为4 ：2 ：0 采样的y u v 文件。 4 第二章数字视频压缩编码标准 第二章数字视频压缩编码标准 2 1 视频压缩的基础知识 视频压缩( 视频编码) 是一个将数字视频序列压缩成尽量少比特的过程，它的首要目标就是压 缩数据量。压缩的过程涉及两个相互关联的完整系统，即压缩器( 编码器) 和解压缩器( 解码器) 。 其中压缩器是将原始视频数据转换成压缩的数据形式，以便于传输或存储，而解压缩器是将压缩过 的数据转换会原始视频数据的过程。如下图所示。 传输 或存储 图2 1 编码器和解码器 数据的压缩是通过去除冗余实现的。冗余可以看作在恢复数据时不必要的信息。很多类型的数 据都含有统计冗余，可以通过无损压缩的方法去除掉，无损压缩使解码端恢复的数据是编码端数据 的完整拷贝。但是，无损压缩效率并不高，只能在一定程度上去除图像和视频信号的冗余，目前的 压缩标准，也就能达到3 到4 倍的压缩效率。而有损压缩能够实现更高的压缩效率，有损压缩是基 于去除图像和视频中的主观冗余的原则，实现数据的进一步压缩。所谓的主观冗余指的是如果去掉 该信息，不会对观看者感受到的视觉质量造成明显影响的冗余。 视频是指时变的图示信息，也被称为“图像序列”，可以看作静止图像按一定顺序的排列，但它 不但涉及到信号的空间分布，而且还涉及到时间的变化。数字视频是对现实世界景象的一种表现形 式，由于现实世界的景象使在时间和空间上连续的，所以数字视频也是通过在时间上和空间上采样 来实现的。在时间上，相邻的视频帧之间常常会有很强的相关性，特别是当时域的采样频率很高的 时候，在空间上，相邻的像素也存在很强的相关性。大多数视频编码方法是通过同时减少时间和空 间上的冗余来实现的。 2 1 1 空间采样和时间采样 空间采样时对于一幅完整的图来说的，按照图像的水平和垂直两个方向采样，形成一个矩阵。 图像质量的好坏就在于采样数量的多少，在水平和垂直方向采样越多，图像越精确，同时，数据量 也越大。 快速的播放一系列连续的图像，就能够将图像中物体的运动特性表现出来，图像在时间上的连 续性就是时间采样。时间采样越高，则图像中物体的运动越平滑，同时需要采集和存储的数据也就 越多。通常，帧率低于l o 帧秒的视频图像适用于比特率非常低的视频通信，这种图像运动不平滑， 图像很不自然。低比特率视频通信典型的帧率是1 0 到2 0 帧秒，这种图像中物体的运动平滑了很多， 但是在非常快速运动的部分也可能不平滑。标准的电视图像的帧率是2 5 3 0 帧秒。5 0 6 0 帧秒的图 像中，物体的运动非常平滑，但是它是以很大的数据量作为代价的。 2 1 2 亮度和色度 现在我们现实的图像都是彩色的，所以我们需要一个机制能够显示出图像的颜色。对于黑白图 像的每个采样点，只需要一个表示亮度的量就可以了，而对于彩色图像的每个采样点则至少需要三 个分量来表示。 可以用分别表示红色r 、绿色g 和蓝色b 的三个数值来表示。其他的颜色都可以通过改变r 、 g 、b 三个分量的值形成三个独立的阵列。 另一种方法是用y c b c r 表示。人类的视觉系统对于亮度比色度更加敏感。用r g b 表示的时候， 这三种颜色是同等重要的，需要将三种颜色用同样的方法来存储起来，而实际上可以将亮度从彩色 5 东南大学硕士学位论文 信息中分离出来，用较多的信息来存储亮度，用较少的信息来存储色度，这种方法更为有效。y c b c r 通常又叫做y u v ，它是流行的表示彩色图像的方法。如果亮度用y 表示，色度用c b ，c r 表示，则 由大量试验得出 fy = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b c b = 0 5 6 4 ( b - ( 2 1 ) ic r = 0 7 13 ( 1 0 反之，可由下式得到相应的r 、g 、b ： fr = y + 1 。4 0 2 c r g = y 0 3 4 4 c b - 0 714 c r( 2 2 ) lb = y + i 7 7 2 c b 2 1 3 采样格式 下面几图是y 、c b 、c r 的采样格式 对于4 ：2 - 0 格式，c b 和c r 矩阵在水平和垂直方向的尺寸都只有y 矩阵的一半。亮度和色度 样本位置如图2 2 所示。 xxxxxxxx oooo xxxxxxxx x xxxxxxx o0oo xxxxxxxx xxxxxxxx ooo0 x x x xxxx x 图2 24 ：2 ：0 格式下亮度和色度样本位置 对于4 ：2 ：2 格式，c b 和c r 矩阵在水平方向的尺寸只有y 矩阵的一半，在垂直方向的尺寸则和y 相同。 亮度和色度样本位置如图2 3 所示。图中“x ”代表亮度样本，“o ”代表色度样本。 西x西x西x西x 西 x盘x厦x西 x 西x 西 x西 x 癌x 蜀x西x叠x西x 西x西x盈x叠 x 西x叠x西x蕊x 图2 34 ：2 ：2 格式下亮度和色度样本位置 对于4 ：4 ：4 格式，c b 和c r 矩阵在水平和垂直方向的尺寸都和y 矩阵一样。 亮度和色度样本位置如图2 4 所示。图中“x ”代表亮度样本，“o ”代表色度样本。“曩”亮度 和色度样本 6 第二章数字视频压缩编码标准 2 1 4 图象格式 图2 - 44 ：4 ：4 格式下亮度和色度样本位置 图象格式如下表2 1 所示，不同的采样格式有不同的应用。如4 c i f 和6 2 5 s d 的两种图象都适用 于标准清晰度的电视或d v d 。c i f 和q c i f 适用于视频会议，q c i f 和s q c i f 适用于可移动的多媒 体，1 0 8 0 h d 的图像则适用于高清电视机。 表2 1 图像格式 f o r m a tl u m i n a n c er e s o l u t i o nb i t sp e rf r a m e ( 4 ：2 ：0 ，8 b i t sp e rs a m p l e ) s u b q c i f 1 2 8 * 9 61 4 7 4 5 6 q u a r t e rc i f ( q c i f ) 1 7 6 * 1 4 43 0 4 1 2 8 c i f3 5 2 * 2 8 81 2 1 6 5 1 2 4 c i f7 0 4 * 5 7 64 8 6 6 0 4 8 6 2 5 s d7 2 0 * 5 7 64 9 7 6 6 4 0 1 0 8 0 h d1 9 2 0 * 1 0 8 82 5 0 6 7 5 2 0 2 2 视频压缩编码标准h 2 6 4 与a v s 2 2 1a 2 6 4 标准介绍 h 2 6 4 是由i s o i e c 与i t u t ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n 国际电信同盟) 组成的 联合视频组( j v t ) 锘t j 定的新一代视频压缩编码标准。事实上，h 2 6 4 标准的开展工作可以追溯到8 年 前。1 9 9 6 年制定h 2 6 3 标准后，i t u t 的视频编码专家组( v c e g ) 开始了两个方面的研究：一个是短 期研究计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与h 2 6 3 + + ) ：另一个是长期研究计划，制 定一种新标准以支持低码率的视频通信。长期研究计划产生了h 2 6 l 标准草案，在压缩效率方面与 先期的i t u t 视频压缩标准相比，具有明显的优越性。2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜 在的优势，随后i s o 与i t u 开始组建包括来自i s o i e cm p e g 与i t u tv c e g 的联合视频组( j v t ) ， t 的主要任务就是将h 2 6 l 草案发展为一个国际性标准。于是，在i s o i e c 中该标准命名为 a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g - 4 标准的第1 0 个选项：在i t u t 中正式命名为h 2 6 4 标准。 新技术带来了较高的压缩比，同时大大提高了算法的复杂度。与m p e g - 4 标准类似，h 2 6 4 标 准【1 】为了适应不同的应用需求定义了3 个档次( p r o f i l e ) ：b a s e l i n e ( 基本档次) ，m a i n ( 主要档次) ， e x t e n d e d ( 扩展档次) ，每一个档次支持一组特定的编码功能。 基本档次：利用i 片和p 片支持帧内和帧间编码，支持利用基于上下文的自适应的变长编码进 行的熵编码( c a v l c ) 。主要用于可视电话、会议电视、无线通信等实时视频通信。 主要档次：支持隔行视频，采用b p i a n 的帧间编码和采用加权预测的帧内编码；支持利用基于 上下文的自适应的算术编码( c a b a c ) 。主要用于数字j “播电视与数字视频存储。 扩展档次：支持码留指尖有效的切换( s p 和s l 片) 、改进误码性能( 数据分割) ，但不支持隔 行视频和c a b a c ，主要应用于流媒体中。 在h 2 6 4 标准中，图像压缩的原理是利用图像中的空间相关性以及时间相关性。一帧图像内的 任何一个场景都是由若干像素点构成的，因此一个像素通常与它周围的某些像素在亮度和色度上存 7 东南大学硕上学位论文 在一定的关系，这种关系就是空间相关性；一个节目中的一个情节常常由若干个连续图像组成的图 像序列构成，一个图像序列中前后两帧图像间也存在一定的关系，这种关系就是时间相关性。这两 种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信息去除，只保留少量非相关信 息进行传输，就可以大量地节省传输频带。而接收机利用这些非相关信息，按照一定的解码算法， 可以在保证一定的图像质量的前提下恢复原始图像。一个好的压缩编码方案就是能够最大限度地去 除图像中的冗余信息。 h 2 6 4 标准中的编码图像分为三类，分别称为i 帧、p 帧和b 帧图像。i 帧图像采用帧内编码方 式，即只利用图像内的空间相关性。i 帧图像主要用于接收机的初始化和信道的获取，以及节目的切 换和插入。i 帧图像的压缩倍数相对较低，是周期性地出现在视频图像序列中，出现的频率可由编码 器选择。 p 帧和b 帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。p 帧图像只采用前 向预测，可以提高压缩效率。b 帧图像采用双向预测，压缩效率更大。由于b 帧图像采用了未来的 帧图像作为参考，因此h 2 6 4 编码的码流中图像帧的传输顺序和显示顺序是不同的。 h 2 6 4 编码的码流分为六个层次，见图2 5 。从上至下依次为：视频序列层( s e q u e n c e ) ，图像组 层( g o p ：g r o u po f p i c t u r e ) ，图像层( p i c t u r e ) ，像条层( s l i c e ) ，宏块层( m a c r o b l o c k ) $ 块j 丢( b l o c k ) 。 视频序列指构成某路节目的图像序列，序列起始码后的序列头中包含了图像尺寸，宽高比，图 像速率等信息。序列扩展中包含了一些附加数据。为保证能随时进入图像序列，序列头信息是重复 发送的。 视频序列层下一层是图像组层，个图像组由相互间有预测和生成关系的一组i 、p 、b 帧图像 构成，但在一个图像组中第一帧图像总是i 帧图像。 图像层中的图像分为i 帧、p 帧、b 帧图像三类。图像头中包含了图像编码的类型和时间参考信 息。 图像层下一层是条带层，一个条带包括一定数量的宏块，其顺序与扫描顺序一致。条带层之下 是宏块层。h 2 6 4 中定义了三种宏块结构：4 ：2 ：0 宏块、4 ：2 ：2 宏块和4 ：4 ：4 宏块，分别见图2 - 6 ，图 2 7 ，图2 8 。它们分别代表构成一个宏块的亮度像块和色度像块的数量关系。 4 ：2 ：0 宏块中包含四个亮度像块，一个c b 色度像块和一个c r 色度像块；4 ：2 ：2 宏块中包含四个 亮度像块，二个c b 色度像块和二个c r 色度像块；4 ：4 ：4 宏块中包含四个亮度像块，四个c b 色度像 块和四个c r 色度像块。这三种宏块结构实际上对应于三种亮度和色度的抽样方式。 i基本参数i 帧b 帧 i 基本参数l 片 l i m 片l i i 基本参数 i 宏块 n 宏块 图2 - 5 h 2 6 4 编码的码流中的六个层次 8 视频序列层 图像组层 图像层 条带层 宏块层 第二章数字视频压缩编码标准 0 l 口口 ol45 232367 yc bc r 图2 - 64 ：2 ：0 宏块结构 0l 23 48 6 1 0 yc b c r 图2 74 ；2 - 2 宏块结构 5 9 71 1 y c bc r 图2 84 ：4 ：4 宏块结构 在帧内编码的情况下，编码图像直接经过d c t 变换、量化和熵编码生成编码比特流，而不需要 参考其它帧图像进行预测处理。 在帧间编码的情况下，原始图像首先与帧存储器中的临时重建图像进行比较，计算出运动矢量， 由此运动矢量和参考帧生成原始图像的预测图像。然后，将由原始图像与预测图像所生成的残差图 像数据进行d c t 变换、量化和熵编码生成输出的编码比特流。 下图所示的是一个简化的h 2 6 4 的编码过程。 图2 - 9 简化的h ，2 6 4 视频编码器 1 、 帧内预测 视频编码通过去除图像的空间与时间相关性来达到压缩的目的。空间相关性通过有效的变换来 去除，如d c t 变换、h 2 6 4 的整数变换；时间相关性则通过帧间预测去除。这里所说的变换去除空间 相关性，仅仅局限在所变换的块内，如8 x 8 或者4 x 4 ，并没有块与块之间的处理。h 2 6 4 在空域中， 利用当前块的相邻像素直接对每个系数做预测，更有效地去除相临块之间的相关性，极大地提高了 帧内编码的效率。h 2 6 4 基本部分的帧内预测包括9 种4 x 4 亮度块的预测、4 种1 6 x 1 6 亮度块的预测 和4 种色度块的预测。 2 、变换编码 以前的标准，如h 2 6 3 或m p e g 一4 ，都是采用