（信号与信息处理专业论文）avs视频标准解码端错误掩盖技术的研究.pdf

摘要 摘要 随着多媒体通信技术的广泛运用，视频通信已经成为生活中不可缺少的部 分，视频图像的质量因此日渐受到重视。然而在视频信号的实际传输过程中，由 于信道的物理缺陷，不可避免的会出现数据包的随机错误和丢失现象，导致视频 图像质量的严重下降。差错控制技术对随机错误和丢包现象能够有效的预防和恢 复，保证视频图像的质量。 a v s 作为我国自主知识产权的视频标准，在压缩编码效率和视频图像质量方 面均与国际标准h 2 6 4 处于同等技术水平，而且专利授权模式简单，专利费用低。 由于起步比较晚，只采用了简单的差错控制策略。因此，对于a v s 差错控制技术 的研究具有重要的意义。本文基于a v s 视频标准研究了解码端的错误掩盖技术， 结合a v s 软件参考模型，对现有的错误掩盖算法进行改进，仿真和比较。具体而 言，包含以下三方面内容： 1 空域错误掩盖算法。对现有的空域错误掩盖算法，双线性插值法和方向插值法 作了详细的介绍和分析，在此基础上，提出了自适应空域错误掩盖算法，结合 a v s 参考模型，进行了算法的仿真和比较。 2 时域错误掩盖算法。本文选用了零矢量法、边界匹配算法和边框匹配算法作分 析和对比，根据各个算法的优缺点提出了改进的时域错误掩盖算法。该算法采 用了加权的边框匹配，并作方向性菱形搜索，以更加精确的匹配出丢失宏块的 运动矢量。通过实验仿真和比较，改进的时域错误掩盖算法取得了主观和客观 上的改善。 3 空域和时域综合错误掩盖算法。基于时域和空域掩盖算法提出了时空域综合掩 盖算法，针对不同的帧采用不同的算法，对帧内编码图像，采用了自适应空域 错误掩盖算法，对帧间编码图像采用改进的时域掩盖算法。将本文算法和j m 模型中的解码端时空域错误掩盖算法进行仿真比较，本文算法在主观和客观评 价标准方面都取得了明显的改善。 关键词：错误掩盖，a v s ，空域，时域，综合掩盖 a bs t r a c t w i t ht h ee x t e n s i v eu s eo fm u l t i m e d i ac o m m u n i c a t i o nt e c h n o l o g y , t h ev i d e o c o m m u n i c a t i o nh a sb e c o m ea ni n d i s p e n s a b l ep a r to fo u rd a i l yl i f ea n dp e o p l eh a v e t a k e nt h eq u a l i t yo fv i d e os e r v i c ei n t oa c c o u n t h o w e v e r , i nt h ea c t u a lp r o c e s so fv i d e o s i g n a lt r a n s m i s s i o n ，t h e l o s sa n dd a m a g eo fd a t ap a c k e ta r ei n e v i t a b l ed u et ot h e p h y s i c a ld e f e c t so ft h ec h a n n e l ，w h i c hl e a dt oas e r i o u sd e c l i n ei nt h eq u a l i t yo ft h e v i d e os t r e a m t h ee r r o rr e s i l i e n ta n de r r o rc o n c e a l m e n tt e c h n o l o g yi sa ne f f e c t i v ew a y t op r o v i d ep r o t e c t i o na n dr e c o v e r yf o r t h ep a c k e t sa n de n s u r et h eq u a l i t yo fv i d e oi m a g e 仃a n s m i s s i o n a sas t a n d a r dw i t ho u ro w ni n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i 啦s ，a v sv i d e o c o d i n gs t a n d a r da l m o s th a st h es a m ec o d i n ge f f i c i e n c ya n dv i d e oq u a l i t ya st h ec u r r e n t i n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r dh 2 6 4 i na d d i t i o n ，a v sv i d e oc o d i n gs t a n d a r di s f r e ef r o mm a n yk i n d so fp a t e n tf e e sa n dh a ss i m p l ep a t e n tl i c e n s i n gm o d e l a n df o ri t s l a t es t a r t ，a v so n l yu s e sas i m p l ee r r o rc o n t r o ls t r a t e g y s o ，t h es t u d yo ft h ee r r o r r e s i l i e n ta n de r r o rc o n c e a l m e n tb a s e do na v sc o d i n gs t a n d a r di so fg r e a ts i g n i f i c a n c e c o m b i n e dw i t ht h ea v so f f i c i a ls o f t w a r er e f e r e n c em o d e l ，t h i sd i s s e r t a t i o ni sf o c u s e d o nt h ee r r o rc o n c e a l m e n tm e t h o do nt h ed e c o d i n gs i d eb a s e do nt h ea v sv i d e oc o d i n g s t a n d a r da n dh a sd o n e s o m er e s e a r c h e so nt h ea l g o r i t h mi m p r o v e m e n t ，c o m p a r i s o na n d s i m u l a t i o n i np a r t i c u l a r , i tc o n t a i n st h ef o l l o w i n gt h r e ea s p e c t s ： 1 s p a t i a le r r o rc o n c e a l m e n ta l g o r i t h m b a s e do nt h ee x i s t i n gs p a t i a le r r o rc o n c e a l m e n t t e c h n o l o g i e s ，s u c h a sb i l i n e a ri n t e r p o l a t i o na l g o r i t h ma n dd i r e c t i o n a li n t e r p o l a t i o n a l g o r i t h m ，t h i sd i s s e r t a t i o n h a sp r o p o s e das e l f - a d a p t i v es p a t i a le r r o rc o n c e a l m e n t a l g o r i t h m b yc o m p a r i n ga n de v a l u a t i n gt h e s ea l g o r i t h m si na v s s o f t w a r er e f e r e n c e m o d e l ，t h es e l f - a d a p t i v ea l g o r i t h mh a sab e t t e rr e s u l t 2 t e m p o r a le r r o rc o n c e a l m e n ta l g o r i t h m t h i sd i s s e r t a t i o nh a sc h o s e nt h r e ee x i s t i n g a l g o r i t h m sf o rc o m p a r i n ga n da n a l y z i n g ，s u c ha sz e r om o t i o nv e c t o ra l g o r i t h m ，s i d e m a t c h i n ga l g o r i t h ma n db o u n d a r ym a t c h i n ga l g o r i t h m c o n s i d e r i n gt h ea d v a n t a g e sa n d d i s a d v a n t a g e so ft h e s ee x i s t i n ga l g o r i t h m s ，t h i sd i s s e r t a t i o nh a sp r o p o s e da ni m p r o v e d a l g o r i t h m t h ei m p r o v e da l g o r i t h mh a st a k e nt h em u l t i w e i g h t e db o u n d a r ym a t c h i n g i i a b s t r a c t t e c h n o l o g ya n dd i r e c t i o nd i a m o n ds e a r c hp a t t e r nf o rm o r ep r e c i s es e a r c h f r o mt h e r e c o v e r yr e s u l t ，t h ei m p r o v e da l g o r i t h mh a sa c h i e v e do u r p r o s p e c t i v eg o a l 3 b a s e do nt h es p a t i a la n dt e m p o r a la l g o r i t h m s ，t h i sd i s s e r t a t i o nh a s p r o p o s e da ne r r o r c o n c e a l m e n ta l g o r i t h mf o ra v sv i d e oc o d i n gs t a n d a r d a c c o r d i n gt ot h ef r a m et y p e ，t h i s a l g o r i t h mt a k e sd i f f e r e n ta l g o r i t h mb e t w e e nt h es p a t i a lm e t h o da n dt e m p o r a lm e t h o d b ye v a l u a t i n ga n dc o m p a r i n gw i t ht h ea l g o r i t h mf r o mh 2 6 4s o f t w a r er e f e r e n c em o d e l j m ，o u ra l g o r i t h mh a sf u r t h e ri m p r o v e dt h eq u a l i t yo ft h ev i d e os e q u e n c e s k e yw o r d s ：a v s ，e r r o rc o n c e a l m e n t ，e r r o rr e s i l i e n t ，s p a t i a l ，t e m p o r a l i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：毯已一孽一日期：j f 。年罗月彦日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：璋导师签名： 日期：沙f 第一章绪论 1 1 引言 第一章绪论 近些年来，随着多媒体技术、通信技术和电子技术的快速发展，人们对视频 技术越来越关注，特别是网络技术的广泛运用，使得视频成为了人们不可分离的 一部分，视频技术经历了几十年的发展，取得了京人的突破，并运用到了各个领 域。p t v 、高清h d t v 、商务视频会议系统等一系列新兴视频应用，对视频压缩 技术提出了更高的要求。因此，高效的压缩性和稳定的传输性必然将成为新一代 视频压缩算法的发展目标。 视频信息能被压缩的关键在于视频信号中存在大量的冗余信息。这些冗余主 要体现在三个方面：一是空间相关性，即在同一帧图像中，某像素和它周围像素 具有相似的亮度、色度的概率较大，利用空间相关性可以有效的减少数据的长度； 二是时间相关性，即同一视频序列中，相邻帧图像间的内容具有非常大的相似性， 视频编码技术帧间预测能够有效的消除时间冗余；三是统计相关性，即在去除空 间和时间相关性的视频表示中，各种数据组合的相关性。视频编码的目的就是去 除这些冗余，高效的传输视频信息。 图1 1 视频编码系统 视频编码方法与可采用的信源模型有关。如果采用“一幅图像由许多像素构成” 的信源模型，这种信源模型的参数就是每个像素的亮度和色度的幅度值。对这些 参数进行压缩编码技术称为基于波形的编码。如果采用一个分量有几个物体构的 电子科技大学硕士学位论文 信源模型，这种信源模型的参数就是各个物体的形状、纹理和运动。对这些参数 进行压缩编码的技术被称为基于内容的编码。 由此可见，根据采用信源模型，视频编码可以分为两大类，基于波形的编码 和基于内容的编码。它们利用不同的压缩编码方法，得到相应的量化前的参数； 再对这些参数进行量化，用二进制码表示其量化值；最后，进行无损熵编码进一 步提高码率。解码则为编码的逆过程。 从第一代视频压缩技术的出现到今天，视频压缩技术走过了六十多年艰辛历 程，最早的视频压缩技术是以香农信息理论”均基础，去除视频图像中的冗余信息。 到上世纪8 0 年代中期，很多高效的压缩技术蓬勃发展。随着视频压缩技术的不断 成熟，视频压缩标准也日渐国际化，当今制定视频标准的两大组织，国际电信联 盟( i t u ) 和国际标准化组织( i s o ) 都发布了自己的视频压缩标准，分别针对于 不同的运用场合， ：e ) 二_ 工= 3 | l ：) 蓟点造 ! ：煎：i 二簋j i q 9 2 0 ) n q 9 7i 9 ：f ) m 0 ，：l 。” i 晰蹦 圈1 2 视频编6 b 标准发展历程 i t u 于1 9 9 3 年发布了h2 6 1 标准鸭主要针对于可视电话和视频会议：1 9 9 8 年发布了面向甚低码率视频运用的h2 6 3 标准p 1 1 4 1 ，并进行了后续的补充工作，提 高了编码效率，增强了编码的功能。1 s o 运动图像专家组( m p e g ) 则制定了m p e g 系列视频编码标准，于1 9 9 2 年1 1 月正式发布了m p e g - 1 标准【5 】，用于数据率在 15 m b i f f s 以下的图像编码：1 9 9 5 年发布了m p e g 一2 标准 6 】，在数字电视广播方面 取得了广泛的应用：为了适应极低码率的运用，并要求具有良好的交互性，m p e g 于1 9 9 9 年发布了m p e g - 4 标准8 ，井在此标准中引入了错误恢复等工具。】t u 和i s o 于2 0 0 1 年成立了j ( j o i n t v i d e o t e a m ) 工作组，致力于共同研究并制定 新的视频标准。终于在2 0 0 3 年联合提出了h2 6 4 a v c 标准【，i s o 把它作为 m p e g - 4 的第十部分“先进视频编码”( a d v a n c e dv i d e oc o d i n g ) 在u t 中的 第一章绪论 正式名称为h 2 6 4 标准。h 2 6 4 编码标准的出现标志着视频压缩技术达到了一个新 的高度。 我国的视频技术起步比较晚，但也在积极的制定具有自主知识产权的音视频编 码标准。2 0 0 2 年，“数字音视频编解码技术标准工作组 由信息产业部成立，工 作组在“8 6 3 ”等科技计划的支持下，联合国内从事数字音视频编解码技术研发的 企业和科研机构，提出了我国自主知识产权的数字音视频编解码技术标准 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 【1 3 】。a v s 关键技术将在第二章作详细的介绍。 1 2 视频质量评价标准 对于视频质量的含义，可以从两个方面去考虑：一是视频图像的逼真度，即 被评价的图像与原标准图像的偏离程度；二是视频图像的可懂度，也就是视频图 像向人或者机器提供信息的能力。尽管最理想的评价标准是能够找出逼真度和可 懂度的定量的评价方法。但是在实际中由于人的心理因素或者视觉系统都没有定 量的描述，所以对于视频质量的评价并没有定性的准则，常规的评价方法包含主 观评价和客观评价两类。通常情况下采用的是主观评价，在一些特定的应用背景 中采用客观评价标准。 1 2 1 主观评价标准 主观评价标准指的是通过人在给定的观察条件下观察视频，根据视频图像的 优劣性作出主观评定，然后对评分进行统计平均，得到最终的评价结果。但是， 主观评价标准容易受到评价观察者心理情绪、实验环境和视频内容的影响，存在 一定的不确定性。国际上现在广泛使用的是双刺连续质量标度( d s c q s ，d o u b l e s t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ) 测试系统。整个测试过程中，评委随机的对原 始图片a 或者编码图片b 进行评判打分，最后将评判分数加权评价作为最终结果。 图1 3d s c q s 测试系统 3 电子科技大学硕士学位论文 1 2 2 客观评价标准 主观的视频质量评分更接近人的真实视觉感受，但需耗费人力和时间，成本 较高。客观质量的测定方法速度快、易实行，但往往不会太符合人眼的视觉感受， 只能说大体上的质量。客观质量测定方法应致力于改进其测试标准和测试方法， 使其符合人的视觉感受。人们在视频质量的客观评价准则发展过程中逐步提出了 一些简单且能用某些算法实现的视频质量客观评价准则【1 4 】【15 1 。最常用到的两类评 价准则为均方误差( m s e ，m e a ns q u a r ee r r o r ) 法和峰值信噪比( p s n r ，p e a ks i g n a l t on o i s er a t i o ) 法等。对于以上评价准则，视频图像质量的度量完全取决于输入和 输出视频的亮度分量和色度分量，由具体的亮度值和色度值来计算，因此不需要 观察者进行评分，不会涉及任何在质量评定过程中人为主观因素。m s e 的定义为： m s e = 击 s ( z ，) 一c ( f ，明2 ( 1 - 1 ) z 矿v 玎厶一厶一l 、。， 、。，j 、 其中，形和日分别为视频图像的宽度和高度，s 和c 分别代表原始图像及解码 重建图像在点( i ，1 处的亮度值或者色度值。峰值鲭噪比p s n r 的定义为： 栅：1 0 1 9 丝 ( 1 - 2 ) 。m s e 、 从上述公式中可以得出结论，如果峰值给定，p s n r 的值则完全由m s e 的值 决定。在实际的应用中人们更倾向于将视频图像质量与某种p s n r 范围相联系，因 此相对于m s e 而言以分贝d b 为单位的p s n r 更经常用于视频质量的客观评价中。 上述方法比较直观，计算相对简单，但这种定量的逼真度描述和主观评价之间并 没有取得真正的一致性，除非对于已经达到一定显示精度、抽样比特、显示帧频 等的图像。多数情况下，逼真度的测量往往与实际观察效果不一致。这时采用的 就可能是多种评价方法和测量参数，有时甚至还要加上对画面的动感评价等。 本文中对于实验结果的序列都是采用的p s n r 值作为客观评价标准，并对测试 序列进行主观对比，通过主观和客观评价来分析错误掩盖算法的性能。 1 3 课题背景 高效率的数据压缩性能，低失真的图像视频压缩效果是当今各种视频编码技术 4 第一章绪论 和编码标准所追求的共同目标。因为高效率的视频压缩编码，对于视频存储来说， 相同容量的存储器可以存储更多的视频信息；对于视频通信来说，相同带宽的信 道可以传输更高质量的视频信息。另一方面，高效率的视频压缩编码，意味着去 除了视频图像大量的空间相关性和时间相关性，使得编码端输出比特流的冗余信 息更少，因而造成了视频码流对传输中产生差错非常敏感。一旦传输中出现误码， 不仅影响该误码数据的恢复，还会影响与之相关的其他数据的恢复，造成误码扩 散，影响视频重建质量，严重的情况下解码器会中断码流的解码。因此，对于高 性能的视频通信系统，考察视频编码技术性能除了编码效率之外，还有一个非常 重要的指标是视频通信中的抗误码性能，或者说视频传输的鲁棒性。然而误码是 不可避免的，只能通过差错控制技术进行尽量的预防和补救。随着视频的广泛运 用，差错控制技术将在视频编码技术中扮演着更加重要的角色，因此，差错控制 技术的研究具有重要的理论和实际意义。本文第二章将详细介绍差错控制技术的 分类和方法。错误掩盖技术作为差错控制技术的一个分类，将是本文的重点研究 对象。现有的a v s 软件参考模型中尚未加入解码端的错误掩盖技术，本文的研究 工作对a v s 视频标准在解码端错误掩盖技术的发展能起到一定的作用意义。 1 4 国内外研究现状 视频数据在传输的过程中不可避免的会发生误码或者是丢包现象。视频传输 中的误码通常包含两类，一类是随机比特错误，比如比特跳转、删除、插入等， 这是由于信道的物理缺陷产生。另一类是突发错误，集中或连续的突发产生错误， 比如网络中数据包的丢失。而目前的视频压缩编码标准对信息的处理都采用了帧 间预测和变长编码的方式，压缩后的视频对传输错误十分敏感，码流的任何一位 的错误都可能导致大批码元无法正确解码，同时错误的图像还会扩散影响后续帧。 因此差错控制技术成为了视频编码技术中的热点问题。随着国内外视频技术工作 者在差错控制技术方面的研究，产生了很多差错控制的方法，从最早期的以空域， 时域和频域为基础，到后来以模板匹配为基础以及以编码数据分类和分类嵌入处 理等思想为基础实现差错控制。现有的差错控制技术主要分为以下四类： 1信道编码差错控制 信道编码差错控制也可以称为传输层差错控制，就是在信道编码过程中，加 入纠错码进行编码，以此来实现差错的检测和纠正。常用的编码方法有前向纠错 5 电子科技大学硕士学位论文 编码( f e c ，f o r w a r de r r o rc o r r e c t i o n ) 。 2编码端差错控制 编码端的差错控制主要是面向预防的方式，采用的编码包括分级编码、多重 描述编码f 1 6 】f 17 1 ( m d c m u l t i p l ed e s c r i p t i o nc o d i n g ) 、可靠性熵编码、反向变长编 码【1 8 】【1 9 1 ( r v l c ，r e v e r s i b l ev a r i a b l e l e n g t hc o d e ) 、限制区域预测【2 0 】、多假设预测 编码【2 l 】【2 2 1 。 3解码端差错控制 解码端主要是进行错误的掩盖工作，利用时间和空间相关性恢复错误数据。 包括了差错检钡, t j t 2 3 1 ，空域、时域、频域的错误掩盖。 4交互式差错控制 编码器和解码器之间建立一个反馈通道，通过解码器端的反馈信息，编码端 作出相应的措施，调整编码工作，从而抑制或者消除差错带来的影响。典型的方 法有自动申请重传a r q 、差错跟踪【2 4 】、参考帧选择【2 5 】【2 6 】【2 7 3 等。 现有国际视频标准中也加入了上述各种差错控制技术，m p e g 4 采用了插入重 同步标志技术、数据分割、数据恢复、可逆变长编码等。h 2 6 3 + h 2 6 3 + + 也采用了 诸多差错控制策略，包括：使用b c h 前向纠错技术、使用分片结构模式的灵活重 同步标志插入技术、参考帧选择模式、分级编码模式、独立分段解码模式、数据 分割和r v l c 等。h 2 6 4 提供了帧内图像、帧间图像、b 帧和s p 帧的误码掩盖、 使用多参考帧预测运动矢量等。我国视频标准a v s 中，差错控制技术还没有深入 的运用，只是采用简单的条带划分机制，因此容错性能要低于很多国际标准，但 a v s 正在不断的完善和发展，相信各种差错控制技术也将逐渐运用到其中。 1 5 本文主要工作及内容安排 1 5 1 本文主要工作 本文首先分析了视频技术中的差错控制技术，对于差错控制技术中解码端的 错误掩盖技术进行了系统的研究，从空域和时域上详细理解了错误掩盖的系统流 程以及各种错误掩盖算法。并分别将空域和时域上的错误掩盖算法运用到我国自 主视频标准a v s 中。通过算法仿真结果的对比，分析各种算法的性能，并对算法 提出改进和优化。最后通过空域和时域的结合，提出一种综合算法，并在a v s 平 6 第一章绪论 台下进行错误掩盖仿真。通过反复的实验以及与j m 经典掩盖算法的比较，证实了 本文算法在主观评价标准和客观评价标准上的改进，达到了预期目的。 1 。5 2 本文内容安排 本文划分为六个章节，具体结构安排如下： 第一章为绪论，介绍了视频基本知识、课题背景、差错控制技术国内外研究 现状和本文的内容安排。 第二章介绍了我国自主视频标准a v s 及其关键技术和差错控制技术的详细分 类、方法。 第三章介绍空域错误掩盖算法，包括双线性插值算法和方向插值算法，然后 在此基础上提出了自适应空域错误掩盖算法r 最后对空域掩盖算法在a v s 平台下 进行仿真，对比。 第四章针对时域错误掩盖技术进行研究，对零运动矢量算法、边界匹配算法 和边框匹配算法进行分析，提出改进的时域掩盖算法。对以上各种时域错误掩盖 算法进行实验分析和比较。 第五章在前面两章的基础上，提出了空域和时域相结合的综合算法，并与j m 经典错误掩盖算法进行实验对比，对算法的结果进行主观和客观评判。 第六章是全文的总结和展望。主要对本文工作作出总结以及对错误掩盖的下 一步工作进行展望。 7 电子科技大学硕士学位论文 第二章a v s 视频标准与差错控制技术介绍 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 标准是信息技术先进音视频编码系 列标准的简称，a v s 标准包括系统、视频、音频、数字版权管理等四个主要技术 标准和一致性测试等支撑标准。a v s 标准由我国数字音视频编解码技术工作组( 简 称a v s 工作组) 制订，主要任务是面向我国的信息产业需求，制订数字音视频的 压缩、解压缩、处理和表示等共性技术指标。a v s 标准中，涉及视频编解码的有 两个独立的部分：一个是a v s 第二部分( a v s l p 2 ) ，主要针对高清晰度数字电视 广播和高密度存储媒体应用；另一个是a v s 第七部分( a 、厂s 1 p 7 ) ，主要针对低码 率、低复杂度、低图像分辨率的移动媒体应用，因此也称之为a v s m 2 8 】。 2 1a v s 视频标准 2 1 1a v s 系统结构及原理 a v s 标准采用了一系列技术来达到高效率的视频编码，编码系统框架与h 2 6 4 系统框架类似，都是基于宏块的混合编码方式2 9 1 ，如下图所示。编码系统主要包 括帧内预测、亚像素插值、帧间预测、变换、量化和环路滤波技术、熵编码技术 等。 f n 弋厂、d 生 x 延 当前 叶 t啼 q l重排序 f n 1 一 - - _ _ _ - _ _ _ _ _ - _ _ - - - _ _ _ 一_ _ _ _ _ _ _ _ _ _ _ _ _ - - - _ 一 参考 遵弘阜内 ，p 1 、t f 。 _ 一 滤 。 j ip 、竺n，t - _ _q 。1卜一 i 重建波 、 u pv 卜 图2 1a v s 编码框图 帧间预测使用基于块的运动矢量来消除图像间的冗余，需要参考先前已解码 第二章a v s 视频标准与差错控制技术介绍 的图像，解码的顺序可与编码器中源图像捕获处理的顺序或从解码器输出用于显 示的顺序不同。帧间预测中运动矢量的精度能达到1 4 像素，运动矢量采用预测编 码；帧内预测使用空间预测模式来消除图像内的冗余，因此不需要参考其它图像， 而且采用帧内预测编码的图像可作为编码后序列的随机访问点。再通过对预测残 差进行8 8 整数变换和量化消除图像内的视觉冗余。环路滤波技术消除块效应， 改善重建图像的质量。最后，运动矢量、预测模式、量化参数和变换系数用自适 应变长编码技术进行熵编码压缩。 a v s 解码系统为编码系统的逆过程，解码器读到的码流先经过熵编码解码和 重排序得到对应的数据，再经过反量化、反变换得到残差，利用从该比特流中解 码出的头信息，解码器就产生一个预测块，它和编码器中的原始预测块是相同的。 当该解码器产生的预测块与残差相加后，再通过滤波过程最终得到解码帧。可以 看出，从反量化的过程开始，与编码端的重构过程是一样的，因此，如果信道传 输过程中没有错误或者在其纠错范围内，编解码两端得到的图像也是样的。 2 1 2a v s 码流数据结构 图2 2 a v s 解码框图 a v s 视频标准【1 3 】根据业务的需要，同样定义了档次( p r o f i l e ) 和级别( 1 e v e l ) 。 目前，a v s 视频标准定义了一个基准档次和该档次下的四个级别，分别是用于标 准清晰图像的4 o ( 4 ：2 ：0 ) a n4 2 ( 4 ：2 ：2 ) 级别以及用于高清晰图像的6 0 ( 4 ：2 ：0 ) 和6 2 ( 4 ：2 ：2 ) 级别。 2 1 2 1 视频序列、图像、条带 a v s 的视频基本流共分为五层，从上到下依次为视频序列层、图像层( 帧层) 、 条带层、宏块层、块层。如图2 3 所示，视频序列是比特流的最高层语法结构。视 频序列由序列头开始，包含了视频序列档次、级别、帧率、图像的大小和格式等 9 电子科技大学硕士学位论文 信息，然后是扩展信息和用户数据等，最后跟着一个或多个编码图像。每幅图像 就是一帧图像，其编码数据由图像起始码开始，到序列起始码、序列结束码或图 像起始码结柬，每帧图像之前应有图像头，图像头存储了图像的结构、量化参数、 固定量化因子以及滤波参数等。编码图像在比特流中按比特流顺序排列，比特流 顺序应与解码顺序相同。解码顺序可与显示顺序不相同。序列结束码表明了一个 视频序列的结束。 嚣簇警翟高器一2 “一。l m 图像层。f f i 。i 9 。：；? ；i ：。： 条带层髫 毒未j 蕊筹z 宏块屋i 是。瓢 块崖 图2 - 3 a v s 基本流结构图 视频序列头由视频序列起始码开始，后面跟着一串编码图像数据。序列头可 在比特流中重复出现，称为重复序列头。使用重复序列头的主要目的是支持对视 频序列的随机访问。序列头后的第一个编码图像应是i 帧。在对比特流进行编辑或 随机访问的情况下，重复序列头之前的全部数据可被丢弃，这样得到的一个新的 比特流仍然符合本标准。 a v s 视频标准规定了两种不同的序列，逐行序列和隔行序列。龋行扫描帧图 像由两场组成，每场又由若干行组成，奇数行和偶数行各构成一场，分别称为顶 场和底场，如圈2 _ 4 所示。帧场的邻近行相关性并不相同。帧的邻近行空间相关性 强，时间相关性弱，因为某行的邻近行( 下一行) 要一场扫描完才能被扫描，在 第二章a v s 视频标准与差错控制技术介绍 压缩静止图像或运动量不大的图像时采用帧编码方式。场的邻近行时间相关性强， 空间相关性差，因为场的一行扫描完毕，接着对场中下一行扫描。因此对运动量 大的图像常采用场编码方式。在比特流中，隔行扫描图像的两场的编码数据可依 次出现，岜可交织出现。两场数据的解码和显示顺序在图像头中规定。 t 二二二二二二二二 图2 q a v s 场结构周 解码器的输出是一系列帧，两帧之间存在着一个帧时间间隔。对隔行序列而 言，每帻图像的两场之间存在着一个场时间间隔。对逐行序列而言，每帧图像的 两场之间时间间隔为0 。 帧由三个样本矩阵构成，包括一个亮度样本矩阵( y ) 和两个色度样本矩阵( c o 和c r ) 。样本矩阵元素的值为整数。y ，c b 和c r 三个分量与原始的( 模拟) 红、 绿和蓝色信号( r ，g ，b ) 之间的关系，包括原始信号的色度和转移特性等可在 比特流巾定义，这些信息不影响解码过程。 ；j ；二；。 曲j 谗1噜强珞o )。?|c， 噜。q 。4 啼诤 譬? 三。j 。 quq 。 q qq q 要，一，一 q 。q 。 、 。一 。、。 ，强。q “ 卜r ? ( -： _ = _ _ e 。 ! 一 co ( _ = ，- 图2 - 5 a v s 图像格式 对于4 2 ：o 格式，c b 和c r 矩阵水平和垂直方向的尺寸都只有y 矩阵的一半。 对于4 ：2 ：2 格式，这时彩色分量和亮度分量具有同样的垂直清晰度，但水平 清晰度彩色分量是亮度分量的一半。水平方向上，每4 个亮度像素具有2 个c b 和 2 个c “ 电子科技大学硕士学位论文 对于4 ：4 ：4 格式，y ，c b 和c r 具有同样的水平和垂直清晰度，在每一像素位 置，都有y ，c b 和c r 分量，即不论水平方向还是垂直方向，每4 个亮度像素相应 的有4 个c b 和4 个c r 色度像素。 a v s 定义了三种解码图像的类型： 帧内解码图像( i 帧) ：解码时不参考其它图像。 前向帧间解码图像( p 帧) ：解码时的参考图像在当前图像之前。 双向帧间解码图像( b 帧) ：解码时的参考图像在当前图像之前和之后。 如果视频序列中没有b 帧，解码顺序与显示顺序相同。如果视频序列中包含 b 帧，解码顺序与显示顺序不同，解码图像输出显示前应进行图像重排序。图像重 排序规则如下： 1 当前解码图像是b 帧，输出由此b 帧解码的图像。 2 当前解码图像是i 帧或p 帧，如果存在前一个i 帧或p 帧的解码图像，输出这 个解码图像；如果不存在前一个i 帧或p 帧的解码图像，不输出任何解码图像。 下面举例说明图像重排序：i 帧和p 帧之间有两个b 帧，两个连续的p 帧之间 也有两个b 帧。用第一帧i 帧图像预测第四帧p 帧图像，用第四帧p 帧图像和第 一帧i 帧图像预测第二和第三帧b 帧图像。解码顺序是i ，p ，b ，b ；显示顺序是 i ，b ，b ，po 表2 i 编码器输入顺序表 1234567891 01 11 21 3 ibbpbbpbbibbp 表2 - 2 解码顺序表 1 4 237561 0891 3 1 1 1 2 ipbbp bbibbpbb 表2 3 解码显示顺序表 对于预测图像p 帧或b 帧而言，a v s 标准规定最多只能可有两帧参考图像。p 帧可参考前向的两帧图像，而且同一帧中，后解码的场还可参考当前帧的另外一 场。b 帧可参考一前一后的两帧图像。 运动矢量可超出参考图像的边界，在这种情况下应使用距离运动矢量所指位 1 2 第二章a v s 视频标准与差错控制技术介绍 置最近的图像内的像素进行边界扩展。所有用于构造参考块的像素在水平和垂直 方向均不应超出参考图像边界外1 6 个像素。 条带是按光栅扫描顺序连续的若干宏块行，条带内的宏块行不应重叠，条带 之间也不应重叠。条带内宏块的解码处理不应使用本图像其它条带的数据。条带 头信息包含了条带在图像中的位置、条带量化参数等，之后是条带内部的各个宏 块数据信息。 匝匡整宴鲷燕蟊墨霞瑟耍蟊强噩重娶嘲 匿墓疆耍匿囝蟹妥醴匝耍爱酲疆西疆卿 g “臻i 鞭鬻魏鞣戳辫 豳啊_ 圈2 - 6 a v s 条带结构图 2122 宏块、块 条带的下一层划分为宏块，代表图像的空间矩形区域。宏块左e 角的点不应 超出图像边界。在比特流中当隔行扫描图像的两场编码数据依次出现时，任一 宏块的像素应来自同一场。 宏块的划分如图2 7 所示，这种划分用于运动补偿。图中矩形里的数字表示宏 块划分后运动矢量和参考索引在码流中的顺序。 1 个1 自1 磷女师 相自n 愀 抑口9 8 埘日 报目健艘 2 1 * 1 日秘h 痢 相蓟唯赓块 柏日良蛴口 “自m 擞 口日田田 图2 7 a v s 宏块划分 8 x 8 块是变换和块扫描的基本单元，它可表示源图像数据、重建图像数据、 8 x8 整数变换系数。 4 ：2 ：o 格式下，一个宏块包括4 个8 x 8 亮度块( y ) 和2 个8 8 色度块( 1 个 电子科技大学硕士学位论文 c b ，1 个c r ) 。 田口口 yc bc r 图2 - 8 宏块划分为8 8 块( 4 ：2 ：o 格式) 4 ：2 ：2 格式下，一个宏块包括4 个8 x 8 亮度块( y ) 和4 个8 x 8 色度块( 2 个 c b ，2 个c r ) 。 田 y 图2 - 9 宏块划分为8 8 块( 4 ：2 ：2 格式) 4 ：4 ：4 格式下，一个宏块包括4 个8 8 亮度块( y ) 和8 个8 8 色度块( 4 个 c b ，4 个c r ) 。 田田田 y c bc r 图2 1 0 宏块划分为8 x8 块( 4 ：4 ：4 格式) 宏块中的各个块在比特流中出现的顺序由图中的数字规定。 2 1 3a v s 关键技术 作为一种基于块的混合编码方式，a v s 视频标准采用了很多新一代的编码技 术。本小节将着重介绍a v s 标准中所采用的各种关键技术。 2 ，1 3 1 变换与量化 1 4 团口q团田 第二章a v s 视频标准与差错控制技术介绍 a v s 采用了8 8 二维整数余弦变换( 1 c t , i n t e g e rc o s i n et r a n s f o r m ) ，不仅避 开了h2 6 4 专利问冠，而且其性能也接近8 x 8 离散余弦变换( d c t ，d i s c r e t e c o s i n e t r a n s f o r m ) 。同时，采用的p i t ( p r e s c a l e di n t e g e rt r a n s f o r m ) 技术在变换的过程 中把正向缩放、量化、反向缩放结合n t 一起，因此，解码端只需要进行反量化， 而不再需要反缩放，再加上采用的6 4 级近似8 阶非完全周期性量化，节省了整个 系统的开销。a v s 采用的量化与变换可以在十六位处理器上无失配地宴现，而且 i c t 变换只需要加法和移位就可以直接实现。 213 2 帧内预测 帧内预测技术用于去除当前图像中的空间冗余度。由于当前被编码的宏块与 相邻的宏块有很强的相似性因此在a v s 中的帧内预测用于计算编码宏块与其相 邻宏块之间的空间相关性，以提高编码效率。在帧内预测中当前编码的宏块上方 及左方的宏块用于计算出当前宏块的预测值。当前宏块与其预测值的差值将进一 步编码并传输到解码器端。解码嚣利用该 e 特流中用于表示预测方式相关比特与 解码出的残差信号的比特，并计算出当前宏块的预测值恢复图像宏块的原始像 素值。 a v s 采用了基于8 8 块的帧内预测。亮度块采用5 种预测模式，色度块采用4 种预测模式，而色度预测模式中又存在3 种和亮度块预测模式相同，因此使得预 测复杂度大大降低，而且实验证明，虽然a v s 采用了较少的预测模式，但是编码 质量并没有受到大的影响，相比h2 6 4 标准而言，只有很少的降低。 匡 团珥二匪田 簿辟辑书瑁 图2 - 1 1a v s 帧内预测模式 电子科技大学硕士学位论文 表2 _ 4 亮度块5 种预测模式 编号名称 0 i n t r a 8 x 8 d c 1 i n t r a 8 x 8 v e r t i c a l 2 i n t r a 8 x 8 h o f i z o n t a l 3 i n t r a 8 x 8 d o w n _ r i g h t 4 i n t r a _ _ 8 x s _ u p _ r i g h t 表2 5 色度块4 种预测模式 编号名称 o i n t r a _ _ c h r o m a ) e r t i c a