（信号与信息处理专业论文）视频解码系统结构以及错误掩盖算法研究与实现.pdf

浙江大学博七学位论文摘要 摘要 随着多媒体通信技术的发展，数字视频得到了越来越广泛的应用。视频应用 的平台已经由计算机扩展到了机项盒、手机等消费电子终端。这些嵌入式应用中， 由于成本、体积和功耗等的限制，往往需要采用专用硬件来加速视频编解码过程。 已有的视频编码标准，比如m p e g 2 、m p e g - 4 和h 2 6 4 a v c 等都采用了基于 块的压缩编码方法，通过离散余弦变换( d c t ) 、运动估计和熵编码等技术来实现 数据压缩，这导致编码后的码流易受信道误码的干扰。熵编码和帧内预测导致随 机比特错误在空间扩散，帧间预测导致错误在时间上传播。因此，在实际应用， 尤其在i n t e m e t 或者移动媒体等容易出错的信道下，如何抵抗信道误码以及在信 道误码产生后如何进行错误掩盖成为研究的热点之一。 本文针对消费电子应用中视频解码器的系统结构以及解码端错误掩盖算法和 实现展开研究，同时对如何消除错误掩盖引起的块效应进行了探讨，主要工作和 研究成果如下： 1 在对视频解码系统的功能、总线结构和存储系统等分析的基础上，提出了 统一的多标准视频解码系统结构。该结构支持m p e g 一1 2 ，m p e g 4 ，h 。2 6 “a v c 和 a v s 等主流的视频编码标准。此外，针对h 2 6 4 a v c 的上下文自适应二进制算术 码解码速度的瓶颈，提出了并行解码的实现方案。提出了高速的多标准i d c t 硬 件结构，提高了i d c t 的处理速度。 2 提出了基于编码信息的空域错误掩盖算法。已有的错误掩盖算法，比如双 线性插值、边缘插值等，针对特定的图像特征可以达到较好的错误掩盖效果。 m p e g 2 和m p e g 。4 等基于8 x 8 离散余弦变换的视频编码标准中，d c t 系数反映 了图像的纹理信息。h 2 6 4 a v c 和a v s 等新一代视频编码标准中，帧内预测方向 和残差信息反映了图像的纹理信息。提出的算法充分利用了这些编码信息对图像 进行分类。针对特定的图像特征，选择合适的错误掩盖算法，达到了较好的错误 掩盖效果。 3 针对帧间编码图像出错的情况，提出了一种自适应的时域错误掩盖算法。 利用加权的混合边界匹配准则和可变块运动搜索来提高运动矢量估计的准确度， 取得了较好的时域错误掩盖效果。针对低码率应用中整帧图像丢失的情况，提出 了基于运动矢量估计的错误掩盖算法。首先利用线性运动的假设对丢失块的运动 矢量进行估计，然后根据参考块的运动情况来验证估计运动矢量的可靠性。如果 浙江人学博上学位论文 摘要 可靠，则使用该矢量重建丢失块。否则，采用边界匹配的方法重建丢失块。参考 帧中存在帧内宏块时，利用相邻宏块的运动信息估计其运动矢量。对时域错误掩 盖引起的块效应，提出了相应的滤波算法。该算法在消除块效应的同时，很好的 保护了图像的边缘，提高了恢复图像的主观和客观效果。 关键词视频解码；系统结构；空域错误掩盖；离散余弦变换；边缘检测； 时域错误掩盖；消除块效应滤波 浙江大学博士学位论文 a b s t r a c t a b s t r a c t d i g i t a lv i d e oh a sg a i n e dm o r ea n dm o r ea p p l i c a t i o n sw i t ht h ed e v e l o p m e n to f m u l t i m e d i ac o m m u n i c a t i o n t e c h n o l o g y v i d e oa p p l i c a t i o np l a t f o r m s h a v e b e e n e x t e n d e df r o md e s k t o pp c st o s e t u pb o x e s ，s m a r t p h o n e sa n do t h e rc o n s u m e r e l e c t r o n i ct e r m i n a l s d u et ot h el i m i t a t i o no fc o s t ，s i z ea n dp o w e r , a s i c sa r eu s u a l l y u s e dt oa c c e l e r a t ev i d e oc o d e cp r o c e s si nt h e s ee m b e d d e ds y s t e m s t h ec u r r e n tv i d e oc o d i n gs t a n d a r d s s u c ha sm p e g 2 m p e g 4a n dh 2 6 4 a v c ， a r ea l lb l o c k b a s e dc o d i n gs c h e m e s d c t , m o t i o ne s t i m a t i o na n de n t r o p yc o d i n ga r e u s e dt oc o m p r e s st h ev i d e od a t a a sar e s u l t ，t h ec o m p r e s s e db i ts t r e a m sa r ee a s i l y i n t e r f e r e db yc h a n n e ln o i s e e n t r o p yc o d i n gl e a d st ot h es p r e a do fr a n d o mb i te r r o r si n s p a t i a la r e a s m o t i o ne s t i m a t i o nl c a d st ot h es p r e a do fe r r o r si nt i m ed o m a i n s oi n p r a c t i c a la p p l i c a t i o n s ，e s p e c i a l l yi ne r r o r - p r o n ec h a n n e l ss u c ha si n t e m e ta n dm o b i l e m e d i a ，e r r o rr e s i l i e n c ea n de r r o rc o n c e a l m e n th a v eb e c o m er e s e a r c hf o c u so fv i d e o f i e l d s t h i sp a p e rs t u d i e st h ea r c h i t e c t u r eo fv i d e od e c o d e r ，t h ea l g o r i t h m sa n d i m p l e m e n t a t i o no fv i d e oe r r o rc o n c e a l m e n t ，e x p l o r e sd e b l o c k i n gf i l t e ra l g o r i t h m s t h em a i nw o r ka n dc o n t r i b u t i o n sa r ea sf o l l o w s ： 1 au n i f i e dm u l t i s t a n d a r dv i d e od e c o d i n gs o ca r c h i t e c t u r ew a sp r o p o s e db a s e do n t h ea n a l y s i so fs y s t e mf u n c t i o n s b u sa r c h i t e c t u r ea n ds t o r a g ea r c h i t e c t u r e t h i s a r c h i t e c t u r e s u p p o r t sm o s to ft h ep o p u l a rv i d e oc o d i n gs t a n d a r d s ，s u c ha s m p e g 、i 2 、m p e g 4 、h 2 6 4 | 划ca n d 蝌s ap a r a l l e ld e c o d i n gs c h e m eo f c a b a ci nh 2 6 4 a v cw a sp r o p o s e dt os p e e du pt h ed e c o d i n gp r o c e d u r ew h i l ea h i 曲一s p e e dm u l t i s t a n d a r di d c ta r c h i t e c t u r ew a s a l s op r o p o s e d 2 s p a t i a l e r r o rc o n c e a l m e n ta l g o r i t h m sb a s e do ne n c o d i n gi n f o r m a t i o nw e r e p r o p o s e d e x i s t i n ge r r o rc o n c e a l m e n ta p p r o a c h e ss u c ha sb i l i n e a ri n t e r p o l a t i o na n d d i r e c t i o n a li n t e r p o l a t i o no n l yw o r k sf o rs p e c i f i ci m a g ef e a t u r e s i nt h ev i d e o c o d i n gs t a n d a r d ss u c ha sm p e g 2a n dm p e g 4 t h ed c t c o e f f i c i e n t sr e f l e c tt h e i m a g et e x t u r e 、w h i l ei nh 。2 6 4 | 醐ca n da v s t h e 、n t r ap r e d i c t i o nd i r e c t i o na n d r e s i d u a ld a t ar e f l e c tt h ei m a g et e x t u r e t h ep r o p o s e da l g o r i t h m sf u l l yl e v e r a g e dt h e e n c o d i n gi n f o r m a t i o na n dc l a s s i f i e de r r o rb l o c k si n t ot h r e ec a t e g o r i e s ，u n i f o r n l b l o c k ，e d g eb l o c ka n dh i g hd e t a i lb l o c k a c c o r d i n g t ot h eb l o c kt y p e ，b e s t a l g o r i t h m sw e r ea d a p t i v e l ys e l e c t e dt or e c o v e rd i f f e r e n td a m a g e db l o c k s t h i s a c h i e v e dav e r yg o o de f f e c to fe r r o rc o n c e a l m e n t 浙江大学博士学位论文 a b s t r a c t 3 a na d a p t i v et e m p o r a le r r o rc o n c e a l m e n ta l g o r i t h mw a sp r o p o s e dt or e d u c et h e i n t e rf r a m ee r r o r i nt h i s a l g o r i t h m ，w e i g h t e dm i x t u r eb o u n d a r ym a t c h i n g a l g o r i t h ma n dm o t i o ns e a r c h i n gb a s e do na d a p t i v eb l o c ks i z e sw e r eu s e dt o i n c r e a s et h ep r e c i s i o no fm o t i o nv e c t o re s t i m a t i o n ，w h i c ha c h i e v e dg o o de r r o r c o n c e a l m e n te 行e c t i nl o wb i tr a t ev i d e oc o m m u n i c a t i o n ac h a n n e le r r o rm a y c a u s et h el o s so faw h o l ef r a m e a ne r r o rc o n c e a l m e n ta l g o r i t h mb a s e do nm o t i o n v e c t o re s t i m a t i o nf o rw h o l ef r a m el o s sw a sp r o p o s e dt oi m p r o v et h i s l o s tm o t i o n v e c t o r sw e r ee s t i m a t e db yt h eh y p o t h e s i so fl i n e a rm o v e m e n t t h e n t h er e l i a b i l i t y o fe s t i m a t e dm o t i o nv e c t o r sw e r ee v a l u a t e db yt h em o t i o nv e c t o r so fr e f e r e n c e b l o c k s i fr e l i a b l e t h el o s tb l o c k sw e r er e c o n s t r u c t e db yt h ee s t i m a t e dm o t i o n v e c t o r s ，o t h e r w i s et h e yw e r er e c o n s t r u c t e db yb o u n d a r y m a t c h i n gm e t h o d i fi n t r a m a c r o b l o c k se x i s t e di nr e f e r e n c ef r a m e s ，t h em o t i o nv e c t o r sw e r ee s t i m a t e db y n e i g h b o rm o t i o nv e c t o r s ad e b l o c k i n gf i l t e ra l g o r i t h mw a sp r o p o s e dt oe l i m i n a t e t h eb l o c ka r t i f a c t sc a u s e db yt e m p o r a le r r o rc o n c e a l m e n t 。t h ea l g o r i t h me l i m i n a t e d t h eb l o c ka r t i f a c t sa n dp r o t e c t e dt h ei m a g ee d g e s 。a sar e s u l t ，g o o ds u b j e c t i v e p e r f o r m a n c ea n dh i g hp n s rw e r ea c h i e v e d k e y w o r d s v i d e od e c o d e r ，s y s t e ma r c h i t e c t u r e ，s p a t i a le r r o rc o n c e a l m e n t ，d i s c r e t e c o s i n et r a n s f o r m ( d c t ) ，e d g ed e t e c t i o n ，t e m p o r a le r r o rc o n c e a l m e n t ， d e b l o c k i n gf i l t e r 浙江大学博士学位论文图目录 图目录 图1 1 视频编码标准的发展历程3 图1 2 数字视频处理系统框图1 0 图2 1 数字电视信源解码系统框图1 9 图2 2 数字视频解码系统框图一2 0 图2 3 视频解码混合结构框图一2 0 图2 4c 6 4 x 结构框图2 3 图2 5s t i 7 1 0 0 结构框图2 6 图2 6 软硬件协同设计流程图2 8 图2 7 典型的a m b a 系统结构2 9 图2 8h 2 6 4 a v c 参考块示意图31 图2 9 信源解码s o c 系统结构框图3 5 图2 1 0 多标准视频解码子系统数据流图3 6 图2 1 1 多标准视频解码子系统结构图3 7 图2 1 2c a b a c 编码框图一3 9 图2 1 3 并行解码的结构4 2 图2 1 4c a b a c 解码器总体结构图4 3 图2 1 5 常规解码器电路结构4 4 图2 1 6 行列分解法实现2 维i d c t 结构图4 7 图2 17 奇偶分解法2 维d c t 变换实现结构4 7 图2 181 维8 x 8i d c t 蝶形结构4 8 图2 1 9 优化的1 维8 x 8i d c t 结构4 9 图2 2 0h 2 6 4 a v c4 x 4 反变换蝶形结构。4 9 图2 2 1h 2 6 4 a v c8 x 8 反变换蝶形结构一4 9 图2 2 2a v s 反变换蝶形结构一5 0 图2 2 3 转置寄存器堆5 0 图2 2 4s o c 设计流程51 图2 2 5f p g a 验证系统功能框图一5 6 图2 2 6f p g a 验证平台结构图5 6 图2 2 7f p g a 验证平台实物图一5 7 图3 - 1 空域捅值示意图5 9 图3 28 个边缘方向一6 0 图3 3 不同方向的8 个相邻像素6 2 图3 4 边缘检测一6 2 图3 5d c t 系数的z i g z a g 扫描顺序6 3 图3 - 68 x 82 一dd c t 的基函数图像一6 4 图3 78 x 8 块理想边缘模型6 5 i i i 浙江大学博士学位论文图目录 图3 8 边缘检测效果图6 6 图3 - 9 错误宏块相邻块示意图6 7 图3 10 空域错误掩盖算法框图6 8 图3 1 1f o r m a n 序列第1 帧错误掩盖的效果对比6 9 图3 1 2 插值硬件结构7 1 图3 1 3 边缘检测器硬件结构7 1 图3 1 4m r f m a p 硬件结构图7 2 图3 15h 2 6 4 a v c 帧内预测模式示意图7 3 图3 16 错误宏块相邻块示意图7 3 图3 1 7f o r m a n 序列第1 帧错误掩盖的效果对比7 6 图4 1 边界匹配算法示意图。8 0 图4 2 错误块边界方向示意图8 1 图4 3 边缘检测示意图一8 l 图4 4 0 取值对m b m a 匹配效果的影响8 2 图4 5f o r e m a n 序列第8 帧错误掩盖的效果对比8 6 图4 6 算法状态转移图一8 7 图4 7 运动矢量估计8 8 图4 8f o r e m a n 序列第5 帧主观效果一9 1 图4 。9f o o t b a l l 序列第5 帧主观效果9 2 图5 1 相邻块d c 系数9 6 图5 2 偏移块示意图9 7 图5 3 块边界像素分布图9 8 图5 - 4 三种边缘方向示意图9 9 图5 5 块效应消除算法流程图10 0 图5 - 6f o r e m a n 序列第l 帧滤波效果对比1 0 2 i v 浙江大学博士学位论文 表目录 表目录 表1 1 视频编码标准比较【1 3 1 9 表2 1s d r a m 带宽估计3 3 表2 2 码流中二进制符号数与比特数的关系4 0 表2 3i 图中c o e f fa b sl e v e lm i n u s l 占二进制符号比例4 1 表2 4c a b a c 解码速度比较4 4 表2 5 多标准视频解码器综合结果一5 8 表3 1 平均亮度p s n r 值6 8 表3 2 平均亮度p s n r 值7 5 表4 1 宏块丢失率为l 时的亮度p s n r 值8 4 表4 2 宏块丢失率为5 时的亮度p s n r 值8 4 表4 3 宏块丢失率为1o 时的亮度p s n r 值8 4 表4 4 宏块丢失率为2 0 时的亮度p s n r 值8 5 表4 5 亮度p s n r 比较9 l 表5 1 平均亮度p s n r 对比1 0 1 v 浙江大学博+ 学位论文第1 章绪论 第1 章绪论 近年来，随着人们对视频质量需求的不断提高和技术的进步，数字视频得到 了越来越广泛的应用。数字视频具有海量的数据量，不进行压缩实现视频的存储 和传输几乎是不可能的。因此，视频压缩编码在数字视频的传输、处理和存储中 占有十分重要的地位。为了满足数字视频应用的需求，国际标准组织( i s o ) 和 国际电信联盟( i t u ) 推出了一系列数字视频压缩编码的国际标准：m p e g 1 【l j 、 m p e g 2 【2 1 、m p e g 4 1 3 1 和h 2 6 4 a v c 4 j 等。我国也推出了自主知识产权的音视频 压缩标准a v s 引。这些标准的推出和实施，促进了数字视频技术在数码相机、数 字电视、流媒体、无线通信和视频会议等领域的应用，方便了人们的生活。 视频解码具有很高的计算复杂度，而数码相机、数字电视和手持设备等嵌入 式应用中，由于成本、体积和功耗的限制，软件解码很难满足要求，这就需要使 用硬件加速或者设计专门的硬件解码电路。近年来，随着集成电路技术的发展， 整个系统的功能可以集成到芯片内部实现，即片上系统s o c t 6 。集成度的提高不仅 降低了系统成本、体积和功耗，而且提高了系统的可靠性。s o c 中通常包含了一 个或者多个c p u ，软件的参与提高了系统的灵活性。这一系列优点使s o c 在电子 产品中获得了广泛应用。本文根据应用的需求提出了统一的多标准视频解码系统 结构，完成了设计并在f p g a 平台上验证了提出的结构。 现有的视频编码标准大都采用离散余弦变换( d c t ) 1 7 和量化、帧内帧间预 测编码和熵编码等技术来实现数据压缩。高效率的视频压缩编码，去除了数字视 频中大量的空间和时间冗余信息，极大地降低了数字视频传输和存储中的数据 量，同时也造成了压缩视频流对传输过程中产生的错误非常敏感。由于帧间预测 编码，传输中的误码不仅会导致当前图像出错，而且还会导致一系列后续图像出 错，形成误码扩散，严重影响重建视频的质量。因此需要抗误码的技术来降低误 码对重建视频质量的影响。 抗误码的方法有前处理( 前向容错编码) 【8 】和后处理( 解码端错误掩盖) 1 9 1 两种。前处理通过分级编码、数据分割、前向纠错编码等一系列技术来抵抗传输 中的误码。后处理是在解码端利用已接收的数据来恢复错误数据。它充分利用了 数字视频的空间和时间相关性，不受编码端编码方式和信道条件的限制，应用非 常广泛。 根据利用的相关信息的不同，错误掩盖可以分为三类：空域错误掩盖，时域错 浙江大学博士学位论文第1 章绪论 误掩盖和时空域联合的错误掩盖。本文研究和探讨了各种错误掩盖的算法并在多 标准视频解码系统中实现了提出的算法。 本章内容组织如下：1 1 节介绍了各种常用的数字视频编码标准；1 2 节介绍 了数字视频处理系统的结构和各部分功能；1 3 节概述了各种抗误码技术；1 4 节 给出了本研究课题的来源及意义；1 5 节给出了本文的内容安排。 1 1 数字视频压缩标准介绍 数字视频编码研究开始于2 0 世纪5 0 年代和6 0 年代，当时使用空间域差分 脉冲( d p c m ) 1 0 j 编码。到2 0 世纪7 0 年代，开始研究变换编码。在1 9 7 4 年， a h m e d 介绍了著名的基于宏块的离散余弦变换( d c t ) 策略。运动补偿预测误差 编码也于2 0 世纪7 0 年开始了，而且随着基于宏块的混合运动补偿系统( m c d c t ) 的到来，这项技术也于1 9 8 5 年发展成熟并运用到了实际系统中。 从2 0 世纪9 0 年代开始，国际上先后制定了一系列视频压缩编码标准。目前 从事视频压缩标准制定的国际标准组织主要有国际电信联盟i t u t 的视频编码专 家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和国际标准化组织i s o i e c 的运动图像专 家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 。两个标准化组织根据不同的应用需求， 采用近似的压缩编码技术，分别制定了h 2 6 x 和m p e g - x 系列视频压缩标准。 其中，h 2 6 x 系列标准主要面向电信应用，它包括h 2 6 1 t 1 、h 2 6 2 2 1 、h 2 6 3 1 2 】 和h 2 6 4 a v c 等；m p e g x 系列标准主要面向消费类应用，它包括m p e g 1 、 m p e g 2 、m p e g 。4 和h 2 6 4 a v c 等。近年来，中国数字音视频编解码技术标准 工作组( 简称a v s 工作组) 制订了我国具有自主知识产权的a v s 标准。图1 1 简要说明了这些视频编码标准的发展历程。这些标准的制订和广泛应用，为不同 领域数字视频的应用提供了统一的接口，促进了数字视频的广泛应用和相关产业 的发展。 1 1 1h 2 6 1 h 2 6 1 是最早出现的视频编码标准。1 9 9 0 年1 0 月，i t u t 的前身国际电报电 话咨询委员会( c c i t t ，c o n s u l t a t i v ec o m m i t t e eo ni n t e r n a t i o n a lt e l e g r a p h sa n d t e l e p h o n e s ) 首先通过了用于视频会议、可视电话和窄带i s d n 等领域的标准，即 “p x 6 4 k b i t s 视听业务的视频编解码器”，其中p 的范围是1 3 0 ，覆盖了整个窄带 i s d n 基群信道速率。它只对c i f 和q c i f 两种图像格式进行处理。只支持帧内预 2 浙江大学博士学位论文第l 章绪论 测图像( i 帧) 和前向预测图像( p 帧) 。 h 2 6 1 标准的制订，可以认为是视频编码技术发展的一个里程碑。此后的一 系列国际标准，h 2 6 x 和m p e g x 等，都采用了h 2 6 1 的编码算法框架：基于运 动补偿的帧问预测和d c t 变换相结合的混合编码方法，通过帧间预测减少时域 冗余，通过d c t 变换和量化减少空域冗余。 i t u t h 2 6 1 h 2 6 3h 2 6 3 + h 2 6 3 s t a n d a r d s + + j o i n th 2 6 2 h 2 6 舭v c i t u t m p e gm p e g 2 m p e g m p e g lm p e g 4 s t a n d a r d s a v s i a v s 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 42 0 0 6 图1 1 视频编码标准的发展历程 1 1 2m p e g 1 m p e g 1 是第一个m p e g 标准，它由m p e g 工作组在1 9 9 2 年1 1 月正式颁布， 其全称为i s o i e c1 11 7 2 ，用于数据传输率在1 5 m b i t s 以下的数字存储介质图像 及其伴音编码，主要用于家用v c d 的视频压缩。 与h 2 6 1 相比，它支持灵活的帧率和分辨率，增加了压缩比更高的双向预测 图像( b 帧) 的支持。实现了类似录像机的交互功能一正放、图像冻结、快进、快 退和慢放功能以及随机存储功能。 1 1 3m e p g 2 h 2 6 2 m p e g 2 是m p e g 工作组于1 9 9 4 年发布的视频和音频压缩国际标准，其全 称为“运动图像及其伴音的编码( i s o i e c1 3 81 8 ) ”。它包括系统、视频、音频及符 合性( 检验和测试视音频及系统码流) 等9 个部分，其中视频部分( i s o i e c1 3 8 1 8 2 ) 浙江大学博士学位论文第l 章绪论 与h 2 6 2 在技术内容上一致。 m p e g 2 标准在d v d 存储和数字电视广播方面得到了最广泛的应用，成为 迄今为止最成功的一个视频标准。 m p e g 2 允许采用隔行扫描。引入了帧图和场图的概念，既能满足逐行视频 的需求，又能满足电视领域常用的隔行视频的需求。它根据不同压缩比和清晰度 的要求，引入了框架( p r o f i l e ) 和级另l j ( l e v e l ) 的概念，满足了从标清到高清等多种不 同应用的需求。为了进一步提高视频质量，m p e g 2 以增加较少比特率的代价引 入了一些改进措施，包括d c t 系数的精细量化、非线性量化和帧内帧间宏块各 自独立的v l c 码表等。为了适应信道的变化和扩大应用范围，m p e g 一2 采用了三 种分级编码：空间域分级、时间域分级和信噪比分级。 1 1 4h 2 6 3 h 2 6 3 是由i t u t 在1 9 9 6 年正式颁布的，称为“低比特率视频编码标准( v i d e o c o d i n gf o rl o wb i tr a t ec o m m u n i c a t i o n ) ”。为了进一步改进压缩性能，更好支持没 有q o s 保证的i n t e m e t ，i t u t 于1 9 9 6 年决定继续对h 2 6 3 标准进行研究和改善， 并于1 9 9 8 年推出了h 。2 6 3 的第二个版本，即h 2 6 3 + ，它增加了改善图像质量、 提高编码效率、抗误码和降低码率等1 2 个高级模式。在2 0 0 0 年1 1 月，i t u t 又 推出了h 2 6 3 的第三版本，称为h 2 6 3 + + ，新增加了3 个高级模式。 h 2 6 3 基本模式具有以下特点： 更加丰富的图像格式。h 2 6 3 除了支持h 2 6 1 中的c i f 和q c i f 以外，增 加了s u b q c i f ( 1 2 8 x 9 6 ) 、4 c i f ( 7 0 4 x 5 7 6 ) 和1 6 c i f ( 1 4 0 8 x 1 1 5 2 ) 三 种图像格式，从而使h 2 6 3 具有更广的应用范围。 半像素精度的运动估计 无限制运动矢量模式( u n r e s t r i c t e dm o t i o nv e c t o rm o d e ) 。这个模式是一 个可选项，它允许运动矢量指向的参考像素超出图像边界。 基于句法的算术编码( s y n t a x b a s e da r i t h m e t i cc o d i n gm o d e ) 。这种编码 模式比h 2 6 3 基本编码模式v l c 编码复杂，但是它不需要传送大量v l c 码表。在相同信噪比条件下，它比v l c 编码平均节省5 的比特数。 高级预测模式( a d v a n c e dp r e d i c t i o nm o d e ) 。一是p 帧的亮度分量采用交 叠块运动补偿( o b m c ) 方法，即某一8 x 8 子块的运动补偿由本块和周围 块运动矢量共同决定。二是某些宏块使用4 个运动矢量，即每个8 x 8 块 使用单独的运动矢量。 4 浙江大学博士学位论文第l 章绪论 p b 帧模式( p b f r a m em o d e ) 。该模式下，一个p b 帧单元由两帧组成， 其中的p 帧由前一个p 帧或者i 帧预测得到，b 帧由前一个p 帧和本单元 中的p 帧进行双向预测编码。该模式可以在相同的图像质量下显著降低 比特率。 h 2 6 3 + h 2 6 3 + + 的高级模式包括增强的图像头信息，更大范围的无限制运动 矢量，高级帧内预测模式，去块滤波模式，可逆v l c 编码，s l i c e 结构，改进的 量化模式，时间、空间和信噪比可分级编码，支持数据分割等等。 1 1 5m p e g 4 m p e g 组织于1 9 9 4 开始制订m p e g 一4 ( i s o i e c l 4 4 9 6 ) 标准，最初目标是针 对音频、视频对象进行高效压缩以适应极低比特率应用，后来经过不断发展成为 一个可以适应于多种媒体应用、具有良好交互性、提供多种比特率的国际标准， 于1 9 9 9 年2 月正式公布了m p e g 4 标准第一版本。同年年底完成m p e g 一4 第二 版，于2 0 0 0 年年初正式成为国际标准。 m p e g 4 标准采用了基于对象的编码方法，它不仅可以实现对视频对象的高 效压缩，还可以提供基于内容的交互功能，支持对多媒体信息的内容访问，提供 灵活的时域和空域扩展。此外，为了使压缩视频流具有抗信道误码的性能，应用 于信道条件较差的无线网络和i n t e m e r t ，m p e g 4 还提供了一系列用于误码检测和 错误恢复的工具。 1 1 6h 2 6 4 a v c 19 9 7 年，i t u tv c e g 组织开始研究低比特率的视频编码新标准，即h 2 6 l 计划。2 0 0 1 年，i t u tv c e g 和i s 0 i e cm p e g 组织共同成立j v t ( j o i n tv i d e o t e a m ) 工作组，共同制订新的标准。2 0 0 3 年5 月，t 正式推出了新一代视频压 缩标准。i s o 把它作为m p e g - 4 的第十部分( i s o i e c1 4 4 9 6 1o ) “先进视频编码” ( a v c ，a d v a n c e dv i d e oc o d i n g ) 。i t u t 把它作为建议标准h 2 6 4 。因此，这个 标准通常被称之为h 2 6 4 a v c 。2 0 0 5 年3 月，j v t 组织又推出了h 2 6 4 a v c 的高 精度扩展版( f i d e l i t yr a n g ee x t e n s i o n s ，f r e x t ) ，该扩展版通过支持更高的像素精 度( 1 0b i t 和1 2b i t 像素精度) 和支持更高的色度精度( y u v4 ：2 ：2 和y u v 4 ：4 ：4 ) 来支持更高精度的视频编码。 h 2 6 4 a v c 引入了分层的技术，其算法在概念上可以分为两层：视频编码层 ( v c l ：v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示，网络提取层m a l ：n e t w o r k a b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当的方式对数据进行打包和传送。这样， 5 浙江大学博上学位论文第1 章绪论 从形式上将编码和信道隔离开来，在提供高效编码的同时，提高了对不同网络的 适应性。 h 2 6 4 a v c 成为目前算法复杂度最高、性能最好的基于混合编码框架的视频 编码标准。与以前的视频编码标准相比，它采用了一系列新技术来提高编码效率， 这包括： 可变块大小运动补偿：选择运动补偿大小和形状比以前的标准更灵活， 最小的亮度运动补偿块可以d , 至r j4 x 4 。 1 4 采样精度运动补偿：以前的标准最多采用1 2 采样精度运动补偿，首 次1 4 采样精度运动补偿出现在m p e g 4 第二部分高级类部分，但 h 2 6 4 a v c 大大减少了内插处理的复杂度。 多参考图像运动补偿：在m p e g 一2 及以前的标准中，p 帧只使用一帧，b 帧只使用两帧图像进行预测。h 2 6 4 a v c 使用高级图像选择技术，可以 用以前已编码过且保留在缓冲区的最多1 6 帧图像进行预测。消除参考图 像顺序和显示图像顺序的相关性，b 帧可以用作参考帧。大幅提高了参考 图像选择的灵活性，提高了帧问预测的准确度。 加权预测：h 2 6 4 a v c 采用新技术，允许加权运动补偿预测和偏移一定 量。在淡入淡出场景中该技术可以极大地提高编码效率。 改善的直接预测模式：在以前的标准中，预测编码图像的“跳过”区不能有 运动。当编码有全局运动的图像时，该限制非常有害。h 2 6 4 a v c 对“跳 过”区的运动采用推测方法。对双向预测的b 帧图像，采用高级运动预测 方法，称为“直接”运动补偿，进一步改善了编码效率。 帧内编码图像在空间域进行帧内预测，降低了空间冗余，提高了帧内编 码图像的编码效率。 整数变换：4 x 4 块的整数变换替代了传统8 x 8 块的d c t 变换，避免了d c t 变换浮点运算引入的误差。 环内去块效应滤波器：有效去除了由于相邻块量化误差引入的块效应， 提高了视频的主观和客观质量。 支持两种熵编码技术：上下文自适应的可变长编码( c o m e x t a d a p t i v e v a r i a b l el e n 昏hc o d i n g ，c a v l c ) 和上下文自适应的二进制算术编码 ( c o n t e x t - a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 。充分利用了上下文 的自适应性，降低了