（通信与信息系统专业论文）无线环境中h264解码器设计与dsp实现.pdf

摘要 h 2 6 4 a v c ，作为视频标准发展的最新成果，是由i t u t 视频编码专家组和i s o i e c 运动 图像专家组联合提出的视频编码标准。无论从编码的效率方面，还是从有效的适应各种网络和各 种应用领域的灵活性方面，h 2 6 4 a v c 都体现着视频编码技术的很多优势。这些新特性使 h2 6 4 a v c 标准在提供相同视觉效果的同时获得大约5 0 ：l 特率的节省。数字视频标准的发展 也必然导致工业领域的巨大变化，促进各厂商开发适合h 2 6 4 标准的视频编解码器。 随着第三代移动通信的高速发展，多媒体通信终端设各具有广泛的应用前景，可以应用于可 视电话，视频会议数字电视及无线多媒体通信等领域。目前，数字信号处理器( d s p ) 的高速 发展，为我们实现高效实时的多媒体信号处理提供了可能性。正是基于以上的背景，在d s p 上 实现h 2 6 4 编解码算法具有很好的研究意义，并具有广泛的市场发展前景。 多媒体视频通信一个主要的问题是信号的抗误码能力以及信号的差错后处理方法。目前比较 通用的差错后处理方法是差错隐藏方法。这种方法充分利用了视频信号的时域和空域相关性，在 解码端对信号进行后处理，而不需要在视频码流添加多余的控制信号( 零冗余) 。因此在视频通信 领域得到广泛应用。在h 2 6 4 解码器中引入差错隐藏机制，可以有效地提高解码图像的主观效果 和客观质量。 本课题对h 2 6 4 视频压缩标准作了一定的研究，主要完成了两部分工作：对解码器中差错隐 藏技术的作了系统的研究，并针对无线环境应用，提出一种整帧丢失的恢复算法；实现了基于 t i d m 6 4 2 平台上的h 2 6 4 b a s e l i n e p r o f i l e 解码器，给出了针对d s p 平台优化的一些措施和结果。 关键词：无线视频；h 2 6 4 a v c ；解码器；差错隐藏：d s p a b s t r a c t h 2 6 4 a v c ，a st h el a t e s tv i d e oc o d i n gs t a n d a r d 。i sp r o p o s e db yt h ei t u - tv i d e o c o d i n ge x p e r t sg r o u pa n dt h ei s o i e cm o v i n gp i c t u r ee x p e r t sg r o u p h 2 6 4 a v cr e p r e s e n t sa n u m b e ro fa d v a n c e si nv i d e oc o d i n gt e c h n o l o g y , i nt e r m so fb o t hc o d i n ge m c i e n c ya n df l e x i b i l i t y f o re f f e c t i v eu s eo v e rab r o a dv a r i e t yo fn e t w o r k sa n da p p l i c a t i o nd o m a i n st h i sn e wf e a t u r e s p r o v i d ea p p r o x i m a t e5 0 b i tr a t es a v i n gw i t he q u i v a l e n tp e r c e p t u a lq u a i l t yr e l a t i v e t ot h e p e r f o r m a n c eo fp r i o rs t a n d a r d s a st h ed e v e l o p m e n to f3g ，m u l t i m e d i ad e v i c e sw i l la p p e a ra tm a n ya p p l i c a t i o n ，s u c ha s v i d e op h o n e 、v i d e oc o n f e r e n c e 、d i g i t a lt v 、w i r e l e s sc o m m u n i c a t i o ns y s t e m a tp r e s e n t ，d i g i t a l s i g n a lp r o c e s s o r ( d s p ) i sd e v e l o p i n gr a p i d l y , w h i c hm a k ei tp o s s i b l et op r o c e s sm u l t i m e d i a s i g n a li nr e a lt i m e t h e r e f o r e i ti sw o r t hr e s e a r c h i n gt h ei m p l e m e n ta n do p t i m i z a t i o no fh 2 6 4 e n c o d e r d e c o d e rb a s e do nd s p r o b u s t a n dp o s t p r o c e s s i n go ft h es i g n a la r ei m p o r t a n ti nv i d e oc o m m u n i c a t i o nt h e c o m m o np o s t - p r o c e s s i n gi se r r o rc o n c e a l m e n t i te x p l o i t st h ec o r r e l a t i o no fp i c t u r ei nt e m p o r a l a n ds p a t i a ld o m a i n st oe l i m i n a t et h ei n f l u e n c eo fe r r o r i ti sn o tn e e d e dt oa d da n yr e d u n d a n c i e s i nc o m p r e s s e db i t - s l r e a ms o m ee r r o rc o n c e a l m e n tm e c h a n i s m sa r ei n t r o d u c e di nh2 6 4 d e c o d e r , w h i c hi m p r o v et h es u b j e c t i v ea n do b j e c t i v ee f f e c to ft h ep i c t u r e s i nt h i sp a p e r ，b a s e do nt h er e s e a r c ho fs t a n d a r d w eh a v ef i n i s h e dt w op a r to fw o r k 1 t h ea u t h o rr e s e a r c h e ss y s t e m a t i c a l l yi ne r r o rc o n c e a l m e n tf o r d e c o d e r , p r e s e n t sa m e c h a n i s mt or e s o l v et h ef u l lf r a m el o s si nw i r e l e s sa p p l i c a t i o n 2ah2 6 4b a s e l i n ep r o f i l e d e c o d e rh a sb e e nr e a l i z e db a s eo nt id m 6 4 2 t h ea u t h o rg i v e ss o m eo p t i m i z a u o nm e a s u r e a n dr e s u l li nt h ep a p e r k e yw o r d s = w i r e l e s sv i d e o ；h2 6 4 a v c ；d e c o d e r ；e r r o rc o n c e a l m e n t ；d s p 苎二童竺笙 1 1 研究背景及意义 第一章绪论 2 0 0 3 年5 月。国际电联( i t u ) 和m p e g 标准组织i s o 共同发布了h 2 6 4 m p e g - 4 a v c ( 以下简称h2 6 4 ) 视频压缩标准 1 】。新标准公布后被普遍看好，业内人士誉之为“下一代视 频压缩编码标准”。它最主要的特点有两个：在同等图像质量条件f ，视频压缩比是h 2 6 3 和 m p e g - 4 的2 倍 对于各种网络环境，特别是l p 和无线网络具有良好的适应性。 在网络多媒体迅速发展的今天，终端用户的耗费与其传输的信息量成正比同时由于带宽 和发送功率的限制，无线视频和多媒体应用的主耍目标就是提高压缩性能，h 2 6 4 就成为了最 佳的视频编码标准，可广泛应用于多媒体信息服务，分组交换的流媒体服务，和视频会议等领 域。由于h ：2 6 4 的高压缩率，将使其在移动通信领域也将占领一席之地并扮演重要角色。另一 方面，h 2 6 4 通过减少帧间图像时间相关性和帧内图像的空间相关性来提高压缩比，这使得 h 2 6 4 的抗误码性能降低，帧丢失使得解码图像的质量急剧下降，所以为了在突发噪声的无线 环境中可靠传输，不仅要考虑编码的效率，还必须考虑抗误码性能，对编解码以及传输采用有 效的差错处理机制。 多媒体视频通信的一个主要问题是信号的抗误码能力以及信号的差错后处理方法。目前比 较通用的差错后处理方法是差错隐藏。该方法充分利用视频信号的时域和空域相关性，不需要 在视频码流中添加多余的控制信号( 零冗余) ，在解码端对信号进行后处理，调此在视频通信领 域得到广泛应用。在h 2 6 4 解码器中引入差错隐藏机制，可以有效地提高解码图像的主观效果 和客观质量。 随着第三代移动通信的商速发展，多媒体通信逐步成为通信的主要业务之一。多媒体通信 终端设备具有广泛的应用前景，可以应用于可视电话、视频会议、数字电视及无线多媒体通信 等领域，这些领域和我们的生活息息相关。目前，数字信号处理器( d s p ) 的高速发展，为我 们实现高效实时的多媒体信号处理提供了可能性。正是基于以上背景，在d s p 上实现h 2 6 4 视 频压缩算法具有很好的研究意义。并具有广泛的市场发展前景。 1 2h 2 6 4 在无线环境中的应用 一般来说，无线移动终端是小型的手持设备，其功率和存储能力有限，所以一个移动视频 编解码器必须尽可能降低复杂度，同时仍然保持高效性和鲁棒性。 在移动终端上进行视频传输是3 g 系统的一个重要应用，也是3 g 成功与否的关键之一。根 据所需的速率，最大所允许的端到端时延，以及最大的时延抖动，h 2 6 4 ：定义y - - 种视频传输 服务【2 1 ：交换会话服务( p c s ) 、流媒体服务( p s s ) 、多媒体信息服务( m m s ) 以应用于不同 的场合。 对于无线通信来说，无差错传输往往是不现实的。虽然对时延要求不高的应用( 如m m s ) 可以通过重传来实现，但对p c s 和p s s 而言不可能进行大量的数据重传。此外在一个蜂窝区域 内多h j 户环境下传输能力有限。且数据量也是在不断变化，这就要求视频编解码器能在有效的 时间内随着环境的变化来自适应地改变编码速率以适应变速率( v b r ) 信道。最后编解码器还 受能处理优先级传输、网络封装、同步、反馈等问题。因此，运用于3 g 的h 2 6 4 视频编解码器 应满足如下要求1 5 1 1 ： ( 1 ) 非常高的压缩率； ( 2 ) 较少的内存需求、低复杂度、低功耗； ( 3 )对丢包帧的鲁棒性： ( 4 ) 支持在线长期大范围速率转换机制： ( 5 ) 支持短时小范围内速率变化的信道 为了适应在无线环境中传输，h 2 6 4 标准中提出r 多种抗误码j ：具，提高压缩视频流在 误码、丢包的环境种传输中的健壮性。 多媒体视频在不同环境下的传输，不仅需要高效率的编码同时编码后的视频数据流如 何适府无线信道和移动信道的特点，如何方便地集成到当前和未来的网络协议架构中，也是非 常关键的问题。鉴于h2 6 3 和m p e g - 4 标准制订过程中面临的网络应用问题，h2 6 4 在系统层 面上提出了一个全额的概念定义丁视频编码星v c l ( v i d e oc o d i n 9l a y e r ) 和隔络抽象层 ( n e t w o r k a l ：唇t r a c t i o nl a y e r ) 。这样高编码效率和网络友好性任务分别由v c l 和n a l 来完成。 1 3 视频通信容错技术 目前视频编码压缩标准主要有m p e g x 和h2 6 x 两大系列，这些压缩算法都是基于宏块 的分别从三个方面改善编码效率： ( 1 ) 运动估计儋动补偿( m p m c ) ，消除视频时间冗余； ( 2 ) 图像差值的离散余弦变换( d c t ) ，消除空间冗余； ( 3 ) 量化系数的刈变长编码( v l c ) ，消除统计冗余。 实践表明，通过上述方法，视频编码标准获得了极高的压缩效率，但压缩后的码流在 n t 。m c t - 特别是无线信道上的传输仍然存在着一些棘手的问题，其中比较突出的一点是：一方 面，这些压缩后的码流对信道比特误码非常敏感；而另一方面无线信道由于多径反射和衰落 引入了大量的随机误码和突发误码，影响了码流的正常传输。尤其是采用了v l c 方案后，码流 更加存易受到误码的影响，导致在解码端失去同步，这样在遇到下一个同步码字之前无法对 v l c 码字进行正确的解码；同时预测编码技术会将错误扩散到整个视频序列中，极大地降低重 建图像的质鼍。囚此，为了实现怠好质量的视频传输必须结合实际应用信道的传输特性，采 取一定的窑错措旌， 取一定的窑错措旌， 第一章绪论 根据在视频传输系统中位置的不同，容错算法【4 】主要可分为基于编码器的容错，基于解码 器的容错和基于反馈信道的容错。其中： ( 1 ) 基于编码器的容错算法，主要通过在编码比特流中添加冗余信息。这些冗余信息被添 加在信源或信道编码器中，降低了编码的效率，增加了实现的复杂度，以换取编码的容错性能， 大致包括：分层编码、多描述编码、独立分段编码、再同步编码和前向纠错编码( f e c ) 等。 ( 2 ) 基于解码器的容错算法，是指利用被损坏的宏块与其相邻的宏块之间的相关性来完成 恢复工作的，这部分工作包括错误检测和错误恢复。对于错误的检测一般采用针对语法的检 错和嵌入数据的检错：对于错误恢复，可采用时域、空域、频域等错误隐藏方法。 ( 3 ) 基于反馈信道的容错算法，指利用解码器获得误码信息，并通过反馈信道，传送给编 码器进行误码处理的一种方式。主要包括：误码跟踪，有条件的a r q ，帧内，帧间编码模式选 择和参考图像选择模式等。 从上面的分析来看，基于解码器的容错技术具有更好的通用性。研究无线环境下的h 2 6 4 解码器终端，图像的差错隐藏是关键技术之一。 经典的频域、时域、空域方差错隐藏都是依靠当前帧或已接收到的参考帧来进行，这些方 法中所采用的一些机制当出现整个视频帧都丢失，没有邻域m b 信息可以利用时将不再适用 【1 2 。 对于时域隐藏和空域隐藏算法来说，一旦当前帧信息丢失，则无法从相邻m b 来估计当前 丢失m b 的运动矢量信息。同样，无法通参考帧的块匹配算法估计运动矢量，也无法根据候选 宏块的边缘匹配来恢复丢失的m b 。因为有关宏块的信息全部丢失，也无法采用基于d c t 系数 的局部解码方法。 针对整帧丢失的情况，目前有效的解决办法不多，为此，在论文中对该问题进行了重点研 究。 1 4 基于t id m 6 4 2 平台的h 2 6 4 解码器实现 h 2 6 4 压缩标准有望成为超越以前所有压缩标准的一个重要提升，并以下一代标准而应用 于高清d v d 、数字电视、广播等领域。新标准有望提供比当前最好压缩标准至少2 倍压缩改进， 并比m p e g 一2 和m p e g - 4 在感知质量上有真正的提升。卓越的编码性能吸引了大批公司争相 推出基于h 2 6 4 的解决方案，以应用于卫星机顶盒、数字电视接收机、有线机顶盒、l p t v 机 顶盒和个人媒体播放机( p v p ，p m p ) 。 l s i l o g i c 公司目前推出的h 2 6 4 v l i m 0 0 0 f p g a - b a s e d 解码器，实时解码达m a i n p r o f i l e l e v e l3 ，非实时解码达m a i np r o f i l e l e v e l4 ； 中芯联合( 北京) 微电子有限公司目前发布了可同时支持包括h 2 6 4 在内的多模高清视频解 码i p 核o d m 3 p - s 。o d m 3 p - s 在视频解码方面的基本功能包括：1 椭0 0 8 0 i 、7 2 0 p ) 解码、 - 3 或2 黼( 7 2 0 x5 7 6 ) 解码，同时支持h 2 6 4h i g hp r o f i l e l e v e l41 和m p e g - 2 m a i np r o f i l e h i g hl e v e l a 2 0 0 5 年1 0 月，上海富瀚微电子发布用于i p s t b 的h 2 6 4 解码器芯片f h 8 6 0 1 。该产品 完全兼容h 2 6 4m a i n p r o f i t e l e v e r 3 ，支持的最大分辨率为7 2 0 x 5 7 6 。 美国s i g m ad e s i g n s 2 0 0 4 年1 2 月底开发山了支持h ，2 6 4 、v c - 1 、m p e g - 4 和m p e g 一2 多种规格解码的媒体处理器“s m p 8 6 3 0 ”，并首次进行了实证演示。在“2 0 0 5i n t e r n a t i o n a lc e s ” 会期，s i g m a 对该产品进行了演示。演示中，使用s m p 8 6 3 0 对采用h ，2 6 4 编码的h d f v 影像 进行了解码。画面象素为1 2 8 0 x7 2 0 ，帧速为3 0 帧，秒。 美国b r o a d c o m 公司2 0 0 4 年1 2 发布了可对h 2 6 4 编码格式h d f v 影像进行解码的l s i “b c m 7 4 11 ”。b c m 7 4 11 支持h 2 6 4 的m a i np r o f i l e ，l e v e l4 1 、编码数据速度可达3 0 m b i t 秒。 据称，画面象素支持范围从q c i f ( 1 7 6 1 4 4 象素) 到1 9 2 0 1 0 8 8 象索。并支持“蓝光光盘” 等下一代光盘规格决定采用的h i g hp r o f i l e 。 在2 0 0 4 年1 1 月1 7 日开幕的嵌入技术相关展会“e m b e d d e dt e c h n o l o g y2 0 0 4 ”上，日 本a d i ( 模拟器件公司) 利用d s p 进行了h2 6 4 ，m p e g _ 4a v c ( 以下简称h 2 6 4 ) 编解码处 理的实证演示。演示中使用配备2 个该公司的d s p “a d s p - b f 5 6 1 ”的评测板卡，对o v g a 尺寸、3 0 帧，秒的动画进行了实时编解码处理。编码数据速度为2 0 0 k b i t 秒1 m b 甜秒。 在2 0 0 4 年2 月2 4 日开幕的“英特尔数字家庭论坛”上，索尼首次使_ e 止在开发当中的 h 2 6 4 解码软件进行了影像实时播放演示。演示所用影像的画面尺寸为v g a ( 6 4 0 x 4 8 0 象素) 。 每秒播放2 4 帧，数据编码速度为2 m b i t 秒。 在2 0 0 3 年1 1 月的“2 0 0 3 年国际广播电视设备展( i n t e r b e e 2 0 0 3 ) ”上，日本i b p 使 用f p g a 实现了h 2 6 4 实时编解码器。演示中。通过i p 网络还原了以h 2 6 4 规格对s d t v 格 式影像进行编码的文件。2 个参考图像帧用于运动估计，编码速度支持15 m b i t 秒2 m b i t 秒。 除了基于p c 平台的纯软件实现，h 2 6 4 的编解码器终端实现可以分为两类：采用a s i c 专 用芯片实现；采用d s p 实现。采用a s i c 芯片来实现，一次性将终端程序固化在芯片上，便不 能再修改，系统灵活性较差，不利于系统的升级和维护。另外，采用a s i c 芯片开发的编解码 芯片成本高。而采用d s p 开发平台实现的多媒体终端设备具有良好的适应性和可扩展性，便于 代码的移植和系统的升级。 因此，随着d s p 技术的高速发展，使得在d s p 平台开发编解码器终端软件具有了更大的 4 髯一章绪论 可行性和市场前景。t i 公司的t m s 3 2 0 d m 6 4 2 ( 下简称d m 6 4 2 ) 是一款专门面向多媒体应用的 专j ； | id s p 。该d s p 时钟高达6 0 0 m h z ，8 个并行运算单元，处理能力达4 8 0 0 m i p s ；采用二级缓 存结构；具有6 4 位外接存储器接1 7 1 ；为了面向多媒体体应用。集成了3 个可配置的视频端口、 面向音频应用的m c a s p ( m u l t ic h a n n e la u d i os e r i a lp o r t ) 、1 0 1 0 0 m b s 的以太网m a c 等外设。 诸多优点使它成为视频处理领域首选的d s p 芯片之一。在本论文中，我们采用了瑞泰公司的 i c e t e k - d m 6 4 2 i d k - m 开发平台。 1 5 论文研究工作和结构安排 本论文主要研究了两部分内容： 第一部分：简单分析了传统的差错隐藏技术，针对无线环境特点，提出了种基于光流估 计的整帧丢失隐藏算法； 第二部分：t id m 6 4 2 平台的解码器实现，针对d s p 的特点，改进了校验模型j m 8 6 版( 以 f 简称j m ) 的流程结构，优化了存储器管理，对几个耗时模块用线性汇编语言改写，提高了 解码器速度。 全文共分六个章节： 第一章：绪论 主要介绍了论文的选题意义及背景知识，介绍了论文期间完成的主要工作。 第二章：视频压缩标准h 2 6 4 简介 本章简单介绍了h 2 6 4 视频压缩标准框架。对一些关键技术进行了详细讨论。 第三章：h ，2 6 4 在无线环境中的应用 介绍了无线信道的特点、模型，h 2 6 4 的几个抗误码技术。介绍了基于3 g p p 的无线网络 传输仿真平台以及仿真要求和步骤，并利用该平台研究了h , 2 6 4 在无线网络中的传输的特点。 第四章：差错隐藏算法研究 本章回顾了近年来视频通信中的差错隐藏技术，重点概括了后处理的传统差错隐藏算法。 接着介绍了h 。2 6 4 中使用的差错隐藏技本( 顿内，帧间) ，并且在其基础上，提出了一种新的整 帧丢失差错隐藏算法，该算法有效地提高了整帧丢失情况下的恢复效果，降低了差错蔓延。最 后给出算法仿真结果和数据。 第五章：解码器的d s p 实现 本章分析了t id m 6 4 2 的硬件结构、软件开发平台。分析了解码器的流程，并在结构上作 5 一 了改进。介绍了解码系统构架，并研究了在系统级层次、存储空间、程序代码级等方面的优化 方法。 第六章：结论与展望 本章总结了论文的目的、意义、以及完成的主要工作，对基于d s p 平台的移植和优化工作 进行了总结和概括。 论文的最后列出了本文的参考文献、致谢。 6 苎三皇旦! ! 竺坐! 堡堡堡坌_ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ h _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ - - _ _ _ _ _ _ _ - - _ _ - h _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ - 2 1 引言 第二章h 2 6 4 a v c 标准简介 h 2 6 4 a v c 是l t u j 和i s o i i e c 联合制定的最新编码标准。作为当前虽先进的编码标准， h2 6 4 的编码效率可比现有h 2 6 3 提高5 0 ，是未来几年内视频编码技术研究的主要方向。其 设计也能支持不同档次的应用，以满足不同速率、不同解析度以及不同传输( 存储) 场台的需求。 ( 1 ) b a s e l i n ep r o f i l e ；主要用于可视电话、会议电视、远程医疗等实时视频通信； ( 2 ) m a i np r o t f l e ：主要应用于消费电子应用，如数字广播电视和数字视频存储： ( 3 ) e x t e n d e dp r o f i l e ：主要应用于网络的视频流服务，如视频点播。 2 2h 2 6 4 1 a v c 框架简介 与先前的一些编码标准相比，h 2 6 4 标准继承了h 2 6 3 和m p e g l ，2 4 视频标准协议的优 点，但在结构上并没有变化，只是在各个主要的功能模块内部使用了一些先进的技术，提高了 编码效率。其主要表现在：编码基于4 x 4 块：残差变换所采用的变换编码方式不再是d c t 变 换，而是一种整数变换编码；采用了编码效率更高的上下文自适应二进制算术编码( c a b a c ) ， 同时与之相应的量化过程也有区别。h 2 6 4 标准具有算法简单易于实现、运算精度高且不溢出、 运算速度快、占用内存小、降低块效应等优点，是一种更为实用有效的图像编码标准。 h ，2 6 4 不明确的规定一个编解码器如何实现，只是规定了视频比特码流的句法和该比特流的 解码方法，这就在实现上有了较大的灵活性 2 2 1 编码器 当备帧 ；掣 土nk 嗣臣! 鲨卜- | 霁慧 篓嚣h 萎盎 p 重- - 捧序l 叫 _ 熵蕾码b n a l 码。其中c 表示当前要编码的帧；最。表示帧间编码时的参考帧；d 表示预测残差：p 表示 预测结果；“曩表示未经滤波前的重建帧；e 表示重建帧，x 表示量化后的系数。 编码框架可以分解成产生编码流的前向通道和形成参考帧的后向通道。 ( 1 ) 前向通道的过程是：输入待编码帧e ，对其每个宏块进行帧内，帧问编码，当采用帧 间编码时，通过声0 、来预测，经运动估计、运动补偿得到预测值p ；当采用帧内编码时，通过 “来预测，经过帧内预测过程得到预测值p ，尸与当前帧e 形成预测残差d ，将d 进行变 换、量化、熵编码处理，形成的系数码流通过n a l 层形成最终编码流。 ( 2 ) 后向通道的过程是：编码时，为了预测编码，编码器需要解码每个宏块形成重建块， 即系数z 经反量化、反变换形成重建残差d ，d 与尸相加得到了重建块。为了减少块效应， 最后需要经过去块滤波器形成曩的重建帧只。 h 2 6 4 编码器在总体结构上与以往的编码器并没有太多的变化，但是在一些局部的编码策 略上，h 2 6 4 引入了一些新的算法与特性，从而增强了压缩能力，也提高了对传输错误的抵抗 力，更加适用于现在的无线多媒体和网络多媒体应用。 2 2 2 解码器 圈2 - 2h 2 6 4 解码器结构图 由上节分析可知，编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特流。在图2 2 中，经 熵解码得到量化后的一组变换系数x ，再经反量化、反变换，得到残差d7 。利用从该比特流 中解码出的头信息，解码器产生一个预测块p 。当该p 值与残差d 相加后+ 就产生耗已，再 经过滤波，就得到最后解码输出的重建图像只 可见，编码器的重构路径是保证编码器与解码器使用同样的参考帧来产生预测p ，从而避 免了预测p 在编码器和解码器的不一致而在编解码器之间引入误差和漂移。 8 第二章 l 2 6 4 a v c 标准简介 2 2 3h 2 6 4 a v c 码流结构 为了提高网络亲和性，使之适应不同的传输网络，h 2 6 4 从功能上采用了分层的设计思想： 视频编码层c l ：v i d e oc o d i n gl a y e 0 负责高效的视频内容表示；网络提取层( n a l ：n e t w o r k a b s t r a c t i o nl a y e 0 负责以网络所要求的恰当的方式对数据进行打包和传送。在v c l 和n a l 之 间定义了一个基于分组方式的接1 ：3 ，打包和相应的信令属于n a l 的一部分。这样，高编码效率 和网络友好性的任务分别由v c l 和n a l 来完成。v c l 层包括基于块的运动补偿混合编码和一 些新特性。n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、定时 信息的利用或序列结束信号等。 2 2 3 1n a l 单元 在码流结构上每个n a l 单元都包括一个原始字节序列负荷( r b s p ) ，一组对应于视频编码 数据的n a l 头信息，这些信息包括n a l 起始判决标志，类型标志等，如下图所示。 臣i 工二j i i 忑t i 习了 。i = 一 7 7、 图2 - 3 码流结梅图 其中目前n a l t y p e 的类型主要如表2 - ： 表2 1n a l 类型 0 u n s p e c i f i e d 1 c o d e ds l i c e 2 c o d e ds l i c ed a t ap a r t i t i o na 3c o d e ds l i c ed a t ap a r t i t i o nb 4c o d e ds l i c ed a t ap a r t i t i o nc 5 c o d e ds l i c eo f a ni d rp i c t u r e 6 s u p p l e m e n t a le n h a n c e m e n ti n f o r m a t i o n 7 s e q u e n c ep a r a m e t e rs e t 8p i c t u r ep a r a m e t e rs e t 9p i c t u r ed e l i m i t e r 10 e n do f s e q u e n c e 1 1 e n d o fs t r e a m 1 2f i l t e rd a t a 表2 - 1 中类型7 表示了r b s p 内容是序列参数集s p s ( s e q u e n c ep a r a m e t e rs e t ) ，说明了 编码某一组视频帧参数基本配置，如p r o f i l e 、l e v e l 属性、图像大小、帧场模式等。类型8 表示 了图像参数集p p s ( p i c t u 旧p a r a m e t e rs e t ) 说明了某个图像帧的编码配置，如使用何种s p s 、 熵编码方式、s l i c eg r o u p 的划分方式、对亮度和色度参数的量化步长q p 等。其他类型的n a l 在此不再细述。 2 。2 。3 。2h 。2 6 4 码流结构 一个编码图像通常划分成若干个宏块，一个宏块是由一个1 6 x 1 6 亮度象索和两个8 x 8 的色 度象素块( c b 、c r ) 组成，若干个宏块组成片( s l i c e ) 的形式，在h 2 6 4 中主要支持以f 五 种类型的编码片： 表2 - 2 s l i c e 类型 i ( 帧内)只包含帧内预测宏块即l 宏块 p ( 帧间预铡)包含前向预测宏块( p ) 和i 宏块 b ( 双向预测) 包含前向、后向预测宏块( b ) 和i 宏块 s p ( 切换p )增加了流间切换的灵活性，包含p 和i 宏块 s l ( 切换i )增加了流间切换的灵活性，包含特殊的l 宏块 对于由宏块组成的片，在h 2 6 4 中采用了更灵活的分片形式，且每片包含的m b 数不周定， 这样在一幅图像中可以包含多个s l i c e ，每个s l i c e 被独立的编解码，某片的预测不能以其他片 中的宏块为参考图像，这样某一片中的预测误差才不会传播到其他片中去，较好的限制了误码 的扩散和传输。 下图显示了s l i c e 的语法结构： 雨r t 网磊一 s ! i 2 吐i a d 笪墅堡蚴 ， m m ：m 二噩 | ，- 、 r 7“ 】m b _ w p e m bp r e d f r e s i d u a l l - ，j 图2 _ 4 s l i c e 语法结构 s l i c eh e a d e r 部分说明了该s l i c e 的基本特性，包括使用了何种图像参数集p p s ，s l i c e 所 属的类型( i 、p 等) ，环路去块滤波器使用等。 s l i c ed a t a 部分描述了宏块的编码信息，有宏块层句法和残差句法组成，宏块层句法中由 m b _ t y p e 标志当前宏块类型，对于帧内预测的宏块，由p r e v _ i n t r a 4 x 4 一p r e d m o d e _ f l a g 、 r e m _ i n t r a 4 x 4 _ p r e d _ m o d e 表示4 x 4 亮度块的编码模式，由i n t r a _ c h r o m a _ p r e d _ m o d e 描述了 o 第二章h 2 6 4 a v c 标准简介 色度块的编码模式：对于帧间预测的宏块，主要是r e f _ i d x 表示的参考帧信息，m v d 表示的运 动矢量预测值。残差句法中主要包含了帧内预测或帧间预测的残差值经变换、量化、熵编码后 的系数值，也是主要的编码数据信息。 2 4h 2 6 4 1 a v c 关键技术 h 2 6 4 a v c 为了实现高压缩性能引入了一些新的技术：如1 4 象素精度运动估计、多模式 的帧间预测、帧内预测、多参考帧、环路滤波器、自适应算术编码等，下面针对这些技术作详 细的讨论。 2 4 1 帧内预测 帧内预测编码是利用图像中的空间相关性，基于同一图片内相邻己编码重构的象素块，如 利用上边和左边宏块对当前宏块进行预测，然后对预测后的残差量进行编码来减小帧内编码的 数据量。 h 2 6 4 中，宏块帧内编码包括：i n t r a 4 4 、i n t r a l 6 1 6 及i _ p c m 模式，即4 x 4 小块模 式预测，适合细节复杂的图像：1 6 x 1 6 大块模式预测，适合图像的平滑区域：不经过预测和变 换的i _ p c m 模式，直接传输编码样点，具有很低的失真度。 对4 x 4 块的帧内编码，总共有9 种可选预测编码模式，这些模式都是根据相邻4 x 4 象素 块的相关性来预测当前4 x 4 中各象素的值。 oabcdefg h 泰； 叭? 、 。 、， 3 7 一 - 4 5 。0 4 8 8 ( a ) 利星! 嫠黑曼煮塞烹a p 像 ( b ) 帧内4 x 4 预测的8 个预测方向 素进行4 x 4 帧内预测 。 图2 - 64 x 4 亮度预测 0 ( 垂直) 1 ( 水平2 ( d c ) 3 ( 下左对角线) 4 ( 下右对角线)5 ( 右垂直) 6 ( 下水平)7 ( 左垂直)8 ( 上水平) 圈2 - 64 x 4 亮度块预测模式 图2 - 6 显示了4 4 小块的9 种预测方向，a - m 是当前4 x 4 相邻的象录点。 o ( 垂直)1 ( 水平 3 ( 平面) 图2 - 71 6 x 1 6 预测模式 对于1 6 x 1 6 块的帧内编码，有4 种帧内预钡4 模式。分剐为垂直、水平、d c 求均值) 和平 面预测模式，如图2 7 所示。 上面预测模式都是针对图像块的亮度分量的，而对于宏块的两个8 x 8 色度分量所采用的 预测模式与1 6 x1 6 亮度块类似。 2 4 2 帧间预测 帧间预测编码是利用相邻图像的时间相关性使用前面己解码图像作为运动估计的参考帧， h 2 6 4 支持使用多个参考帧。在帧间预测编码中有个显著的改进就是它支持更灵活块尺寸的运 动估计，和更精确的运动矢量( 1 ，4 象素精度) 。 h 2 6 4 中使用帧间预测的帧包括p 帧和b 帧，p 帧使用过去的编码图像进行运动估计，b 帧将过去和将来的图像帧分成两组l i s t o 与l i s t l ，进行更灵活的双向预测。 1 2 第二章h2 6 4 a v c 标准简介 _。_-_。_。-。_。-_。_。一 2 4 2 1 多模式的帧间预测 h 2 6 4 支持宏块的7 种分块模式，从1 6 x 1 6 的大块模式，到8 8 的子宏块模式，再到4 x 4 的小块模式，需要根据图像内容的不同而进行选择。 1 6 x 1 61 6 88 1 68 8 8 88 44 4 o ot i 卜一 0 1 i 4 一 1 j 。l 。l 圈2 - 8 宏块及子块分弼 支持多模式的预测方式可以提高压缩性能，但是也增加了计算复杂度。一般说来对于前后 场景没有显著变化的区域，如固定的背景等适用于大块模式，而对于纹理复杂、运动剧烈的区 域更趋向于选择小块模式，不过在预测时需要和运动矢量综合考虑。因为分块越多需要传输的 运动矢量信息就越多，这样会大大增加码率需求。因此在编码时一定要进行适当权衡。 2 4 2 21 4 象素精度运动估计 h 2 6 4 中对亮度采用1 ，4 象素精度、色度采用1 ，8 精度的预测，这相对丁二h ，2 6 3 和m p e g 2 等标准中使用1 ，2 象素精度的运动估计有了较大的性能改进。h2 6 4 中利用6 - t a p 滤波器产生 1 ，2 象素，线性插值产生1 “象素，4 - t a p 滤波器产生1 ，8 分数象素。 因网蘑鎏鍪：鞫圈餍 隧i 簿；巨瓣。鞫”骥i 慝t i 麟隧器冀磷 1 一_ 自瞻嘣融l - r j 艟i i i 夔： | 鹱：黧夔； o 一“。“一 隧圈 e - e 引 隧鎏 ( a ) 亮度1 2 像素位置内插 董藓 ；，i 蜒t i 錾j 鬻“1 霹 ：j ： 暇j ：“ ：； l ljs j| | 蕊i i 上 ：一。 睢：越 ( b ) 亮度1 4 像素位置内插 图2 - 9 亮度分象素内插示意图 对于亮度分量，如图2 - 9 为例。图中带阴影的大写字母表示整象素位置，小写的为分数象 一1 3 一 素位置。b 为1 2 象素位置，a 为其中一个1 1 4 象素位置，插值公式如下： b = r o u n d ( ( e 一5 f + 2 0 g + 2 0 h 一5 1 + j ) 3 2 ) ( 2 - 1 ) a = r o u n d ( ( g + b ) 2 1 ( 2 2 ) 色度分量的内插需要1 8 精度的m v ，同样通过整象素线性内插得出，如图2 - 1 0 所示： 湖 d y r c l x 8 一d x 8d y l 麟 圈2 1 0 色度1 8 象素内插 其中d ，、d 。代表象素位置，色度1 ，8 位置a 的内插： 口= r o u n d ( ( 8 一d ，) ( 8 一d y ) 4 + d ，( 8 一d ，) b + ( 8 一d ，) t ，c + d ；d y d ) 6 4 ) ( 2 - 3 ) 采用更高象素精度的内插算法使运动搜索更加精确，搜索的象素块之间更加匹配，从而使 要进行变换编码的图像残差值更小，降低了比特率同时也提高了帧间预测编码的性能。 2 4 2 。3 多参考帧预测 与以往的标准中单参考帧不同，h 2 6 4 a v c 支持多参考帧编码。即通过在多个参考帧中进 行运动搜索，寻找出当前编码块的最佳匹配。在一些特定的情况下，如快速的周期运动、快速 的场景切换、物体存在遮蔽现象等，多参考帧的使用会有菲常好的效果。 2 4 3 整数变换 由于d c t 的性能十分接近统计意义上的最优变换k l t ，而且具有快速算法，所以d c t 被 广泛的应用于各种视频编码标准中。但是，传统的d c t 无论在运算精度还是复杂度上都存在 明显的不足。在运算精度方面，由于变换中存在无理数，这样在变换时不得不对变换后的系数 进行四舍五入，从而导致反变换后不能精确的恢复原始数据。而且由于d c t 存在多种快速算 法，当编码器和解码器适用的算法不能很好的匹配时，就使得编码器一解码同路的解码结果( 用 1 4 羔三童坚：! ! 竺些! 堡堡堕坌 作编码器的参考帧) 和解码器的解码结果( 用作解码器的参考帧) - f 一致，产生了同路信号的 偏差，这就是传统d c t 中常见的误匹配( m i s m a t c h ) 的问题，严重时对重建图像的质量会有 很大的影响。 对所有4 x 4 残差数据，h 2 6 4 变换编码的基本算法采用的是整数变换。这种变换编码来自 t - d c t 变换，但也有很多的不同，它完全只涉及整数的计算，而没有精度的损失。 下式为对4 x 4 象素块x 的d c t