（信号与信息处理专业论文）城市预警机无线传输系统中视频编码技术的研究与实现.pdf

摘要 摘要 城市预警机是以城市为应用背景，具有多种用途的视频监控系统，它利用 无线信道传输数据，目前受到信道干扰的影响和传输速率的限制，因此需要采 取高效的编码技术方案来对视频进行压缩。h 2 6 4 a v c 是最先进的视频编码标 准，把它应用到无线传输系统里具有明显的优势。 在城市预警机无线传输系统中我们采用了高性能d s p d m 6 4 2 。本文主要研 究分析h 2 6 4 视频编码技术，并在d m 6 4 2 上实现与优化h 2 6 4 编码器。 在编码技术方面，本文研究了交换量化和帧闻预测模式两个方面的算法。 在变换量化中全零块的检测技术现状的基础上，对全零块的判决公式进行了推 导改进，有效的提高了编码效率；在现有的帧间模式选择算法的研究基础上总 结改进了提前终止选择算法和阚值预判算法，减少了帧间模式选择的时间。 在d 蹭平台实现方面，本文麸代码级别和数据调度策略两方面进行优化。 使其能在d s p 平台上高效运行。数据调度上采用基予宏块的数据缓存机制，使 用与e d m a 数据传输机制相适应的数据调度，节省了原本占据总运行时间5 0 以上的数据搬运时间。 关键词：视频编码，h 2 6 4 ，d m 6 4 2 ，变换量化，帧间预测 a b s t a c t a b s t r a c t c i t ye a r l y - w a r n i n ga i r p l a n ei sam u l t i p u r p o s ev i d e os u r v e i l l a n c es y s t e m ，w h i c h t r a n s m i t si n f o r m a t i o nb yw i r e l e s sc h a n n e l s h o w e v e r , d u et ot h es e r i o u sd i s t u r b a n c e s i nw i r e l e s sc h a n n e l sa n dt h el i m i to ft h es p e e d ，v i d e oq u a l i t yc a l ln o tm e e tt h e r e q u i r e m e n t sa n dh i g he f f i c i e n tc o m p r e s s i o ns t a n d a r di sn e e d e d h 2 6 4 a v c ，t h e m o s ta d v a n c e dv i d e oc o m p r e s s i o ns t a n d a r d ，h a sal o to fa d v a n t a g e si nw i r e l e s s t r a n s m i s s i o ns y s t e m 。 d s p d m 6 4 2w h i c hi su s e di nv i d e oc a np r o v i d eg o o dp e r f o r m a n c ei nd i g i t a l m e d i op r o c e s s o r t h ep a p e re m p h a s i so nh 2 6 4c o d i n gt e c h n i ca n di m p l e m e n to f h 2 6 碡c n c o d e rb a s e do nd m 6 4 2 。 t h ea l g o r i t h m so nt r a n s f o r m ，q u a n t u i o na n di n t e r - m o d ed e c i s i o na r ed i s c u s s e d h e r e b a s e do nt h ea l l - z e r ob l o c kd e t e c t i o n ，t h eg e n e r a l i z e dd i s c r m i n a n ti sd e r i v a t e d a n di m p r o v e d a n dt h ee n c o d i n gs p e e dr u n sf a s t b a s e do nt h ep r e s e n ti n t e r - m o d e d e c i s i o n , t w oa l g o r i t h m sa r es u m m a r i z e dt or e d u c et h et i m eo fi n t e r - m o d ed e c i s i o n t h ec o d ea n dd a t as c h e d u l i n gs c h e m ea r ep t i m i z eo nd s et or e d u c et h et a k e n t r a n s m i s s i o nt i m ew h i c ho c c u p i e sm o s to fc p ur u n t i m e ，am e c h a n i s mo fd a t a b u f f e r i n gb a s e do nm a c r o b l o e ka n de d m aa r eu s e d k e yw o r d s ：v i d e oe n c o d i n g ，h 2 6 4 ，d m 6 4 2 ，d c t , i n t e r - m o d ed e c i s i o n l i 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不咀赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：办瑁它 p g 年月j 7 日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均己在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 压治墓 硼年岁月7 第一章绪论 第一章绪论 1 1 引言 视频监控系统是安全防范系统的组成部分，它是一种防范能力较强的综合 系统。视频监控以其直观、方便、信息内容丰富而广泛应瘸子许多场合，闭路 监控、可视电话、交通路口视频、现场直播等在我们的周围已经司空见惯，作 为一种最有效地体现现场实况的手段，视频图像在生活中应用得越来越普遍【l 】。 近年来，隧着计算机、网络以及圈像处理、传输技术的飞速发展，视频监控技 术也有长足的发展。但无压缩视频的数据量相对于现有公戴无线传输网来说十 分巨大：一帧5 1 2 x 5 1 2 中等大小，2 4 位真彩色的图像就有0 7 5 m b ，而公共无线 传输鼹的速度最高只有每秒1 0 0 k 左右。为了能实现公网无线传输，必须对原始 视频进行压缩处理嘲。 虽然视频信息数据量巨大，但这些数据间存在高度的相关性，数据相关性 会引起信息冗余。视频信号中存在的冗余包括空间冗余和时闻冗余，视频编码 技术本矮上就是要尽量剔除暴始信号中的各种冗余。在时间上，我们可以去除 帧与帧之间的相关性，在空间上可以去除象素或者块之间的相关性，以达到压 缩的髓的。压缩也可分为有损压缩和无损压缩，有损压缩的压缩率比较高，但 有信意量的损失，预测编码、交换编码、运动检测等都属于有损压缩。无损压 缩压缩率比较低，没有信息量的损失，哈夫曼编码、算术编码和游程编码都属 于无损压缩。在视频编解码技术中，无损和有损压缩都会被使用。 在现有的视频压缩标准中，最新制定的h + 2 6 4 能取得最高的编码效率，但也 带来了极大的运算复杂度。为了进行实时的运用，就必须对现有昀珏2 6 4 编码器 进行优化。各种编码算法优化能在基本保持图像质量的基础上，显著地降低运 算复杂度，而d s p 以其处理能力强，软件编程简便而成为h 2 6 4 编码器硬件平 台的酋选。 1 2 视频编码标准简介 从1 9 8 4 年提是电视信号可以数字纯以来，图像压缩编码技术已有5 多年 l 第章绪论 的历史，不仅在理论研究上取得了重大进步，而且在实际应用中也获得了很大 成果。近1 0 年来，图像编码技术得到了迅速发展和广泛应用，并且网臻成熟， 其标志是多个关于图像编码的溪际标准的制定，帮国际标准化组织( i s o ) 和国 际电工委员会( i e c ) 关于静止图像的编码标准j p e g j p e g 2 0 0 0 ，关于活动图像 的编码标准m p e g 1 、m p e g 2 、m p e g 4 ( 2 ) 、m p e g 4 ( 1 0 ) 等，以及国际 电信联盟( 1 t u ) 制定的视频编码标准h 2 6 x 系列f j 。这些标准融合了各种性 能鼹优良的图像编码算法，代表了譬前图像编码技术酶发展水平。2 0 0 3 年3 月 份，l t u t 颁布了h 2 6 4 视频编码标准。它不仅使视频压缩比较以往标准有明显 提高，而且具有良好的网络亲和性，特别是对i p 互联网、无线移动网等易误码、 易阻塞、q o s 不易保证的网络视频传输性能有明显的改善。 从h 。2 硝视频编码建议，到h 。2 6 2 、h 。2 6 3 、h 2 6 3 + 、h 2 6 3 + + ，以及m p e g 1 、 m p e g 2 、m p e g - 4 ( 2 ) 等视频编码标准都有一个共同的不断追求的网标，即在 尽可能低的码率( 或存储空问) 下获得尽可能好的图像质量。而且，随着市场 对图像传输需求的增加，如何适应不同信道抟输特性的闻题也圈益显现出来。 为了解决这些闯题，i s o i e c 和l t u 两大国际标准化组织联手制定了视频信新标 准h 2 6 4 。 视频编码的主要目的就是在保证一定重构质量的前提下，以尽量少的比特 数来表饪视频信息。视频编码的原理是：由于表示餮像和视频信息所需的大量 的数据往往是高度相关的，这些相关性会引起信息的冗余，因此可以通过去除 这些冗余信息来实现对视频数据的压缩。传统的基于统计特性的运动补偿+ 变 换编码的混合编码框架在数据压缩方面取得了很大的成栗，国内外的通用视频 压缩标准均基予此框架，比如h 2 6 x 系列、m p e g - x 系列以及我屋的a v s 。p 2 标 准。但是随着计算机网络的不断发展和应用需求的多样化，对于视频编码技术 的研究不稃仅仅局限于压缩特性，而渐渐开始向网络适应性、用户交互性等方 面转移。因此，这凡年来，视频编码技术一方面继续以混合编码为框架进一步 提高压缩特性，另一方面又向可伸缩编码等方向不断发展。 混合编码框架的技术主要包括：运动补偿、预测编码、变换编码以及熵编 码等。近年来混合编码的研究主要集中于如何在技术细节方面进行进一步完善， 使编码效率褥到进一步的提高。h 2 6 4 a v c 、m p e g - 2 的基本类和基本级的编码 都是这方编码的典型。 可伸缩技术将视频编解码技术从传统的压缩技术转变为了更多考虑网络适 2 第一章绪论 应性和灵活性的编鳃码框架。可伸缭视频编码因为具有时域、空域和质量等多 方面的灵活性，不仅特别适合网络传输，而且应用到视频监控领域中还能满足 监控褫频资料的存储、检索、分析等方面的种种特殊需求。近两年来，可伸缩 技术在视频监控中的研究已广泛应用。 1 3 视频压缩编码的实现 视频编码目前主要有3 种实现方案：在通用p c 上编程实现；通过专用a s i c 芯片硬件实现以及使用通用d s p 芯片实现。其中，通用p c 运算能力很强，存 储空闻丰富，可井级性也较好，但成本高，能耗指数也不佳；专用a s i c 芯片， 因为芯片设计可以针对专门的算法进行高度优化。和微处理器相比，专用视频 解码器芯片不需要取指、译码等过程，还可以将控制器所需要的硬件开销减到 最小，因此它可以获得更高的处理速度，并占用更少的硬件电路。其缺点在于 其中有大量的专用模块，当算法需要修改时，便无法适应新的算法，只能重薪 设计。与前两者相比，通用d s p 芯片实现是更加灵活的方案。它具有以下的优 势： 1 ) 运算性能强大，霹在l s 杰完成数亿甚至几十亿次乘法累加运算，运算性 能远超普通微处理器，可以实现高效编码； ( 2 ) 可升级性好，与p c 类似，能快速方便地进行软件升级及添加新的功能， 以适应技术发展和市场变化； ( 3 ) 成本低廉，功耗低，适应场合广泛。 因此，采用通用d s p 实现城市预警机无线传输系统中的编码方案是比较合 适的。全球最大的d s p 制造商德州仪器( 1 1 ) 推出的一款高性能多媒体处理器 t m s 3 2 0 d m 6 4 2 ，它基于c 6 4 xd s p 内核，采用二级缓存，并提供了丰富的外围 接口，如3 个多通道视频网、以太网接口等，且功耗比t r i m e d i a 和e q u a t o r 等处 理器要低。d m 6 4 2 是针对多媒体应用开发的d s p 芯片，系统实现方便。由于硬 件方面强有力的支持，d m 6 4 2 是目前实现视频应用系统的理想平台。 1 4 本文的结构和内容提要 本文的工作着重在t i 公司的新型数字媒体处理器d m 6 4 2 的硬件平台上， 实现和优化h 2 6 4 视频编码器，使编码器能适应城市预警机的要求，获得较好 3 第章绪论 图像质量和编码性能。 第一章，绪论。介绍课题的背景和相关技术。 第二章，首先介绍了h 。2 6 4 编码的基本情况，编码的技术优势和各个档次和 级。然后从多模式正内预测，1 4 像素精度运动估计，自适应块尺寸运动李 、偿和 运动矢量预测编码，多参考帧和熵编码五个方面详细分析了h 。2 6 4 编码运算的复 杂度。结合城市预警机应用的实际，选择合适的编码方案。 第三章，h 2 6 4 a c v 中的算法研究。从h 2 6 4 标准中的交换量化和帧闻预 测模式两个方面进行了算法研究。变换量化的研究首先根据h 2 6 4 中整数变换和 量化的原理，在全零块充分条件的基础上，根据人眼对图像不同区域的敏感度 不同的特点，对h 2 6 4 全零块的预判的闺值进行调整。 第四章，d s p 编程实现及优化。首先针对d i d 6 4 2 嵌入式平台的特点，放代 码级别对编码程序进行了优化。在数据调度策略方面，针对d m 6 4 2 的三级存储 器系统，同时针对d m 6 4 2 的二级缓存机制，合理分配片内片外内存，使数据运 算和数据搬运势行进行。 第五章，总结与展望。 4 第二章编码方案分橱 第二章编码方案的分析 h 2 6 41 1 0 1 是2 0 0 3 年3 胃发布的一种高饿能的视频编解码技术，它是由 i h j t 和i s o 两个圜际组织联合组建的联合视频组共同制定的新数字视频编码 标准。h 2 6 4 被i s o 称为m p e g - 4a v c 或m p e g - 4p a r t l 0 。 h 2 6 4 编解码流程主要包括7 个部分；帧间和帧内预测、简化d c t 变换算 法、量化； 羹反量化、环路滤波、熵编码，工作原理图如图2 。l 所示，图中帧内预 测和环路滤波是h 。2 6 4 新增部分，用来降低块噪声。h 2 6 4 在一些步骤采取了一 些技术改进。在运动预测环节，用可变块大小预测，参考帧数最大4 - , 6 个；在 变换环节，用帧内预测减少i 帧的编码量；在纠错变换环节，使用c a v l c 和 c a b a c 替代霍夫曼编码。这些部分在下藤的章节会有较详细的介绍。 输入图像 匦虱一竺 变换卜叫量化 + t 一 帧间模式 i预测帧( p b 画丽重构用) 运动补偿 运动预测 帧存储h 一环路滤波 变换系数 解量化 l 皇 反变换 t 绣错 变换 附带信息( 运动必量) 图2 1h 2 6 4 编码流程 附加 比特流输撼 第二章编码方案分析 2 1h 2 6 4 编码技术优势 h 2 6 4 是在m p a g - 2 、m p a g 4 技术基础之上建立的，它的技术亮点有： 1 ) 分层设计 h 。2 6 4 的算法在概念上可以分为两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示，网络提取层( n a l ：n e t w o r k a b s t r a c t i o n l a y e r ) 负责以 网络所要求的恰当的方式对数据进行打包和传送。在v c l 和n a l 之间定义了 一个基予分组方式的接墨，蠡包和相应的信令属于n a l 的一部分。这样，高编 码效率和网络友好性的任务分别由v c l 和n a l 来完成。v c l 层包括基于块的 运动补偿混合编码和一些新特性。与前面的视频编码标准一样，h 2 6 4 没有把前 处理和后处理等功能包括在草案中，这样可以增加标准的灵活性。n a l 负责使 用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、定时信息的 利用或序列结束信号等。 ( 2 ) 高精度、多模式运动估计 h 。2 6 4 支持1 4 或1 8 像素精度的运动矢量。在1 4 像素精度时可使用6 抽 头滤波器来减少高频噪声，对予1 8 像素精度的运动矢量，可使用更为复杂的3 抽头的滤波器。在进行运动估计时，编码器还可选择“增强”内插滤波器来提高预 测的效果。在h 2 6 4 的运动预测中，一个宏块( m b ) 可以按图2 被分为不同的子 块，形成7 静不同模式的块尺寸。这种多模式的灵活和缨致的划分，更切合图 像中实际运动物体的形状，大大提高了运动估计的精确程度。在这种方式下， 在每个宏块中可以包含有l 、2 、4 、8 或1 6 个运动矢量。在h 2 6 4 中，允许编码 器使用多于一帧的先前帧用于运动估计，这就是所谓的多帧参考技术。 f 3 ) 4 x 4 块的整数变换 h 2 6 4 与先前的标准相似，对残差采用基于块的变换编码，但变换是整数操 作而不是实数运算，其过程和d c t 基本相似。这种方法的优点在于：在编码器 中和解码器中允许精度相同的变换和反变换，便于使用简单的定点运算方式。 也就是说，这里没有“反变换误差”。变换的单位是4 x 4 块，蔗不是以往常用的8 x 8 块。由于用于变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换计 算量比较小，而且在运动物体边缘处的衔接误差也大为减小。为了使小尺寸块 的交换方式对图像中较大面积的平淆区域不产生块之间的灰度差异，可对帧内 6 第二章编码方案分析 宏块亮度数据的1 6 个4 x 4 块的d c 系数( 每个小块一个，共1 6 个) 进行第二次4 x 4 块的变换，对色度数据的4 个4 x 4 块的d c 系数( 每个小块一个，共4 个) 进行2 x 2 块的变换。h 2 6 4 为了提高码率控制的能力，量化步长的变化的幅度控制在1 2 5 左右，瑟不是以不变的增幅变化。交换系数幅度的躲一亿被放在反量化过程中 处理以减少计算的复杂性。为了强调彩色的逼真性，对色度系数采用了较小量 化步长。 ( 4 ) 统一的v l c h 2 6 4 中熵编码有两种方法，种是对所有的待编码的符号采用统一的 v l c ( u v l c ：u n i v e r s a lv l c ) ，另一种是采用内容自适应的二进制算术编码 ( c a b a c ：c o n t e x t - a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。c a b a c 是可选项，其编 码性能比u v l c 稍好，但计算复杂度也高。u v l c 使用一个长度无限的码字集， 设计结构非常有规则，用相同的码表可以对不同的对象进行编码。这神方法很 容易产生一个码字，而解码器也很容易地识别码字的前缀，l r v l c 在发生比特错 误时能快速获得重同步。 ( 5 ) 帧内预测 在先前的h 2 6 x 系列和m p e g - x 系列标准中，都是采用的帧间预测的方式。 在h 2 6 4 中，当编码i n t r a 图像时可用帧内预测。对于每个4 x 4 块( 除了边缘块特 别处置以外) ，每个像素都可用1 7 个最接近的先前已编码的像素的不同加权和( 有 的权值可为来预测，即此像素所在块的左上焦的1 7 个像素。显然，这种帧内 预测不是在时间上，而是在空间域上进行的预测编码算法，可以除去相邻块之 间的空间冗余度，取得更为有效的压缩。 ( 6 ) 瑟向l p 和无线环境 h 2 6 4 草案中包含了用于差错消除的工具，便于压缩视频在误码、丢包多发 环境中传输，如移动信道或i p 信道中传输的健壮性。为了抵御传输差错，h 2 6 4 视频流中的时闻同步可以通过采用帧内图像刷新来完成，空间同步由条结构编 码( s l i c es t r u c t u r e dc o d i n g ) 来支持。同时为了便于误码以后的再同步，在一幅图像 的视频数据中还提供了一定的重同步点。另外，帧内宏块刷新和多参考宏块允 许编码器在决定宏块模式的时候不仅可以考虑编码效率，还可以考虑传输信道 的特性。除了利用量亿步长的改变来适应信道码率外，在h 2 6 4 中，还常利用数 据分割的方法来应对信道码率的变化。从总体上说，数据分割的概念就是在编 码器中生成具有不同优先级的视频数据以支持网络中的服务质量q o s 。例如采 7 第二章编码方案分析 用基于语法的数据分害1 ( s y n t a x - b a s e dd a t ap a r t i t i o n i n g ) 方法，将每帧数据的按其重 要性分为几部分，这样允许在缓冲区溢出时丢弃不太重要的信息。还可以采用 类似的时间数据分割( t e m p o r a ld a t ap a r t i t i o n i n g ) 方法，通过在p 帧和b 帧中使用 多个参考帧来完成。在无线通信的应用中，我们可以通过改变每一帧的量化精 度或空间时间分辨率来支持无线信道的大比特率变化。可是，在多播的情况下， 要求编码器对变化的各种比特率进行响应是不可能的。因此，不同予m p e g - 4 中采臻的糖缨分级编码f g s ( f i n eg r a n u l a rs e a l a b i l i t y 糟方法( 效率比较低) ，h 2 6 4 采用流切换的s p 帧来代替分级编码。 作为最新一代的视频编码标准，h 2 6 4 在追求更高编码效率和简洁的表达方 式的同时提供了非常好的视频质量，它是当前最高效的视频压缩技术。与目前 广泛应用的m p a g - 2 、m a p g - 4 耀比，同样的图像质量情况下，它的编码效率 提高了3 0 - 4 0 ，相应地节约了3 0 的网络带宽。在当今网络带宽越来越宝 贵、高清需求越来越强烈的情况下，采用h 2 6 4 标准已成为在有限带宽下满足用 户需求的理想方案。 2 2h 2 6 4 档次和级 h 2 6 4 规定了三种档次，每个档次支持一组特定的编码功能，并支持一类特 定的应用。 ( 1 _ ) 基本档次：利用l 片和p 片支持帻内和帧间编码，支持利焉基予上下文 的自适应的变长编码进行的熵编码( c a v l c ) 。主要用于可视电话、会议电视、 无线通信等实时视频通信； ( 2 ) 主要档次：支持隔行视频，采用b 片的帧间编码和采用加权预测的帧内 编码；支持利用基于上下文的自适应的算术编码( c a b a c ) 。主要用于数字广 播电视与数字视频存储； ( 3 ) 扩展档次：支持码流之间有效的切换( s p 和s i 片) 、改进误码性能( 数 据分割) ，但不支持隔行视频和c a b a c 。 图2 。2 所示h 2 6 4 各个档次具有的不同功能，可见扩展档次包括了基本档次 的所有功能，而不能包括主要档次的。每一档次设置不同参数( 如取样速率、 图像尺寸、编码比特率等) ，得到编解码器性能不同的级。 8 第二章编码方案分析 e 加n d dp r o f l b 图2 2 h 2 6 4 档次 h 2 6 4 不仅定义了档次( p r o f i l e ) ，还定义了级( l e v e l ) 。针对处理器的处 理能力和内存大小，l e v e l 提供了语义限制。 图像尺寸是影响编码执行所需处理能力和内存大小的关键嚣素，嚣此，h 2 6 4 针对不同的图像大小和最大比特率来定义了1 5 个级。此外，级还限制了使用的 最大参考帧数。 。 2 3h 2 6 鬏a v c 运算复杂度分析 h 2 6 4 缓v c 编码效率的提高并不是单独某项编码方法的改进导致的，露 是由编码环节中多个模块的改进累加起来综合得到的。 在预测上，采用更多更精确的预测模式来提高预测效率，如空间域的多模 式帧内预测、1 4 像素精度运动估计、自适应块尺寸运动补偿、多参考帧运动静 偿和通用b 帧的概念。然后采用率失真优化对编码模式进行选择，从而褥到最 优的率失真效果。其次，在熵编码上，采用基于上下文自适应的概率统计编码 方法迸一步去除相关性，提高编码效率，如c a b a c c a v l c 。最后将环路滤波 器至予编码环路内，去除块噪声，在提高主观质量的同时，进一步提高预测的 效率。这些改进在提高编码效率的同时也极大的增加了运算复杂度。 ( 1 ) 多模式的帧内预测 9 第二章编码方案分析 只采用帧内编码的图像称为i 图像，在以往的标准中，在i 图像中是直接把 像素块的数值进行变换，这样处理的结果韪导致i 图像包含了大量的数据，压缩 率不高。帧内预测技术早在h 2 6 3 + 中作为一种选项被提出瓣h ，但当时提出的预 测模式相当单一，作为预测的块( 8 8 ) 只有d c 系数( m o d e0 ) 和最顶行( m o d e1 ) 及 最左歹u ( m o d e2 ) 的数据由相邻的块预测得到，其余的数据则保持不变。 h 2 6 4 吸取了上述帧内预测编码的经验，根据相邻像素可能有相同的性质， 利焉了相邻像素的檑关性，在空闻域中采用了多模式的帧闻预测。只对实际僮 和预测值的差值进行编码，这样就能用较少的比特数来表达帧内编码的像素块 信息。h 2 6 4 标准中，亮度块可以有9 种4 x 4 块预测模式和4 种1 6 x 1 6 的块预测 模式，并通过率失真函数来判断选择其中最佳的帧内预测模式i 撩】，其中4 x 4 块 预测模式对于图像细节内容比较丰富的区域效果较好，丽1 6 x 1 6 块_ 预测模式对 于图像内容变化平坦的区域如背景区域效果较好。 由于人眼对色度信号不如对亮度信号敏感，故对色度信号的采样和预测模 式均比较禳略。h 。2 6 4 a v c 视频标准规定的亮色吃为4 ：2 ：0 ，对亮度为1 6 x 1 6 的 块相应的色度取样为8 8 。h 2 6 4 a v c 将8 8 的色度块再划分成4 个4 x 4 的 子块，预测模式只有4 种简单的色度d c 系数预测水平预测垂直预测和平坦预 测。 o 删1 釉酬 2 d c 3 桷啪删踟阶嘲i 湎啪喇幽黔训 酽酽眵酽 酽f 穿 图2 34 x 4 亮度块预测模式 1 0 第二章编码方案分析 表2 1 预测模式描述 模式描述 模式0 ( 垂直) 由a 、b 、c 、d 垂直推出相应像素值 模式l ( 承平) 出i 、j 、k 、l 水平接出相应像素值 模式2 ( d c )由a d 及| l 乎均僮推出所有像素值 模式3 ( 下左对角线)由4 5 。方向像素内插值得出相应像素值 模式4 ( 下右对角线)由4 5 。方向像素内插值得出相应像索值 模式5 ( 蠢垂壹)由2 6 。6 。方融像素馇内撬值得密糟应像素值 模式6 ( 下水平) 由2 6 。6 。方向像素值内插值缛出相应像素值 模式7 ( 左垂直) 由2 6 6 。方向像素值内插值得出相应像素值 模式8 ( 上水平)由2 6 6 。方向像素值内插值得出相应像素值 圈2 41 6 x 1 6 预测模式 表2 21 6 x 1 6 预测模式描述 模式接述 模式0 ( 垂直)由上边像素推如相应像素值 模式l ( 水平)由左边像素推出相应像素值 模式2 ( d c )由上边和左边像素平均值掖国相应像素值 模式3 ( 平霹)穰用线形“p l a n e ”函数及左、上像素雄线相应像素僮，适用予亮度变纯乎缓区域 多模式的帧内预测，与h 2 6 3 + 高级帧内编码模式中d c t 域的帧内预测相 比，在相同的码率下，其p s n r 值平均提高了4 3 7 d b 。但是，采用了两种不同 的分块大小4 x 4 ，1 6 x 1 6 级1 3 种预测模式，以及色度的四种帧内预测模式，共 1 7 种帧内预测模式，如果用基于r d o ( r a t e - d i s t o r t i o no p t i m i z a t i o n ) 判决准则 第二章编码方案分析 的模式全搜索的模式总数达5 9 2 个，计算量巨大，大大增加了编码的复杂度。 ( 2 ) 1 4 像素精度运动估计 帧闻运动估计( m e ) 和补偿( m c ) 一直是运动图像蹑缩编码中的关键技术，以 往的视频标准如h 。2 6 1 ，h 。2 6 3 和m p e g 1 2 4 均采用此方法来减小图像时域相 关性，从而达到压缩的目的。h 2 6 4 a v c 总结了这些标准及其相关工作的经验， 并在此基础上提出了更为精细的运动预测技术，如基于不同大小宏块的运动预 测，分辨率达到l 缮象素( 对c i f 可达l 德象素) 的运动预测多达凡秒钟的多参 考图像预测以及运动矢量预测技术。 h 2 6 4 a v c 中，为了得到更为精确的预测效果采用了多达7 种宏块模式用 于运动预测时的搜索匹配单元。编码器按照图像的内容搜寻与即将编码的原始 宏块单元最佳匹配的参考宏块，共根据率失真理论待到最佳参考宏块模式和残 差。实验表明基于不同大小宏块的帧间匹配模式可以有效地减小图像时域相关 性提高压缩编码的效率。 国国国目 m o d eim o d e 2 1 畦x 1 6b l o c k ! i& 1 6b l o c k s m o d e3 l 触b l o c k s 日目圈 m o d e5 4 程珏鼢 m o d e6 是睡糙隧k m o d e7 撼珏妇 图2 57 种宏块趔分模式 m o d e 4 嫩蕊o d 群 由于物体运动的不规则性，使褥参考宏块不可能刚好处于整象素位置上， 这样造成采用整象素精度的运动预测不够精确l l 引。h 2 6 4 a v c 为了进一步提高 编码效率同时也考虑到计算复杂度的因素采用了四分之一像素精度素( 对c i f 分辨率的图像可以达到l 8 象素精度) 的运动矢量模型。1 缮像素精度是通过利用 整像素地暗的亮度值进行内插褥到的。运动内撬过程分成两步进行营先采用一 个6 阶滤波内插出半象素精度的参考图像。此6 阶滤波器系数为 ( 1 ，一5 ，2 0 ，2 0 ，5 ，1 ) 3 2 ，经过滤波器后的象素值取整并限制在o 2 5 5 间。然后用线 1 2 第二章编码方案分析 性滤波器来获得四分之一像素的精度。同样原理由于4 ：2 ：0 采样的关系，色 度的运动精度就达至uta 分之一精度。 口口圆口口 口口圃口口 圆圆圈圈囤 口 口 首先生成参考图像亮度成分半像素像素。半像素点( 如b 玉器) 通过对相应 整像素点进行6 抽头滤波褥出，权重为( 1 3 2 ，5 3 2 ，5 8 ，5 8 ，5 3 2 ，1 3 2 ) 。b 计 算如下： 务= r o u n d ( ( e - 5 f + 2 0 g + 2 0 h - 5 1 + o 3 2 ) ( 2 1 ) 类似的，h 由a 、c 、g 、m 、r 、t 滤波得出。一旦邻近( 垂直或水平方 向) 整像素点的所有像素都计算出，剩余的半像素点便可以通过对6 个垂直或 水平方向的半像素点滤波而得。 国墨圈 圈国圈 图2 7 亮度四分之一像素位置插值 1 3 q覃 h n o 霉咒 a 骤缀剿 x2 p 代 r 爿 赫= 靶n 田圆圈国嘲国 第二章编码方案分析 半像素点计算出来以后，l 4 像素点就可通过线性内插得出，如图2 7 所示。 1 4 像素点( 如a , c ，i ，k ，d ，n ，q ) 由邻近像素内插而得，如 a = r o u n d ( ( g + b ) 2 ) ( 2 2 ) 剩余l 4 像素点( p ，f ) 由一对对角半像素点线性内插得出。 一“r ”“ 团 图2 8 色度八分之一像素内插 其中， a = r o u n d ( ( 8 - d ，) ( 8 一d ，) 彳+ ( 8 一d ，) b + ( 8 一或) d ，c + d ，d y d 6 4 ) 当或- 2 ，或2 3 时， a = r o u n d ( 3 0 a + l o 艿+ 1 8 c + 6 d ) 6 4 】 ( 2 3 ) h 2 6 4 a v c 采用高精度的运动预测大大地提高了运动估计的精度，使得最 终用于编码的残差明显减小，从而提高帧间编码的效率。以f o r e m a n ( q c i f ) 为例，使用亚像素空间精度与使用整数像素空闻精度相毙，能产生大于2 0 的 码率节省；二分之一像素块匹配占编码时间的l1 ，四分之一像素块匹配占编 码时间的1 4 。 ( 3 ) 自适应块尺寸运动补偿和运动矢量预测编码 帧闻编码中构成编码比特流的信息主要是残差变换系数和运动矢量信息。 为了尽可能提高编码效率h 2 6 4 a v c ，对残差采取了基于4 x 4 块的整数变换编 码，对运动矢量则采取了运动矢量预测编码技术。 h 2 6 4 采用树状结构运动补偿。每个宏块( 1 6 1 6 像素) 可以4 种方式分割： 1 4 第二露编码方案分析 一个1 6 1 6 ，两个1 6 x 8 ，两个8 x 1 6 ，遥个8 x 8 。其运动补繁也相应有四种。 嚣 8 x 8 模式的每个子宏块还可以四种方式分割：一个8 8 ，两个4 8 或两个8 x 4 及 4 个4 x 4 。这些分割和子宏块大大提高了备宏块之间的关联性。如图2 9 所示。 m t y p e s 瓢8 t y p e s 曲苜曲自 亩自由曲 图2 9 宏块及子宏块分割 每个分割或子宏块都有一个独立酶运动於偿。每个m v 必须被编码、传输， 分割的选择也需编码到压缩琵特流中。宏块豹色度成分( c r 和c b ) 则为相应亮 度的半( 水平和垂直各一半) 。色度块采用和亮度块同样的分割模式，只是 尺寸减举( 水平和垂直方向都减半) 。例如，8 x 1 6 盼亮度块相应色度块尺寸力 4 x 8 ，8 x 4 亮度块相应色度块尺寸为4 x 2 等等。色度块麴i v i v 也是通过档斑亮 度m v 水平和垂直分量减半而得。 由于h 2 6 4 a v c 中有多种宏块编码模式，运动预测将产生较多的运动矢量 信息。如果再按照以往视频标准中对运动矢量的编码方法，势必造成比特率戆 增翔。必此h 2 6 截酬c 中对运动矢量信息( m v d ) 也采用了预测编码的方法。这 种预测编码方法分为两种情况，一是对正方形的分块( 如1 6 x 1 6 ，8 x 8 ，4 x 4 的分 块) 和8 x 4 和4 x 8 的长方形分块采用了中值预测的方法如图2 1 0 ( a ) 所承，浆代 表当前编码麓宏块，a ，b ，d 分鄹代表与e 块最焘上象素位置相邻麓左，上和友上 宏块，c 代表与e 宏块最右上象索相邻的右上宏块，若a b c 块的运动矢量均 已知则e 宏块的运动矢量预测取值为a b c 块运动矢量的中值；二是对8 x 1 6 和 1 6 x 8 的宏块，采用了翔图2 。1 0 瀚赝示的方向性分块预测方法( d i r e c t i o n a l s e g m e n t a t i o np r e d i e t i o n ) ，如对8 x 1 6 的宏块，左边的分块用a 块运动矢量预测， 右边的分块用c 块的运动矢量作预测。1 6x8 的宏块预测方法与之类似。 1 5 第二章编码方案分析 甘 8 x 1 6 1 6 x 8 面自 ( 的纂于正方形分块豹预测方法( b ) 妖方形分块妁预溯方法 图2 1 0 运动矢量预测方法 在h 2 6 3 和m p e g 2 中残差的编码是基于8 x 8 分块的浮点d c t 变换，这 种交换有两今不足之处。一是由于浮点运算，计算复杂度较大；其次由于计算 机浮点运算的特殊结构，变换系数在d c t 和i d c t 变换爱会出现舍入偏差从焉 影响解码端图像的精确重建。基于4 x 4 块的整数变换编码则克服了上述毛病， 不但可以消除浮点运算过程中的舍入误差，使得无误码环境中编解码端重建后 的图像完全相弱，而且可以根据不固处理器的结构将变换过程中的乘法操作简 化为移位操作，从而大大降低了运算复杂度。 树状结构的运动补偿与h 2 6 3 + 相比，能转换成相当于2 8 3 的码率节省， 同时由于采用7 种不同的块大小，同样以f o r e m a n ( q c i f ) 为例，仅整像素块 匹配就花费了7 5 的编码时间，7 种块的运动估计时阕占总运动估计时间的比例 为，1 6 x 1 6 ：3 2 ，1 6 x 8 ：1 2 ，8 x 1 6 ：1 3 ，8 8 ：1 2 ，8 x 4 ：1 0 ，4 x 8 ：l1 ， 4 x 4 ：9 。如采用全搜索法，且每种模式独立搜索，加上预测模式的决策，即使 整数像素的搜索的复杂度相对予m p e g - 2 的1 6 x 1 6 的一种模式也会增加7 倍以 上。 ( 4 ) 多参考帧 由于物体运动可能来回往复，使得不同编码宏块的最佳参考宏块不一定处 于同一参考图像中，故为了提高编码效率很多文献提出了多参考帧豹概念【1 4 1 搭l 。 比如在h 。2 6 3 + a n n e xn 中就已经提出了参考帧选择( r p s ) 的编码选项f 5 l ， m p e g 一4 的检验模型中也采取了类似n e w p r e d 方法【1 6 1 。在存储器允许的条件 下参考帧可以搜寻达几秒钟前的解码图像图2 - 6 中给出了当前编码帧n 在编码 过程中参考帧搜寻到前4 帧的情况。 1 6 第二章编码方案分析 图2 1 l 多参考帧运动预测 由于过多的参考帧预测将引起解码端视频很大的延迟，故h 2 6 4 a v c 采用 多参考帧帧间预测时，折中考虑了编码效率和编码延时，提出了基予率失真的 参考帧选择算法。通常将参考帧限制在过去已编码完成的5 帧图像中。这可以 使编码宏块在三维空间找到最佳参考帧，避免运动预测在时闻轴上陷入局部最 优。另外，对周期性运动、平移封闭运动和不断在两个场景间切换的视频流有 效果非常好的运动预测。使用多参考帧与只使用一个参考帧相比，能产竖 5 一l 辨鑫的码率节省。 使用多参考图像，h 2 6 4 不仅能够提高编码效率，同时也能实现更好的码流 误码恢复。但是要把所有的参考帧都搜索比较一遍，再加上决策耗时和需要额 外增加的存储容量，有研究发现在编码端采用多参考帧是最重要的复杂度瓶颈。 ( 5 ) 熵编码 h 。2 6 4 使用了两种熵编码方法即：基于上下文自适应编码c a v l c ( c o n t e x t - b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) 与一致变字长编码u v l c ( u n i v e r s a lv a r i a b l el e n g t hc o d i n g ) 相结合的编码，基于上下文的自适应二进割 算术编码c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。图2 1 2 列出了u v l c 码表的结构和u v l c 码字的形式。 1 7 第二章编码方案分析 l 0 x o1 0 黾0 x o1 0 x 2 0 x 1 0 勘1 0 两0 o x l 0 两1 编码数字编码码字 ol loo l 2oll 3oo o ol 40ooll 5o10 01 6olol1 70 0 0 0 0 0 1 80 0 0 001 1 9o o o l 0 0 l 妫l m c 玛袭绒擒秭瞅码字形式 图2 1 2 叭，l c 码表结构和码字形式 h 。2 6 4 a v c 中的统一可变长编码的码字表达形式上图所示。编码过程：编 码器将要编码的数字n ，先由公式( 2 1 ) 和( 2 2 ) 计算出它的码字长度l 和码字信 息1 n f o ，再根据l 和i n f o 值形成上图( a ) 中的编码码字形式。 三：2 f1 + l 0 9 2 型 i l ( 2 4 ) 2 i n f o ：刀一2 f 型1 十1 ( 2 5 ) l 2 墨 糟= 22 十刃啪一1( 2 。6 ) h 2 6 4 a v c 中的u v l c 对标准中所有的语法元素：如宏块类型、帧内预测 模式、运动矢量、亮度和色度的变换系数等采用统一的一个码表规则进行编码。 自适应算术编码( a c c ) 基本原理是将被编码的信息表示成0 到l 之间的一 个间隔小数( i