（信号与信息处理专业论文）可变形块匹配算法（dbma）的应用研究.pdf

中文摘要 本文将一种全新的运动估计与补偿算法基于可变形块匹配的运动估计 与补偿算法( d b m a ) 融入到了现行的实际视频压缩编码标准m p e g 2 中，并进行 了整体视频压缩编解码系统的调整和优化。 本文首先介绍了视频压缩编码标准m p e g 2 的基本特征和相关基础知识，重 点介绍了传统运动估计与补偿算法的基本原理；然后分析了视频信号的实际属 性，从根本上解释了传统块匹配算法( b m a ) 所基于的平移模型的缺陷，简单介绍 了适合实际运动特性的基于节点位移的可变形块运动模型和基于可变形块匹配 的运动估计与补偿算法( d b m a ) ；接着将d b m a 融入了m p e g 2 视频编解码系 统中，由于d b m a 增加了运动参数，编码器和解码器都做出了相应的调整，使 得整个编解码系统可以独立完成整个视频信号的信源编解码功能；最后，我们将 一些对d b m a 及整个编解码系统的优化，如p m v f a s tp l u s 、计算过程优化、 t w o m o d e 、s g e 、c s 、边缘滤波和半像素精度搜索等，也融入了m p e g 2 编解 码器中，合并生成了新的适合m p e g 2 视频压缩编解码器的运动估计与补偿算 法，本文称之为f a s td b m a + p m v f a s tp l u s + 1 口m + s g e + c s + e g d ef i l t e r 算法， 使得整个编解码系统具有更加高效的视频压缩性能。 测试结果表明，在整数像素搜索精度的情况下，在相同运算速度和相同目标 码率的前提下，f a s td b m a 。+ p m v f a s t 算法的p l u s + t m + s g e + c s + e g d e f i l t e r 重建图像的峰值信噪比( p s n r ) 比传统的基于块匹配算法( b m a ) 的全局搜索算法 的重建图像峰值信噪比( p s n r ) 平均高出1 8 6 d b ，主观视觉效果也有明显改善： 我们还分别从单纯追求速度和单纯追求质量的角度分析，也都同样得到了令人满 意的融合效果。除此以外，在半像素搜索精度的情况下，只要我们适当调节优化 组合方式和相关参数，f a s td b m a 岬m a s tp l u s + t m + e g d e算法依然可 以突破半像素精度全局搜索算法的客观质量极限，同时主观视f 觉i l t 效e r 果也有所改 进；另外，若以半像素精度全局搜索算法为基础，则 f a s t d b m a + f s + t m + e g d e _ f i l t e r 算法的重建图像p s n r 比半像素精度下的全局 搜索算法的重建图像p s n r 大约可以高出0 2 0 d b ，相应的主观视觉效果也有所 改善。 关键词： 视频压缩；运动估计与补偿；可变形块匹配算法( d b m a ) ；m p e g 2 a b s t r a c t m y t h e s i si n t e g r a t e sak i n do fn e wm o t i o ne s t i m a t i o na n dc o m p e n s a t i o na l g o r i t h m ( d e f o r m a b l eb l o c km a t c h i n ga l g 砸恤m d b m a ) i n t oe x i s t i n gv i d e oc o m p r e s s i o n e n c o d i n gs t a n d a r dm p e g - 2 i na d d i t i o n , ih a v ea d j u s t e da n do p t i m i z e dt h ew h o l e v i d e oc o d e cs y s t e m a tf i r s t , m yt h e s i si n t r o d u c e sb a s i cc h a r a c t e r i s t i c sa n dc o r r e l a t i v eb a s i c k n o w l e d g eo fm p e g - 2 ，a n de s p e c i a l l yi n t r o d u c e st h ep r i n c i p l eo ft r a d i t i o n a lm o t i o n e s t i m a t i o na n dc o m p e n s a t i o n s e c o n d l y , i ta n a l y s e st h ee s s e n t i a la t t r i b u t eo fv i d e o s i g n a la n de x p l a i nt h ew e a k n e s so ft r a n s l a t i o n a lm o d e la d o p t e db yb l o c km a t c h i n g a l g o r i t h m ( b m a ) ，a n di n t r o d u c e san o d a l d i s p l a c e m e n t - b a s e dd e f o r m a t i o nm o d e la n d an o d a l s e a r c h - b a s e dd e f o r m a b l eb l o c km a t c h i n ga l g o r i t h m ( d b m a ) w h i c hi sm o r e a d a p t a b l et on o n t r a n s l a t i o n a lm o t i o n a n dt h e n , i ti n t e g r a t e sd b m a i n t om p e g - 2 ， a n dt h ee n c o d 盯a n dd e c o d e ra r ca d j u s t e d , d u et ot h em o t i o nv e c t o rp a r a m e t e r si n d b m a , i no r d e rt oc o n s m j c ta ni n t e g r a t e dv i d e oc ) d e cs y s t e m f i n a l l y , i to p t i m i z e s w h o l ec o d e cs y s t e m , i n c l u d i n gp m v f a s t _ p l u s ，f a s td b m a ，t w o _ m o d e ，s g e ，c s ， e d g e i l t e ra n dh a l f _ p e l , w h i c hm a k eo u rc o d e cs y s t e mm o r ee f f i c i e n t e x p e r i m e n t a lr e s u l t ss h o wt h a t i nt h ec a s eo fi n t e g e rp i x e la c c u r a c y , t h es a m e p r o c e s s i n gt i m eo fm o t i o ne s t i m a t i o na n dc o m p e n s a t i o na n dt h es a l n et a r g e tc o d er a t i o ， f a s t _ d b m a + p m v f a s 汪j l u s + t m + s g e + c s + e g d e _ f i l t e ra l g o r i t h m i s s u p e rt o t r a d i t i o n a lf u l ls e a r c ha l g o r i t h mb a s e do nb m 茂w h e t h e ro ns u b j e c t i v eq u a l i t yo r o b j e c t i v eq u a l i t y ( p e a ks i g n a lt on o i s er a t i 0 _ p s n ro fr e c o n s t r u c t i o ni m a g eo f f a s t _ _ d b m a + p m v f a s t _ p l u s + t m + s g e + c s + e g d e _ f i l t e ra l g o r i t h m i s i m p r o v e d 1 8 6 d b ) i nt h ec a s eo fh a l fp e la c c u r a c y , t h es a m ep r o c e s s i n gt i m eo fm o t i o n e s t i m a t i o na n dc o m p e n s a t i o na n dt h e鼬t t n e t a r g e t c o d er a t i o ，n o to m yc a n f a s ti ) b m a + p m v f a s t _ p l u s + t m + e g d e _ f i l t e r a l g o r i t h m b r e a k t h r o u g h t h e o b j e c t i v eq u a l i t yl i m i to ff u l ls e a r c ha l g o r i t h m ( f s ) b a s e do nb m a , b u ta l s o s u b j e c t i v ev i d e oe f f e c to ff a s t _ d b m a + p m v f a s 凡3l u s + t m + e g d e _ f i l t e ra l g o r i t h m i si m p r o v e d k e yw o r d s ：v i d e oc o m p r e s s i o n , m o t i o ne s t i m a t i o na n dc o m p e n s a t i o n , d e f o r m a b l eb l o c km a t c h i n ga l g o r i t h m ( d b m a ) ，m p e g 一2 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨注苤堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名韶氦签字日期：秒1 年纱西 学位论文版权使用授权书 本学位论文作者完全了解叁壅盘堂有关保留、使用学位论文的规定。 特授权鑫鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：仫瓠 签字嗍明年月西 导师签名：受谚侵 签字日期：砂刁年易月。厂日 天津大学硕士学位论文第一章绪论 第一章绪论 1 1 为什么海量数据要进行压缩 在过去的十年里，需要存储、传输和处理的信息数量成指数级剧增，这种现 像从宏观的科技发展环境分析，主要归因于两项技术的发展：一是多媒体系统在 众多领域中的广泛应用，过去计算机只能处理数字和文本，而现在却代之以声音、 图像、视频和虚拟现实；二是i n t e r a c t 的迅速发展，i n t e m e t 使信息可以大范围共 享。这两项进展的联合作用产生了所谓的w o r l dw i d ew e b ，一个交互的、多媒体 的、基于超文本的信息网络，其中视频信息扮演着主要的角色【1 1 。另外，从具体 的视频压缩技术角度分析，数字视频信息作为一种时变图像序列，其原始数据量 本身就非常庞大，压缩是必然之举。例如采用2 5 6 级量化、尺寸为7 2 0 x 5 7 6 的数 字视频每秒的数据量超过3 7 m b ，若不进行压缩将给实际应用中处理、传输和存 储带来巨大困难。如上所述，视频信号由于信息量大，传输网络带宽要求高，就 像一辆庞大的货车必须在足够宽敞的马路上才能正常行驶一样，我们必须加宽路 面或将货车体积减小。然而路面的加宽是很耗时耗力的，因此这绝不能是唯一的 途径，于是就出现了一个问题：能否将视频信号在传输前先进行压缩编码，即进 行视频源压缩编码，然后再在网络上进行传输，以便节约带宽和存储空间呢，答 案是肯定的，但是这里提到的压缩编码必须满足两个要求：一是必须压缩在一定 的带宽内，即视频编码器应该具有足够的压缩比；二是视频信号压缩后，经解码 器可以获得能够被人眼所接受重建视频效果，这个效果的评定通常由重建图像峰 值信噪比p s n r 和抽样人群主观视觉来完成。如果不考虑质量，一味地追求压缩， 虽然压缩比很高，但会损失太多的关键信息，使得重建视频很难被人们辨识，这 样的压缩是无意义的；反之，只追求质量，而忽视压缩比，也同样不能达到视频 压缩编码的目的。总之，我们的任务就是在质量和压缩比之间寻找适合实际应用 的平衡点，以实现以下三个目的： 节约存储空间 节约c p u 时间 节约传输时间 数字视频序列每秒显示约3 0 帧图像，相邻两幅图像之间的变化不大，尤其 是背景部分几乎保持不变，统计分析表明视频序列在相邻帧间、相邻行间以及相 天津大学硕士学位论文第一章绪论 邻像素间都存在很强的时间或空间相关性；另外，编码传输的预测误差信号的概 率密度分布并不均匀，存在着很大统计相关性。时间、空间和统计各方面的相关 性为数字视频带来很大的压缩空间，首先是无损压缩，即去除信号的各种冗余， 压缩图像可在解码后无失真地恢复；另一种是有损压缩，即利用人的感官特性， 去除并不影响主观感受的多余数据，或者说在主观可接受的质量损失内，以一定 的客观失真换取数据压缩率的提高。当然，视频压缩率的大小还应考虑到系统的 处理能力和通信带宽等实际因素。 简单说来，我们日常涉及到的大部分视频信息都具有时间、空间和统计相关 性，也就是说信息中都存在着冗余，这就使得信息的压缩成为了可能。具体地说， 现行视频压缩编码标准如m p e g 1 【2 】、m p e g - 2 1 ”、m p e g - 4 1 4 、h 2 6 1 i s 、h 2 6 3 1 6 】、 h 2 6 4 t t j 等都采用基于预测和变换的混合编码技术来消除信息中存在的冗余，首 先使用运动估计与补偿( m e m c ) 技术去除时间相关性，然后利用正交变换技术去 除空间相关性，最后利用熵编码技术去除统计相关性，通过量化变换系数等方法 实现有损压缩。以上各种方法的有效结合，能够在保持可以接受的图像质量条件 下，将原始数据压缩百倍以上；通过降低分辨率等方法还能进一步提高压缩率。 经过上述过程，有必要压缩的海量视频数据就可以得到有效的压缩了，从而使得 视频数据的存储、处理和传输变得更加高效。 1 2m p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p ) 简介 2 0 世纪9 0 年代，多媒体技术随着人类进入信息时代而得到了迅猛的发展。 大信息量的音视频数据被广泛使用，如常见的v c d d v d 等都是将大量的音视 频数据经过处理后供用户使用的。音视频相关技术在一些行业领域也得到了很好 的应用，比如：保安监控系统等。这些音视频数据非常庞大，若不经任何处理， 其存储、传输都将面临很的的问题，为此，需要将他们进行压缩，待用户使用时 再进行解压缩。为了压缩音视频数据，出现了各种不同的压缩算法，并都取得了 一些成效。其中被普遍认可、最为权威的视音频压缩算法是m p e g 技术。m p e g 压缩技术已是目前视频压缩的重要技术之一。它解决了以往硬盘容量有限及计算 机总线瓶颈效应，因而扩大了多媒体应用空间的自由度及灵活度。m p e g 技术开 拓了很多不同的数字影像应用，v c d 节目制作就是运用了m p e g 压缩技术。除 了m p e g 以外，在数字多媒体压缩领域内的国际标准有很多，如i s o i t u - t ( 国 际标准化组织国际电信同盟) 技术委员会下的j p e g ( j o i l a t p h o t o g r a p h i ce x p e r t s g r o u p ) 标准，c c i t t ( 国际电报电话咨询委员会) 制定的h 2 6 1 标准等，而著 名的m p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p ，运动图像专家组) 是i s o ( 国际标 天津大学硕士学位论文第一章绪论 准组织) 和i e c ( 国际电工委员会) 联合的一个工作组，它组建于1 9 8 8 年，开 始时只有1 5 位专家【1 1 。 m p e g 的任务是开发运动图像及其声音的数字编码标准，专家组最初的任务 有三个：实现1 5 m b s 、1 0 m b s 、4 0 m b s 的压缩编码标准，即m p e g - 1 、m p e g 2 、 m p e g 3 。但因为m p e g - 2 的功能已使m p e g - 3 为多余，所以m p e g 3 于1 9 9 2 年撤消。m p e g - 4 项目是1 9 9 1 年5 月建议并于1 9 9 3 年7 月确认。到现在为止， m p e g 公布的标准有【1 】： 1 )m p e g 1 标准：1 9 9 3 年8 月公布。用于传输1 s m b s 数据传输率的数 字存储媒体运动图像及其伴音的编码； 2 ) m _ p e g 2 标准：1 9 9 4 年1 1 月公布。其全称为：运动图像及其伴音的编 码”，主要针对高清晰度电视( 坷) t v ) 所需要的视频及伴音信号，传输 速率为1 0 m b p s ，与m p e g - 1 兼容，适用于1 5 m b p s 一6 0 m b p s 甚至更高 的编码范围； 3 )m p e g - 4 标准：2 0 0 2 年1 0 月公布。该标准的目标为：支持多种多媒体 应用( 主要侧重于多媒体信息内容的访问) ，可根据应用的不同要求现 场配置解码器。 目前，m p e g 将研究重点转向了交互性更加高级的形式，在未来的几年里，技术 的发展将使这种高级形式成为可能。 1 3 论文的组织结构 本文以可变形块运动估计和补偿算法( d b m a ) 的实现为根本目的，由于 d b m a 的实现是基于现行的视频压缩编码标准m p e g - 2 ，因此，首先我们介绍 m p e g - 2 视频压缩编码标准的相关基础知识，重点在于讲述传统视频压缩编码中 所采用的运动估计和补偿算法，同时对编解码器各个模块都有简单的介绍。然后， 简单介绍了d b m a 运动估计和补偿算法并重点讲述了d b m a 和m p e g 2 的融 合，并在此基础上提出减小运算量和提高重建图像质量的改进方法。全文的组织 结构如下： 第一章是绪论，介绍本文的研究背景、研究动态和发展方向，论文的主要工 作及其组织结构。j 第二章是m p e g 2 简介，介绍视频压缩编码标准m p e g - 2 的系统结构及各 单元模块的作用，重点在于作为可变形块运动估计算法重要基础的传统的运动估 计和补偿算法。第一节介绍m p e g 2 的由来、组成、功能特性及其适用领域；第 二节详细叙述m p e g 2 视频编码器各个模块的功能及特点；第三节介绍m p e g 2 天津大学硕士学位论文 第一章绪论 视频解码器解码流程；第四节是对m p e g - 2 视频压缩编码标准的总结。 第三章是d b m a 简介，介绍可变形状块运动估计和补偿算法( d 】m a ) 的原 理和实现。第一节介绍视频信号的实质属性及三维运动在二维图像上的投影表示 方法，介绍几个常用的运动模型；第二节分析b m a 所采用的平移模型的不足； 第三节介绍基于节点位移的可变形块运动模型；第四节介绍基于节点搜索的可变 形块匹配算法；第五节是对d b m a 算法的总结。 第四章将d b m a 融入了m p e g - 2 并对整个c o d c c 系统进行了优化，这是本 文的重点。由于d b m a 算法引入了更多的运动矢量，与现行的视频编码标准不 符，将其融入m p e g 2 后，必然产生矛盾和问题，第一节和第二节分别解决了 d b m a 所带来的编码器问题和解码器问题。第三节是对整个编码系统的优化， 首先对d b m a 的基础b m a 算法进行了性能优化，使其更快、更准确；然后， 我们引入了已有的快速d b m a 的研究成果，加速了算法的同时保留了重建视频 的主客观质量：最后通过环路滤波技术进一步提升了重建视频的质量。第四节是 从整数像素精度和半像素精度两方面分别测试d b m a 融入m p e g 2 后的性能， 实验数据表明：在整数精度下，d b m a 及其优化可以大幅提高b m a 算法重建图 像的主客观质量，同时可以保证一定的运算速度：在半像素精度的情况下，虽然 效果不像整数像素精度下那么明显，但d b m a 依然能够突破半像素搜索精度的 全局搜索算法的质量极限。第五节是对本章所提及的代码优化和实验测试的总 结。 第五章是对全文内容的总结，并展望今后的研究工作。 天津大学硕士学位论文 第二章m p e g - 2 视频压缩编码标准 第二章m p e g - 2 视频压缩编码标准 2 1m p e g 2 简介 2 1 1m p e g - 2 的由来忒口e g 1 在m p e g 1 出现之前，关于图像压缩已经有两个标准，即用于静态图像数据 压缩的p e g 和用于电视电话、会议电视图像压缩的h 2 6 1 ，但他们都与计算机 数据标准无关。这就要求制定一个图像、伴音、存储和传输这四个方面都统一的 标准，从而有利于各种媒体广泛交流，因此m p e g 1 就应运而生了。 m p e g 一1 标准完成的基本任务就是质量适当的图像( 包括伴音) 数据必须成 为计算机数据的一种，和已有的数据( 如文字、绘图等数据) 在计算机内兼容， 并且这些数据必须在现有的计算机网络和广播电视等通信网络中兼容传输 2 1 。 m p e g - 1 标准有3 个组成部分：m p e g 视频、m p e g 音频、m p e g 系统。所以 m p e g - 1 涉及的问题是视频压缩、音频压缩及多种压缩数据流的复合和同步问 题。m p e g 1 标准适用于传输1 5 m b p s 数据传输率的数字存储媒体运动图像及其 伴音，它可以处理各种类型的活动图像，其基本算法对于3 6 0 * 2 8 8 的空间分辨力， 每秒2 4 至3 0 幅画面的运动图像有很好的效果。与p e g 不同，它没有定义产生 合法数据流所需的详细算法，而是在编码器设计中提供了大量的灵活性，另外定 义已编码位流和解码器的一系列参数都包含在位流本身当中，这些特点允许算法 可以用于不同大小和宽度比的图像，也可以用在工作速率范围很大的信道和设备 上。 m p e g 1 标准压缩首先对色差信号进行亚采样，减少数据量，采用运动补偿 技术，减少帧间冗余度，利用二维d c t 变换去除空间相关性，对d c t 分量进行 量化，舍去不重要的信息，将量化后d c t 分量按照频率得新排序，然后将d c t 分量进行变字长编码，最后对每个数据块的直流分量进行预测差分编码。m p e g i 视频编解码流程图类似于图2 1 和2 6 。 2 1 2m p e g - 2 的组成 m p e g 一2 标准分为八个部分，统称为i s o i e c l 3 1 8 国际标准。第一部分：系 统，描述多个视频，音频和数据基本码流合成传输码流和节目码流的方式；第二 部分：视频，描述视频编码方法；第三部分：音频，描述与m p e g 1 音频标准反 天津大学硕士学位论文第二章m p e g - 2 视频压缩编码标准 向兼容的音频编码方法；第四部分：符合测试，描述测试一个编码码流是否符合 m p e g - 2 标准的第一、二、三部分的软件实现方法；第五部分：数字存储媒体命 令与控制，描述交互式多媒体网络中服务器与用户间的会话信令集：第六部分； 多声道声音编解码标准；第七部分：比特视频，现已停止；第八部分：实时接口， 规定了传送码流的实时接口【l 】o 2 。1 3m p e g 2 功能特性 m p e g 2 视频编码标准是一个按等级划分的系列，按编码图像的分辨率分成 4 个“级【3 1 ： 低级( l l ：l o wl e v e l ) ，输入信号的像素为u r 6 0 1 格式的四分之一； 主级( m l ：m a i nl e v e l ) 输入信号的像素为r r u r 6 0 1 ； 高级1 4 4 0 ( h 1 4 l h i s h - 1 4 4 0l e v e l ) 为4 ：3 模式电视高清晰度格式； 高级( h l ：h i 【g hl e v e l ) 为1 6 ：9 模式电视的高清晰度格式。 按所使用的编码工具的集合分成5 个“类”： 简单类( s p ：s i m p l ep r o f i l e ) ，只有基准帧i 和预测帧p ； 主类( m p ：m a i np r o f i l e ) ，比s p 增加了双向推测帧b ； 信噪比可分层类( s n r p ：s n rs c a l a b l ep r o f i l e ) ； 空间可分层类( s s p - s p a t i a ls c a l a b l ep r o f i l e ) ； 高类( h p ：h i 【曲p r o f i l e ) 。 “级”与“类”的若干组合构成m p e g 2 视频编码标准在某种特定应用下的子 集。对某一输入格式的图像，采用特定集合的压缩编码工具，产生规定速率范围 内的编码码流。m p e g 一2 的编码码流分为6 个层次。从上至下依次为：视频序列 层( s e q u e n c e ) 、图像组层( g o p ：g r o u p o f p i c t u r e ) 、图像层( p i c t u r e ) 、像条层 ( s l i c e ) 、宏块层( m a c r o b l o c k ) 和像块层( b l o c k ) ： 运动序列：包含一个表头、一组或多组图像和序列结束标志码。 图片组：由一系列图像组成，可以从运动序列中随机提取。 帧：每帧有3 个表示像素的矩阵，一个亮度( y ) ，两个色度( c r 和c b ) 。 图像切片：由一个或多个连续宏块构成。 宏块：每帧被分为1 6 1 6 的若干块，每个块由4 个8 * 8 亮度块和2 个8 * 8 色 度块组成。这6 个块的一组称为宏块，是获得高水平压缩的基本层部件。 块：一个块由一个8 * 8 像素的亮度或色度信息组成。 2 1 4m p e g 2 适用领域 m p e g - 2 音视频压缩技术被广泛应用于现实生活，为使大家对该技术的应用 天津大学硕士学位论文 第二章m p e g - 2 视频压缩编码标准 领域有个初步的认识，现简要列举如下【l 】： 高密度数字通用光盘( d 、) ； 数字标准高清晰度电视( s d t v ) ； 狮子高清晰度电视( h d l - v ) ； 视频电视( v o d ) 和准点播电视( n v o d ) ： 多媒体出版物等。 2 2m p e g 2 视频压缩编码技术 m p e g 2 视频算法基于广受欢迎且很有效的压缩算法运动补偿离散余 弦变换算法，这些算法于2 0 世纪8 0 、9 0 年代为专有的和标准的视频压缩技术而 开发，它的主要内容包括： 时域预测：去除视频图像间的时间冗余； 频域分解：用d c t 分解图像的空间块，来充分利用静态和逻辑上的空间冗 余； 量化：在保证质量损失最小的前提下确定选择传送哪些信息，以减少比特率； 可变长编码：利用由量化和各种类型附属信息构成的符号序列的静态冗余来 消除统计冗余。 接下来将简单介绍m p e g - 2 视频压缩编码即信源编码。在基于方块匹配的预 测和变换视频压缩编码系统中，各帧图像被划分为互不重叠的固定大小图像块独 立地进行处理，使用预测、变换、量化和熵编码等多种方法压缩图像信号，这种 编码方式一般称为混合编码方式。图2 1 为典型的基于方块匹配的混合编码系统 的结构流程，下面首先详细介绍一下m p e g 2 的编码过程，后续将更加详细地介 绍每一个编码模块。 磷固9 蕊黟地垄銮州寻u f ：一一一一 一1 一1 至i 塑坚蓦三皇! i 鱼蝻 d 南，编： o 游程编码i iv b v 码率控制 豁l 陬西磊幕p 屿 ii 乐缩视额 熵编码器 参考帧存储器i 卜一+ h 逆正交变换h 反量化 一 数据流哆控制流 图2 - 1基于块匹配的混合编码系统框图 天津大学硕士学位论文第二章m p e g 2 视频压缩编码标准 m p e g 2 视频压缩编码过程：在m p e g 2 视频编码标准中，联合运用了预测 编码和变换编码技术，图2 1 示出了m p e g 2 视频编码框图。途中的预测模式控 制是通过检查宏块帧间预测误差大小来进行帧内帧间模式选择的。当误差在一 定范围内时开关接到“l ”，视频编码采用运动补偿帧间预测编码模式；当误差超 过一定的范围时，开关接到0 ”，视频编码采用帧内编码模式。帧间编码时，反 馈环接通。经过d c t 和量化后的预测误差，在反馈环中首先由反量化和i d c t 加以恢复，然后与预测值相加得到带有量化误差的当前帧的像素值。将它存入预 测器的参考帧存储器中，作为下一帧编码的参考帧。当前帧与当前帧的参考帧在 运动估计器中进行块匹配，得到运动矢量。运动矢量与编码像素的位置相加，得 到参考像素的位置，从参考帧存储器的这个位置上读出参考像素值作为运动补偿 的预测值。编码像素与这个预测值相减，便得到帧差信号。帧差信号经d c t 、 量化和可变长熵编码送到视频缓冲校验器v b v 。v 是最大容量为8 m b 的先 进先出存储器，其目的是对传输比特流的速率进行控制。由于帧差信号的统计特 性是不平稳的，经d c t 和可变长编码后，码序列的长度是不固定的，因此熵编 码后比特流速率是变化的。为了在具有固定传输速率的信道上传送这个比特流， 在其进入信道之前，需要通过缓冲存储器使比特流速率保持恒定。v 对比特 率的控制是通过图中的反馈支路实现的。当比特流速率高于信道速率时，缓存器 会越来越满，超过一定的存储器占有率时，通过反馈支路使量化间隔加大，从而 使得比特率下降；当比特流速率低于信道速率时，缓存器会越来越空，超过一定 的限度时，通过反馈支路使量化间隔减小，从而使得比特率提高。这样，通过反 馈机制，在不使缓冲器上溢和下溢的情况下，使得比特率保持恒定。具体的占有 率数值是通过对图像的复杂度进行估值，动态地进行分配的。刚刚讲述的v 对比特率的控制，在下面的内容中简称为码率控制( 下文的d b m a 算法会向码 流中写入更多的运动矢量数据，通过码率控制影响残差图像的质量，因此码率控 制机制是下文测试和分析d b m a 与m p e g - 2 融合效果的关键) 。帧内编码时，帧 内运动补偿预测的反馈环断开。原始数字图像直接经过d c t 、量化、熵编码和 缓存成为速率恒定的压缩视频信号进入信道。下面介绍视频压缩编码系统的几个 基本功能模块。 2 2 1 输入单元 输入单元是完成信号转换、帧重排和信号缓存的编码模块。之所以要进行信 号转换是由于输入信号在量化级、采样格式、色彩空间、隔行逐行等方面不尽 相同或是不符合编码器的输入要求，因此需要首先将信号转换为编码器所兼容的 格式；之所以要进行帧重排是因为现行视频编码标准出于充分去除时间相关性和 天津大学硕士学位论文第二章m p e g 2 视频压缩编码标准 便于编辑等考虑，多采用帧内编码、前向预测和双向预测等多种编码模式，帧的 输入顺序必须重新排列，使得各帧都能进行有效的预测并在输出视频时展示正确 的图像顺序；而为了实现帧重排，至少需要存储3 帧图像，因此输入单元必需要 有相应的空间用于图像信号的缓存。 2 2 2 运动估计和补偿单元 视频序列的帧率较高，相邻两帧之间的变化不大，特别是背景区域几乎没有 变化，因此相邻帧之间存在很大的可压缩空间。该单元的作用就是利用相邻帧的 相似性，去除时间冗余。具体过程是，当前帧被划分为互不重叠的固定大小图像 块，称为宏块( m b ) ，各宏块都在相邻帧( 称为参考帧) 中搜索与之最相似的一块作 为预测，然后编码传输预测误差信号( 称为残差帧) ，表示预测信息的运动参数也 必须编码。运动估计的最终目的是使输地码率最小，然而使码率最小的率失真编 码方法并不易于实现【8 j 。传统的块匹配算法( b m a ) 采用的做法是选定匹配准则， 一般使用平均绝对差( m a d ) 或均方差( m s e ) ，在此匹配准则下的最优块即作为最 相似块。运动补偿是运动估计的逆过程，由于无需复杂的搜索和匹配，运动补偿 与运动估计相比要简单得多。 准确的运动估计一方面减少了残差图像的能量，另一方面也能使残差图像的 分布更加平稳，从而有利于后续的正交变换更好地去除图像的空间相关性，也有 利于熵编码更好地去除变换系数的统计相关性，最终得到最高效的压缩。总之， 运动估计的准确和可靠直接决定着整个视频压缩编码系统的性能，也决定着系统 的实时性和复杂度。在下一小节中我们会详细讲述一下m p e g 2 中的运动估计和 补偿的算法和原理。 2 2 3m p e g 。2 帧类型及其编码算法 在m p e g - 2 中将帧图像分为3 种类型：i 帧，p 帧和b 帧： i 图像( i n t r a p i c t u r e s ，帧内图像) ：i 图像是利用图像自身的相关性来实现压 缩，提供压缩数据流中的随机存取的点，采样基于d c t 的编码技术，编码 不需要其他帧的图像作参考，这些帧图像为译码器提供随机存取点，作为预 测图像( p ) 帧和双向预测图像( b ) 帧的参考图像，所以压缩率不高，压缩 后，每个像素平均占用码流的1 到2 个b i t 。 p 图像( p r e d i c t e d p i c t u r e s ，预测图像) ：p 图像是参考过去的帧内图像或者过 去预测得到的图像用运动补偿技术进行编码，这些预测图像通常作为进一步 预测的参考，此算法编码效率较高。 b 图像( b i d i r e c t i o n a lp r e d i c t i o n ，双向预测图像) ：b 图像在预测时，既可使 天津大学硕士学位论文第二章m p e g 2 视频压缩编码标准 用前一个图像作参考，也可使用下一个图像作参考或者同时使用前后两个图 像作为参考图像( 双向预测) ，他的压缩率最高，但双向预测图像不能作为 预测的参考图像。 。i 帧是视频编辑的切入点，实现视频的随机访问，图像质量较好，但编码比 特率比p 、b 帧高；p 帧的图像质量尚可，但不能充分利用前后向的相关性最大 可能地降低编码比特率；b 帧的预测效率最高，编码比特率也最低，但双向预测 的复杂度较大，在i 、p 帧间插入的b 帧也不宜过多。采用以上3 种帧图像分类 后，运动补偿技术消除了p 图像和b 图像在时间上的冗余性，提高压缩效率。 在m p e g - 2 方案中，运动补偿技术在宏块一级工作。对于b 图像而言，每个1 6 1 6 宏块有4 中类型： 帧内宏块( i n t r am a c r o b l o c k ) ，简称i 块； 前向预测宏块( f o r w a r dp r e d i c t e dm a c r o b l o c k ) ，简称f 块； 后向预测宏块( b a c k w a r dp r e d i e t e dm a c r o b l o c k ) ，简称b 块； 平均宏块( a v e r a g em a c r o b l o c k ) ，简称a 块。 对于p 图像而言，其宏块只有i 块和f 块。 无论b 图像还是p 图像，i 块处理技术都与i 图像中所采用的技术一致。对于f 块、b 块和a 块，m p e g - 2 都采用基于块的运动补偿技术。f 块预测时其参考为 前一个i 图像或p 图像。b 块预测时，其参考为后一个i 图像或p 图像。对于a 块预测其参考为前后两个i 图像或p 图像。下面介绍一下各种帧的编码算法： a ) 为i 图像帧编码 帧内图像i 不参考任何过去的或者将来的的其他图像帧，压缩编码采用类似 j p e g 压缩算法。每个图像平面分成8 * 8 的图像块，对每个图块进行离散余弦变 换d c t 。d c t 变换后经过量化的交流分量系数按照z i g - z a g 的形状排序，然后 再用无损压缩技术进行编码。d c t 变换后经过量化的直流分量系数用差分脉冲 编码d p c m ，交流分量系数采用游程编码，然后再用h u f f m a n 或者算术编码将 数据输出至缓存。 b ) 为p 图像帧编码 p 图像是参考过去的帧内图像或过去重建得到的图像用运动补偿预测技术 进行编码，p 图像的编码也是以图像宏块作为基本编码单元。p 图像所采用的预 测编码的基础是运动估计，它将直接影响到整个系统的编码效率和压缩性能，运 动估计算法被分为两类，一类是像素递归算法p r a ，一类是块匹配算法b m a 。 b m a 由于其简单、高效和易于实现的优点，在各种编码标准中取得了广泛应用 和巨大成功。下面详细介绍b m a 的原理、配置和算法。 天津大学硕士学位论文 第二章m p e g 。2 视频压缩编码标准 l 当前帧 nl 厂弋一i 工 l 键 妒3i _ v 矿 、 i - i 墨佳匹配块 、 - 、i i 搜索窗、卜 l _l - 一i i j 、 、 、 、 _ 厂弋- 扮 鲈 土 j ， 当ir 块 图2 - 2 运动物体的帧间运动与估计 如图2 - 2 所示，b m a 将待编码帧划分为互不重叠的固定大小宏块似b ) ，尺 寸一般为1 6 x 1 6 像素。在一定的匹配准则下，每个m b 都在参考帧中搜索与其最 相似的像块作为预测。因为实际运动不会太大，所以搜索的范围被限定在以当前 m b 位置为中心的对称的一个局部矩形窗内，图中的搜索范围是左边和右边各 r x 个像素，上边和下边各r y 个像素。在此预先定义的搜索窗内，按像素逐块与 当前m b 比较，找到与当前m b 最相似的一块，这一对相似像块在水平和垂直方 向的位置差异即为运动矢量( m 叻，两块之间的误差组成残差块。编码传输只需 传送m v 和残差信息，解码端便可由已解码帧通过相反的过程重建当前图像。 如上所述，b m a 的匹配精度和运算量主要由以下几个方面决定：匹配准则、 搜索范围、估计精度和搜索算法。匹配精度和运算量是互相矛盾的，b m a 的目 标就是最大限度的解决这个矛盾，找到一个匹配精度和运算量之间最好的平衡 点，从而可以最高的速度完成最高质量的图像预测。下面具体介绍一下影响b m a 算法的这四个方面： ( i ) 匹配准则 b m a 将块间失真最小当作最为相似，这个块间失真通常用误差函数或相关 函数来衡量。这里介绍两种常见的匹配准则，它们的误差函数在复杂度和性能方 面各不相同。 1 均方差( m s e ) m s e 准则的匹配性能较好，但因为计算过程中有乘法的参与，导致了整体 运算量较大。其定义为式2 1 ： 天津大学硕士学位论文第二章m p e g 2 视频压缩编码标准 脚：杰荟【仍”仍q 。坝p ) 】2 ( 2 1 ) 式中d 为任意m b ，m 、n 为m b 水平和垂直样点数，够倒、够一一例分别表示当 前帧和参考帧，p 为m b 中任意像素，俐为m v 。 2 平均绝对差o v t a o ) m a d 与m s e 相比其运算量小了很多。其定义为式2 - 2 ： m a d = 杰沙( 小( p 川p ) i ( 2 - 2 ) 式中各符号的定义与m s e 相同，但它只对搜索范围内的各像素块与当前m b 的 绝对差求平均。m s e 的优点是简单实用，而且性能与m s e 相比差别并不大，因 此，实际应用中多采用此匹配准则。 ( ) 搜索窗设定 搜索窗口r 的大小是一个很重要的参数，它决定了b m a 的总运算量。假定 m b 尺寸为n x n 像素，搜索范围是士足像素，各m b 在参考帧中待选匹配块总数 为( 2 尺+ 1 12 。假设使用m a d 准则，并定义一次运算包括像素的一次减法、一次 求绝对值和一次加法。计算每个待选估计块m a d 的运算次数是nxn ，估计一 个块m v 的全部运算数为( 2 r + 1 ) 2 n 2 。一个大小为w x h 的图像共有w h n 2 块，那么全部一帧的总运算量为w h ( 2 r + 1 1 2 。可见，总运算量与m b 尺寸无 关，而只由搜索窗的尺寸月决定。 由上述分析可知一帧图像总的运动估计运算量与搜索范围r 的平方成正比。 尺取决于当前帧与参考帧之间的