（通信与信息系统专业论文）视觉几何约束在视频编码中的应用研究.pdf

摘要 摘要 1 6 8 0 2 髓1 帆y 2 0 视频编码标准h 2 6 4 a v c 采用了精确的帧内帧间预测、整数变换和熵编码等 技术，到达了很高的压缩率，但是伴随而来的是很高的计算复杂度。在一些运动 受限的单视角视频序列和多视角视频序列中，相邻帧间存在着很强的视觉几何约 束关系，这对于降低视频序列间的时间和空间冗余有着重要意义。 本文在对视频图像序列间的几何约束关系进行充分分析的基础上，研究了视 觉几何约束在视频编码中的应用。 在单视角视频编码方面，本文在对p t 运动模式下帧间宏块的单应性约束关系 进行深入研究后，提出了一种基于单应性约束的运动估计搜索算法，并结合特征 点匹配方法，将其应用到p t z 运动模式下的视频编码中。与经典的运动估计搜索 算法相比，该算法在保证视频编码质量的同时，可以有效地降低运动估计的计算 复杂度，节约运动估计时间。 在多视角视频编码方面，本文提出了一种新的视觉几何约束关系，即 l o o p e p i p o l a r 约束。l o o p e p i p o l a r 约束关系弥补了四边形约束关系在基于块的视 频编码应用中的一些缺点，同时将对极几何约束在多视角视频编码中的应用从视 差估计扩展到运动估计。基于l o o p e p i p o l a r 约束，本文提出了一种新的多视角运 动估计算法。实验表明该算法适用于各种相机配置下的多视角视频序列，并且与 一些新的快速运动估计算法相比，在保证视频编码质量的情况下可以有效地降低 编码时间。 关键词：视频编码几何约束运动估计h 2 6 4 ：们 视觉几何约束在视频编码中的应用研究 a b s t r a c ti i i a b s t r a c t t h ev i d e oc o d i n gs t a n d a r dh 2 6 4 a v ca c h i e v e sh i g hc o m p r e s s i o nr a t i of o ri t s a d o p t i o n o fv a r i o u s t e c h n i q u e s l i k e p r e c i s e i n t r a i n t e r p r e d i c t i o n s ，i n t e g e r t r a n s f o r m a t i o n , a n dh i g h l ye f f i c i e n te n t r o p yc o d i n g ，w h i c h a l s ol e a d st o h i g h c o m p u t a t i o n a lc o m p l e x i t y t h e r el i eg e o m e t r i cc o n s t r a i n t sb e t w e e nn e i g h b o r i n gf r a m e s i l lb o t l ls o m es i n g l ev i e ws e q u e n c e sw i t hr e s t r i c t e dm o t i o na n dm u l t i v i e ws e q u e n c e s t h e s eg e o m e t r i cc o n s t r a i n t sa l ev a l u a b l ef o rr e d u c i n gs p a t i a la n dt e m p o r a lr e d u n d a n c y i nt h i st h e s i s ，t h ea p p l i c a t i o no fg e o m e t r i cc o n s t r a i n t st ov i d e oc o d i n gi ss t u d i e d b a s e do nt h ea n a l y s i so fs e v e r a lc o n s t r a i n t sb e t w e e nn e i g h b o r i n gf r a m e si nv i d e o s e q u e n c e s f o rs i n g l ev i e wv i d e oc o d i n g ，an o v e lh o m o g r a p h y b a s e ds e a r c h ( h b s ) a l g o r i t h m f o rb l o c km o t i o ne s t i m a t i o ni s p r o p o s e db a s e d o nt h e s t u d yo ft h eh o m o g r a p h y c o n s t r a i n tb e t w e e nb l o c k si nt h es e q u e n c e sc a p t u r e db yp tc a m e r a s h b si st h e n a p p l i e dt o c o d ep t zv i d e os e q u e n c e sc o m b i n e d 、析t ht h e f e a t u r ep o i n t sm a t c h i n g m e t h o d e x p e r i m e n t a lr e s u l t ss h o wt h a tc o m p a r e dw i t ht h a nt r a d i t i o n a lm e t h o d s ，t h e p r o p o s e da l g o r i t h mc o u l dr e d u c et h ec o m p u t a t i o n a lc o m p l e x i t yg r e a t l ya n ds a v et h e e n c o d i n gt i m e 、析t l ln e g l i g i b l ec h a n g e s i nv i d e oq u a l i t y f o rm u l t i v i e wv i d e oc o d i n g ，an e wg e o m e t r i cc o n s t r a i n tc a l l e dt h el o o p - e p i p o l a r c o n s t r a i n ti sf i r s tp r o p o s e d o nt h eo n eh a n d ，t h en e wc o n s t r a i n tc o u l dd e a l 诵ms o m e s h o r t c o m i n g sw h e nu t i l i z i n gt h el o o pc o n s t r a i n ti nb l o c k - b a s e dv i d e oc o d i n g o nt h e o t h e rh a n d ，i te x t e n d st h ea p p l i c a t i o no ft h ee p i p o l a rc o n s t r a i n tf r o md i s p a r i t ye s t i m a t i o n t om o t i o ne s t i m a t i o n b a s e do nt h el o o p e p i p o l a rc o n s t r a i n t ，an e wm o t i o ne s t i m a t i o n a l g o r i t h mi sp r o p o s e df o rm u l f i v i e w v i d e oc o d i n g i th a sb e e np r o v e dt h a tt h ep r o p o s e d a l g o r i t h m i ss u i t a b l et od i f f e r e n t s e q u e n c e s u n d e rd i f f e r e n tm u l t i v i e wc a m e r a a r r a n g e m e n t s ，a n di t h a sab e t t e rp e r f o r m a n c et h a ns o m en e wf a s tm o t i o ne s t i m a t i o n a l g o r i t h m s k e y w o r d s ：v i d e oc o d i n g g e o m e t r i cc o n s t r a i n t m o t i o ne s t i m a t i o n h 。2 6 4 | 斟c i v 视觉几何约束在视频编码中的应用研究 第一章绪论 第一章绪论 1 1 研究背景 随着信息技术的发展，人们获得信息的途径越来越多，对信息的需求也越来 越丰富，希望可以随时随地、方便、快捷、灵活地通过语音、数据、图像及视频 等多种方式进行通信。视频信息以其直观、确切、高效和广泛等特点受到人们的 广泛关注【l l 。但是未经压缩的原始视频数据的数据量之大是当前现有存储空间和传 输带宽资源所无法承受的，因此视频压缩编码技术一直是国内外多媒体信息领域 研究的热点之一。 视频压缩的主要思想就是消除冗余信息。由于原始的视频图像之间存在着高 度的相关性，如时间相关性、空间相关性和统计相关性等，这些相关性导致了大 量的冗余数据信息，如时间冗余、空间冗余、信息熵冗余等等。通过视频压缩， 可以将庞大数据中的冗余信息去掉，保留相互独立的信息分量，把信息数据量压 缩下来，以压缩形式存储、传输，既节约了存储空间，又提高了通信系统的传输 效率，降低了通信的费用。 国际电信联盟i t u t 的视频编码专家组( v i d e oc o d i n ge x p e r tg r o u p ，v c e g ) 和国际标准化组织i s o i e c 的运动图像专家组( m o t i o np i c t u r ee x p e r tg r o u p ， m p e g ) 这两大国际标准化组织基于不同的应用需求，制定了一系列的国际视频编 解码标准，包括有i t u t 制定的h 2 6 1 、h 2 6 2 、h 2 6 3 和h 2 6 3 + ，以及i s o i e c 制定的m p e g 1 、m p e g 2 和m p e g 一4 。i t u t 的h 2 6 x 系列标准主要针对低码率 的实时视频通信，如视频会议和视频电话；i s o i e c 的m p e g x 系列标准则主要针 对视频广播、视频存储以及流媒体。 h 2 6 4 a v c 是由i t u t 和i s o i e c 成立的联合视频组( j o i n t v i d e ot e a m ，t ) 制定的新的视频编码标准。h 2 6 4 a v c 标准通过采用1 4 像素精度运动矢量、可变 尺寸块运动估计、多参考帧选择、基于上下文的自适应二进制算术熵编码 ( c a b a c ) 、基于上下文自适应的可变长编码( c a v l c ) 和闭环去块滤波等一系 列新技术大大提高了编码效率和编码质量，使其具有以往传统的视频编解码标准 无法比拟的巨大优势。此外j v t 在h 2 6 4 a v c 之后，相继公布了h 2 6 4 a v c 的匹 个增修案，分别是扩展高保真压缩( f i d e l i t yr a n g ee x t e n s i o n s ，f r e x t ) 、支持4 ：4 ：4 颜色格式档次( h i g h 4 ：4 ：4p r o f i l e ) 、可分级视频编码( s c a l a b l ev i d e oc o d i n g ，s v c ) 和多视角视频编码( m u l t i v i e wv i d e oc o d i n g ，m v c ) 。 2 视觉几何约束在视频编码中的应用研究 1 2 问题提出及研究意义 h 2 6 4 a v c 采用了多预测模式，多参考帧和高精度运动矢量的运动估计算法， 虽然到达了很高的压缩率，但是也带来了很高的计算复杂度。实验表明，当参考 帧为l 时，复杂的运动估计算法占了总编码时间的6 0 ，而当参考帧数目为5 时， 运动估计算法占了总编码时间的8 0 t 引。因此改进运动估计算法成为提高编码效率 的重要方法。 在单视角视频编码中，为了提高运动估计速度，许多快速的运动估计算法先 后被提出来，这些算法可以大致分为三类。第一种方法是通过研究运动矢量的分 布特性，改进搜索模板【3 d 2 】；第二种方法是通过时间或空间相关性获得更好的初始 搜索点【1 3 。1 9 】；第三种方法是通过提前终止算法以达到编码质量和编码复杂度的平 衡【1 8 之1 1 。最近，一些新的算法【2 , 2 2 , 2 3 1 被提出来，他们融合了以上三种方法，达到了 更好的编码效率。但是这些算法都没考虑到一些特殊运动模式下的视频序列的特 征。p t z 运动模式是一种比较常见的相机运动模式，具有这种运动模式的相机( p t z 相机) 广泛应用于视频监控、侦查和空间探索等场合。由于运动受限，p t z 运动 模式下的视频序列具备帧间视觉几何约束关系，这一特性对于减低视频编码中的 时间冗余有着重要意义。 在多视角视频编码中，在同一视角内和不同视角间均存在很强的几何约束， 如对极几何约束和四边形约束关系。基于这些几何约束关系，一些快速的多视角 运动估计和视差估计算法相继被提出【2 铊引。由于利用了视觉几何关系，这些算法 通常要优于单视角中的运动估计算法。但是无论是对极几何约束关系还是四边形 约束关系在应用中都有一些局限性，因此探索一种应用更广泛的多视角间的视觉 几何约束关系并将其有效地融入编码过程中对于提高多视角视频编码效率是很有 意义的。 1 3 本文的主要贡献和内容安排 本文在对视频图像序列间的几何约束关系进行充分分析的基础上，重点研究 了视觉几何约束关系在视频编码中的应用。本文的主要贡献包括： 第一，分析了运动受限情况下的单视角视频序列间的几何约束关系，研究了 帧间宏块的单应性约束关系，提出了一种基于单应性约束的运动估计搜索算法。 该算法发表于i e e e 多媒体领域的旗舰会议i c m e 2 0 1l 。 第二，将基于单应性约束的运动估计搜索算法与特征点匹配算法相结合，提 出了p t z 运动模式下新的运动估计方法。 第一章绪论 3 第三，在分析了现有的多视角视频编码几何约束关系的基础上，提出了一种 新的几何约束关系，进而提出了一种新的多视角视频编码运动估计算法。该算法 发表于国际期刊s i g r 谢p r o c e s s i n g ：i m a g ec o m m u n i c a t i o n 。 本文后续章节的安排如下： 第二章介绍了视频编码和视觉几何的基础知识。主要包括h 2 6 4 的编解码器 结构及关键技术，多视角视频编码相关知识，运动估计算法基本知识，本文涉及 的几种经典运动估计搜索算法和相机成像模型。 第三章研究了视觉几何约束在单视角视频编码中的应用。本章首先分析了运 动受限情况下的单视角视频序列中的视觉几何关系，然后研究了帧间宏块的单应 性约束关系，提出了一种基于单应性约束的运动估计搜索算法并进行了实验分析， 最后结合特征点匹配方法，将基于单应性约束的运动估计搜索算法应用到p t z 运 动模式的视频编码中并进行了实验分析。 第四章研究了视觉几何约束在多视角视频编码中的应用。本章首先介绍和讨 论了多视角编码中现有的两种几何约束关系，然后提出了一种新的多视角视频几 何约束关系l o o p e p i p o l a r ，最后提出了一种基于l o o p e p i p o l a r 的新的多视角视频 运动估计算法并进行了实验分析。 第五章总结了本文的主要工作并提出了进一步研究的方向。 4视觉几何约束在视频编码中的应用研究 第二章基础理论 5 第二章基础理论 2 1h 2 6 4 概述 国际电信联盟i t u t 于1 9 9 8 年2 月开始正式征集h 2 6 4 a v c 协议提案，此 后i t u t 和国际标准化组织i s o i e c 为了适应发展的需要于2 0 0 1 年成立了联合视 频工作组t ，由其完全负责h 2 6 4 a v c 视频编解码技术的标准化工作。作为 m p e g - 4 标准的第十部分，h 2 6 4 ，a v c 于2 0 0 2 年1 2 月形成最后的标准草案。 h 2 6 4 a v c 通过采用成熟的预测结合变换的混合编码方案，融入了如1 4 像素精度 运动矢量、可交尺寸块运动估计、多参考帧选择、基于上下文的自适应二进制算 术熵编码c a b a c 、基于上下文自适应的可变长编码c a v l c 和闭环去块滤波等一 系列新的技术，编码效率比以往的标准有了明显的提高，成为目前效率最高的视 频编解码标准。 v c l 编码器v c l 解码器 。，。，蚀 专 v c l n a l 袋u l n a l 编码器n a l 解码器 ，拙 n 0 l 伎i - 4 i h 3 2 0伊e g - 2r t p i p 传输层 图2 1v c l 、n a l 及网络传输层三者之间的关系 如图2 1 所示，h 2 6 4 a v c 视频编解码标准在系统层面上可以分为两个基本组 成部分，分别是视频编码层( v i d e oc o d i n gl a y e r , v c l ) 和网络提取层( n e t w o r k a b s t r a c t i o nl a y e r , n a l ) 。视频编码层v c l 包括编码器和解码器两个部分，它的 主要作用是对获取的视频数据进行压缩编码和解码。网络提取层n a l 的主要作用 是提供了与传输层网络无关的统一接口给视频编码层v c l ，对视频数据进行封装 后在网络中传送。网络提取层n a l 采用了统一的数据格式，包括单个字节的包头 信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。 通过这样的处理，视频编码层v c l 和网络提取层n a l 实现了高编码效率和良好 6 视觉几何约束在视频编码中的应用研究 的网络亲和性。 h 2 6 4 视频标准具有高压缩比、高图像质量、良好的网络亲和性等优点，具有 以往传统的视频编解码标准无法比拟的巨大优势。试验结果表明，与m p e g - 4 、 h 2 6 3 和m p e g 2 相比，在获得相同视频质量的前提下，h 2 6 4 的平均编码比特率 大幅下降。因此在无线带宽资源和传输能力有限，且以提高压缩编码效率为主要 研究目标的无线视频和多媒体应用中，h 2 6 4 以其卓越的性能具有广阔的应用前 景。此外，h 2 6 4 还广泛应用于会议电视、可视电话、远程医疗、远程教学、视频 点播、数字电视广播、数字视频存储等诸多领域。 在视频编码层中，h 2 6 4 并不明确规定编解码器如何实现，而是规定了已编码 视频比特流的语法语义以及该比特流的解码方法，相关的档次定义和一些必要的 附加补充增强信息( s e i ) 等。这样做的优势是编码器和解码器的实现更加灵活， 不同的编码器和解码器在这个框架下可以共用，不同的生产厂家可以进行合理的 竞争。 h 2 6 4 编解码器与以往的视频编解码标准类似，采用预测结合变换的混合编码 方案。其编码器结构如图2 2 所示。 c 一 + 厂、见。 x j r 。 t q 重捧序h熵编码 l 当前 一 固 ：p 参考 一内 l 口，【冈i乡、或i 刊li 什，l l “| 1 婆i 卜1 r i rl 旷广- 重建 图2 2 编码器结构 输入的帧或场e 以宏块为单位被编码器处理。首先，按帧内或帧间预测编码 的方法进行处理。当采用帧间预测模式的时候，其预测值p r e d ( 图中用p 表示) 是由当前编码数据和相应的参考图像经过运动估计( m o t i o ne s t i m a t i o n ，m e ) 和 运动补偿( m o t i o nc o m p e n s a t i o n ，m c ) 后得出，其中参考图像用e 表示。为了 提高预测精度，从而提高压缩比，实际的参考图像可在已编码解码重建帧和滤波 后的帧中进行选择。当采用帧内预测模式的时候，其预测值是由编码数据和当前 片中的已编码重建图像数据经过帧内预测后得出。 得到相应的预测值p r e d 后，通过将其与当前块相减得到一个残差块见，然 后经过整数变换、量化后得到变换系数x 。最后将变换系数x 进行熵编码，并将 其与解码所需的预测模式量化参数、运动矢量等信息组成最终压缩的码流，通过 第二章基础理论 7 n a l 传输到解码器。 由于在帧内预测和帧问预测中需要使用参考图像，编码器必须对已编码的图 像数据进行重建得到相应的参考图像。首先对最后得到的残差变换系数x 进行反 量化、反变换处理得到能；然后将其与预测值尸相加，得到未经滤波的帧蟛； 最后通过设置环路滤波器去除编解码环路中产生的噪声，提高了参考帧的图像质 量，滤波后的输出重建图像c 可直接作为参考图像。 图2 3 解码器结构 h 2 6 4 的解码器结构如图2 3 所示，当由h 2 6 4 编码后得到的比特流通过( 网络 自适应层) 传输到解码器时，首先进行熵解码得到量化后的一组变换系数x ，对其 进行反量化、反变换处理得到以。然后解码器通过使用从该比特流中解码出的头 信息，产生出与编码器中原始p r e d 完全相同的预测块p r e d 。最后将解码器产生 的预测块p r e d 和残差联相加产生未经滤波的帧u f ，将其再进行相应的滤波得 到最终的c ，这个c 就是最后的解码输出图像。 2 2h 2 6 4 编码器中的关键技术 如图2 2 所示，h 2 6 4 编码器主要包括帧内预测、帧间预测、整数变换与量化 和与熵编码等关键技术。本节将简单叙述这些关键技术。 2 2 1 帧内预测 帧内预测编码【2 1 】是基于图像数据的空间相关性，当压缩一帧图像时，仅考 虑本帧的数据而不考虑相邻帧之间的冗余信息，用相邻的已经重构的像素预测当 前的像素，这实际上与静态图像压缩1 3 2 j 类似。图2 4 是空间预测模型。 如果当前帧是按照光栅扫描顺序编码的，那么在编码x 像素时，其左端、上 端和右上的像素a 、b 及c 已经重构，因而可以利用a 、b 和c 的信息来预测x 的像素值。帧内压缩一般达不到很高的压缩比。 8 视觉几何约束在视频编码中的应用研究 2 2 2 帧间预测 图2 4 空间预测模型 帧间预测编码是使用运动估计和运动补偿技术，通过利用有效帧之间的时间 冗余来提高编码效率。除了支持其他的视频标准通常使用的i 帧、p 帧和b 帧以外， h 2 6 4 还支持一种新的码流间可转换帧s p 帧。通过使用一个比特流中的s p 帧， 编码器可以在那些有类似内容但有不同码率的码流之间快速切换，并同时支持随 机访问和快速回放模式。此外，h 2 6 4 所支持的运动估计策略具有更多的关键特征， 能够增加帧间预测模式的数量和精度，以及通过增加运动估计的灵活性和功能来 改进运动估计的效率。具体内容包括： 1 ) h 2 6 4 采用不同尺寸和形状的宏块分割方法形成7 种不同的帧间预测模式， 以降低比特率和改进预测效果，特别是能够处理运动细节和视觉质量损失的问题。 2 ) 在使用运动补偿算法中，h 2 6 4 采用1 4 或l 8 点亚像素。与使用原始像素 和1 2 亚像素的标准以及使用1 4 亚像素的m p e c - 4 标准相比，可以降低一定的比 特率，运动估值精度也比使用整数点的精度要高，从而能够更有效地增加编码的 效率并提供高质量的视频分辨率 3 ) 对于任何给定的像素块，h 2 6 4 在预测中使用以前的5 幅不同的参考帧去 寻找匹配像素块，并给出相应的运动矢量作为编码和解码的参考像素块。与以前 只使用一幅参考帧的编码方法相比，这样可以更有效地提高视频质量并实现更好 的码流误码恢复，同时还降低了比特率。当然，采用这种方法要求系统对编解码 器提供更高的处理能力并增加额外的延时和存储容量。 4 ) h 2 6 4 在预测循环中对块边缘使用基于4 4 的自适应d e b l o c k 过滤器，其 目的是删除由于块预测错误引起的方块效应，恢复真实数据，但是该算法非常复 杂。 第二章基础理论 9 2 2 3 整数变换与量化 为了进一步节省图像传输码率，需要对图像信号进行压缩，一般方法为去除 图像信号中的相关性及减小图像编码的动态范围，通常采用变换编码及量化。变 换编码将图像时域信号变换成频域信号，在频域中图像信号能量大部分集中在低 频区域，相对时域信号，码率有较大的下降。h 2 6 4 对图像或预测残差采用了4 x 4 整数离散余弦变换技术，避免了以往标准中使用的通用8 x 8 离散余弦变换逆变换 经常出现的失配问题。量化过程根据图像的动态范围大小确定量化参数，既保留 图像必要的细节，又减少码流。 在图像编码中，变换编码和量化从原理上讲是两个独立的过程。但在h 2 6 4 中，将两个过程中的乘法合二为一，并进一步采用整数运算，减少编解码的运算 量，提高图像压缩的实时性，这些措旌对峰值信噪比( p e a ks i g n a lt on o i s er a t i o ， p s n r ) 的影响很小，一般低于0 0 2 d b ，可不计。h 2 6 4 中整数变换及量化流程图 如图2 5 所示。 输 2 2 4 熵编码 图2 5 编码变换及量化过程流程图 出z 量化仅生成了d c t 系数的一种有效的离散表示，实际传输前，还须对其进行 流编码，产生用于传输的数字比特流。简单的编码方法是采用定长码，即每个量 值以同样数目的比特表示，但这种方法的效率较低，而采用熵编码可以提高编码 率。熵编码是基于编码信号的统计特性，使得平均比特率下降。 h 2 6 4 采用的熵编码有两种：一种是基于上下文的自适应可变长编码c a v l c ； 另一种是基于内容的自适应二进制算术编码c a b a c 。c a v l c 与c a b a c 根据相 临块的情况进行当前块的编码，以达到更好的编码效率。c a b a c 比c a v l c 压缩 效率高，但要复杂一些。 1 0 视觉几何约束在视频编码中的应用研究 2 3 多视角视频编码 多视角视频 3 3 - 3 5 1 是指可以从多个角度观看的视频。如图2 6 所示，多视角视频 一般是通过在场景中放置的一组平行或者会聚的相机阵列获取整个场景的多个视 角的视频信号，并将这些视频信号提供给用户，从而可以实现三维场景、自由视 角切换以及场景漫游等功能。 卣 哟画 ( a ) 平行摄像机阵列( b ) 会聚摄像机阵列 图2 6 多视角视频摄像机配置 2 3 1 多视角编码标准预测结构 t o t l t 2 亿 t 4t 5t 6t 7t 8” 图2 7h i e r a r c h i c a lb 预测结构 基于分层b 帧( h i e r a r c h i c a lb ) 的视角间预测和时域预测相结合的预测编码 结构闪是由h h i ( h e i n r i c h - h e r t z i n s t i t u t e ) 提出的，因其能够获得较高的编码效率 而被j v t 采纳为m v c 参考软件j m v c 的参考预测结构。h i e r a r c h i c a lb 是一种金 字塔式结构，顶端为i 帧或p 帧，最底层为最低等级的b 帧，每个g o p ( g r o u po f 5 ； 轧 犯 豁 骈 ：；i 跖 盯 第二章基础理论 1 1 p i c t u r e s ) 中的b 帧依据预测的先后次序视作不同的等级，较高等级的b 帧可以继 续为较低等级的b 帧提供预测参考【3 。其具体示例如图2 7 所示。 该预测结构中包含8 个视角( s o s 7 ) ，为保证画面流畅性，需定期插入关键 帧( a n c h o rp i c t u r e ) ，因此需要设置g o p 长度。图2 7 中g o p 的长度为8 ，其中 s 0 视角为基本视角( b a s ev i e w ) ，在编码时仅使用时域预测而不使用视角间预测。 其余视角为非基本视角( n o n - b a s ev i e w ) ，编码时同时使用时域预测和视角间预 测。图2 7 结构中，除基本视角外，s 2 、s 4 、s 6 视角中只有关键帧( 如图中的t 8 时刻的帧，关键帧可以是i 帧、p 帧、b 帧) 使用了视角间预测，其余视角的所有 编码帧都可以使用时域预测和视角间预测。此外，若图像序列的总长度不是g o p 的整数倍，则会出现一个拖尾。为允许随机存取，每个g o p 以i 帧开头。 2 3 2 视差矢量预测 由于多视角视频序列的各视角之间存在冗余信息，因此，多视角视频序列采 用视角间预测能够迸一步提高编码效率。多视角视频编码中视差是指视频序列的 图像对之间的差异。估计视差场的过程，又称视差匹配或视差估计问题，是立体 图像视频编码、立体视觉分析及识别的关键步骤。视差矢量( d i s p a r i t yv e c t o r ， d v ) 3 8 】指的是拍摄对象的同一点在两个摄像机拍摄的两幅图像中的投影点之间的 相对位置偏差。 一般情况下，对视差矢量预测具体做法如下： 首先将视角间参考图像和时间参考图像统一放入参考图像列表，然后利用块 匹配方法对当前编码块进行位移视差估计，搜索当前编码块的最佳匹配块，最后 将当前编码块与最佳匹配块的m v d v 及其预测差信号进行压缩、编码。该方法与 h 2 6 4 a v c 标准完全兼容，并且用于j m v c 中。 2 4 运动估计算法 由于本文主要研究视觉几何约束在视频编码运动估计中的应用，所以本节将 介绍运动估计算法的一些基本知识。 在帧间预测编码中，由于活动图像相邻帧中的景物存在着一定的相关性。因 此，可将活动图像分成若干块或宏块，并设法搜索出每个宏块在邻近帧图像中的 位置，并得出两者之间的空间位置的相对偏移量，得到的相对偏移量就是通常所 指的运动矢量，得到运动矢量的过程被称为运动估计。 运动矢量和经过运动匹配后得到的预测误差共同发送到解码端，在解码端按 照运动矢量指向的位置，从已经解码的邻近参考帧图像中找到相应的块或宏块， ： 1 2 视觉几何约束在视频编码中的应用研究 和预测误差相加后就得到了块或宏块在当前帧中的值。 通过运动估计可以去除帧间冗余度，使得视频传输的比特数大为减少，因此， 运动估计作为视频压缩处理系统中的一个重要组成部分越来越多的受到人们的关 注。很多不同的运动估计方法先后被提出，如各种快速块匹配法、像素递归法、 光流场估计的方法和贝叶斯方法等等。同时，由于视频信号处理以及越来越多的 应用对实时性要求很高，而运动估计算法通常较为复杂，运算量相当大，因此迫 切需要寻找适合实际工程应用的先进算法。实践证明，基于块的运动估计与补偿 算法是最实用和先进的运动估计与补偿方法，易于大型集成电路的逻辑实现，几 乎所有的视频编码标准在实际中都采用了基于块的运动估计方法。 2 4 1 基于块匹配的运动估计算法 块匹配运动估计算法，顾名思义，就是将图像分割成许多互不重叠的m x n 的 子块，并假设块内的各像素具有运动一致性，且只作平移运动，这样整个块只需 一个运动矢量，然后对当前帧图像的每一子块，在参考帧的一定搜索范围内按照 一定的匹配准则进行匹配，搜索与当前子块最相似的块，即匹配块。该匹配块与 当前子块的相对位置所得的运动位移即为当前子块的运动矢量( m o t i o nv e c t o r ， m v ) ，它们的像素间的差值称为残差块，预测块与当前块之间通过匹配准则函数 得到的值称为块失真度( b l o c kd i s t o r t i o nm e a s u r e ，b d m ) 。这样当前帧中的每一块 都可以用一个残差块和一个运动矢量来表示。图2 8 为块匹配运动估计的示意图。 显然，残差块的值越小，越有利于压缩。因此运动估计的主要目标就是使预测块 与当前块之间的b d m 尽量小。 图2 8 块匹配运动估计示意图 块的大小为m x n ，一般取1 6 x1 6 。这是一个折衷的选择，因为在块大小的选 择中存在着矛盾： 块必须足够大，如果太小，很可能发生匹配到有相同灰度值但与场景无关的 块，并且块小会增加运算量，所需传输的附加信息也增加了。 第二章基础理论 块必须足够小，因为如果在一个块里存在较多不同运动矢量，匹配块就不能 提供高精度的估计。 搜索窗尺寸即搜索范围的选取对搜索结果也有较大影响：搜索范围越大，得 到更小残差块的可能性越大，但这会带来更大的时间开销。 当块内的像素不满足做相同运动的假设时，块匹配的匹配精度就会下降。因 此，必须根据复杂度和精度的折衷，合理划分块的大小。尽管块匹配的精度有限， 但是它的位移跟踪能力强而且实现简单，因此成为运动估计技术的主流。 目前的国际标准中都是采用基于块匹配法的运动估计。h 2 6 1 、m p e g l 和 m p e g 2 中的块大小为1 6 x1 6 ，在h 2 6 3 、m p e g 4 中块大小为1 6 x1 6 ，8 8 两种。 h 2 6 4 多达7 种的块选择模式进一步提高了估计的精度。 在块匹配运动估计算法中，计算复杂度可用公式：运算量= 搜索点数块匹配 准则来表示，这个公式可以理解为，在块匹配准则确定的情况下，每个匹配点的 单位运算量确定了，这时，运动估计的运算量就直接取决于搜索点数的多少，也 就是取决于运动估计的搜索算法，如果搜索算法越简单，运动估计的计算复杂度 就越小。因此，块运动估计算法有两个方面：( 1 ) 块匹配准则；( 2 ) 块运动搜索策略。 2 4 2 块匹配准则 块匹配准则是判断块相似程度的依据，因此匹配准则的好坏直接影响了运动 估计的精度；另一方面，匹配运算复杂度、数据读取复杂度和内存管理复杂度在 很大程度上取决于所采用的块匹配准则。 常用的块匹配准则有以下几种： ( 1 ) 均方误差函数( m s e ) m s e ( i , 歹) 。面茜荟善( f 2 ( 加，刀) 一( f + 朋，_ ，+ 刀) ) 2 式( 2 - 1 ) ( 2 ) 最大误差最小函数( m m e ) m m e ( i ，j ) = m a x l t 2 ( m ，n ) - l l ( i + m ，+ 玎) i 式( 2 2 ) ( 3 ) 绝对平均差函数( m a d ) 刎d ( 厶) 2 砺茜善荟i 乞( 所，咒) 一( f + 朋，+ 门) i 式( 2 - 3 ) ( 4 ) 绝对误差和函数( s a d ) mn s a d ( i ，) = l 乞( 小，n ) - l l ( i + m ，_ ，+ ，1 ) i 式( 2 - 4 ) m = ln = l 1 4 视觉几何约束在视频编码中的应用研究 实验表明，m s e 匹配函数运动估计的精度最高，但其大量的乘方运算在v l s i 实现中比较困难；m m e 匹配函数则过于简单，没有充分利用匹配块所包含的特征 信息，使运动估计的精度大大降低；m a d 匹配函数略差，但其相对简单的运算易 于在v l s i 中实现，相对而言，m a d 准则函数比较实用，一度得到广泛运用。但 s a d 被提出后迅速取代了m a d ，因为s a d 与m a d 效果相似，但计算量确大大 降低。这是由于对于采用相同形状大小的块的来说，m x n 都是相同的，除以它没 有必要。 在h 2 6 4 的参考模型软件平台上也采用s a d 的匹配准则，计算经h a d a m a r d 变换后的残差数据，作为预测的能量量度，也被称为s t a d ( s u mo fa b s o l u t e t r a n s f o r m e dd i f f e r e n c e ) 。在每一个搜索位置进行残差的变换虽然会增加计算量， 但是也会提高能量量化的精度。此外由于h 2 6 4 采用了一种无乘法运算的变换， 额外增加的计算量并不大。 2 5 经典运动估计搜索算法 本节将介绍本文主要涉及到的三种运动估计搜索算法。 2 5 1 菱形搜索算法 菱形搜索算法( d i a m o n ds e a r c h ，d s ) 1 9 1 也叫钻石搜索法，在2 0 0 0 年由s h a n z h u 和k a i k u a n gm a 两人提出。菱形搜索算法采用了两种模板，分别是有9 个检 测点的大模板l d s p ( l a r g ed i a m o n ds e a r c hp a t t e r n ) 和有5 个检测点的小模板s d s p ( s m a l ld i a m o n ds e a r c hp a t t e r n ) ，如图2 9 所示。搜索时先采用大模板搜索计算， 当最小块误差点出现在中心点处时，改换使用小模板方式搜索，再进行最佳匹配 计算，这时最小的误差点就是最优匹配点。 ( a ) l d s p( b ) s d s p 图2 9 大小菱形搜索模板 菱形搜索算法的基本步骤如下： s t e p l ：以搜索窗口的原点( o ，o ) 为中心，用l d s p 模板搜索中心及周围的8 第二章基础理论 1 5 个点共计9 个检测点，如果计算得到的最小误差点位于中心位置，则转至s t e p 3 ； 否则，转至s t e p 2 。 s t e p 2 ：以上一步搜索得到的最小误差点为中心，重新使用新的l d s p 搜索。 如果得到的新最小误差点位于中心位置，转至s t e p 3 ，否则，重复该步。 s t e p 3 ：以上一步找到的最小误差点为中心，搜索模式由l d s p 转换为s d s p 。 这一步得到的最小误差点，就是最佳匹配点。 菱形搜索法选用了大小不同的两种模板进行搜索，可以进行粗、细定位，使 搜索过程不会陷入局部最小。但是算法对于运动剧烈的序列会同等的对待搜索区 域，这就造成了较大的冗余，影响搜索速度。 2 5 2 混合的非对称十字多层次六边形搜索算法 由于物体的运动千变万化，很难用一种简单的模型去描述，也很难用一种单 一的算法来搜索最佳运动矢量，因此实际上大多采用多种搜索算法相组合的办法， 可以在很大程度上提高预测的有效性和鲁棒性。h 2 6 4 的测试平台( j o i n tm o d a l ， j m ) 中使用了非对称十字型多层次六边形搜索( u m h e x a g o n s ) 算法【2 】，其搜索过 程如图2 1 0 所示。 图2 10u m h e x a g o n s 搜索过程 u m h e x a g o n s 的搜索过程大致包含如下几个步骤： s t e p l ：在起始搜索矢量的集合s 中搜索一个误差函数值最小的候选运动矢量 作为起始搜索点； 1 6 视觉几何约束在视频编码中的应用研究 s t e p 2 ：进行不对称的十字交叉搜索，这是考虑到自然界物体运动水平方向要 比垂直方向剧烈一些的特性； s t e p 3 ：进行非均匀多层次六边形格点搜索； s t e p 4 ：进行扩展的六边形搜索，这一步包含两种搜索模板，分别为六边形搜 索模板和菱形模板。 u m h e x a g o n s 算法中使用了提前终止选择技术，它在前三步的搜索中，在得 到最优点后，进行终止选择判断，判断是否可以提前直接跳入第四步，并确认进 行第四步中哪个模板的搜索。 由于u m h e x a g o n s 算法采用了多尺寸运动估计、起始点预测、内容自适应的 多种搜索模型和提前终止等技术，它有效地减小了搜索最佳匹配点的数目，提高 搜索速度。与全搜索算法相比，u m h e x a g o n s 算法可以节约9 0 以上的运算量， 同时保证信噪比下降很小，很好的满足了码率和实时性的要求。 2 5 3t z s e a r c h 搜索算法 t z s e a r c h 搜索算法是j m v c 中提供的一种混合搜索模型的快速搜索算法，它 结合了菱形搜索算法，光栅搜索，星型搜索等搜索算法，其搜索步骤也大体分为： s t e p l ：比较中值预测矢量，( 1 ，0 ) ，( 0 ，1 ) ，( 1 ，- 1 ) 和( o ，0 ) 等几个预测矢量，选 择其中匹配误差最小的点为初始搜索点； s t e p 2 ：以初始搜索点为中心，进行步长为1 ，2 ，4 ，8 ，1 6 ，3 2 ，6 4 ( 如果搜 索范围为6 4 ) 的菱形或矩形搜索，如果最小误差点为当前搜索中心，则停止搜索。 s t e p 3 ：若上一步中搜索得到的最小误差点距当前搜索中心大于3 ，则进行步长 为3 的光栅搜索，得到的最小误差点作为下一步的搜索中心；否则跳至s t e p 4 。 s t e p 4 ：精细搜索，重复s t e p 2 中的搜索，直至最小误差点保持不变。 2 6 相机成像模型 相机成像模型在数学上是三维空间到二维平面的中心投影，由一个3 4 矩阵 来描述，这种模型是一个( 退化的) 射影变换，因此又称为射影相机。如图2 1 1 所示，令空间点q 是相机的投影中心，它到平面刀的距离为厂。以q 为端点并经 过空间点必的射线与平面巧的交点为点m 在平面t 上的像m 。平面t 称为相机 的像平面，点q 称为相机光心