（通信与信息系统专业论文）多视点视频编码方法的研究.pdf

摘要 为满足视频场景自然和真实再现需求，具有3 d 视觉功能的多视点视频技术正越来越受到 学术界和工业界的重视，并成为近年来视频研究的热点之一。多视点视频蕴涵了景物的深度 信息，在自然场景的表征上更具真实感，在3 d 电视、自由视点电视、具有临场感的可视会议 及虚拟现实等领域展现了广阔的应用前景。然而多视点视频具有巨大的数据量，存贮和传输 十分困难，必须对其进行高效的压缩。在多视点视频中，除了各个视频流内具有很强的空间 和时间相关性，各视点之间也具有一定的交叉相关性，如何有效地利用这些相关性是提高多 视点视频编码效率的关键。为提高多视点视频的压缩效率，本文在多视点视频编码的预测框 架、运动与视差矢量的预测、基于颜色差异补偿的视差预测编码以及码率控制等方面进行了 研究。 本文首先分析了多视点视频中视差预测特性和各种相关性的相对大小，在此基础上，提 出了基于h 2 6 4 的多视点视频编码方案，使用h 2 6 4 的帧内方向预测和帧间多模式预测解除多 视点视频的空问相关性、时间相关性和交叉相关性。在视差预测中引入全局视差预测编码模 式，并将其集成到h 2 6 4 的多模式预测编码中，提高了压缩效率；为减少编码视差矢量和运 动矢量所需的比特数，提出了改进的视差矢量和运动矢量预测方法，该方法除了利用视差矢 量和运动矢量的空间相关性，还利用了它们在相邻视点或相邻时刻的对应关系。另外，本文 还提出了一种基于分层结构的视差预测框架，使多视点视频码流具有“视点可分级”、“视 点随机访问”和“部分视点解码”的功能。 在多视点视频中，由于各摄像机所处方位不同的影响，接收到的光线强度存在差异，同 时各摄像机的增益、电平等也不能保证完全一致，导致实际获得的多视点视频图像之间存在 着颜色( 包括亮度和色差信号) 差别，从而严重影响多视点视频的压缩性能。为进一步提高多 视点视频的压缩效率，本文深入研究了基于颜色差异补偿的视差预测编码。在分析了不同视 点图像之间的颜色差异基础上，对其进行建模，然后根据对模型的简化程度，提出和实现了 多种基于颜色差异补偿的视差预测编码方法：全局线性颜色差异补偿、全局非线性颜色差异 补偿、局部颜色差异补偿、全局与局部自适应的颜色差异补偿。实验结果验证了本文的颜色 差异补偿方法明显改善了视差预测，提高了多视点视频的压缩效率。 玛率控制是视频编码中非常重要的技术之一，它是任何视频编码都不能回避的问题。对 于单视点视频编码，由于传统的多通道v b r 码率控制算法计算复杂度高，不适用于实时视频 应用，本文提出了一种低复杂度的单通道v b r 码率控制算法。该算法根据图像复杂度来分配 当前图像的目标比特数，算法中的模型参数随输入视频自适应更新，适应了视频的场景变化。 浙江大学博士学位论文 实验结果表明，该算法在满足码率条件下可获得相对稳定的视频质量。目前，对多视点视频 编码码率控制的研究尚未深入，本文提出了一种适合本文多视点视频编码方案的码率控制算 法。该算法根据每个视点图像的编码复杂度来分配图像的目标编码比特数；另外该算法为每 个视点的图像建立了独立的二次信源模型，能够精确控制每个视点的实际编码比特数。实验 结果表明，该算法能够有效地控制多视点视频的码率，同时获得了较高的编码效率。 关键词：多视点视频编码、视差预测、全局视差估计、颜色差异补偿、码率控制 a b s t r a c t a b s t r a c t m u l t i - v i e wv i d e o ，w h i c hc a l lp r o v i d ev i e w e r sw i t ht h eb e n e f i t so fa d d e dr e a l i s m , s e l e c t i v e v i e w i n g , a n di m p r o v e ds c eu n d e r s t a n d i n g , w i l lb ew i d e l yu s e d i nt h ef i e l d so f3 dt v , f l e e - v i e w p o i n tt v , i m m e r s i v ev i d e o c o n f e r e n c i n g , v i r t u a lr e a l i t ye t c h o w e v e ral a r g ea m o u n to f d a t ai so n em a j o ro b s t a c l ef o ru s i n gm u l t i - v i e wv i d e oi st h el a r g ea m o u n to fd a t a am u l t i f o l d i n c r e a s ei nb a n d w i d t ho v e rt h ee x i s t i n gs i n g l e - v i e wm a k e si te x t r e m e l yt o u g ht ot r a n s m i ta n ds t o r e m u l t i - v i e wv i d e od a t a t h i st h e s i sm a i n l yc o u c e r u st h ep r o b l e m so fh i g h l ye f f i c i e n tm u l t i v i e w v i d e oc o d i n g ( m v c ) t oa c h i e v eh i g hc o m p r e s s i o ne f f i c i e n c y , c o - r e l a t i o nb e t w e e nt h ed i f f e r e n t v i e w sm u s tb ee x p l o i t e di nm u l t i v i e wv i d e oc o d i n gs c h e m e b a s e do nt h i ss c e n a r i o , w ep r o p o s e v a r i o u se f f i c i e n te n c o d i n gs c h e m e s f i r s t l y , w ep r o p o s e da nh 2 6 4 - b a s e dm u l t i v i e wv i d e oc o d i n gs c h e m e i tu s e st h ea d v a n c e d p r e d i c t i v em e t h o do fh 2 6 4t oe l i m i n a t et h es p 砒i a t , t e m p o r a la n di n t e r - v i e wc o - r e l a t i u ni n m u l t i - v i e wv i d e o a c c o r d i n gt ot h ec h a r a c t e r i s t i co fm u l t i - v i e wv i d e o ，g l o b a ld i s p a r i t yc o d i n g m e t h o di se m p l o y e d a ne i g h t - p a r a m e t e rg l o b a ld i s p a r i t ym o d e li su s e da n dt w og l o b a ld i s p a r i t y c o d i n gm o d e sa r ep r o p o s e d t od e c r e a s et h ec o d i n gh i tn u m b e ro fm o t i o nv e c t o r ( m v ) a n d d i s p a r i t yv e c t o r ( d v ) ，a no p t i m i z e dm v & d vp r e d i c t e dm e t h o di sp r o p o s e d i tu t i l i z e sn o to n l yt h e m v & d vo fc a s u a ln e i g h b o r i n gb l o c k s ，b u ta l s o t h a to fc o r r e s p o n d i n gb l o c k si nt h ea d j a c e n t i m a g e s t os u p p o r tv i e w - s e a l a b i l i t y , al a y e r e dd i s p a r i t yp r e d i c t i o ns t r u c t u r ei sp r o p o s e d u s i n gt h e l a y e r e dd i s p a r i t yp r e d i c t i o ns t r u c t u r e ，o u rm v c s t r e s l nc a nb er a n d o ma c c e s s e da n dd e c o d e dp a r t l y d u et ot h ed i s t i n c tp e r f o r m a n c eo fc a m e r a s ，t h e r ee x i s t ss e r i o u sc o l o r - v a r i a t i o n ( i n c l u d i n g b r i g h t n e s sv a r i a t i o n ) b e t w e e nt h ei m a g e so fd i f f e r e n tv i e w s t h e s ev a r i a t i o n sw e l li m p a c tt h e c o m p r e s s i o np e r f o r m a n c eo f m u l t i - v i e wv i d e oc o d i n g t oi m p r o v et h ec o d i n ge f f i c i e n c yo f m v c ， w ei n v e s t i g a t et h em e t h o do f c o l o r - v a r i a t i o nc o m p e n s a t i o nd i s p a r i t yp r e d i c t i o n f i r s t l yw ea n a l y z e a n dm o d e lc o l o r - v a r i a t i o nb a s e do nt h ei m a g ef o r m a t i o nt h e o r y t h e n , v a r i o u sc o l o r - v a r i a t i o n c o m p e n s a t i o nm e t h o d sa r ep r o p o s e da c c o r d i n gt ot h es i m p l i f i e dm o d e l s n e ya r cg l o b a ll i n e a r c o l o r - v a r i a t i o nc o m p e n s a t i o n , g l o b a ln o n l i n e a rc o l o r - v a r i a t i o nc o m p e n s a t i o n , l o c a lc o l o r - v a r i a t i o n c o m p e n s a t i o na n dg l o b a l l o c a l - a d a p t i v ec o l o r - v a r i a t i o nc o m p e n s a t i o n e x p e r i m e n tr e s u l t ss h o w s t h e s em e t h o d sc a ng r e a t l yi m p r o v et h ep e r f o r m a n c eo fd i s p a r i t y p r e d i c t i o na n dt h ec o d i n g e f f i c i e n c yo f m v c r a t e - d i s t o r t i o n ( r - d ) a n a l y s i sa n dr a t ec o n t r o lp l a ya ni m p o r t a n tr o l e i nv i d e oc o d i n ga n d c o m m u n i c a t i o ns y s t e m s ，w h i c ha r et op r e v e n tb u f f e rm a l f u n c t i o na n dp r o v i d et h eh i g h e s tp o s s i b l e 1 1 1 浙江大学博士学位论文 v i d e oq u a l i t yu n d e rt h ec o n s t r a i n t so f r a t ea n dd e l a y i nt h i st h e s i s , m t ec o n t r o t , a l g o r t m l so f b o t h t r a d i t i o n a ls i n g l e - v i e wv i d e oc o d i n ga n dm v ca mp r o v i d e d d u et ot h eh i g hc o m p u t a t i o n a l c o m p l e x i t yo fm u l t i p a s s v a r i a b l eb i t r a t e ( v b r ) r a t ec o n u o la l g o r i t h m ，w ep r o p o s e da l o w - c o m p l e x i t ys i n g l e p a s sv b rr a t ec o n t r o la l g o r i t h mf o rr e a l t i m ev i d e oc o d i n ga p p l i c a t i o n i t a l l o c a t e st h et a r g e tb i tn u m b e rf o re a c hp i c t u r ea c c o r d i n gt oi t sc o m p l e x i t y , a n dc a na c h i e v e c o n s t a n tv i d e oq u a l i t y a l t h o u g ht h er a t ec o n t r o lo f v i d e oc o d i n gi sd e e p l yi n v e s t i g a t e d ，r a t ec o n t r o l o fm v ci ss e l d o mc o n c e r n e d i nt h i st h e s i s w ep r o p o s e dar a t ec o n t r o la l g o r i t h mf o rh 2 6 4 - b a s e d m v cs c h e m e t h ea l g o r i t h me m p l o y sa ni n d e p e n d e n tq u a r t e rr o t e - d i s t o r t i o nm o d e lf o re a c h v i e w p o i n tv i d e o s i m u l a t i o nr e s u l t ss h o w e dt h a ti tc o u l da c c u r a t e l yc o n t r o lt h eu s e db i tn u m b e ro f e a c hf t a m e x 唧r 山：m u l t i - v i e w v i d e o c o d i n g , d i s p a r i t ye s t i m a t i o n , g l o b a ld i s p a r i t ye s t i m a t i o n , c o l o r - v a r i a t i o nc o m p e n s a t i o n , r a t ec o n t r o l 浙江大学博士学位论文 插图清单 图2 1 不同视线距离下的人眼深度线索。7 图2 2 两台摄像机模拟人眼的功能8 图2 3 多视点视频摄像机系统9 图2 4 自由视点电视方案1 0 图2 5 自由视点电视解码端的基本框架1 1 图2 6m e r l 的3 d 电视系统1 2 图2 7m e r l 的自动3 d 显示系统1 2 图2 8 视图合成技术的应用简介1 3 图2 9 视差光栅立体显示系统的原理1 5 图2 1 0 凸透镜阵列立体显示系统的原理1 5 图2 1 l 视频压缩标准的制定时间关系1 9 图3 1h 2 6 4 帧间运动预测模式及子模式2 5 图3 2 宏块最佳视差预测在各参考帧的出现概率2 6 图3 3 相关性测试的帧问预测结构2 7 图3 4 多视点视频编解码系统框图3 0 图3 5 多视点视频的运动与视差预测关系3 1 图3 6 拓展的视差预测结构3 2 图3 7 基于分层结构的视差预测框架3 2 图3 8 八参数全局视差模型示意图，3 6 图3 9 全局运动参数估计算法流程3 7 图3 1 0 运动矢量预测示意图3 8 图3 i l 多视点视频中相邻的运动矢量和视差矢量关系3 9 图3 1 2 序列b r e a k d a n c e r 的视差矢量图4 l 图3 1 3 序，i j b a l l e t s 的视差矢量图4 l 图3 1 4 序，6 r a c e l 的视差矢量图4 2 图3 1 5 序? l j f l a m e n c o l 的视差矢量图4 2 图3 1 6 序列a q u a r i u m 的视差矢量图4 3 图3 1 7 序n x m a s 的视差矢量图4 3 图3 1 8 利用全局视差信息获得相邻视中的对应块4 5 图3 1 9 实验测试中采用的视差预测结构4 6 图3 2 0 多视点视频编码方案的r d 曲线4 8 图3 2 1 多视点视频编码中p 帧的r d 曲线4 9 图4 1 颜色校正作为预处理过程的多视点视频编码方5 l v 1 1 1 插图滴单 图4 2 颜色校正作为中间过程的多视点视频编码方法5 1 图4 3 o b j e c t s 序列图像) 及y u n 分量直方图5 6 图4 4r a c e 序列左右图像亮度y 和色差u 的直方图差异代价函数5 6 图4 5 直方图规定化算法的c 代码流程5 9 图4 6 偏差函数f ( 0 和矾o 函数的分布6 0 图4 7 计算b 值的象素区域，6 6 图4 8 全局与局部自适应的颜色差异补偿方法6 7 图4 9 颜色差异补偿算法实验的编码预测关系6 8 图4 1 0 颜色差异补偿算法的r - d 曲线比较。7 1 图4 1 1 颜色差异补偿对f l a m e n c o l 序列的视差矢量场的影响7 2 图4 1 2 颜色差异补偿对o b j e c t s l 序列的视差矢量场的影响7 2 图4 1 3 颜色差异补偿对r a c e l 序列的视差矢量场的影响7 3 圈4 1 4 颜色差异补偿对b a l l e t s f f 列的视差矢量场的影响，7 3 图5 1 码率控制原理框图7 7 图5 2h 2 6 4 的假想解码器的缓冲区模型7 9 图5 3 码率控制算法的性能比较9 2 图5 4 多视点视频编码的码率控制算法4 层结构9 4 图5 5h 2 6 4 中量化参数q p 与量化阶数q s t e p 之间的关系9 6 图5 6 多视点视频各个视点的p s n r 曲线1 0 6 图a if l a m e n c 0 1 序列“2 图a 2o b j e c t s l 序列1 1 2 图a 3r a c e l 序列1 1 3 图a 4g o l f l 序列1 1 3 图a ，5b a l l e t s 序列1 1 4 图a 6b m a k d a n c e r 序列1 1 4 图a 7 a q u a r i u m 序列，1 1 5 图a 8x - m a s 序列，1 1 5 i x 浙江大学博十学位论文 x 表格清单 视差预测方法效果比较2 6 视差预测与运动预测性能的比较2 8 全局运动模型参数表示3 6 视差矢量预测方法的性能比较4 4 运动矢量预测方法的性能比较4 5 h 2 6 4 编码参数设置4 7 多视点视频编码方法的编码性能4 9 h 2 6 4 编码参数设置6 9 本文v b r 算法和t m 5 性能比较9 2 本文v b r 算法和t m 5 算法对长序列编码性能比较9 2 多视点视频编码的码率控制算法性能1 0 5 1 2 3 4 5 6 7 l 1 2 3耙帮鹈瓤鹈鹈韶瓤稻鹈耔 第一章绪论 1 1 论文研究背景 第一章绪论 二十一世纪是一个数字信息时代，数字信息化几乎涉及到世界的每个角落，改变了人类 的生活和工作方式。信息化的一个主要特征就是多媒体技术，尤其是视频技术的广泛应用。 在过去的时间里，视频压缩和通信技术得到了飞速发展，尤其是各种视频编码标准，如： m p e g 1 2 4 ，h 2 6 1 ，3 4 等的制定，使得高清晰数字电视、视频会议、可视电话，网上的视频 点播和视频广播等应用成为现实并且得到普及。 在视频技术领域中，主要的发展趋势是追求对自然景物更加真实、清晰的表征。模拟电 视经过数十年的发展和应用，如今将被数字电视取代，高清晰数字电视( r i d l - v ) 通过增加图像 显示的分辨率，进一步提高了视觉的真实性。目前的二维平面视频在表征自然场景深度信息 方面的局限性已使其不能满足人们对场景真实和自然再现的需求 k o n r a d , 2 0 0 1 ；s c h r e e r , 2 0 0 5 ；院，1 9 9 8 。例如，立体电视和立体电影表征出来的3 d 显示效果：在进行可视电话或者远 程可视会议时，用户的临场感；远程诊疗时，医生需要病人全方位的视频信息；网上购物， 人们也希望能够看到物品在多个视角的描述。这些都是传统二维图像，视频无法提供的视觉效 果。为满足人们的这种需求，能够提供3 d 视觉的立体，多视点视频技术越来越受到学术界和 工业界的重视，并且成为当前视频研究领域的热点之一f a i j o s c h a , 2 0 0 4 ；韩，2 0 0 3 ；k o n r a d ， 2 0 0 1 。立体，多视点视频系统增加了图像中景物的深度信息，在自然场景的表征上更具真实 感，具有广泛的应用前景，例如3 d 电视 f e h n2 0 0 2 ；m a m s i k , 2 0 0 4 ；m o t o k i ，1 9 9 5 、自由视点电 视 k i m a t a , 2 0 0 4 、具有临场感的可视会议 1 z q u i e r d o 。1 9 9 7 ；x u , 1 9 9 9 、3 d 远程通信、远程医 学诊疗、自动导航 s h r e s 。1 9 9 3 及虚拟现实 k a n a d e , 1 9 9 7 1 等。 在立体多视点视频的发展过程中，有两项关键技术起着重要的作用并决定它能否被进 一步应用。第一项关键技术是立体，3 d 显示1 。立体显示技术的原理较简单，只需要将立体图 像对的左右图像分别呈现给人的左右眼。早期人们发明了借助辅助设备的色分法、光分法、 时分法等立体显示技术，其中使用最多且效果较好的是基于偏振光原理的立体显示技术，但 这些显示方法都有同一个缺点就是观察者都必须佩戴特制眼镜或者别的特殊装置，这种不便 很大程度上影响了立体视频的普及。为此，后来的研究者发明了自动立体显示系统，使用户 1 在本文中，立体显示技术专指双目立体显示技术；3 d 显示技术表示能够提供多个视角的显示技术，在3 d 显示系统中，观看者能够得到“运动视差”和“环视”的效果，即随着观看者位置的移动，所看到的画面也 会随之改变。 1 浙江大学博士学位论文 不需要使用任何辅助设备就可以观察到生动的立体显示效果 o k o s h i ，1 9 7 6 。目前基于视差光 栅或凸透镜阵列的立体显示设备已进入了商业使用阶段( w w w s t e r e 0 3 d c o m ) ，表明立体显示技 术已发展到成熟阶段，较好地满足了人们的需求。为进一步提高3 d 显示效果，使观察者能够 得到“运动视差”和“环视”的效果，多视点3 d 显示技术成为近年来在显示技术方面的研究 重点 l i ，2 0 0 2 ；l i a o ，2 0 0 2 ；n a k a j i m a , 2 0 0 1 1 。目前已有方案中，大部分方案需要在图像分辨率 与视点数目之间作折衷，不能得到人们期望的效果。新近提出的多投影机与凸透镜阵列结合 使用的方案能够同时提供高分辨率的图像与大量的视点数目，受到众多研究者的青睐，并被 认为能在不久的将来实现商业价值。 立体多视点视频发展的另一项关键技术是立体多视点视频内容的存储与传输。立体 多视点视频尤其是多视点视频会带来视频数据的急剧增加，使得视频数据的存贮和传输变得 十分困难，必须对立体侈视点视频进行高效的压缩。在过去的十几年中，全世界很多学者致 力于该领域的研究 s e t h u r a m n , 1 9 9 6 ；w o o n t a d c , 1 9 9 9 。为得到高效的编码效率，他们提出的 方案除了利用视频通道内的空间与时间相关性外，还利用了不同视频通道之间高度的相关性 ( 称为交叉相关性) 。早些时期，大部分的研究者提出的是针对立体视频的编码方案 m i c h a e l 1 9 9 2 ；p u r i ，1 9 9 7 ，然后将这些方案做简单的延伸应用于多视点视频；近几年间，由于多视点 视频应用前景的逐渐明朗，针对多视点视频的编码研究成为该领域内学者们的研究重点【i s o ， 2 0 0 4 ；k i m a t a , 2 0 0 4 a ；n g a n , 2 0 0 0 。在这种情况下。国际视频标准组绷v i p e g 在近年期间成立 了3 d 音视频的特别研究小组，定期开会讨论多视点视频的编码要求及技术实现方案，以期在 若干年后建立统一的多视点视频的压缩标准【i s o 2 0 0 5 a ；1 s o ，2 0 0 5 b 。正是在这种背景下，本 文将多视点视频编码算法的研究作为主要方向，提出了高效的多视点视频编码方案和算法。 1 2 多视点视频编码的研究现状 大部分的立体视频编码方法经过延伸都可以直接成为多视点视频编码方案，所以在这小 节中包含了立体视频编码研究现状的讨论。l u k a c s l u k a c s ，1 9 8 6 是立体编码领域早期的研究 者，并提出了在相邻视点之间使用视差补偿的方法提高立体视频的压缩效率。之后，随着更 多学者对该领域的关注。大量卓有成效的算法和方案相继产生。 在立体多视点视频的编码方案中，一般的做法是使用运动补偿预测技术消除视频序列 时间方向的冗余，同时利用视差补偿预测技术进一步去除各个视点之间的冗余，根据这个原 理，近年来许多研究者提出了多种编码方法。根据视差和运动估计方法不同，这些方法可以 归纳为基于“块”的编码方法和基于“对象”的编码方法两大类。 ( 1 ) 基于。块”的编码方法 第一章绪论 基于“块”的编码方法是对各种单序列图像编码方法的直接扩展，在有左右两序列的立 体视频中，编码器首先把左序列的每幅图像分割成大小相等的方块，采用单序列图像编码方 法进行编码，对右图像采用两种预测编码方法，一是利用左图像进行视差预颡g ( d i s p a r i t y p r e d i c t i o n ) ，二是利用右图像的前一帧图像进行运动补偿预测( m o t i o np r e d i c t i o n ) ，在两种预测 中选用误差较小的进行补偿预测编码。这种方法是m p e g - 2 多视点配置( m u l t i v i e wp t o f i l e ) 的主 要思想 i s o ，1 9 9 6 ，s o n g , 1 9 9 6 1 。在m p e g - 2 多视角配置中，将时间上的分级编码的思想运用于 多路视频编解码中，在基本层编码第一路视频，而其他路的视频在加强层进行编码，加强层 既可以从基本层来进行视差预测，也可以从加强层内部已编码的帧进行运动预测。 上述固定块尺寸预测编码方法的原理简单，技术成熟，然而由于运动矢量和视差矢量估 计的准确度不高，因此编码效率不高。为提高视差预测的精度，s e t h u r a m a n s e t h u r a m a n , 1 9 9 6 首先将可变块尺度预测方法引入到视差估计中，提出了基于视差分割的编码方法。该方法自 适应地按图像的内容分割图像，在视差平滑区采用较大尺寸块，在视差突变区采用较小尺寸 块，并用四叉树结构表示分割信息，在相对较低视差编码开销下，获得较小的预侧误差。 w o o n t a c k w o o n t a c k , 1 9 9 9 在可变块尺寸的视差估计中使用了基于马尔可夫随机场模型 ( m r f ) 的平滑约束，提高了视差场的一致性，并且使用了率失真优化的方法来选择最佳的 视差预测块尺寸。 根据人眼视觉系统的隐藏特性，研究者发现降低立体视频中的一路视频的分辨率和图像 质量并不会影响整体的立体视觉效果，因此提出了混合分辨率的编码方法 s c t h u r a m a n 。1 9 9 4 ； p u f f ，1 9 9 7 ；y a n g , 2 0 0 4 ，只对其中的主视频流进行高质量的编码。为进一步降低立体视频中 辅助码流的码率，1 i a n g 和h a y e s j i a n g , 1 9 9 7 提出了一种不需要编码传输右图序列中的b 帧， 而在解码端直接经帧估计和内插得到重建的方法。该方法在帧估计和内插中第一次利用了立 体视频序列的特点，使在可接受的视觉效果下获得了高效的压缩性能。在此基础上，l u o 等 l u o ，2 0 0 3 提出了基于不规则四叉树的运动估计和分割的立体视频帧估计和内插方法，提高 了重建的b 帧质量。 近年来，为提高编码效率，一些研究者提出了基于最新视频压缩标准h 2 6 4 的多视点视 频编码方案；l i 等 l i ，2 0 0 3 和u l r i c h 等 u l n c l l 2 0 0 5 分别利用h 2 6 4 的多参考帧技术非常简便地 实现了多视点视频编码，通过参考帧的选择同时实现了运动预测和视差预测。在g u o 等 g u o , 2 0 0 4 提出的编码方案中，使用全局视差模型得到当前编码宏块在相邻视点图像中的对应块， 然后使用该对应块的运动矢量来预测当前编码宏块的运动矢量，减少了编码运动矢量所需的 比特数。 ( 2 ) 基于“对象”的编码方法 基于“对象”的视频压缩首先要将图像中的物体或物体的不同部分进行区分。单路视频 浙江大学博士学位论文 实现这目标比较困难，通常利用物体的运动参数、物体问亮度和纹理的差异等，但效果不 佳。而立体图像序列除了可利用单路运动图像的分割方法外，还可利用立体图像中的深度信 息进行图像的物体分割 w a l d o w s k i ，1 9 9 1 。对图像进行分割后，较为简单的做法就是将不同 物体以不同压缩比进行压缩，如将视频电话中的人像和背景分别以较低和较高的压缩比进行 压缩。而较为复杂的做法是建立分割后各个对象的三维模型。以一系列参数来描述对象的形 状、亮度和运动，来实现场景的结构化描述 z i e g l e r , 1 9 9 5 ，t z o v a r a s , 1 9 9 7 ；s t d n t z i s ，1 9 9 9 。基 于对象的编码方法主要优点是图像的主观质量好，而且对场景进行结构性描述，能适应新的 应用领域。但是，这种方法需要复杂的图像分析过程，其中诸多环节，如：对象自动分割、 对象描述方法等还不成熟，目前只能适用于一些运动简单、背景单一的图像，它的广泛应用 取决于图像自动分析问题的解决。 1 3 本文的研究内容及主要贡献 虽然随着视频压缩方法的改进，多视点视频编码方法的压缩效率得到了很大程度上的提 高，然而多视点视频编码技术还未达到成熟和完全实用的阶段，在诸多环节及关键算法上依 然存在较大的改进余地。基于“对象”的编码方法整体算法比较复杂，本文并不对其进行深 入研究，而是把研究的重点放在块基编码方法上。 与以往的视频压缩标准相比，最新的视频压缩标准h 2 6 4 在各个模块采用了更为先进的 技术，显著地提高了压缩效率，由此，目前的研究者纷纷提出基于h 2 6 4 的多视点视频编码 方案 t a n i m o a ) 。2 0 0 4 ；w a n g , 2 0 0 4 ；k i m a t a , 2 0 0 4 。本文首先对基于h 2 6 4 的多视点视频编码方 法进行了研究。在本文的多视点视频编码方法中，采用了h 2 6 4 的分级可变尺寸块的运动估 计和视差估计技术，运动矢量和视差矢量的有效编码对编码器的整体性能起着非常重要的作 用。为减少编码运动矢量和视差矢量信息所需的比特数，h 2 6 4 中采用的相邻块中值预测方 法是一种可选方案，然而该方法只利用了运动矢量和视差矢量的空间相关性，在多视点视频 编码中，并不是最佳预测方案。在多视点视频中，相邻视点图像中的视差矢量和运动矢量存 在一定的相关性，有效地利用这些相关性能够提高它们的预测效果。 到目前为止，大多数的多视点视频编码方案是立体视频编码方案的简单延伸。视差预测 的结构非常简单。与两路立体视频不同，多视点视频的应用场合复杂得多，包括3 d 电视，自 由视点视频等，并且多视点视频的显示设备具有多样性，除了3 d 显示设备外，还可能是普通 立体显示器，甚至是传统的二维显示设备，故而多视点视频编码方案需要提供诸如“视点随 机访问”和“部分视频解码”等功能，而简单的顺序视差预测结构显然不能提供这些功能。 本文研究了基于分层的视差预测结构。 在已有的视差预测编码方法中，都是假设图像中对应象素之间的颜色和亮度是恒定的， 4 第一章绪论 但是实际情况并非如此。在多视点视频中，由于各摄像机所处的方位不同，接收到的光线强 度也稍不同，同时各摄像机的增益、电平等也不能保证完全一致，这些都会导致实际获得的 多视点视频的图像之间存在着颜色差异 l o p e z , 2 0 0 4 1 ，从而严重影响多视点视频的压缩性能。 基于颜色差异补偿的视差预测编码方法是本文的主要研究内容之一。在h 2 6 4 中，使用了加 权运动预测的方法实现对全局线性亮度差异的补偿，然而在多视点视频中，亮度和颜色差异 的形成原因更加复杂，存在着多种非线性的因素，因此需要引入非线性颜色差异模型以及局 部颜色差异补偿技术来补偿不同视点间的颜色差异 码率控制是视频编码中非常重要的技术之一，任何视频压缩标准离开码率控制其应用都 会受到限制。许多学者和机构在码率控制方面已做了大量研究工作，但绝大部分算法都是针 对传统二维视频的应用，关于多视点视频编码的码率控制研究并未深入 l i m 。2 0 0 3 。在多视 点视频编码中，既进行运动预测，又进行视差预测，因此具有更多的编码图像类型，使得码 率控制算法更加复杂。多视点视频的码率控制算法不但要在时间上合理分配码率，防止缓冲 区的溢出，同时还要在各个视点之间进行码率分配。 综上所述，本文主要在多视点视频编码的运动与视差矢量预测、视差预测结构、基于颜 色差异补偿的视差预测以及码率控制等方面进行了研究，本文的主要贡献及创新之处有： 实现了基于h 2 6 4 压缩标准的多视点视频编码方案，在此基础上，利用多视点视频 的固有属性，在视差预测中引入了全局视差预测编码模式，并结合到h 2 6 4 的多模 式预测编码中。为减少编码视差矢量和运动矢量所需的比特数，提出了改进的视差 矢量和运动矢量的预测方法，该方法同时利用了视差矢量和运动矢量的空间相关性 以及它们在相邻视点或相邻时刻的对应关系。同时，本文提出了一种基于分层结构 的视差预测框架，使多视点视频码流具有“视点可分级”、“视点随机访问”和“部 分视点解码”的功能。 在基于颜色差异补偿的视差预测编码上。首先提出了一种基于直方图匹配的全局线 性颜色差异模型参数的快速算法；其次，提出了种基于全局非线性颜色差异补偿 的视差预测编码算法，更好地消除了不同视点图像之间的颜色差异，在该算法中， 对非线性颜色差异模型进行有效的编码以减少所需的比特数；最后，提出了基于全 局和局部自适应颜色差异补偿的视差预测编码方法，最大限度的提高了图像之间的 相关性。 提出了一种适合基于h ，2 6 4 的多视点视频编码的码率控制算法。该算法根据每个视 点图像的编码复杂度来分配图像的目标编码比特数；另外该算法为每个视点的图像 建立了独立的二次信源模型，能够精确控制每个视点的实际编码比特数。为降低传 统二维视频的v b r 码率控制算法的计算复杂度，本文还提出了一种面向实时视频应 浙江大学博士学位论文 用的低复杂度的单通道v b r 码率控制算法。 1 4 论文的章节安排 全文共六章，安排如下： 第一章绪论简要介绍了多视点视频编码的技术背景，详细分析了目前的研究现状，同时 阐明了本文的研究内容，概述了本文的主要贡献，最后给出了本文的结构安排。 第二章介绍了本文研究的基础知识。首先介绍了人眼立体视觉的基本原理和立体，多视点 视频摄像机系统的工作原理；然后举例说明了多视点视频的应用系统；最后回顾视频压缩技 术，介绍了视频压缩基本方法及其国际标准的发展过程。 第三章描述了本文的多视点视频编码总体方案。在这章中，首先统计分析了多视点视频 中视差预测的特性，同时分析了多视点视频的时间相关性和交叉相关性的相对大小；接着提 出了基于h 2 6 4 和分层视差预测结构的多视点视频编码方案；然后描述了全局运动模型，并 将其引入到多视点视频的视差预测编码中；最后在分析运动矢量和视差矢量的各种相关性的 基础上，提出了改进的运动矢量和视差矢量的预测方法。 第四章描述了基于颜色差异补偿的视差预测编码方法。该章首先分析了不同视点之间的颜 色差异，并对其进行建模；然后根据对模型的简化程度，提出和实现了多种基于颜色差异补 偿的视差预测编码方法，分别包括：全局线性颜色差异补偿、全