（通信与信息系统专业论文）任意视点视频深度估计及编码技术研究.pdf

摘要 摘要 与传统二维电视系统相比，任意视点视频系统允许用户在一定范围内自由选 择观看视频的角度，提供一种全新的更加生动、真实的三维视听系统。任意视点 视频系统首先要在编码端获取多视点视频数据，因此任意视点视频的原始数据量 巨大，高效的任意视点视频压缩算法成为实现其广泛应用的关键技术。为了能够 在任意视点视频系统终端为用户提供较大视角范围内的任意视点视频，需利用多 视点视频以及相应的深度视频，采用基于深度图像描述技术生成高质量的虚拟视 图。因此，获取高质量的深度数据也是实现任意视点视频系统的关键技术之一。 本文研究任意视点视频中深度估计及编码技术，主要研究内容及成果如下： 1 为了降低任意视点视频系统中深度数据的量化误差，提出一种深度数据的 自适应非均匀量化方法。在分析深度数据的统计特性的基础上，选取有效深度子 空间，然后对有效深度子空间重新进行精细划分，得到对应的自适应量化表，最 后使用该自适应量化表对原深度数据进行自适应量化。实验结果表明，自适应非 均匀量化方法能够显著降低深度数据量化误差，在任意视点视频系统的接收端能 够获得较高精度的深度数据，从而提高合成虚拟视图质量。 2 为了提高物体边缘深度估计准确性，提出一种基于物体边缘像素深度特性 的深度估计方法。已有任意视点视频系统中采用的基于边缘辅助信息的半自动深 度估计方法没有充分考虑物体边缘像素在深度图中的特性，从而降低了物体边缘 处的深度估计准确性，影响了合成虚拟视图的质量。论文提出一种基于物体边缘 像素深度特性的深度估计方法，根据物体边缘像素的深度特性，将深度图像素分 为三类，为每一类像素提供相应的匹配代价函数，从而能够准确估计物体边缘深 度，有效提高任意视点视频系统接收端合成虚拟视图的主客观质量。 3 为了提高深度视频的编码效率，提出一种有效利用纹理视频运动信息的深 度视频位移矢量预测方法。在分析纹理视频运动信息与深度视频运动信息相关性 的基础上，将深度视频中相邻块位移估值中值和纹理视频对应块位移估值作为深 度视频块位移估值预测值的候选值，根据率失真优化准则选择率失真代价最小的 候选值作为编码块的运动矢量预测值。实验结果表明，与h 2 6 4 a v c 中采用的中 值位移矢量预测相比，所提出方法能有效提高编码效率。在恢复视频质量相同的 情况下，采用c a b a c 熵编码时平均编码比特率最多可减少4 8 9 ，平均减少 3 6 8 。 关键词：任意视点电视任意视点视频深度量化 深度估计虚拟视图合成位移矢量预测 任意视点视频深度估计及编码技术研究 a b s t r a c t a b s t r a c t f r e e - v i e w p o i n tv i d e o ( f v v ) s y s t e mi sa l li n n o v a t i v ev i s u a lm e d i at l a ta l l o w s v i e w i n ga3 dw o r l db yf r e e l yc h a n g i n gt h ev i e w p o i n t f v vw i l l b r i n ga l le p o c h a l c h a n g ei nt h eh i s t o r yo fv i s u a lm e d i as i n c es u c haf u n c t i o nh a sn o ty e tb e e na c h i e y e db v c o n v e n t i o n a lm e d i at e c h n o l o g y i nt h es e n d e ro ff v v s y s t e m ，i ti sr e q u i r e dt oc a p t u r e m u l t i v i e wv i d e o ，w h i c hr e s u l t si nh u g ea m o u n to fo r i g i n a l d a t ai nf v v t h e r e b v e f f i c i e n tf v v c o m p r e s s i o nt e c h n i q u ei sc r u c i a lf o ri t sw i d ea p p l i c a t i o n s t op r o v i d et h e f v vw i t h i nac e r t a i nr a n g ei nt h er e c e i v e ro ff v v s y s t e m ，i ti sn e c e s s a r yt os y n t h e s i z e v i r t u a lv i e wu s i n gt h e d e p t h i m a g e b a s e d r e n d e r i n g ( d i b r ) t e c h n o l o g yb a s e do n m u l t i v i e wv i d e oa n dc o r r e s p o n d i n gd e p t hm a p s t h u s ，g e n e r a t i n gd e p t hd a t aw i t hh i g h q u a l i t yi so n eo f t h ek e ye n a b l i n gf a c t o r sf o rf v v s y s t e mr e a l i z a t i o n t h i sd i s s e r t a t i o ni n v e s t i g a t e sk e yt e c h n i q u e si nf v v m a j o rc o n t r i b u t i o n so ft h i s d i s s e r t a t i o na r es u m m a r i z e da sf o l l o w s ： 1 a na d a p t i v en o n - u n i f o r mq u a n t i z a t i o nm e t h o di s p r o p o s e df o rd e p t hd a t ai n f w s y s t e m ，w i t hw h i c ht h ed i s t o r t i o nd u et od e p t hd a t aq u a n t i z a t i o nc a nb er e d u c e d b a s e do nt h es t a t i s t i c a ld i s t r i b u t i o nc h a r a c t e r i s t i c so ft h e d e p t hd a t a , t h ep r o p o s e d m e t h o df i r s t l yd e t e r m i n e st h ev a l i dd e p t hs u b s p a c e s t h e n , s u c hd e p t hs u b s p a c e sa r e f i n e l yd i v i d e dt od e r i v et h ea d a p t i v eq u a n t i z a t i o nl o o k - t a b l e f i n a l l y , t h eo r i g i n a ld e p t h d a t aa r ea d a p t i v e l yq u a n t i z e du s i n gt h i sq u a n t i z a t i o nl o o k t a b l e e x p e r i m e n t a l r e s u l t s d e m o n s t r a t et h a tt h ea d a p t i v en o n - u n i f o r m q u a n t i z a t i o nm e t h o dc a ns i g n i f i c a n t l yi e d u c e t h e q u a n t i z a t i o nd i s t o r t i o no ft h ed e p t hd a t a , w h i c hb e n e f i t st h e h i g h a c c u r a t e r e c o n s t r u c t i o no ft h ed e p t hd a t aa n dt h eb e t t e rs u b j e c tv i s u a le f f e c to ft h es y n t h e s l z e d i m a g ea tt h er e c e i v e ro ft h ef v v s y s t e m 2 an o v e ld e p t hc h a r a c t e r i s t i co fe d g ep i x e l sb a s e dd e p t he s t i m a t i o nm e t h o d ( d c e - s a d e ) i sp r o p o s e dt oi m p r o v et h ed e p t he s t i m a t i o np r e c i s i o na tt h eo b j e c te d g e s i nt h ep r o p o s e dm e t h o d ，b a s e do nt h e d e p t hc h a r a c t e r i s t i c so ft h eo b j e c te d g e s t h e p i x e l si nt h ei m a g ea r ef i r s t l yd i v i d e di n t ot h r e ec a t e g o r i e s ，a n dt h e nt h ec o r r e s p o n d i n g s m o o t h i n gt e r m so ft h em a t c h i n gc o s tf u n c t i o na l ed e r i v e d t h ee x p e r i m e n t a lr e s u l t s h a v es h o w nt h a tc o m p a r e dw i t ht h e e x i s t i n ge d g ei n f o r m a t i o nb a s e ds e m i a u t o m a t i c d e p t he s t i m a t i o nm e t h o d ( e - s a d e ) i nt h ef v vs y s t e m ，t h ep r o p o s e dm e t h o dc a l l g r e a t l yi m p r o v et h ed e p t he s t i m a t i o np r e c i s i o na tt h eo b j e c te d g e s ，a n dt h ep s n ro ft h e s y n t h e s i z e dv i r t u a lv i e wb a s e do nt h ep r o p o s e dm e t h o dc a nb ei m p r o v e dt oad i 巧：r e n t e x t e n tw i t ha l la v e r a g eo f0 3 2 d ba tt h er e c e i v e ro ft h ef v v s y s t e m 任意视点视频深度估计及编码技术研究 3 at e x t u r ev i d e o a s s i s t e dm o t i o nv e c t o rp r e d i c t o rf o rd e p t hm a p sc o d i n g i s p r o p o s e dt oi m p r o v ec o d i n ge f f i c i e n c yf o rd e p t hm a p b a s e do n t h ea n a l y s e so fm o t i o n s i m i l a r i t yb e t w e e nt e x t u r ev i d e o sa n dt h e i rc o r r e s p o n d i n gd e p t hm a p s ，t h ep r o p o s e d a p p r o a c hu s e st h em o t i o nv e c t o r so ft e x t u r ev i d e o sa n d t h em e d i a np r e d i c t o rj o i n t l yt o d e t e r m i n et h eo p t i m a lp r e d i c t e dm o t i o nv e c t o rf o rd e p t hm a p sc o d i n gb ye m p l o y i n ga r a t e d i s t o r t i o n ( r - d ) c r i t e r i o n e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tc o m p a r e dw i t h t h e m e d i a np r e d i c t o ru t i l i z e di nh 2 6 4 a v c ，t h ep r o p o s e dm e t h o dc a ns a v et h em a x i m u m a n da v e r a g eb i tr a t ea sh i g ha s4 8 9 a n d3 6 8 ，r e s p e c t i v e l y , w h i l eg u a r a n t e e i n gt h e q u a l i t yo fs y n t h e s i z e dv i r t u a lv i e w s k e y w o r d s ：f r e e - v i e w p o i n tt v d e p t hq u a n t i z a t i o n v i r t u a lv i e ws y n t h e s i s f r e e - v i e w p o i n tv i d e o d e p t he s t i m a t i o n m o t i o nv e c t o rp r e d i c t i o n 作者简介 刘晓仙，陕西蒲城人。2 0 0 6 年毕业于西安电子科技大学通 信工程专业，获学士学位。2 0 0 7 年开始攻读西安电子科技大学 通信与信息系统专业博士学位，导师：常义林教授 主要研究方向：任意视点视频系统关键技术。 代表性成果及经历：已在( ( o p t i c a le n g i n e e r i n g ) ) 、西安电 子科技大学学报、西安交通大学学报等刊物发表学术论文 4 篇( 其中s c i 检索l 篇，e i 检索3 篇) ，申请发明专利3 项， 向m p e g 提交提案2 项。 x i a o x i a nl i u ，w a sb o mi np u c h e n g ，s h a a n x ip r o v i n c e ，c h i n a , i n19 8 4 s h e r e c e i v e dh e rb s i nt e l e c o m m u n i c a t i o n se n g i n e e r i n gf r o mx i d i a nu n i v e r s i t y , x i a 1 1 ， c h i n a , i n2 0 0 6 f r o m2 0 0 7 ，s h es t a r t e dt op u r s u ep h dd e g r e ei nc o m m u n i c a t i o n sa n d i n f o r m a t i o ns y s t e mi nx i d i a nu n i v e r s i t y h e rr e s e a r c hi n t e r e s t si n c l u d ek e yt e c h n o l o g i e si nf r e e - v i e w p o i n tv i d e o s h eh a sp u b l i s h e d4j o u r n a la n dc o n f e r e n c ep a p e r si no p t i c a le n g i n e e r i n g ，j o u r n a l o fx i d i a nu n i v e r s i t ya n dj o u r n a lo fx i a nj i a o t o n gu n i v e r s i t y s h eh a sa p p l i e df o rt h r e e p a t e n t s ，a n ds u b m i t t e dt w op r o p o s a l s t om p e g 第一章绪论 第一章绪论 1 1 引言 随着信息技术的发展和社会的进步，人们对信息的多元化需求越来越迫切， 希望能够随时随地方便、快捷、灵活地通过语音、数据、图像与视频等多种方式 进行通信。由于数字视频信息占据人们从外界获取信息的7 0 左右，且能够带给 人们生动形象的直观感受，承载巨大信息量的数字视频信息在以信息为导向的社 会中所扮演的角色日益重要，人们对数字视频信息的需求在数量和质量上都不断 提升。 数字视频信息可分为两类，即二维视频和任意视点视频( f r e e v i e w p o i n tv i d e o ， f v v ) 。二维视频由一系列时间连续的图像组成；任意视点视频由一系列不同视点 的二维视频组成，同时包含不同视点二维视频中所有像素的深度信息( 通常表示 为深度图) 。现有普通二维视频图像无法向用户提供三维视觉，即观看者不能从中 获得自然的深度信息，且普通二维视频图像仅能为用户提供三维世界中有限的观 看视角，即用户的观看内容由摄像机的三维空间中的位置与方向决定，而不能任 意选择。与二维视频相比，任意视点视频允许用户自由选择观看的视角，使得用 户对视频的欣赏由被动变为主动，同时由于任意视点视频增加了场景的深度信息， 从而增强了用户体验的视觉逼真度以及现实感，甚至可为用户提供一种全方位身 临其境的感受。任意视点视频可广泛应用于三维电视( t h r e ed i m e n s i o n a lt v ， 3 d t v ) 、任意视点电视( f r e e v i e w p o i n tt v ，f t v ) 、游戏娱乐、视频通话、视频 监控、远程教育、视频会议系统、虚拟现实系统、医疗等各领域。例如，在游戏 娱乐领域，由于任意视点视频技术加强了场景的真实感和游戏的交互性，游戏玩 家可更好地体验游戏；在医疗领域，利用立体成像的器官，医生可更加准确地判 断病情和进行手术治疗。因此，很多研究机构对任意视点视频及其相关技术进行 了深入研究【l o j 。 视频图像压缩编码技术经过近半个多世纪的发展，不仅在理论研究上取得了 巨大进步，在实际中也获得了广泛应用。截至目前为止，国际标准化组织已经制 定了多个视频编码标准【6 1 1 】，例如隶属于国际标准化组织( i n t e r n a t i o n a lo r g a n i z a t i o n f o rs t a n d a r d i z a t i o n ，i s o ) 和国际电工委员会( i n t e r n a t i o n a le l e c t r o t e c h n i c a l c o m m i s s i o n ，i e c ) 的运动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ，m p e g ) 制 定的m p e g 1 、m p e g 2 和m p e g 4 等视频编码标准，隶属于国际电信联盟( i t u t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ，i t u t ) 的视频编码专家组( v i d e oc o d i n g 任意视点视频深度估计及编码技术研究 e x p e l sg r o u p ，v c e g ) 制定的h 2 6 x 系列视频编码标准，微软公司制定的v c 1 标准，o n 2t e c h n o l o g i e s 公司发布的v p 系列标准【1 2 】等。表1 1 总结了现有的视频 编码标准。 表1 1 现有视频编码标准总结 标准发布日期描述 继承了h 2 6 1 标准的技术结构，也添加了双向预测、半 m p e g 1 1 9 9 2 年11 月像素运动、片结构编码等新的技术特征。可应用于家用 视频、光盘存储、视频监控等。 是目前为止最成功的视频编码标准。可应用于高清晰度 口e g 21 9 9 4 年11 月 电视( h i g h - d e f i n i t i o nt e l e v i s i o n ，h d t v ) 、d v d 、卫 星电视等。 支持三维描述、基于对象的编码等。应用于i p 网、交 m p e g 4 1 9 9 9 年5 月 互式视频、移动通信、专业视频等。 视频编码的里程碑，第一个被广泛应用的成功标准。应 h 2 6 1 1 9 9 0 年1 2 月 用于i s d n ( 综合业务数字网) 等视频会议。 h 2 6 31 9 9 6 年3 月 由i t u t 针对低比特率视频应用而制定。由于采用了半 h 2 6 3 + 1 9 9 8 年1 月像素运动矢量和可变长编码表等编码技术，比h 2 6 1 标 h 2 6 3 + + 2 0 0 0 年1 1 月 准较大地提高编码性能。主要应用于移动视频。 2 0 0 3 年5 月( 分别在2 0 0 5高效率视频编码标准。支持高保真度视频压缩编码、高 h 2 6 4 年3 月，2 0 0 7 年4 月，和色度精度应用、多视点视频编码。可应用于f t v 、3 d t v 2 0 0 7 年8 月进行增修)系统等。 由微软公司研制发布。其最主要的应用是w i n d o w s v c l 2 0 0 3 年9 月 m e d i ap l a y e r 。 v p - 6 2 0 0 3 年1 1 月 由o n 2 公司研制发布。可应用于网络视频、视频会议、 v p 72 0 0 5 年1 月 游戏平台、远程学习、视频监控、移动电话等。 v p 8 2 0 0 8 年9 月 目前最新的视频编码标准为h 2 6 4 a v c ，由m p e g 与v c e g 组成的联合视频 小组( j o i n tv i d e ot e a m ，t ) 制定。由于该标准结合了多种先进的视频编码技术 1 3 - 1 4 】，从而具有卓越的压缩编码性能以及良好的网络适配性。与早期视频标准相 比，h 2 6 4 a v c 在压缩效率方面取得了显著效果，达到m p e g 2 及m p e g 4p a r t2 压缩效率的两倍并被广泛应用于当前各种视频与多媒体终端产品。因此，在现有 h 2 6 4 a v c 视频编码标准的基础上进行扩展和开拓新的编码方法成为近几年的研 究热点。 2 第一章绪论 为了实现二维视频的高效编码，国际标准化组织基于h 2 6 4 a v c 视频编码标 准展开了下一代视频编码标准的研究工作。新一代高效视频编码标准( h i 曲 e f f i c i e n c yv i d e oc o d i n g ，h e v c ) 便是在这样的背景下产生的【1 5 2 3 1 。在2 0 0 3 年9 月的v c e g 会议上，会议组长gs u l l i v a n 对一些潜在的可以进一步提升h 2 6 4 a v c 编码性能的技术做了总结，讨论了各编码技术的增益空间和计算复杂度。同时， 为了促进视频编码技术的进步，v c e g 决定建立“关键技术领域”( k e yt e c h n i c a l a r e a ，k t a ) 的研究平台，k t a 在平台中集成了最新的先进编码技术，其中包括： 空域频域自适应编码、自适应量化、自适应滤波等。2 0 1 0 年1 月，m p e g 和v c e g 国际两大标准化组织共同组成视频编码联合协作小组( j o i n tc o l l a b o r a t i v et e a mo n v i d e oc o d i n g ，j c t - v c ) 1 2 4 j ，由j c t - v c 负责组织h e v c 标准的研发和制定，并 发布正式的技术征求提案( c a l lf o rp r o p o s a l ，c f p ) 。j c t - v c 确定了h e v c 视频编 码标准的核心目标是在h 2 6 4 a v ch i 曲p r o f i l e 的基础上，压缩效率提高一倍。即 在保证相同视频图像质量的前提下，视频流的码率减少5 0 。在提高压缩效率的 同时，可以允许编码端适当提高复杂度。同时j c t - v c 建立了测试模型( t e s tm o d e l u n d e rc o n s i d e r a t i o n ，t m u c ) ，在测试模型的基础上综合评测编码技术，为后续标 准化技术研究提供测试平台。国际两大标准化组织联合发布c f p 是高效视频编码 标准化研究工作正式开始的序幕，h e v c 的研究工作进入实质性阶段。 任意视点视频的两个应用f t v 与3 d t v 得到了工业界的广泛支持。早期f t v 定义为能够使用户在一定视点范围内自由选择从不同的视点观看同一个场景，具 有一定的交互操作功能；而3 d t v 则是通过提供双目视差给观看者带来立体视觉。 感知，提供三维的场景体验和感受，使观看者仿佛置身于真实场景之中。由于二 者基于同样的三维表示且采用相同的编码技术，从而可以被很好地结合在一个单 独的系统中。即给定场景的三维表示，如果能够生成与双日视点相对应的立体视 频，同时也就提供了f t v 的交互功能1 2 引。因此本文中所提到的f t v 系统同时也能 够满足观众视觉逼真度及现实感的需求。为了满足3 d t v 、f t v 等新兴媒体通信 的需求，高效的任意视点视频压缩编码方法成为研究热点之一。由于任意视点视 频除了包含大量的二维视频信息外还附有额外的深度视频信息，任意视点视频的 原始数据量巨大，传输带宽和存储空间的限制成为制约任意视点视频广泛应用的 瓶颈。因此，国际标准化组织首先展开对任意视点视频中多视点视频的编码方案 的研究工作。t 于2 0 0 6 年起开始制定h 2 6 4 厂a v c 的一个扩展方案一多视点视频 编码( m u l t i v i e wv i d e oc o d i n g ，m v c ) ，并将其作为h 2 6 4 a v c 的第四个增修案。 从2 0 0 6 年1 0 月至今，本课题组已向j v t 提交数十项提案，其中所提出的精细粒 度匹配运动跳过模式作为提高m v c 编码效率的关键编码工具被接收至m v c 参考 软件模型j m v m ( j o i n tm u l t i v i e wv i d e om o d e l ) 中【2 6 1 。从m v c 特别小组成立到标 准正式发布的标准化进程如表1 2 所示。由于视频编码标准h 2 6 4 m v c 已经用于 3 任意视点视频深度估计及编码技术研究 探索多视点视频中的视点间相关性，任意视点视频编码的研究热点目前主要在于 编码深度信息以及二维纹理视频信息和相应的深度信息的联合编码问题。这是任 意视点视频系统中的关键技术，也是本论文的主要研究内容之一。 表1 2m v c 标准化进程 时间重要事项 成立3 d a v 特别小组( 3 da u d i ov i s u a la dh o eg r o u p ，3 d a va h g ) ，启动标准 2 0 0 1 年1 2 月 化前期准备工作。 3 d a va h g 定义了3 d a v 的四个典型应用场景：全景视频( o m n i d i r e c t i o n a l 2 0 0 2 年3 月 v i d e o ) 、交互式立体视频( i n t e r a c t i v es t e r e ov i d e o ) 、任意视点视频、3 d 音频。 正式发布3 d a v 的征求意见稿( c a l lf o rc o m m e n to n3 d a v ，c 佗) ，邀请其它 2 0 0 3 年1 0 月感兴趣的组织针对3 d a v 做出回应和评论，并给出了3 d a v 的需求分析和应用 前景的定义。 3 d a v a h g 分析各个公司及团体对c f c 的回应文档，发现任意视点视频受到大 家的普遍关注，决定集中力量对任意视点视频开展标准化工作，并确定首先对 2 0 0 4 年3 月任意视点视频的关键模块多视点视频编码进行标准化。3 d a va h g 发布 m v c 征求验证文档( c a l lf o re v i d e n c ef o rm u l t i p l ev i e wv i d e oc o d i n g ，c f e ) ， 旨在初步验证m v c 的编码效率的提升空间。 3 d a va h g 开始正式接收m v c 编码的相关提案，共收到7 项对c f e 的回应技 术提案，提案结果进一步验证了m v c 标准化的必要性和可行性。在此次会议 2 0 0 5 年1 月 上，3 d a v a h g 发布m v cc 伊草案文档，标志着m v c 标准化制定工作的正式 开始。 3 d a va h g 建议将m v c 作为h 2 6 4 a v c 标准的第四个增修案，其标准化限制 2 0 0 6 年1 月 在h 2 6 4 a v c 的编码框架内。 m p e g 将m v c 的标准化工作移交给j v t ，标志着m v c 的标准化工作进入 实质性阶段。同时为了便于各种基于h 2 6 4 a v c 的m v c 技术的研究实现并 2 0 0 6 年7 月 对它们进行公平地比较，t 发布了m v c 参考软件模型j m v m ，作为后续技 术提案的公共测试平台来衡量各技术提案的编码增益。 j v t 提交了m v c 联合草案( m v cj o i n td r a f t ) ，标志着m v c 的标准化程序正 2 0 0 6 年1 0 月 式启动。 2 0 0 8 年7 月j v t 发布了m v c 最终补充草案，进行一致性测试，保证其完备性和准确性。 2 0 0 9 年3 月扩展的h 2 6 4 a v c 标准添加了附录h ，给出了m v c 的语法语义。 本章主要介绍论文研究背景与研究内容，安排如下：1 2 节简单回顾任意视点 视频的研究现状，并阐述了任意视点视频系统各组成部分；1 3 节概括本论文的组 4 第一章绪论 织结构和主要研究工作。 1 2 任意视点视频研究现状及系统概述 任意视点视频系统包括多视点视频采集与预处理、深度数据的生成与格式转 换、多视点视频数据与深度数据的编码、传输、解码、任意视点虚拟视图的生成 以及显示。在结束m v c 标准化工作后，m p e g 又开始研究任意视点视频系统中其 余各环节的关键技术，主要集中在深度估计与虚拟视图合成两个方面，同时也对 深度图的压缩进行了初步探索。本节描述了任意视点视频的研究现状，同时介绍 了任意视点视频系统结构。 1 2 1 任意视点视频研究现状 隶属于i s o 和i e c 的m p e g 早在2 0 0 1 年就充分认识到三维音频和三维视频 ( 1 1 鹏e d i m e n s i o n a l a u d i o v i s u a l ，3 d a v ) 的重要性及其广阔的应用前景，于2 0 0 1 年1 2 月第5 8 次m p e g 会议上成立3 d a va h g 。在2 0 0 3 年1 0 月第6 6 次m p e g 会议上，3 d a va h g 针对3 d a v 的典型应用场景集中定义了四个探索实验 ( e x p l o r a t i o ne x p e r i m e n t ，e e ) ，分别为e e l ：全景视频；e e 2 ：任意视点视频； e e 3 ：采用m a c 进行立体视频编码的技术；e e 4 ：3 d t v 的深度视差编码和视图 合成技术。其中，任意视点视频是3 d a v 中最具有挑战性的应用场景。e e 2 分为 两部分，分别为实现任意视点视频的两种方法以及相应的多视点视频编码实验。 其中，实现任意视点视频的方法一是日本名古屋大学所提出的光线空间( r a ys p a c e ) 方法1 2 7 1 ；方法二是采用基于模型的场景重建方法。 在2 0 0 4 年3 月第6 8 次m p e g 会议上，从各个公司及团体对3 d a v 征求意见 稿的回应文档中可以看出任意视点视频受到大家的普遍关注。此后，大会一致通 过首先集中力量对任意视点视频开展标准化工作，并确定首先对任意视点视频的 一个关键模块m v c 进行标准化研究。之后，在2 0 0 7 年4 月第8 0 次m p e g 会议 上成立任意视点电视特别小组( a dh o eg r o u po nf r e ev i e w p o i n tt e l e v i s i o n ，f t v a h g ) 1 2 剐，开始了任意视点视频的标准化研究进程。同年1 1 月，f t va h g 给出任 意视点视频系统的初步框架与要求【2 9 】。图1 1 为任意视点视频系统的初步框架。从 图1 1 中可以看出，深度估计与虚拟视图合成是任意视点视频系统中的关键技术。 在2 0 0 7 年l o 月召开的第8 2 次m p e g 会议上，f t v a h g 发布了征求序列文档【3 0 1 ， 为进一步研究任意视点视频做好充分的准备。 5 任意视点视频深度估计及编码技术研究 多 一址示配置 一用，o 选择 】i _ 】一1 攮 nx 视频 深度 j 二 3 d 度 多| _ 二 内 八， 图 存 像 生 描 成 多视点视频 述 编码 一一 图 | _深 d v l 3 】l _度 i 圭输 估 计 v 一 仰耋 ) 3 d 转换 m 酬o 头部跟踪 立体锰示 一深度m e t a 数据 6 9 图1 1 任意视点视频系统初步框架不例 从8 2 次m p e g 会议开始，陆续出现许多关于深度估计以及视图合成的技术提 案。在2 0 0 8 年1 月召开的第8 3 次m p e g 会议上，给出了关于任意视点视频的两 个e e ，分别是深度估计以及视图合成【3 1 | 。在2 0 0 8 年4 月召开的第8 4 次m p e g 会 议上，成立了三维视频和f t v 编码特别小组( a dh o eg r o u po n3 dv i d e oa n df t v c o d i n g ) 【3 引。在2 0 0 8 年7 月召开的第8 5 次m p e g 会议上，来自p h i l i p s 公司的研 究人员提出了采用分层深度视频( l a y e r e dd e p t hv i d e o ，l d v ) 的方法来合成虚拟 视图1 33 。大会一致肯定了该技术，并将l d v 作为任意视点视频的第三个e e 以进 一步研剜3 4 】。随着深度估计与虚拟视图合成技术的日臻完善，在2 0 0 8 年1 0 月召 开的第8 6 次m p e g 会议上，大会认为一些序列的合成虚拟视图质量已经可以接受， 因此展开了关于这些序列的编码实验，以观察深度图编码对于合成虚拟视图的影 响【3 引。 由于采用估计得到的深度图无法达到进一步要求，因此在2 0 0 9 年2 月召开的 第8 7 次m p e g 会议上，再一次发布了征求关于深度图以及附加信息的3 d 测试序 列的文档，其中附加信息包括一些背景数据、遮挡信息、透明度信息等 3 6 1 。同时 在此次会议上，成立了三维视频编码特 i u d , 组( a dh o cg r o u po n3 dv i d e oc o d i n g ) ， 以讨论3 d 视频的系统模型、应用以及需求。3 d v c 特别小组共同发布了关于3 d 视频编码的应用和要求文档，指出m v c 是任意视点视频研究的第一阶段，而3 d v 是任意视点视频研究的第二阶段，由此展开了任意视点视频研究的新阶段。第二 第一章绪论 阶段准备基于已有的标准，在接下来的两年内提供一套新的三维视频服务与设备 标准来满足当前的需求。主要集中在两个方面：一是提高现有双目立体视频设备 性能，包括提高观看舒适度与提高终端适配性；二是为已有的高质量自动立体显 示设备规定一种三维视频信息数据格式，并规定其压缩编码方法。3 d v 格式目标 如图1 2 所示。图1 3 总结了任意视点视频的标准化过程3 7 1 。 日_ 阴 二二二 受限速率 ( 基于分布环境) 立体显示 可变的立体基线 可调的深度感 自动立体显示器较宽的视点范围 显示n 个视点 较多数量的输出视点视频 图1 23 d v 目标数据格式 2 0 01 1 2 2 0 0 2 1 22 0 0 3 1 02 0 0 4 1 02 0 0 5 0 72 0 0 6 0 1 2 0 0 7 0 7 时间 圆围困圈圈园回 2 0 0 1 1 2 2 0 0 4 0 32 0 0 9 0 3 启动3 d a v启动m v c m v c 结束 3 d a v m v c ( 2 0 0 6 年7 b 移交至0 j v t ) 2 0 0 7 0 4 3 d a v 需求 启动f v v 3 d 、 m v c c e s 3 d a ve e sf v v 3 d v 2 0 0 9 0 2 2 0 0 4 0 1 ，目标集中向f v v 3 d v 需求文档 i 、 r、 f v v 第一阶段 f v v 第二阶段 图1 3 任意视点视频标准化历程 口口 命甸 藏枞 任意视点视频深度估计及编码技术研究 在2 0 1 0 年1 月召开的第9 1 次m p e g 会议上，3 d v c 特别小组发布了3 d v 实 验框架草案1 3 8 1 。草案旨在对m p e g 开发的用于支持未来3 d 视频应用的实验框架 进行回顾。实验中，输入为生产环境中可行的有限数量的视点视频，如两个或三 个视点视频，继而进行编解码，最后在终端合成用于3 d 显示的虚拟视点视图。为 了支持高级的立体应用，例如为了调整3 d 场景的深度感，图1 4 给出2 一视点视频 的配置方案。首先分别估计输入立体视频对的深度图，然后压缩传输立体视频对 以及相应的深度图，解码的立体视频对以及相应的深度图用于在左视点和右视点 之间的位置合成虚拟视图。同时，为了支持自动立体n 视点视频显示器，3 视点 视频配置方案如图1 5 所示。3 视点视频配置能够得到可观看视角范围更广的任意 视点视频，与2 视点视频配置方案相同，利用输入数据进行深度估计得到相应的 深度图，然后将纹理视频和相应的深度视频进行压缩传输，在显示终端利用解码 得到的数据进行一系列所选择视点的虚拟视图合成，最终用于n 视点视频显示。 左 r 1 - j r 占 ：l 计 3 d 视频 一 虚拟视图生成卜一虐型垫璺 编解码器 r 1t 。 左 图1 4 具有2 视点视频配置的高级立体视频处理过程 输出用于 1 立体视频 显示 图1 5 具有3 视点视频配置的自动立体显示输出 在充分肯定任意视点视频标准化第二阶段3 d v 标准化工作的可行性之后， m p e g 视频小组于2 0 1 0 年4 月召开的第9 2 次会议上发布了征求提案稿草案( d r a f t c a l lf o rp r o p o s a l so n3 dv i d e oc o d i n gt e c h n o l o g y ，c f p ) 1 3 9 1 ，标志着3 d v c 标准化 进程正式开始。在之后的几次m p e g 会议上，3 d v c 特别小组对c f p 文档做了进 一步完善。在2 0 1 1 年4 月召开的第9 6 次m p e g 会议上，m p e g 视频和需求小组 发布了正式的3 d v cc f p ，指出当前的主要目标是制定一种新的数据格式以及相应 8 第一章绪论 的压缩编码方法以支持高质量的虚拟视图合成用于3 d 显示。同时，为了评价所提 出的方法性能，将进行正式的主观测试，且相应的注册工作于2 0 11 年4 月1 5 日 开始截止到2 0 1 1 年7 月2 0 日。主观测试工作将在2 0 1 1 年l o 月正式启动。目前，