（信号与信息处理专业论文）多视点系统中的视频处理技术研究.pdf

k a 、 t 作者：2 0 0 7 级硕士研究生宋丽娟 指导教师：朱秀昌教授博导 题 目：多视点系统中的视频处理技术研究 英文题目：r e s e a r c ho nv i d e op r o c e s s i n gt e c h n o l o g i e sc o n c e r n i n g m u l t i v i e ws y s t e m 主题词：多视点视频，视点合成，立体图像，差错掩盖，位差估计 k e y w o r d s ：m u l t i v i e wv i d e o ，v i e ws y n t h e s i s ，s t e r e o s c o p i c i m a g e ， e r r o r c o n c e a l m e n t ，d i s p a r i t ye s t i m a t i o n 。q p ， 。 ， 南京邮电大学硕士研究生学位论文 摘要 摘要 多视点视频是一种新型的具有立体感和交互功能的视频，有广泛的应用前景。 虚拟视点合成技术是实现视点选择和交互的基础。本文针对摄像机阵列较为密集的多 视点系统提出了一种基于位差估计的虚拟视图合成方法。这种方法首先根据两个视点的图 像进行位差估计，计算出两个视点中心连线上任意视点对应的位差，然后进行位差补偿， 最后进行视图的插值合成。依据本文的算法可以合成两个视点中心连线上任意视点处的视 图，且本文提出的视点合成算法不需要用到图像的几何信息，也不需要输入图像的相关性 信息，只是依赖于从两个不同视角提供的图像。根据计算机实验的仿真可知根据本文的算 法合成的图像质量有着较好的视觉效果。 此外，图像经有出错倾向的网络传输会产生差错，在解码端实施差错掩盖技术是解决 该问题的主要方法。考虑到立体图像有着越来越多的应用，本文对立体图像的差错掩盖技 术进行了研究，并提出了一项新的针对立体图像的差错掩盖方法。 在进行立体图像差错掩盖算法研究前，首先分析了单通道图像差错掩盖方法，并对基 于内容自适应的差错掩盖方法进行了改进。改进之后的方法不需要设定阈值，有了更广泛 的适用性。实验结果表明改进之后的方法较改进之前主客观性能均有所提高。其次，通过 结合立体图像的特性，计算两个通道图像间的对应关系，文中提出了一种基于通道间对应 关系进行差错掩盖的方法。最后，根据对丢失块内容的判断将通道内的差错掩盖方法和通 道问的差错掩盖方法有机的自适应的结合了起来，形成了基于模式选择的立体图像差错掩 盖方法。实验结果表明，对比将单通道图像差错掩盖技术直接应用于立体图像，本文所提 出的立体图像差错掩盖技术的主客观性能均有较大提高。 关键字：多视点视频视点合成立体图像差错掩盖位差估计 强 ， i na d d i t i o n ，r o b u s tv i d e od e l i v e r yt h r o u g he r r o rp r o n en e t w o r k si sa ni m p o r t a n ta p p l i c a t i o n ， w h i c hc a nb ee f f e c t i v e l yd e a l tw i t hb yu s i n ge r r o rc o n c e a l m e n t ( e c ) t e c h n i q u e s c o n s i d e r i n gt h e 、) l ，i d e p r o s p e c ta p p l i c a t i o no fs t e r e o s c o p i ci m a g e s ，t h i sp a p e rc a r r i e so nt h er e s e a r c ho fe cf o r s t e r e o s c o p i ci m a g e s ，a n dp r o p o s e san o v e le ct e c h n i q u e t h ep a p e rr e v i e w st h em o n o c u l a re ct e c h n i q u e sf i r s t l ya n di m p r o v e st h ec o n t e n t a d a p t i v e s p a t i a le cm e t h o d t h ei m p r o v e dm e t h o dd o e sn o tr e q u i r et h r e s h o l dv a l u e s ，s ot h a ti tc a r lb e u s e di nm o r e a p p l i c a t i o n s s i m u l a t i o n r e s u l t ss h o wt h a tt h e s u b j e c t i v e a n d o b j e c t i v e p e r f o r m a n c e so ft h ei m p r o v e dt e c h n i q u ea r eb o t hs u p e r i o rt ot h eo r i g i n a l s e c o n d l y , an o v e le c m e t h o db a s e do nc h a r a c t e r i s t i c sa n dp r o j e c t i v et r a n s f o r m a t i o nb e t w e e nt w oc h a n n e li m a g e si s p r o p o s e df o rs t e r e o s c o p i ci m a g e s f i n a l l y , an o v e le ct e c h n i q u eb a s e do nm o d e ss e l e c t i o ni s p r e s e n t e df o rs t e r e o s c o p i ci m a g e s t h i sa l g o r i t h ma d a p t i v e l yc o m b i n e sc h a n n e lc o r r e l a t i o na n d s p a t i a lc o r r e l a t i o na c c o r d i n gt ot h ec h a r a c t e r i s t i co ft h ee r r o rb l o c k s i m u l a t i o nr e s u l t ss h o wt i l a t t h e s u b j e c t i v ea n do b j e c t i v ep e r f o r m a n c e so ft h ep r o p o s e dt e c h n i q u ea l eb o t h s u p e r i o rt o c o n v e n t i o n a lm o n o c u l a re cm e t h o d sf o rs t e r e o s c o p i ci m a g e s k e y w o r d s ：m u l t i 。v i e wv i d e o ，v i e w s y n t h e s i s ，s t e r e o s c o p i ci m a g e ，e r r o rc o n c e a l m e n t ， d i s p a r i t ye s t i m a t i o n i l 吖嘻j。， ； i 擎 如 南京邮电大学硕士研究生学位论文 目录 目录 第一章绪论l 1 1 多视点视频处理技术l l - 1 1 多视点系统介绍2 1 1 2 国内外研究现状。2 1 2 课题的研究内容及论文安排3 2 琴章，j 、结4 第二章多视点视频基础理论5 2 1 多视点视频基础5 2 1 13 d 感的产生5 2 1 2 立体显示6 2 1 3 立体成像模型7 2 2 双目立体视频8 2 3 多视点视频1 0 本章小结1 0 第三章多视点视频处理中的若干关键技术1 l 3 1 多视点视频编码技术1 1 3 2 虚拟视点合成技术12 3 2 1 基于模型的绘制方法1 3 3 2 2i b r 方法1 4 3 3 多通道图像的差错掩盖技术1 5 3 3 1 解码视频的差错掩盖1 5 3 3 2 单通道差错掩盖技术- 1 6 3 3 3 多通道差错掩盖技术l7 本章小结1 7 第四章基于位差估计的虚拟视图合成算法1 8 4 1 位差估计与运动估计的比较分析1 9 4 1 1 位差估计特性分析1 9 4 1 2 多通道图像与单通道视频序列的比较2 l 4 1 3 位差估计方法介绍2 2 4 2 一种应用于虚拟视点合成的位差估计算法：2 3 4 2 1 算法思路及原理2 3 4 2 2 位差估计算法实现过程2 4 4 2 3 任意位置处的位差值的确定。2 7 4 3 一种基于位差补偿插值的虚拟视点合成算法2 8 4 3 1 位差检测2 9 4 3 2 位差重估计：3 0 4 3 3 分数精度的像素插值31 4 4 算法分析和流程图3 3 本章小结3 5 第五章基于模式选择的立体图像差错掩盖技术3 6 5 1 立体图像差错掩盖方法的分析与设计3 6 1 1 i 1 南京邮电大学硕士研究生学位论文 目录 5 1 1 算法设计分析与思路。3 6 5 1 2 对应性关系的确定3 9 5 2 改进的基于内容选择的通道内差错掩盖。4 l 5 2 1 基于内容估计的差错掩盖方法4 2 5 2 2 改进的自适应内容差错掩盖4 4 5 2 3 算法性能分析。4 7 5 3 基于对应关系的通道间差错掩盖4 9 5 3 1 基于s i f t 方法的对应点检测4 9 5 3 2 基于对应关系的差错掩盖算法5 0 5 4 基于双模式选择的立体图像差错掩盖方法5 1 5 4 1 掩盖模式判断。5 l 5 4 2 算法流程及分析5 3 本章小结。5 4 第六章实验结果与分析5 5 6 1 虚拟视点合成算法的测试5 5 6 1 1 实验环境介绍5 5 6 i 2 性能测试及结果分析5 6 6 2 立体图像差错掩盖算法性能测试6 1 6 2 1 实验环境介绍6 1 6 2 2 算法性能测试及结果分析6 3 本章小结南6 8 第七章总结与展望6 9 7 1 本文工作总结6 9 7 2 进一步的工作。7 l 参考文献。7 2 j $ 【谢7 6 攻读硕士论文期间参加的科研项目和发表的论文7 7 i v ； ： 1 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 多视点视频处理技术 第一章绪论 近些年来，宽带通信技术迅速发展，终端处理能力大幅提高。随着计算机视觉技术、 计算机图形图像学和传统视频编码技术的相互融合、相互渗透，现有的2 d ( 2d i m e n s i o n ) 视频业务已经不能满足人们的需求，能够提供3 d ( 3d i m e n s i o n ) 视觉感受的多视点视频 越来越受到学术界和工业界的重视，成为目前视频领域的研究热点之一川。 与双目立体视频技术不同的是，多视点视频是由一组处于空间不同位置的摄相机拍摄 同一场景所得到的视频信号的集合，能够提供更宽的观看视角及连续环视，即根据观察者 头部位置变化提供相应的三维感觉。 多视点视频技术实现了多人同时观看，且允许观看者在一定范围内移动，观看同一场 景不同角度的三维效果。例如多视点远程视频会议系统，能够根据观察者头部位置变化而 生成对应的视图，从而提供相应位置的三维感觉，使视频会议的参与者有相互真实接触， 共处于一个虚拟空间的感觉。 正是由于多视点视频是一种新型的具有立体感和交互功能的视频，包含了丰富的3 d 场景信息，因此，多视点视频在3 d 可视通信、3 d 影院、地形地理、航空导航、远程 医疗诊断、3 d 高清晰度电视( 如图1 1 所示) 、交融式电话会议( i m m e r s i v et e l e c o n f e r e n c e ) 、 虚拟现实等方面有广泛应用前景【2 1 。 图1 13 d 高清晰度电视 、 i 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 1 多视点系统介绍 2 0 0 3 年，m p e g m o v i n gp i c t u r e se x p e r t sc _ , r o u p ld 、组成立了3 d a v 特别小组( 3 d a u d i o v i s u a la dh o cg r o u p ) ，并发布了“3 d a v 的应用和要求”【3 1 和“3 d a v 探索报告”【4 1 两个文件。 在此之后，发布了多视点视频系统框图，如图1 2 所示i z j 。 从系统框图中可看出，多视点视频系统由多视点采集及表示、多视点视频编码( m v c ， m u l t i v i e wv i d e oc o d i n g ) 、传输、多视点视频解码、视点合成及显示几大模块组成。 多视点视频采集部分通常包含若干台用于采集的摄像机，负责采集三维场景并获取采 集参数。 多视点视频编码部分负责压缩多视点视频数据，并对多视点视频码流进行传输。 解码端负责对接收的码流数据解压、合成并重构出三维场景，最终送显示器显示。 i 记录3 。内容卜- + 3 d 3 d 格式 视频 l2 。内容转3 。卜 内容 编码 多视点采集及表示压缩编码传输 图1 2 多视点视频系统框图 解码、合成及显示 根据上述的系统结构图可以看出，多视点视频系统所涉及的主要关键技术包括：图像 采集、相机校正、视频编解码、信号传输、基于图像的绘制、立体显示等等，所涉及的研 究内容涵盖计算机视觉、计算机网络、视频编解码、图像处理、立体显示、光学等领域。 1 1 2 国内外研究现状 三维视频的最初发展可以追溯到十九世纪，早在1 8 3 8 年，英国学者c h a r l e sw h e a t s t o n e 发明了立体透镜。这种立体透镜能够使观看者的左右眼同时看到不同的立体图像对。1 8 4 4 年以后，d a v i db r e w s t e r 等人竞相模仿制造出c h a r l e sw h e a t s t o n e 的立体透镜，使得当时很 多家庭拥有这种具有观看图像立体效果的设备。到了1 9 2 8 年，j o h nl o g i eb a i r d 正式提出 立体视频技术的概念5 1 。 2 堕室些皇查堂堡主型壅生堂垡笙兰 塑二皇堡垒 _ _ _ - _ _ _ - _ - _ _ _ - _ _ - _ _ - - - _ _ _ - - _ - - i _ _ _ - _ _ - _ l _ - _ - l _ _ i _ _ _ l _ _ - _ - - _ _ _ _ l - _ - _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ - _ _ - _ p 一一一。 受当时技术水平的限制，三维立体技术的发展较为缓慢。近几年，随着传输网络带宽 容量的不断增大、自由立体显示器等设备的发展成熟，世界范围内再次掀起y - 维立体视 频技术的研究热潮。 上世纪九十年代，欧洲联盟政府资助发展了一系列关于三维立体视频的项目，旨在建 立三维立体视频的标准和技术规范。 基于上述基础，2 0 0 1 年1 2 月，m p e g 专门成立了3 d a v 小组，目标在于扩展三维视 频的应用并制定关于三维视频的压缩方案。2 0 0 2 年，日本n h k 公司通过本土卫星网络实 时试播了2 0 0 2f i f a 世界杯足球赛的立体视频信号。2 0 0 3 年3 月，由日本五大电子公司 ( i t o c h u ，n t td a t a ，s a n y oe l e c t r i c ，s h a r p 和s o n y ) 牵头，成立了国际3 d 论坛，目的在 于进一步讨论三维视频技术的市场发展及技术标准，目前该3 d a v 小组已经拥有多达2 0 0 多个的国际成员。 进入本世纪后，数字视频技术的同趋成熟，国际上三维视频技术的研究发展迅猛，如 欧洲的a t t e s t 计划发展一个集获取、编码、传输、立体显示于一体的多视点视频系纠6 1 。 日本几所研究机构分别提出了包括基于光线空间理论和基于多视点压缩的多视点视频通 信系统【7 1 。美国以斯坦福大学和三菱美国研究院为代表分别提出了以光场表示的多视点视 频编解码及视点生成方案。此外，德国、瑞士等其他国家和地区也对多视点视频系统进行 了研究【8 】【9 】。 国内对多视点视频的研究虽相对起步较晚，但在国家自然科学基金会和一些地方政府 的资助下，不少高校和研究机构近几年也取得了较大的进展。清华大学已建立了基于交互 式动态光场的f ，平台1 1 0 1 ，上海大学则建立了基于光线空间的f t v 实验平台1 1 1 】。国内的 一些大学和研究所在多视点视频编解码、视点生成上也取得了不少的研究成果【坨以钔。 1 2 课题的研究内容及论文安排 本论文的相关工作是在国家自然科学基金项目基于f u z z ys e t s 的视频差错掩盖技术 研究( 项目批准号：6 0 6 7 2 1 3 4 ) 和江苏省自然科学基金项目基于联合补偿预测的立体视 频分层编码研究( 项目批准号：b i 陋0 0 7 2 3 8 ) 的资助下完成的。 多视点视频技术的发展远未达到成熟的地步，国内外的研究机构和学者关于多视点视 频的研究都在进行之中。本论文在多视点视频现有的研究理论成果基础上，结合我们图像 处理与多媒体通信教研室在图像处理方面的研究经验，围绕着多视点视频研究的一些关键 技术，位差估计、虚拟视点合成、立体图像差错掩盖等，进行了探索性的研究。 3 南京邮电大学硕士研究生学位论文 第一苹绪论 虚拟视点合成技术在得到多视点图像产生立体感觉的同时也不会增加数据量，因此视 点合成技术是多视点视频系统实现“环绕感 的关键技术。视点合成技术的研究主要分为 两大类。一类是基于模型的绘制方法，这类方法需要建立精确的三维几何模型，计算费时， 实时性差，且合成复杂度受到场景复杂度的限制：另一类是基于图像的绘制方法，这类方 法直接利用参考图像合成新的视图，避免了三维模型的重建过程，且不受场景复杂度的限 制。因此，基于图像的绘制方法得到了广泛的研究。 本文主要是根据基于图像绘制方法的思想，利用了传统的块匹配思路提出了一种基于 位差估计的虚拟视图合成方法。这种方法首先估计合成视点的位差，然后进行位差补偿， 最后插值合成视点图像，主要适用于摄像机排列较为密集的系统。 立体图像的传输受到有限传输带宽的影响，会产生图像内容的丢失，在不增加编码端 复杂度和数据量的前提下应用于解码端的差错掩盖技术非常关键。目前，关于单通道图像 的差错掩盖研究非常多，但是关于立体图像差错掩盖方法的研究还比较少。因此本文在单 通道图像差错掩盖技术研究的基础上提出了一种新的应用于立体图像的差错掩盖方法。 本论文的结构共分为七章，第一章为绪论，介绍了多视点视频的发展历史及相关的背 景知识，并阐述了本文的研究内容。 第二章主要介绍了研究多视点视频的相关基础理论知识。第三章主要介绍了多视点视 频研究中的多视点视频编码、视点合成以及立体图像差错掩盖技术的研究状况。 第四章主要介绍了本文提出的一种基于位差估计的虚拟视图合成算法。首先介绍了位 差估计的特性、分析了位差估计与运动估计之间的区别：其次，描述了本文中使用的位差 估计算法；最后，在位差估计的基础上进行位差补偿，根据插值算法合成虚拟视图。 第五章提出了一种应用于立体图像的差错掩盖算法。首先对通道内差错掩盖方法进行 了回顾，然后又研究了通道间的差错掩盖方法，在此基础之上，根据对丢失内容的判断， 综合利用通道内和通道间差错掩盖方法的优势对立体图像进行差错掩盖。 第六章使用不同特性的图像对第四章和第五章中提出的算法进行测试、分析结果、总 结性能。第七章对全文做出总结，并提出了下一步研究工作的方向。 本章小结 本章首先介绍了多视点视频的基本研究系统，以及多视点视频的发展研究过程、目前 国内外研究现状。在上述研究基础上，确定了本文的研究方向和主要研究内容，最后给出 了本文结构安排。 4 南京邮电大学硕士研究生学位论文 第二章多视点视频摹础理论 第二章多视点视频基础理论 2 1 多视点视频基础 由于多视点视频是基于三维立体感觉的基础上发展起来的，因此本章将首先介绍三维 感觉产生的基本原理及其成像基础，然后详细介绍了双目立体视频和多视点视频。 2 1 13 d 感的产生 立体成像和显示受到了人类眼睛感知深度的启发。人对外界物体的感知是立体的，并 能确定空间定向。人之所以具备这样的功能，是因为当人的两眼同时注视一个物体时，能 够感知为单一物象，这种视觉过程叫做双眼视觉，又称双眼单视【1 5 】【1 6 l 。 当人的双眼同时注视一个物体时，物象分别落在两眼视网膜对应部位，它所产生的刺 激形成神经冲动，沿着视觉传入路径到达大脑中枢，大脑皮质的视觉中枢把来自两眼的这 些视觉信号分析整理，综合成为一个完整的、具有立体知觉印象的过程。 在正常情况下，当人眼注视一个对象的时候，两只眼睛的视轴必须指向同一个方向， 这样两只眼睛的视像便都落在中央窝上，这时才能把所看的对象看成是单一的。我们可以 把两只眼睛看成是一个器官，还可以用一个假想的眼睛来代表这个器官，称为中央眼。 中央眼是我们进行视觉空间定向的重要依据。视觉的方向既不是左眼，也不是右眼所 决定的，而是以中央眼的中央窝向前投射的方向作为视觉的正前方。因此我们是依靠中央 眼的视觉方向来确定物体的空间位置的。 由于两眼相距约6 5 m m ，因此造成左右眼视网膜上的物象存在一定程度的水平差异， 两个视网膜上得到不同的图像，这就是两眼视差( 也称位差) 。 视差属于深度信息的客观物理现象，结合3 d 世界中的先验知识，人类就可以感知具 有强烈深度感的3 d 世界，因此双眼视差是知觉立体性和两个物体前后深度性的重要条件。 人在正常身体姿态时，两眼视差是沿水平方向的横向视差。人的深度知觉也主要是由 横向视差产生的。视网膜上下方向的视差称为纵向视差，它在生活中很少出现而且人类对 纵向视差也不敏感。 根据人脑的立体视成像原理，如果能使人的左、右眼能分别观察到具有视差相关性的 左右视图，那么就能在人脑中恢复出真实的立体世界，这就是基于立体视觉的立体显示技 术的基本原理。 5 南京邮电大学硕士研究生学位论文 第二章多视点视频基础理论 2 1 2 立体显示 立体映像经大脑来感知一个3 d 场景中的相对深度，通过模仿视网膜投影过程获取3 d 场景的两个2 d 投影，即立体图像，并将立体图像显示到相应的眼睛中。 立体显示主要有以下几种方式： ( 1 ) 双色眼镜 观看者佩戴一个双色眼镜，左眼只能看见左眼镜中的图像，右眼只能看见右眼镜中的 图像，且左眼中的场景被过滤掉红色光，右眼中的场景被过滤掉青色光( 红色光的补色光， 绿光加蓝光) ，而物体的色彩将由大脑合成。这种方式成本较低，但一般只适合于观看无 色线框的场景，对于其它的显示场景，由于丢失了颜色的信息可能会造成观看者的不适。 ( 2 ) 主动立体显示 观测者将使用快门眼镜，眼镜与显卡和显示器同步。显示器交替显示左右眼的图像， 例如第一帧为左眼的图像，那么下一帧就为右眼的图像。当显示左眼图像时，眼镜打开左 镜片的快门，同时关闭右镜片的快门；当显示右眼图像时，眼镜打开右镜片的快门同时关 闭左镜片的快门。未显示的图像将由大脑根据视觉暂存效应保留为上次的画面。这种方式 要求显示器和眼镜快门的刷新速度都达到一定的频率，否则也会造成观看者的不适。 ( 3 ) 被动同步的立体投影设备 这种显示方式需要具有双头输出的显卡。输出的左右眼图像将分别使用两台投影机投 射，且左眼和右眼的投影机前都加上了偏振镜，两者角度相差然后在投射右眼图像的投影 9 0 度。观测者通过佩戴偏振眼镜，使左右眼都只能看见各自的图像。这种方式观看效果较 好，但设备成本较高。 ( 4 ) 立体显示器 虽然被动同步的立体投影能达到很好的效果，但还是需要戴偏振眼镜。很多公司正在 开发不需眼镜的立体显示器，例如在液晶中精确配置用来遮挡光线行进的“视差屏障 ， 从而无须佩戴专用眼镜便可以看到立体图像。 ( 5 ) 真三维立体显示 这是一种能够在一个真正具有宽度、高度和深度的真实三维空间内进行图像信息再现 的技术，又被称为空间加载显示。真三维显示装置通过适当方式激励位于透明显示体积内 的物质，利用可见辐射的产生、吸收或散射形成体素。 除此之外，还有一些更高级的设备，比如头盔显示器。头盔显示器可以获得很大的视 角覆盖范围，同时可以追踪并把视角和头部运动同步。 6 南京邮电大学硕士研究生学位论文 第二章多视点视频基础理论 2 1 3 立体成像模型 当用双目立体摄像机记录3 d 景物时，先要把两部摄像机的光轴会聚于感兴趣的物体 上，这时称两部摄像机光轴的交点为会聚点，会聚点到两部摄像机透镜中心连线中心的距 离为会聚距离。在数学上会聚距离可以是有限值，也可以是无限值，当会聚距离非常远时， 两部摄像机的光轴近乎平行，可认为会聚点在无穷远处，会聚距离为无穷大。为便于数学 分析，称会聚距离为无限远时的双目立体摄像系统为平行立体摄像系统，会聚距离为有限 值的双目立体摄像系统为会聚立体摄像系统1 8 】。讨论摄像系统的数学模型涉及到不同坐标 系统之间的变换，本文采用的坐标系统如下： ( 1 ) 世界坐标系统：也称真实或现实世界坐标系统，用x y z 表示。一般3 d 场景都是 用此坐标系统来表示的，z 轴为深度轴。 ( 2 ) 摄像机坐标系统：以摄像机为中心制定的坐标系统x y z ，一般取摄像机的光轴为 z 轴。 ( 3 ) 像平面坐标系统：在摄像机内所形成的像平面坐标系统x y 。一般取像平面与摄 像机坐标系统的砂平面平行，且x 轴与x 轴，y 轴与y 轴分别重合，因此像平面原点就在 摄像机光轴上。 图2 1 给出了一个双目立体摄像系统的简单模型。图中两个镜头中心间的连线称为系 统的基线b ，厂为焦距，3 d 空间物体点与两个镜头中心确定的平面称为外极平面，外极平 面与左右图像平面的两条交线称为共轭外极线。也就是说，3 d 场景中的物点在两个图像平 面中的投影处在一对共轭外极线上，这是视差匹配的一条重要依据。如果两个摄像机的光 轴平行，则共轭外极线对合为一条直线。 7 南京邮电大学硕士研究生学位论文 第二章多视点视频基础理论 左图像 右图像 图2 1 双目立体摄像系统模型 外极线 设世界坐标系统的原点位于基线b 的中心，像平面坐标点的原点位于图像的中心。 ( x ，y ，z ) 表示3 d 场景中一个物点w 的世界坐标，该点在左右图像中投影成两个相应的像 点o l ，y l ) 和 只，y r ) ，差矢量d = o l - - x r ，y l y r ) ，就是这两个像点之间的视差。 利用双目系统可以根据两个同名像点的坐标( x l , y ) 和( ，y r ) 确定w 的坐标 ( x ，y ，z ) 。当摄像机坐标系统和世界坐标系统重合后，像平面与世界坐标系统的x y 平面 是平行的，w 点的z 坐标对两个摄像机坐标系统都是一样的。 2 2 双目立体视频 双目摄像系统分为平行和会聚两种形式。平行摄像机系统所摄取的左右视图可以直接 呈现给人的双目。会聚方式对接近摄像机的物体能提供比平行配置更好的深度感觉。然而 由会聚摄像机采集的立体图像被直接投影到屏幕上观看时，感觉到的深度是失真的。因此， 会聚摄像系统采集的图像需要几何校正，校正之后的图像看起来好像是用平行摄像系统采 集的。接下来着重分析对平行双目摄像系统，如图2 2 所示。 8 南京邮电大学硕士研究生学位论文 第二章多视点视频摹础理论 图中c ，c 为基线，厶三，为外极线，基线与外极线相互平行1 9 1 。x 轴与基线c ，c 重合； z 轴为摄像机和物体的距离轴；y 轴没画出。两条黑粗线表示左右两个成像平面，d ，和d ， 是成像平面的中心；弓和只是三维空间p 点在左右成像平面上的成像点“，和“，相对于平面 中心的位移，其中毋为正值、只为负值：f 为摄像机的焦距，c ，c ，的长度为2 h 。 p ( x ，y ，z ) j 一一一一一j jl | | 、 | 、 | | 。 z | 另i h 卜 l i ，q i d ，i t 、 ? f ， u t 。蚱r。 | c ， c c r hh 图2 2 平行双目摄像系统的原理分析 x c ，o , u ，和c ，c p 、a c ，o , u ，和a c ，c p 都是相似三角形，由几何知识可得( 2 - 1 ) 和( 2 2 ) ： e 办- fx 一= 一 z 只 办一x _ _ _ _ _ 一= 一 f z 通过式( 2 - 1 ) 和( 2 2 ) 消去x ，可得式( 2 3 ) 毋一只：型 z ( 2 1 ) ( 2 2 ) ( 2 _ 3 ) 定义p 点在左右成像平面的投影点离各自平面中心的位移之差为视差d ，即有： d ：毋一只：型 ( 2 4 ) z 9 南京邮电大学硕士研究生学位论文 第二章多视点视频基础理论 2 3 多视点视频 多视点视频系统是对双目立体视频系统的扩展，进一步提高了视频场景的真实性，增 强了观众的沉浸感以及视点选择的能力。 多视点视频系统中，观看者可以根据所处位置选择相应的视点图像。当观看者的头部 发生变化时，所观看到的内容也会随之变化，从而得到了“沉浸 和“环视 的效果。 为了得到平滑连贯的环视效果，双眼距离内需要提供超过1 0 幅的视图内容。因此， 这就需要使用非常稠密的摄像机阵列来获得多视点视频。 然而，在实际应用中这样的系统过于复杂，很难实现。一般情况下都是使用排列较为 稀疏的摄像机阵列进行多视点视图的采集，再根据视差信息、摄像机参数、两个相邻视图 进行虚拟视图的合成。从而在满足系统设计需求的情况下也实现了多视点的选择功能。 视差信息包括水平和垂直两个方向，若要同时获得两个方向的运动视差效果，需要二 维摄像机阵列进行多视点视频的采集，但是考虑到系统的复杂度，目前的多视点视频序列 大都是使用一维水平摄像机阵列获得的。 与双目摄像系统一样，多视点摄像系统也有会聚和平行两种配置，如下图2 3 【2 0 】所示。 菡菡菡菡菡菡菡蕾 本章小结 ( a ) 平行配置 图2 3 多视点视频摄像机系统 函菡函 ( b ) 汇聚配置 作为多视点视频系统关键技术研究的准备和铺垫，本章简要介绍了多视点视频技术的 基础理论知识，涵盖了三维感觉产生原理，立体显示方式，立体成像几何模型。还详细介 绍了双目立体视频和多视点视频系统，对其中的关键概念进行了解释，并分析了所涉及的 方法和存在的问题。 1 0 南京邮电大学硕七研究生学位论文 第三章多视点视频处理中的若干关键技术 第三章多视点视频处理中的若干关键技术 目前，多视点视频被认为是具有广泛应用前景的新型视频，其中最有可能推广的两种 应用是：自由视点电视f t v ( f r e ev i e w p o i n tt v ) 和3 d 电视( 3 d - t v ) 2 1 1 。 在自由视点电视应用中，用户可以在摄像机阵列的拍摄范围内自由改变观看电视的角 度。自由视点电视系统中通常使用较为稀疏的摄像机阵列，因此在解码器端得到稀疏视点 图像后，需要根据用户需要的视点合成新的图像。自由视点电视系统中，只需要根据部分 的视点图像来合成当前虚拟视点的图像。 3 d 电视可以认为是目前己有立体电影的扩展。在立体电影中，所有观众看到的是同样 的立体画面；而在3 d 电视中，不同位置的观看者看到的画面内容是不一样的，每个观众 看到的都是对应于其位置的立体画面。 因此，无论是自由视点电视系统还是3 d 电视系统都需要涉及到多视点视频系统中的 几项关键处理技术：多视点视频编码、虚拟视点视图合成以及图像的差错掩盖技术。 3 1 多视点视频编码技术 与单视点视频相比，多视点视频能够更加生动地再现现实场景，给人以身临其境的感 觉。但是，多视点视频的数据量随着摄像机的数目增加而线性增加，巨大的数据量已经成 为制约其广泛应用的瓶颈。因此，多视点视频编码技术是未来视频通信领域中的一项关键 技术。 多视点视频编码的基本流程如图3 1 所示。编码器对接收到的n 路同步的视频流进行 压缩编码得到单路视频流。压缩后的视频流经网络传输至解码端。解码端接收比特流、解 码、重构出n 路视频图像。 n 路视频 信号输入 比特流 = 二j 、圈豳圈回 图3 1 多视点视频编码的基本流程 n 路视频 信号输出 南京邮电大学硕上研究生学位论文 第三章多视点视频处理中的菪干关键技术 多视点视频信号中，除各自视频流内有很强的空间和时间相关性外，视频流之间也具 有高度的交叉相关性，这些相关性是对立体视频进行高比率压缩的主要依据。 l u k a c s l u k a c s ，1 9 8 6 】是立体编码领域早期的研究者，并提出了在相邻视点之间使用视差补 偿的方法提高立体视频的压缩效率。之后，更多的学者对该领域关注，产生了大量卓有成 效的算法和方案。 为了满足三维立体电视、自由视点电视等新兴媒体通信的要求，t 于2 0 0 6 年开始制 定基于h 2 6 4 a v c 的另一个扩展方案一一多视点视频编码( m v c ，m u l t i v i e wv i d e o c o d i n g ) 。为便于各种基于h 2 6 4 a v c 的m v c 技术的研究并对它们进行公平的比较，t 提供了联合多视点视频编码模型( j m v m ，j o i n tm u l t i v i e wv i d e om o d e l ) 及相应的参考 软件，并规定了m v c 通用测试环境f 2 2 】f 2 3 1 。 现有的多视点编码方案大多是基于h 2 6 4 a v c 的m v c 技术，研究主要集中在视点间 时间预测结构上【2 4 】【2 5 1 。其中m v c 的视点间时间预测结构方面的研究不仅要求能够提高 m v c 的编码效率，而且要具有随机接入、可分级编码等功能。 3 2 虚拟视点合成技术 在多视点视频的应用系统中，观看者可以在一定范围内任意选择观察地点和角度观看 视频内容。在多视点视频采集端，可以根据需要放置一系列摄像机。如果让观众在3 6 0 度 任何一个角度都可以选择观看场景，则需要将摄像机围绕场景摆放成一个圆圈；如果观众 只需要较小角度的选择范围，则可将摄像机在场景前摆放成一个半圆或者弧形甚至是直 线。 由于受存储和传输条件限制，不可能在所有位置都放上一个摄像机，只能在一些采样 点上放置摄像机进行拍摄，然后利用两个或者多个采样点上摄像机的视图和摄像机参数信 息合成中间视点的图像。 如图3 2 ( a ) 所示，场景周围放置了1 2 个摄像机进行拍摄。在接收端，如果不采用任 何技术，观看者只能从1 2 个不同的地点和视角进行选择。如图3 2 ( b ) 所示，通过图像 合成技术合成1 2 个虚拟视点的图像后，观看者就可以从2 4 个不同的地点和视点中进行选 择。 1 2 南京邮电大学硕士研究生学位论文 第三章多视点视频处理中的若干关键技术 视图合成 尽 虚拟合成视点 群 真实拍摄视点 ( a ) 1 2 个摄像机对场景进行拍摄( b ) 接收端合成1 2 个虚拟摄像机的视图 图3 2 视图合成技术的应用简介 虚拟视点图像合成( 简称虚拟视图合成或视图合成) 是指依据两个或多个关于同一景 物的真实视点图像，合成出的虚拟视点图像( 虚拟视图) 。视图合成在虚拟现实等领域中 有着广泛的应用【2 6 1 ，同时它还被视为一种有效的视频压缩手段，用来实现视频帧的内插1 2 7 1 。 由于描述3 d 世界的方式通常有两种【2 8 1 ，一种方式是记录所有的物体及其相互作用关 系，称为“源描述 ；另一种方式是“外形描述 ，通过一个7 维的( p l e n o p t i c ) 全光函数拉9 j 来表示。对应这两种描述方式，视点合成的方法也可以分为两类：基于三维几何模型的绘 制方法和基于图像的绘制( i b r ，i m a g eb a s e dr e n d e r i n g ) 法。 3 2 1 基于模型的绘制方法 基于模型的绘制方法，是传统且被广泛应用的图形渲染技术。这种方法主要是使用两 幅或者多幅图像，围绕图形建模和实时图形渲染两个方面进行。图形建模集中体现在场景 实体之间的几何约束关系和环境光照建模。实时图形渲染则主要关心几何裁减、实时消 隐和几何元素简化几个方面【3 0 l 。 基于模型绘制技术优点在于几何模型表现全面且能满足灵活多变的视角变化需求。 但是，基于几何模型的技术有两个主要缺点： ( 1 ) 高质量的绘制需要高精度的三维物体模型，然而，即使对于简单的景物，高精 确的三维建模也是一项具有挑战的任务，对于复杂的景物更是难以完成； ( 2 ) 计算费时，实时性差，绘制时间取决于物体的复杂性，因此并不适合在实时多 视点视频中应用。 南京邮电大学硕士研究生学位论文 第三三章多视点视频处理中的若干关键技术 3 2 2i b r 方法 从实现途径上理解，基于图像的绘制方法( i b r ) 是- - f - j 利用已有多视角目标场景图 像生成新视角下虚拟图像的综合运用计算机图形学和计算机视觉等多领域知识的技术。与