（计算机科学与技术专业论文）数字图像三维立体显示算法研究与实现.pdf

国防科学技术大学研究生院硕士学位论文 第 i 页 摘 要 数字图像立体显示技术是研究将同一景物不同视角拍摄的两幅以上数字图 像处理成使双眼可获得具有立体视差的图像并产生立体视觉效果的技术领域。 数 字图像高精度立体显示，既有广泛的应用需求，又是实现基于视频的动态立体图 像显示的技术基础。 数字图像立体显示主要包括立体匹配和视图合成两项关键技 术。本文面向复杂景物数字图像的高精度立体显示应用需求，对立体匹配算法、 视图合成算法以及数字图像立体显示处理软件的设计实现技术进行了较深入研 究。论文的主要工作和研究成果如下: 1.针对已有的全局立体匹配算法都是假设整幅图像的深度处处连续， 而对存 在深度不连续的图像立体匹配精度差的问题， 提出了一种基于图像分割的立体匹 配算法sgc。 sgc算法预先对图像进行分割，基于图像分割信息建立立体匹配的马 尔科夫随机场 （mrf） 模型， 从而连续性约束可以保留视差图中分割的边缘信息； 并针对图像的深度连续性约束，定义了一个反映图像自身特征的新能量函数，应 用于图割算法，提高了视差计算精度。实验结果表明，与已有算法相比，sgc算 法更准确反应了图像中深度信息，避免了平滑约束所引入的误差，有效提高了视 差计算精度。 2. 深入研究了基于深度图像的绘制技术(dibr)视图合成的像素映射、遮挡 判断、空洞填补等方法，针对已有的双线性插值会产生视觉模糊感问题，设计实 现了一种基于深度判断和函数逼近的空洞填补算法。 该算法详细考虑了真实的场 景构造，从空洞形成的原理估算出空洞区域像素视差的范围，从而确定空洞区域 的归属，最后根据相关的像素点估计出空洞像素值。实验结果表明，该算法比双 线性插值方法更能反映复杂场景构造， 基本消除了双线性插值法带来的视觉模糊 感问题。 3基于以上研究成果，采用opencv视觉库开发了一个数字图像立体显示处 理软件，通过nvidia 3d幻镜立体显示系统，可在刷新率超过100hz的液晶显示器 上,多人同时以自由视角观看到复杂场景数字图像的高质量立体显示效果。 关键词：立体匹配；基于深度图像的绘制；视图合成；立体显示 国防科学技术大学研究生院硕士学位论文 第 ii 页 abstract digital images of three-dimensional display technology is the same scene taken two or more different perspectives of digital image processing as the eyes can achieve a disparity in the images and produce three-dimensional visual effects technology. high-precision three-dimensional digital image display, not only has wide range of application needs, but also is the technology base of a dynamic video-based three-dimensional image display. stereoscopic display of digital images including stereo matching and view synthesis these two key technologies. this article features for complex three-dimensional digital image display applications demand of high precision, implemented a more in-depth study on three-dimensional matching algorithm, the view synthesis algorithm and digital image processing software for stereoscopic display technology designed. the main work and research results are as follows: 1. aim to the problem of existing global stereo matching algorithm assuming that the depth of whole image continuous everywhere, while the stereo matching accuracy is too poor for image with depth discontinuous, this paper proposed a stereo matching algorithm based on image segmentation called sgc. the sgc algorithm builds the mrf model using the result of image segmentation; thereby the edge information of the disparity map can be kept in the continuity (smoothness) constraints. moreover, to improve the disparity accuracy, a novel energy function is well designed to restrict the depth-continuity of an image and applied to the graph cut algorithm to describe the image feature. the experiments show that our sgc algorithm can reflect the depth information more exactly than the existing algorithm and achieve a high-precision disparity by avoiding the error arisen from the continuity constraints. 2.studies the pixel mapping ,shadowing determine and holes filling methods for view synthesis using depth image-based rendering(dibr) techniques, aim to the problem of blurred vision comes with bilinear interpolation, designs and implementations of a hole filling algorithm 国防科学技术大学研究生院硕士学位论文 第 iii 页 based on depth judgment and function approximation. this algorithm considered in detail the true scene structure, estimate the range of holes regional pixel disparity starting from the principles of holes formation to determine the ownership of an hole area, at last estimate the hole pixel value according to the relevant pixel. experiment results show that our algorithm can reflect the complex scene structure more exactly than bilinear interpolation algorithm, and basically eliminate the blurred vision caused by bilinear interpolation. based on the above research, this paper developed a stereoscopic display of digital image processing software using opencv vision library, through the nvidia 3d vision system, on the lcd monitors with no less than refresh rate of 100hz,many people can have a free view to the complex scene high-quality digital image three-dimensional display together. keywords: stereo match; dibr; view synthesis; stereoscope display 国防科学技术大学研究生院硕士学位论文 第 iv 页 图图目录目录 图 3.1 极线几何原理示意图. 18 图 3.2 图像分割结果。. 24 图 3. 3 能量优化算法流程 . 28 图 4.1 基准测试数据集. 33 图 4.2 遮挡区域划分. 34 图 4.3 遮挡和纹理区域划分. 34 图 4.4 深度不连续区域划分. 34 图 4.5 cones 数据集结果视差图对比. 35 图 4.6 teddy 数据集结果视差图. 35 图 4.7tsukuba 数据集结果视差图. 35 图 4.8 venus 数据集结果视差图. 35 图 4.9 icm 算法，gc 算法，sgc 算法均方根误差 rms 对比. 37 图 4.10 icm 算法，gc 算法，sgc 算法误匹配率 pbp 对比. 38 图 5.1 视图合成初步结果. 48 图 5.2 可见性遮挡形成原理示意图. 49 图 5.3 经过空洞填补算法处理后的新视点图像. 52 图 5.4 空洞点示意图 . 53 图 5.5 基于深度判断和函数逼近空洞填补结果. 56 图 5.6 teddy 数据集空洞填补算法结果对比. 57 图 5.7 teddy 数据集空洞填补算法结果对比. 58 图 5.8 两种填充算法结果柱形对比图 . 59 图 6.1 数字图像三维立体显示系统设计流程图. 63 图 6.2 立体匹配基本流程图. 64 图 6.3 视图合成算法基本流程图. 65 图 6.4 最终的左右格式立体图片. 66 国防科学技术大学研究生院硕士学位论文 第 v 页 表格目录表格目录 表 3.1 图像分割算法. 23 表 3.2 sgc 算法. 29 表 4.1 cones 数据集各个评价参数实验数据，共分 6 个区域. 35 表 4.2 teddy 数据集各个评价参数实验数据，共分 6 个区域. 36 表 4.3 tsukuba 数据集各个评价参数实验数据，共分 6 个区域. 36 表 4.4 venus 数据集各个评价参数实验数据，共分 6 个区域. 37 表 5.1 遮挡判断算法 . 46 表 5.2 像素映射算法 . 47 表 5.3 双线性插值空洞填补算法 . 51 表 5.4 基于深度判断与函数逼近空洞填补算法流程 . 55 表 5.5 两种算法实验结果错误率比较 . 58 表 5.6 算法执行时间比较 . 59 表 6.1 数字图像三维立体显示算法 . 63 表 6.2 立体匹配算法 . 64 表 6.3 视图合成算法 . 65 国防科学技术大学研究生院硕士学位论文 国防科学技术大学研究生院硕士学位论文 第 1 页 第一章 绪论 我们居住的客观世界其本身在空间上是三维的，但是，由于3d物体包含的数 据量巨大，很多时候，为了节省资源或者限于客观条件，只能通过2d平面图像来 表现它。当今科技迅猛发展，计算机软硬件更新频繁，硬件性能的提高，软件性 能的优化，人们对生活质量要求的提高，使得2d表现的效果已经不够满足人们的 视觉享受需求了。 3d产品及实现方案已经成为热点研究问题。如果能在普通的计 算机crt监视器或者液晶显示器上将这些平面图像转换成立体图像，甚至平面视 频转换成立体视频，则会给人们带来更加真实的视觉享受。 要在监视器上实现平面图像立体化，就要用到计算机立体视觉技术。立体视 觉技术有多种，目前使用较多的是双目立体视觉技术。人们通常用双眼同时观看 物体。 由于两只眼睛视轴的间距(瞳距)的存在，左眼和右眼在观看一定距离的物 体时，所接收到的视觉图像是不同的。由于大脑已经习惯了这个三维世界，它会 自动通过眼球的运动、调整、综合这两幅图像的信息，产生立体感。这便是双目 立体视觉的基本原理。双目立体视觉与单目立体视觉相比，其数据量只是后者的 2倍，但是，它是最自然的的呈现方式，它的效果，远远超过单目立体视觉。2d 图像拍摄硬件成本低，数据量少，3d图像硬件成本高，数据量大，视觉性强，综 合两者的优缺点，研究2d图像向3d图像的转换很有意义。它具有二者的优点，输 入是2d图像，因此，拍摄成本低，输出时3d图像，信息量丰富视觉性强。如果将 算法集成固化到相机中，甚至可以将2d摄像头转化成3d摄像头，因此，有必要深 入研究其转化算法。 1.11.1 立体视觉原理立体视觉原理 人类从各种各样的线索中获取三维信息，其中最重要的两种是双目视差 (binocular parallax)和运动视差(motion parallax)。双目视差始于charles wheatstone1838年的研究工作，指的是双眼看到同一物体的不同映像 12。运动 视差始于helmholtz 1866年的研究工作，指的是头部运动时看到同一物体的不同 映像。1833年，wheatstone用世界上第一台三维显示装置科学地验证了视差 (parallax)和立体感之间的联系。从此，研究者们就不断地致力于开发新的立体 图像技术。立体感是由视差产生的，人的两眼平均相差约65cm，它们从不同的 角度观看世界，导致左眼看到的物体与右眼看到的同一物体之间有细微的差别， 因而看到的场景也不尽相同。大脑根据这两个有细微差别的场景进行综合处理， 国防科学技术大学研究生院硕士学位论文 第 2 页 能够自动计算出物体的远近，产生精确的三维物体这就是具有深度的立体感。双 目立体成像系统的工作就是模拟双目成像原理，对每个场景产生两幅图像，一幅 代表左眼所看到的，另一幅代表右眼所看到的，这两幅图像称为立体图像对，标 准的立体图片格式中必须包含左眼图像和右眼图像。 而立体显示系统必须使左眼 只能看到左图像右眼只能看到右图像，这样才能模拟出双目立体视觉，产生立体 感。 1.21.2 3d3d 显示技术概述显示技术概述 随着人们对视觉要求的不断提高， 立体三维显示作为一种全新模式的视觉革 命，一直是人们努力的方向。立体显示技术从总体上可以分为两大类：平面三维 显示技术和真三维立体显示技术 3。平面三维显示技术也称自动立体显示技术， 它有图像重建显示、体素显示和视差显示三种。而真三维立体显示技术主要分为 球状显示技术(旋转投影面技术)和全息显示技术， 后者是真三维显示技术的发展 方向之一。 1.2.1 基于二维视差图像的立体显示技术 现实三维世界经过成像原理，在人的双目中生成了两幅具有视差的图像，这 些图像经过视神经中枢的融合反射以及视觉心理反应，便产生三维立体感觉。基 于二维视差图像的立体显示技术主要有上文提到的体视法与集成成像法两种。 1 1）体视法）体视法 传统的基于体视法的三维显示大部分的都需要额外的硬件支持， 比如头盔立 体显示器、3d立体眼镜、多视图显示器与多视图头部跟踪显示器等。头盔立体显 示器(hmd)是目前3d显示技术中用的最多的一种。其基本原理是：在每只眼睛前 面分别放置一个显示屏，分别同时显示包含位差的两幅图像，从而形成立体感。 然而，它有它固有的缺点，那就是头盔的佩戴对人的自由产生约束，减少了观察 时的娱乐性、 舒适度和自然性。 而且， 由于hmd屏幕成像太小， 使视野受到影响， 近距离聚焦容易使人眼感到疲劳。 另外有些方法采用3d立体眼镜与普通显示器结合， 利用偏振原理和波长复用 技术或控制快门的方式，使双眼获得具有立体视差的两幅图像而不相互干涉，产 生3d视觉效果。该方法优点是成本低、实现简单，立体显示效果好，而且能够与 现有的二维电视系统兼容。适用普遍，可以再平面显示器上实现三维立体显示。 虽然眼镜的佩戴比hmd的佩戴相对来说约束更小，但还是存在和hmd同样的缺点。 国防科学技术大学研究生院硕士学位论文 第 3 页 而且利用波长复用的方法将使观察者无法看见彩色的图像， 应用快门系统则必须 要求显示器具有较高的刷新频率，否则易产生闪烁感。最近推出的nvidia 3d stereo技术就是利用快门控制图像可见性方法的典型代表， 本系统的调试环境是 nvidia 3d幻镜，关于此3d显示环境将在1.2.4节和6.3节介绍。 多视图立体显示器不需要佩戴任何辅助可视工具。 它的原理是从多角度获取 被观察物体的图像，并在3d显示器的各个视窗输出相应视点的图像，从而使观察 者在特定位置观察到具有位差的左右两幅图像而获得立体视觉感受。 它主要针对 单个观察者，只显示两幅具有左右眼视差的图像，通过跟踪观察者的头部运动或 眼球的转动来使每只眼睛始终看见的是正确的视图，不适合多人观察。它的缺点 是视点跟踪算法复杂，容易出错，一旦跟踪失败将会导致看见错误的图像。而多 视图立体显示器的特点是不需要头部跟踪以及相关的复杂技术， 多个观察者可同 时在观察区域中自由地移动双眼，获取多视角的3d效果。然而，建立多视图显示 系统比较困难。 同时产生所有视图可能使观察者看见错误的图像，且偏离理想的 距离越远，这种可能性更大。 2 2）集成成像法）集成成像法 集成成像法实现三维立体显示是近年来国内外三维显示技术的研究热点之 一。 该方法主要采用透镜阵列与视差图像合成技术实现3d立体显示。其原理同样 是利用两眼获取两幅具有位差的图像，从而产生立体感。但和头盔显示器及3d 立体眼镜不同的是，观察者双眼只要处于显示器前的特定观察窗，不需要佩戴任 何辅助器件。 该方法在液晶显示屏上通过排列一种普通的颜色过滤器来显示合成 图像， 且该图像由许多竖直的一个像素宽(一般是rgb三基色)的条纹状图像组成。 这些条纹由一对或多对具有位差的左图像和右图像构成。最后，图像通过横向和 纵向的柱面透镜透镜后成像到一组窗口上。 具有多对位差图像的透镜3d立体显示 器可产生水平视差效果。 然而，该方法的不足在于：如果同时提供垂直视差，需要投影图像太多。而 且景象范围小，不方便多人同时观察。因此，为了增大透镜立体显示系统的可视 角度， 一些研究者进行了深入的研究。有些学者根据视角的变化实时的缩放基元 图像尺寸并实时开闭相应的基元透镜，然而，这样做控制方法复杂，而且实时性 要求较高。另一种增大视角的方式是：将微透镜由平面阵列分布变为曲面阵列分 布，但是与之而来的是，视角增大时微透镜和基元图像的匹配易出现偏差，导致 视觉效果容易受到影响。 基于以上两种方法的立体显示装置存在的共同问题是：由于焦距固定，使得 眼睛在场景中难以在观看真实物体时双目自然成像那样收缩或改变焦距， 因此无 法正确估算深度和空间位置。 国防科学技术大学研究生院硕士学位论文 第 4 页 1.2.2 基于二维图像切片的立体显示技术 近几年来，随着计算机数据处理能力的迅速提高和数据存储技术的发展，采 用嵌入式系统的3d立体显示器引起人们的广泛关注。 这种显示器利用屏幕的旋转 和光投影等技术，将原来的二维图像切片合成富有真实立体感的三维图像，和真 实物体的视觉效果比较接近。可以让多人从多角度观察模型,有的系统支持人机 交互功能,其娱乐性、舒适度及自然性也较好。 以depth cube立体显示器为例 45。depth cube立体显示器本质上是一种背 投式三维显示器， 但是其中的传统投影仪被由一系列电控光学元件组成的三维投 影仪所代替。该显示器主要由高速的图像投影仪和多平面光学元件两部分组成。 高速图像投影仪将一系列的2d图像切片投影到多平面光学元件上。 每幅图像都在 适当的深度显示，从而得到有序的、直交的三维体素组，且每个体素由一定位数 的亮度和颜色构成。不同于其他立体显示器，该显示器的直线笛卡尔几何特性使 物体的三维图像不产生变形或阻碍。另外，这种几何特性符合计算机图像硬件的 几何特性。 因此， 能实现与标准的图像硬件进行实时交互， 并快速渲染三维图像。 也有的立体显示器采用旋转屏幕技术实现三维立体显示， 其原理是采用一个 高分辨率投影仪将图像投影到屏幕上，该屏幕与光学投影器件构成旋转单元，以 900转每分钟以上的速度旋转。被投影的图像实际上是呈放射状的“图像切片” 。 这些图像切片快速连续地投影到三维空间，由于视觉暂留的作用，在人眼中形成 有真实立体感的三维图像。 这两种系统显示的3d立体效果实际上仍由2d图像构成， 因此本质上并非真正意义的3d显示。 1.2.3 数字全息技术 数字全息技术和显示技术的结合使全息技术的应用前景更加广阔， 其中的光 电再现技术为实现真3d立体显示提供了可行的方法。近年来，半导体光电技术、 计算全息技术、空间光调制器(slm)及数字光处理技术(dlp)的快速发展，为数字 全息在真3d显示中的应用奠定了良好的基础。 相关的理论和应用研究取得了长足 的发展。主要有以下三个方面： 1）基于数字合成全息技术的三维显示技术。传统的集成显示技术常用的方 法是将3d物体多幅具有视差的2d图像通过分割处理后，以一定顺序交替排列，并 承载于lcd等介质上，通过微透镜阵列成像后，给特定位置上的观察者以立体视 觉感受。由于2d图像本身并不具备3d效果，因此观察者获得的深度感是有限的。 它的不足之处在于过程复杂，难以实现动态显示。 2）基于空间光调制器的数字全息三维显示技术。包括基于声光调制器的全 国防科学技术大学研究生院硕士学位论文 第 5 页 息三维显示、基于dmd、lcd投影的全息三维显示与多通道合成全息三维显示等。 3）基于集成技术的数字全息三维显示技术。该方法的步骤是，首先利用四 步相移法获得四副全息图像，并求得全息面的复振幅分布，然后基于此求得不同 距离的再现图像。 再进一步将再现图像依次通过虚拟孔阵在基元图像平面上生成 基元图像，最终将在微透镜阵列显示器前方可以获得立体影像。 1.2.4nvidia 3d stereo 技术 nvidia 3d stereo采用的是画面交换(page flipping)的方式在2d环境下来 实现3d效果的。画面交换的工作原理是将左右眼图像交互显示在屏幕上的方式， 使用专用的立体眼镜来进行搭配， 将垂直同步讯号作为快门切换同步讯号即可达 成立体显像的目的。 通过液晶显示器将左右眼图像 （以垂直同步讯号分隔的画面） 分别传输到左、右眼显示设备上，这样我们就能够看到完整的3d立体画面了。 也就是说，在任意时刻，我们都只能看到某一只眼的图像。当显示器上显示 的是左眼的图像时， 右眼的镜片关闭。 再下一个时刻， 显示器转而显示右眼图像， 此时左眼镜片关闭，如此往复。由于视觉暂留效果，我们看到的将是一系列连续 的画面。该技术对显示器的刷新频率要求较高，因为它的视觉感受频率只是实际 刷新频率的一半，一般需要100hz或以上。 1.31.3 立体图像的获取立体图像的获取 常见的获取立体图像的方法有三种，包括用立体摄像机拍摄立体图像、用深 度摄像机拍摄立体图像以及通过平面图像生成立体图像。 1.3.1 立体摄像机拍摄 这种获取方法使用立体摄像机分别拍摄独立的左、 右视图以模拟人类双眼感 知立体图像的方式。由于人的双眼间距是固定的，因此，想要真实的模拟出双眼 视点就需要将两个摄像机与双目视点尽可能的重合。 立体摄像机包括平行配置和 会聚配置两种结构。当平行配置立体摄像机时，两部摄像机模拟人的双眼，在水 平方向分隔一定的距离， 这两部摄像机的变焦、 会聚、 及视频记录都严格地同步， 并对所获取的两路视频信号以某种方式进行记录。 由于摄像机对是水平平行配置 的故仅有水平方向的视差没有垂直方向视差。水平视差，可以通过将相同点 在左、右摄像机平面中映射的水平坐标相减求得。 当会聚配置立体摄像机时，两部摄像机的摄像机光轴相交干一个会聚点。当 国防科学技术大学研究生院硕士学位论文 第 6 页 这对摄像机都处于一个平面上，且两个摄像机光轴都不平行于z轴。则这种情况 下仅有水平视差存在。若两个摄像机既不平行于z轴，又不处于同一水平平面， 则两个摄像机获得的图像既有水平视差 又有垂直视差。 其可通过将相同点在左、 右摄像机平面中映射的x，y坐标分别相减求得。 一个摄像机对可获得一个立体图像对，其可产生单视点的立体图像。如果将 多个摄像机对在同一平面内线性排列，则可产生同处一个平面的多个视点。如果 将多个摄像机在空间内以某种特定阵列方式排列，则可产生空间内的多视点。其 中， 线性排列的摄像机拍摄的多幅不同视点的图像仪携带水平视差信息，区域排 列的摄像机拍摄的多幅不同视点的图像同时携带水平和垂直视差信息。 阵列中的 摄像机特性完全相同，以相等的距离，按照特定的形式排列，使得摄像机的光轴 相互平行或者会聚在一个公共点。这一类立体摄像机的价格都比较昂贵，而且对 拍摄的精度要求也很高。 1.3.2 深度扫描仪拍摄 使用深度摄像机， 拍摄具有深度映射图的一维视图是一种快速的获取立体图 像素材的方法。其将一个红外线激光雷达系统的扫描器集成在传统二维摄像机 中该扫描器产电面光墙(1ightwall)，通过物体对光的反射。产生物体的印记 以记录反映物体的深度信息。由这些来自该印记的物体深度信息，可重建出物体 的深度映射图。该深度图实际上是一个二维函数，它以一个与图像相关的函数形 式， 给出了相对于摄像机位置的二维视图上点的深度。扫描仪产生出两个独立的 码流，一个是普通二维图像的码流，一个是物体深度映射图的码流。这样的双层 码流便于兼容普通二维的图像显示。该方法的缺陷是，物体表面光滑程度易影响 反射光束，而且扫描器成本昂贵，不利广泛使用。 1.3.3 平面图像算法合成 这种方法在已经的图像基础上，通过软件或者算法生成虚拟视点图像。它的 一个显著的特点是成本低，但是算法复杂，而且生成的图像由于固有的缺陷（信 息缺失）往往精度不够，并且依赖于算法的有效性。因此,平面图像新视图的合 成中,空洞填补具有重要的意义，这点将会在第五章详细讨论。 1.41.4 主要创新点及主要创新点及内容安排内容安排 数字图像立体显示主要包括立体匹配和视图合成两项关键技术。 在立体视觉 国防科学技术大学研究生院硕士学位论文 第 7 页 系统中，立体匹配占据着极为重要的地位，是必不可少的一个环节，它的匹配精 度直接决定了新视图的效果。如果立体匹配得出的视差图误差较大，那么基于视 差图生成的新视点图像算法再有效，最终的结果也不可能准确。 已有的全局立体匹配算法都是建立在整幅图像的深度处处连续的假设前提 上。 但是， 考虑到图像几乎处处连续并不代表就完全连续。 对于深度连续的区域， 对像素点建立平滑约束是合理的，也是必要的。但是，对于图像本身存在深度不 连续的区域，强制性的施加平滑约束，会使得图像的整体错误匹配率增高，导致 立体匹配精度降低。因此，应该把它们区别对待。 针对上述问题，本文提出一种基于图像分割的全局立体匹配算法sgc。sgc 算法先利用图像分割， 提取出局部连续的区域， 对每个局部的区域施加平滑约束， 在区域与区域之间取消平滑约束，这样，避免了对深度不连续的区域，强制性的 施加平滑约束，有效减小了图像的整体错误匹配率。实验结果表明，sgc算法与 已有的立体匹配算法相比，立体匹配的结果视差图更加精确，对于视差变化较多 的图像效果尤其显著。更详细的算法将在第三章具体介绍。 在立体匹配之后，需要根据立体匹配产生的视差图，结合不同视图间像素映 射关系，合成新的视图。由于像素映射关系不是一一映射，因此，必定会存在新 视图中一部分像素找不到原像。这部分像素称之为空洞。空洞的存在严重影响了 新视点图像的质量，因此，空洞填补算法对最终结果的影响很大。传统的双线性 插值方法参考空洞周围的实像素点， 利用双线性插值法估计出空洞区域可能的像 素值。该方法简单高效，速度很快，适用于空洞面积较小的区域，对采样空洞填 充效果较好。缺点在于它未考虑到复杂场景的实际构造，摆脱不了插值法固有的 盲目性，最后生成的结果图像会带来视觉模糊感，在空洞区域较大的情况下尤其 突出。 针对传统的双线性插值法的缺点， 本文提出了一种基于深度判断和函数逼近 的空洞填补算法。该算法从实际考虑了空洞的形成原理，从中发现有用的约束信 息。 算法认为大部分的空洞是由遮挡关系产生，遮挡问题涉及到深度值的大小关 系， 被遮挡的像素其深度值一定会小于没被遮挡的像素深度值，这是一个潜在的 约束条件。 其次， 从实际考虑， 遮挡发生在两个深度不一样的场景主体局部之间， 往往是一个主体遮挡另外一个主体。 因此一个空洞区域缺失的像素往往都是来自 于同一主体，这是对空洞区域的整体约束。基于以上考虑，基于深度判断和函数 逼近的算法首先获取空洞周围的像素点，根据深度（视差）值综合判断缺失的像 素点与哪一些实像素点来自同一场景主体。在确定了空洞的归属之后，算法将相 关区域图像映射为一个曲面，对曲面进行函数逼近，利用逼近函数估计出空洞点 的像素值。实验结果表明，该算法在复杂度上跟传统的双线性插值法保持同一量 国防科学技术大学研究生院硕士学位论文 第 8 页 级，但是效果更好，基本消除了视觉模糊感。 基于以上研究成果， 采用opencv视觉库开发了一个数字图像立体显示处理软 件，通过nvidia 3d幻镜立体显示系统，可在刷新率超过100hz的液晶显示器上, 多人同时以自由视角观看到复杂场景数字图像的高质量立体显示效果。 本文内容安排如下：第一章概述了立体显示的原理和技术发展状况，第二章 介绍立体匹配相关研究，主要介绍立体匹配算法的分类，各种算法的原理以及优 缺点。第三章介绍立体匹配算法，包括立体匹配预处理-图像校正，以及sgc算法 的提出。 第四章对本文算法结果与原算法结果进行对比评估， 论证算法的有效性。 第五章在前三章立体匹配结果的基础上，利用计算出的视差图进行视图合成。包 括视图合成算法介绍，像素映射公式推导，遮挡判断以及空洞填补等。第六章介 绍数字图像三维立体显示系统的实现细节，包括流程设计，各个流程在整个系统 中的作用以及需要注意的问题。第七章本文完成的工作简单总结，并对未完成的 工作进行介绍，以及对未来的研究展望。 国防科学技术大学研究生院硕士学位论文 第 9 页 第二章 立体匹配相关研究 立体匹配是现今最活跃的研究领域之一。 它的目的是根据对所选特征的计算， 建立特征间的对应关系，将同一个空间点在不同图像中的映像点对应起来，并由 此得到相应的视差图像。 立体匹配是双目视觉中最重要也是最困难的问题。当空 间三维场景被投影为二维图像时，同一景物在不同视点下的图像会有很大不同， 而且场景中的诸多因素，如光照条件、景物几何形状和物理特性、噪声干扰和畸 变以及摄像机特性等，都被综合成单一的图像灰度值。因此，要准确的对包含了 如此之多不利因素的图像进行无歧义匹配十分困难。 这一阶段的目的是在两幅图像之间建立尽可能多的匹配点对。 由于环境变化 的特殊性，使得要得到一个可靠的匹配结果十分困难。即使某些图像中原本可以 得到一个比较好的结果，但是一旦环境发生改变，结果就可能变得很不理想，也 就是说，很难找到一个稳定的匹配算法。 在进行特征点匹配时，很多时候为了加快匹配速度和精度，须对图像进行校 正。 图像校正的目的是规范化极线约束中极线的分布，使本来是经过同一个点的 极线束变成平行线束，避免极线方程的求解。极线的引入使特征点匹配搜索的范 围从整幅图像缩小到极线上。关于图像校正将在3.1节详细介绍。 立体匹配是一个复杂的过程。首先，两个不同视图下的像素点对在实际场景 中表示的其实是同一点，因此，它们之间是存在一些潜在约束的，必须要把这些 约束都考虑到。如果结果不符合约束条件，无疑将得到错误的结果，关于匹配约 束问题将在2.1节详细介绍。 其次，对像素点对是否匹配的判断非常关键，这是一个最基础也是最简单的 问题。 这个问题需要解决的子问题包括判断依据问题和判断标准问题。判断依据 问题是指算法根据像素点的哪一个属性值来判断的问题。 比如依据像素点的亮度， 灰度，rgb，或者周围像素点的某些特征。判断标准问题是指在已经知道判断依 据的情况下，像素点对的属性符合什么条件才能认为它们是匹配的。这些问题都 可以归结为匹配测度问题，将在2.2节具体介绍。 2 2.1.1 匹配约束匹配约束 在由二维影像恢复三维物体的表面信息时， 由于从三维世界向二维影像投影 的过程中丧失了大量信息，视觉系统必须依赖约束条件才能获得确定的解。常用 约束条件有： 国防科学技术大学研究生院硕士学位论文 第 10 页 外极线约束： 一个视点图像上像素点的位置必定在另一视点图像上该像素点 对应的极线上。 2） 唯一性约束：一幅图像上的每个匹配基元只能与另一幅图像上的唯一一 个匹配基元相对应。 3）连续性约束：物体表面是光滑的，匹配得到的视差值的变化在图像中几 乎处处平滑。 4)顺序性约束和单调约束：对于沿外极线上的点，其对应点也将顺序地出现 在图像对的外极线上，也就是说点的顺序性不会改变。 5） 视差有限约束：视差的范围是有限的。 6）相似性约束：空间物体的一点在两幅图像上的投影在某些物体测度上(如 灰度、灰度梯度变化或几何形状上等)具有相似性。 7）左右一致性约束：假设左边图像中点的视差为d，如果右边图像中另一点 的视差也为d，二者正负不同，则认为点的视差符合一致性约束。 8） 视差变化的梯度有限约束：遮挡点视差与遮挡区域边缘点的视差不应有 太大差距。 9） 遮挡约束：当图像上存在遮挡时，左遮挡和右遮挡不能同时出现，也就 是说，遮挡发生时，有且仅有一个点遮挡另外一个点。 2 2.2.2 匹配测度匹配测度 任何匹配问题，最终都会归结到点与点之间的匹配这个最基本的问题。匹配 测度就是对两个点直接匹配度的测量。在立体匹配中判断匹配的好坏，选取适当 的相似性测度至关重要。对于大多数匹配算法而言， 匹配测度实质上是匹配代价 值的函数。常用的匹配测度有均方差ssd(sum of squared difference)、零值均 方差zssd(zero mean ssd)、绝对差sad(slam of absolute difference)、零值 绝对差zsad(zero mean sad)。归一化交叉相关度ncc(normalized cross correlation) 、零值归一化交叉相关度zncc(zero mean ncc)等。 在上述相似性测度算子中，ssd和sad计算简单，较常用；zssd、zsad、ncc 和zncc算子由于采用归一化处理，使得算子鲁棒性较强，对图像对的轻微亮度差 异不敏感，但相应计算量较大。 关于匹配测度选取的对象，一般选取的是像素点的灰度。如果原来的图像是 彩色（rgb） ，需要先将rgb值转化为灰度值，再计算匹配测度。计算公式一般用 gray=0.299r+0.587g+0.114b。 这个过程实际上是会损失掉一部分信息的。 因此， 也有些算法是直接根据rgb值计算测度的，原理跟灰度计算相似。本系统用的是 国防科学技术大学研究生院硕士学位论文 第 11 页 基于灰度的ssd测度原理。具体算法见3.3节。 2 2.3.3 匹配算法分类匹配算法分类 立体匹配的方法很多，分类的方法也很多，若按照匹配点个数，立体匹配可 以分成两类，一类是稀疏点匹配，另一类是密集点匹配，也有学者称之为致密匹 配。 稀疏点匹配主要是对图像中的一些强特征点进行匹配，比如说角点、拐点和 轮廓点等。匹配完了再进行插值运算。显然这种方法的好处在速度快，效率高， 但是插值过程是盲目的，根本就没考虑到实际物体的构造，效果较差，而且结果 好坏依据特征点的选取以及匹配点个数，性能不稳定。 密集点匹配是对图像中所有的像素点进行匹配。 由于大部分的点特征不明显， 因此很容易发生无匹配现象。尤其是存在一些灰度或颜色比较均匀的区域，需要 引入其他的一些约束条件来做出匹配判断。它的优点是信息比较充足，匹配效果 好，缺点是由于环境的多样性，对于特征点的有匹配，无匹配，多匹配问题很难 区分。 典型算法是陈胜勇等在“基于opencv的计算机视觉技术实现”中提到基于窗 口的灰度匹配原则 6。它是将给定点的周围n*n-1（如果取n=2则是周围8个像素 点）个像素点颜色值作为一个向量，这个向量就代表了这个点的环境信息。然后 类似计算目标所有像素点集的匹配向量， 进一步计算出与源向量之间的夹角的余 弦值，最大者为最佳匹配。它的前提是视点变化不大，像素点变化不明显。它的 缺点是n的大小难以确定，n太小就很容易造成误匹配现象。n太大会失去很多的 特征细节，产生类似于平滑的效果。 灰度相关直接用象素灰度进行匹配， 该方法优点是匹配结果不受特征检测精 度和密度的影响，可以得到很高的定位精度和密集的视差表面;缺点是依赖于图 像灰度统计特性，对景物表面结构以及光照反射较为敏感，因此在空间景物表面 缺乏足够纹理细节、成像失真较大(如基线长度过大)的场合存在一定困难。基于 特征的匹配方法的优点是使用从强度图像得到的特征作为匹配基元， 所以在环境 照明发生变化的情况下较为稳定;缺点是特征提取需要额外计算量，另外由于特 征是离散的，所以不能在匹配后直接得到密集的视差场。 当今学者更趋向于将立体匹配算法按照匹配的目标区域大小分为两大类： 局 部匹配算法和全局匹配算法 7。 国防科学技术大学研究生院硕士学位论文 第 12 页 2.3.1 局部匹配算法 局部匹配算法只对像素周围小区域进行约束，包括基于特征的匹配法、区域 匹配法和梯度法。基于特征的匹配往往选取图像的过零点、边缘轮廓、线段等特 征作为匹配基元，对图像的特征区域进行匹配，一般只能得到稀疏的视差图。基 于梯度的方法或者光流场方法主要是计算两幅图像间的较小的局部差。 由于各种 应用场合对致密视差图的需求越来越大，以及区域匹配法的强鲁棒性，使得区域 匹配法在局部匹配算法中占据主导地位。 基于区域的匹配方法是比较匹配点邻域 窗口之间的相似性，具有最大相似度的点被认为是匹配点。局部算法重点在于匹 配代价的计算和匹配代价的累积， 只需找出一个最小匹配代价值作为视差值即可。 匹配代价的累积主要是选取合适的匹配窗口，窗口过大或太小，都会造成视差估 计值不准，要求窗口大小与形状必须具有较强的适应性。 局部匹配算法的优点是计算量相对较小，速度快，有许多加速方法：如金字 塔多分辨率匹配、盒滤波技术运用、存储器与高速缓存效率的提高、并行加速指 令的实现、立体图对的分块并行匹配等。缺点是对遮挡区、无纹理区比较敏感， 与全局匹配方法相比其视差图误匹配率较高。 2.3.1.12.3.1.1 区域匹配算法区域匹配算法 区域匹配算法基于光度测量学不变性原理，常以邻域窗的灰度为匹配基元， 以匹配测度作为判别依据，可以得到较为密集的视差图。 从灰度相关性和非参数 变换思想两个方面可以对此进行分类。 匹配窗口构建是灰度相关性算法的研究重点，主要包括：固定窗算