（物理电子学专业论文）基于集成图像重建的虚拟视点图像阵列生成方法研究.pdf

摘要 i i iiiii il li i ill lt illl y 2 0 6 7 5 3 1 摘要 针对集成成像系统中参数不匹配问题，本文采用了基于集成成像三维重建的 虚拟视点图像阵列生成方法。在该方法中，对采集端得到的单元图像阵列进行分 析，结合透镜阵列中透镜之间的关系，提出了一种基于点对匹配的立体匹配算法， 构建起集成成像三维重建系统。并通过计算机仿真技术对三维重建系统进行了验 证，给出了三维重建评价因子，对三维重建效果进行了定量分析。 在此基础上，通过分析显示端透镜阵列参数，推导出三维重建点位置与显示 端单元图像像素坐标之间的理论对应关系。通过仿真实验对得到的理论关系进行 验证，生成显示端所需要的单元图像阵列：并结合前面给出的三维重建评价因子， 分析了不同透镜阵列参数对最终显示效果的影响。 关键字：集成成像三维重构三维图像处理计算重建 a bs t r a c t i no r d e rt os o l v et h e l e n sa r r a ym i s m a t c hp r o b l e m ，w ep r o p o s ean o v e ls c h e m e g e n e r a t i n gt h ee l e m e n ti m a g e sb a s e do nc o m p u t a t i o n a lr e c o n s t r u c t i o no fi n t e g r a l i m a g i n g i nt h ep r o p o s e dm e t h o d ，w ep r o p o s ean e wp o i n t sp a i r sb a s e ds t e r e om a t c h i n g a l g o r i t h mo nt h eb a s i so fa n a l y s eo ft h er e l a t i o n s h i pb e t w e e nt h el e n s e s 3di n f o r m a t i o n r e c o n s t r u c t i o ns y s t e mi sb u i l t t h es y s t e mw a sv e r i f i e db yt h es i m u l a t i o ne x p e r i m e n t s w ep u tf o r w a r dt h ee v a l u a t i o nf a c t o rt oa n a l y z et h er e c o n s t r u c t i o nr e s u l t o nt h i sb a s i s ，b yt h ea n a l y s i so ft h ep a r a m e t e r so fl e n sa r r a y , t h e3 d p r o f i l eo ft h e o b j e c tc a nb em o d i f i e df o rt h es p e c i f i cn e e d so ft h a td i s p l a ys y s t e m t h ee l e m e n t a l i m a g e sa r eg e n e r a t e df o rm o d i f i e d3 di n f o r m a t i o na n dg i v e nt h es y s t e mp a r a m e t e r so f t h ed i s p l a ys y s t e m f i n a l l y , t h r o u g ht h es i m u l a t i o ne x p e r i m e n t st ov e r i f yt h ee l e m e n t i m a g e s ，a n dt oa n a l y z et h ee f f e c tp r o d u c e db yd i f f e r e n tp a r a m e t e r so nt h ed i s p l a y k e y w o r d s ：i n t e g r a li m a g i n gt h r e e - d i m e n s i o n a lr e c o n s t r u c t i o n t h r e e d i m e n s i o n a li m a g ep r o c e s s i n g c o m p u t a t i o n a lr e c o n s t r u c t i o n 第一章绪论 第一章绪论 本章介绍了三维集成成像系统以及该系统中透镜阵列参数不匹配问题的研究 背景和意义，分析了国内外在该领域的研究与发展现状，给出了文章的整体结构 安排。 1 1 研究背景及重要意义 三维集成成像( i n t e g r a li m a g i n g ：i i ) 是一种采用双微透镜阵列实现视差图像 获取和空间三维图像再现的新型三维显示技术。与传统双目立体显示和多视点立 体显示相比，三维集成成像系统具有全视差( f u l lp a r a l l a x ) 、连续视点( c o n t i n u o u s v i e w p o i n t ) 、全彩色( f u l lc o l o r ) 等特点，这些优势使其在真三维立体显示、三维 图像可视化等领域具有广阔的应用前景，吸引了多国研究人员的广泛关注。 从三维集成成像原理上讲，其成像过程分为两个阶段【l 】：视差单元图像阵列 记录阶段和集成立体重构阶段，如图1 1 所示。在记录阶段，记录微透镜阵列会聚 三维目标的不同角度光线信息，在过渡像面形成视差不同的微单元图像，经中继 光学系统会聚于图像记录器件，转换为数字微单元图像；在显示阶段，微单元图 像通过高分辨率显示面板显示，由空间尺寸匹配的重构微透镜阵列进行汇聚，形 成空间真三维立体图像。 2 基于集成图像重建的虚拟视点图像阵列生成方法研究 视差单元图像阵列记录阶段和集成立体重构阶段的透镜参数的不匹配是制约 集成成像技术实际应用的重要因素之一p j 。根据三维集成成像系统的要求，记录阶 段和重构阶段的透镜阵列参数应该保持一致。这样的一致性约束限制了三维集成 成像系统的应用领域与范围。因此，在三维集成成像系统中，对于透镜参数的匹 配以及针对特定的显示端透镜参数的虚拟视点单元图像的生成成为三维集成成像 领域研究的关键性问题之一。 1 2 国内外发展现状 针对三维集成成像系统中的视差单元图像阵列记录阶段和集成立体重构阶段 的透镜参数的不匹配，国内外学者展开了比较多的研究1 3 j 。同时在基于集成成像的 计算重建( c o m p u t a t i o n a li n t e g r a li m a g i n gr e c o n s t r u c t i o n ) 研究方面，也展开了比较多 的研究工作l l 引。 1 2 1 基于集成成像的计算重建 ( 1 ) 平面图像重建 在三维集成成像计算重建的研究方面，很多研究工作集中在面面重建，通过 不同的手段改善重建出的平面图像质量。2 0 0 4 年，s e u n g h y u nh o n g 等人提出了 基于面到面的重建方法( p l a n e b y p l a n er e c o n s t r u c t i o nt e c h n i q u e ) 1 2 】，该方法通过改变 重建平面到重建模型的距离来得到不同的平面图像。但是这种方法还存在一些问 题，由于单元图像之间的交叠使得重建的最终的图像的质量会下降，而同时由于 单元图像之间的交叠像素数目的不足使得像素匹配精度的降低。在2 0 0 9 年， d o n g h a ks h i n 等人，针对三维集成成像中的面到面的重建方法进行了改进【l 引，提 出了一种像素到像素的映射技术，它与前面的面到面的重建算法相比舍弃了对原 始图像的放大，继而转向对重建结果图像的差值运算。2 0 1 0 年，王晓蕊等在像素 映射的基础上对原有的插值算法进行了改进【1 9 1 ，得到了更好的重建图像效果。 以上提到的研究工作都是围绕平面图像的重建展开，并没有重建出物体真实 三维结构和几何信息，限制了其在三维立体显示和其他方面的应用。 ( 2 ) 物体三维结构与轮廓重建 基于三维集成成像计算重建的另一个研究领域是对三维物体真实结构和轮廓 的重建【2 0 】。在已有的关于三维物体结构的重建研究中，n a e m w a 【2 0 】等人以h d t v 相机作为三维集成成像的采集源，通过合成和显示不同视角的图像实现了对三维 物体轮廓的重建。2 0 0 4 年，s e u n g h y u nh o n g 2 1 1 等人对如何提高三维重建质量进行 了讨论，作者提出通过垂直移动透镜阵列的技术( m a l t ) 来实现对单元图像的数 目的增加，从而提高对三维物体的重建的精度。y a n nf r a u d 2 2 】等人在2 0 0 2 对基于 第一章绪论 不同视角单元图像的三维重建进行了论述，列出了重建算法，该算法首先对单元 图像进行筛选，对筛选出来的单元图像进行重建处理，然后使用立体匹配算法找 到点与点之间的匹配关系，进而求出每一个点的深度，完成对物体三维信息的重 建。c l p a s s a l i s l 2 3 1 等人的重建算法首先是对单元图像的像素进行了筛选，对每一幅 单元图像的中心点进行重建计算，在中心点的重建点之间插入其它的点作为新的 重建点，求出所有重建点的三维信息，继而得出物体的三维结构与轮廓。 1 2 2 集成成像透镜参数不匹配研究 三维集成成像系统中的视差单元图像阵列记录阶段和集成立体重构阶段的透 镜参数的不匹配，国内外很多学者做了比较多的研究工作。 有研究者利用单元图像偏移或者是同比率缩放的方法【5 j 来解决不匹配的问 题。在单元图像偏移的方法中，单元图像相对于各自中心进行偏移，虽然能从一 定程度上解决透镜参数不匹配问题，但是其同时也存在着将最终的三维图像在深 度方向上放大或者是缩小。在同比率缩放算法中【4 j ，每一个单元图像的缩放比率由 采集端和显示端的透镜参数所决定，形成同比率放大或缩小的最终显示图像。但 是该方法对重建透镜参数有严格的要求，采集端和显示端的透镜必须具有相同的 数目。2 0 1 0 年，h n a v a 肿【l l j 等人提出了一种智能深度反转模型的方法，通过合成 中间微单元图像阵列来协调记录端和重建显示端的不同的透镜参数，进而解决透 镜参数不匹配的问题。 j a e h y e u n gp a r k t 3 j 等人在2 0 0 4 年提出了一种全新的解决透镜参数匹配的方 法，在提出的方法中，通过获得的采集端的单元图像以及采集端的透镜参数获得 物体的三维结构和轮廓信息，进而根据显示端的透镜参数要求生成显示所需的单 元图像阵列。其能解决透镜参数不匹配问题中的各种具体情况，因此该算法具有 广泛的普适性。本文以该方法作为解决透镜参数不匹配问题的理论基础。 1 3 本文研究内容 1 3 1 课题来源 本课题来源于国家自然科学基金项目“三维集成成像特性理论表征研 究”。 1 3 2 研究内容 本文针对三维集成成像系统中的视差单元图像阵列记录阶段和集成立体重构 阶段的透镜参数的不匹配问题展开研究，结合已有的三维集成成像重建理论，对 透镜数目、透镜焦距、排布方式、大小等透镜参数不匹配问题进行深入的理论分 析，得出该问题的解决思路与方法。根据视差单元图像记录阶段得到的单元图像 4 基于集成图像重建的虚拟视点图像阵列生成方法研究 阵列，利用多幅单元图像立体匹配的方法计算重建出物体的三维结构与轮廓，并 对重建结果进行评价：利用得到的物体三维信息，生成立体重构阶段的透镜参数 所需要的单元图像阵列，使透镜参数不匹配问题得以解决。 1 3 3 论文结构 本文针对三维集成成像系统参数不匹配问题展开研究，全文的结构组织如下： 第一章，绪论。详细介绍三维集成成像系统以及透镜阵列参数不匹配问题的 研究背景和意义，国内外的研究动态，给出了本文的结构安排。 第二章，三维集成成像系统透镜参数不匹配理论分析。从理论上分析集成成 像系统中透镜阵列参数不匹配问题出现的原因，给出基于三维重建的虚拟视点生 成解决方案的基本框架和实现思路。 第三章，基于三维集成成像的物体三维信息重建。依据三维集成成像特性， 以立体视觉理论为基础，依据已有的立体匹配理论，建立单元图像像素到重建三 维物体点的精确映射关系，实现了三维集成图像的重建，并对不同参数对三维重 建结果的影响进行分析。 第四章，三维集成成像系统中虚拟视点生成。结合显示端透镜阵列参数，以 及重建出的物体三维信息、显示控制参数，通过理论推导出显示端单元图像像素 坐标与物体三维重建点之间位置转换关系，生成显示用单元图像阵列。并通过仿 真实验对理论推导进行验证，分析比较不同参数对单元图像质量所产生的影响。 第五章，结论。对全文的研究内容进行了总结，列出了针对三维集成成像系 统参数不匹配问题本文所展开的工作，并对本文中研究方面的不足展开了讨论。 第二章集成成像系统透镜参数不匹配理论分析 5 第二章集成成像系统透镜参数不匹配理论分析 本章对集成成像系统中透镜阵列参数不匹配问题进行理论分析，分析了参数 不匹配问题对集成成像系统所带来的影响，并提出了基于三维重建理论的解决方 法，列出了该方法实现的主要关键技术，最后对该方法对三维集成成像系统的影 响进行了分析。 2 1 集成成像系统透镜参数不匹配 三维集成成像系统组成如图1 1 所示，包括视差单元图像阵列记录阶段和集 成立体重构阶段。在视差单元图像阵列记录和集成立体重构阶段都使用透镜阵列 来完成光线的传输，而根据光线可逆性要求，采集端和重构显示端其透镜参数应 该保持一致。透镜参数的一致性要求严格限制了集成成像技术的应用于推广。例 如在基于三维集成成像的3 d 裸眼电视中，电视机会有不同的面板尺寸要求，因此 重构显示端的透镜参数类型较多，并不能保证与采集端的透镜参数完全匹配。 对于记录采集阶段和重构显示阶段的透镜参数匹配，其不仅包括两端透镜阵 列中透镜数目上的不同，还包括透镜焦距、排布方式、大小等其它参数的不一致。 针对特定的显示效果要求，重构显示端的透镜需要有特定的参数规格，因此对显 示端的单元图像的特性提出了较高的要求。亨 2 2 基于三维重建的虚拟视点生成 针对三维集成成像系统中的透镜参数不匹配问题，根据已有的研究成果，并 结合实际的应用要求，本文实现了基于三维重建的透镜参数不匹配的解决方案， 并生成显示端透镜阵列所需的虚拟视点的单元图像阵列。在该方案中，利用阵列 图像记录阶段的单元图像计算重建出物体的三维结构与轮廓信息，然后根据重建 显示端的透镜参数要求生成虚拟视点的单元图像阵列。 为了让重建显示端生成显示所需的虚拟视点的单元图像阵列，需要利用采集 端得到的单元图像阵列计算重建出物体的三维信息，其中包括物体的三维结构信 息：厚度、高度、横向面积等，以及物体的三维纹理信息：颜色、灰度等。根据 重建显示端的透镜参数生成虚拟视点，其中显示端的透镜参数包括透镜的数目、 焦距、排布规则等。在虚拟视点生成时，根据计算重建出的物体的三维结构信息， 并结合显示端的透镜参数可以计算出每一个重建结果点对应的虚拟视点的位置， 进而在最终的虚拟视点对应的单元图像中找到该重建结果点对应的像素位置，再 加上重建结果中的物体的三维纹理信息，得到最终的单元图像阵列。由于该方法 完全利用了采集记录端的透镜和单元图像信息，并根据重建显示端的透镜参数重 新采集了显示所需的虚拟视点的单元图像阵列，因此该方法能够去除重建显示端 与图像记录端的透镜参数不匹配问题。该方法的示意过程如下图所示： 6 基于集成图像重建的虚拟视点图像阵列生成方法研究 采集 物体三维信息 显示 一器陉一 连躺体 图2 - l 基于三维重建的单元图像阵列生成 在该方法中，为了能够较好的解决透镜参数不匹配问题，其中需要解决的关 键问题包括a 利用采集记录端得到的单元图像阵列，结合透镜阵列中透镜参数和 位置关系求取物体的三维信息；b 根据求取的物体三维信息以及显示端透镜阵列 的参数生成虚拟视点的单元图像阵列。以上两个问题，尤其是物体三维信息的求 取是影响匹配效果的关键因素。以下列出该方法的总体实施方案。 图2 - 2 总体实施方案 物体的三维信息求取，其属于集成成像系统的计算重建的重要研究方向之一。 集成成像系统的计算重建在2 0 0 4 年由s h h o n g l 2 l 】等人提出，它的提出目的是为 了消除三维集成成像系统中由于光学条件的限制而对光学重建产生的影响。集成 成像的计算重建是根据经典立体视觉中的透镜模型【3 5 1 ，模拟透镜成像原理，根据 透镜阵列中的各透镜的排布位置关系，以及像素区域之间的配准关系，计算出物 体的三维轮廓和表面信息。集成成像系统的三维信息求取与现有的计算机视觉领 域的三维信息求取有很多相似之处，它们在基本的立体视觉理论方面以及立体匹 配算法方面p 列都是相通的。但是传统的立体视觉系统和三维集成成像系统之间还 是存在一定的差异。传统的立体视觉系统1 3 5 1 ，其通过两个或者是多个相机组成双 目或者是多目视觉系统，而在集成成像系统中，它是由一个相机和透镜阵列组成， 因此集成成像系统比原始的立体视觉系统能够提供更多的视点【3 1 ，而更多的视点又 增加了立体匹配算法中进行相似性判定的正确性。而且集成成像系统中图像的总 o 霎j 羹_ 嗨 ，j 鼍 谬 第二章集成成像系统透镜参数不匹配理论分析 7 的像素数目少，因此在重建时间上也要优于传统的立体视觉系统。 虚拟视点单元图像阵列的生成以三维集成成像系统的微单元图像的计算生成 【1 2 】为研究基础，微单元图像的计算生成是通过计算以及模拟的手段对空间光线进 行采样。一般的成像过程是对于物体上的每一个光点，会有无数条光线发出，而 通过透镜中心与成像探测器平面相交的光线，被成像探测器的成像单元所感知， 形成单元图像上的一个像素，而计算生成微单元图像是对该过程的计算机仿真， 用计算的方法模拟光线的传输，进而形成单元图像阵列。虚拟视点的单元图像阵 列的生成是根据计算重建出的物体的三维信息中的每一个点的特点和位置要求， 以几何光学为基础，结合重构显示端的透镜阵列的参数要求，生成所需要的单元 图像阵列。 2 3 基于三维重建的虚拟视点生成对集成成像系统参数影响 在基于三维重建的透镜不匹配问题的解决方案中，由于采集到的单元图像并 不是直接用于显示，而是先用于重建分析以获得物体三维信息，所以该方法使集 成成像系统中由于光学效应或者是硬件条件限制产生的影响能够消除。其中的主 要光学效应及硬件限制条件包括：记录采集端透镜阵列中的透镜不平行、记录采 集端所记录的物体与重构显示端所显示的三维像之间的深度反转等。 ( 1 ) 记录采集端透镜不平行对三维显示效果的影响 在三维集成成像系统中，采集记录端的透镜阵列的排布根据理论要求应该是 完全平行，而在实际的应用系统中，并不能保证透镜阵列中的所有透镜相互平行， 而记录采集端的透镜不平行必然会导致重构显示端的重构和显示效果扭曲。针对 不平行问题，已有的解决办法是在记录采集端的c c d 前面加一个能够完全覆盖透 镜阵列的大透镜，该透镜的作用是使原来不平行的透镜产生的单元图像阵列重新 在该透镜的焦平面上进行汇聚，使单元图像之间重新实现平行。当利用三维重建 结果生成显示端所需的单元图像时，采集得到的单元图像不再直接用于显示，因 此可以将记录采集端的大透镜去掉，而在重构物体三维信息时，加入图像处理的 方式可以使透镜不平行得以消除。这样使得三维集成成像系统的光学设计得以简 化。 ( 2 ) 三维显示中出现的深度反转 在三维集成成像系统中，由于记录采集端和重构显示端之间存在着相反的观 察方向，根据光线的直线传播，最终显示的三维物体的像从人眼观察的角度出发， 会出现深度反转的情况。在传统的集成成像系统中，为了避免该问题一般采用两 种方式来解决，一种通过绕着图像中心旋转单元图像进而形成具有一定倾斜度的 单元图像阵列，另一种是通过数字图像处理的方式加以解决。然而以上的方法会 带来重建物体在深度方向的扭曲变形。当先利用采集到的单元图像进行三维重建 8 基于集成图像重建的虚拟视点图像阵列生成方法研究 之后，可以将计算重建之后得到的物体的三维信息进行深度反转，然后再进行显 示端的单元图像的采集，这样的处理方式不会在任何方向出现扭曲，因为每一个 点的深度信息都可以直接获得。 ( 3 ) 重建显示端透镜参数对三维显示效果的影响 根据三维集成成像系统的特点，最终在重建显示端所显示的三维效果的分辨 率由重建显示端的透镜参数所决定，例如在三维集成成像系统中，如果重建显示 端的透镜间距较大的话，显示的三维效果的分辨率会比较高但是其并不能显示深 度较大的三维物体；而如果物体所形成的单元图像阵列与透镜焦距相比相对比较 大，会由于透镜阵列在图像像素与显示平面之间具有较大放大倍率，形成的显示 效果分辨率会很低。因此为了得到比较好的三维显示效果，显示物体的距离、深 度以及离透镜阵列的距离都应该依据重建显示端的透镜焦距等其它参数进行选 择。而在原始的三维集成成像系统中，只能根据记录采集端得到的单元图像阵列 进行显示，并不能人为的去调整，而在采用了该解决方法之后，可以将得到的重 建三维信息进行任意的调整以满足显示端透镜阵列参数的需要。因此，采用该方 法对集成成像系统进行优化以后，与基本的集成成像系统相比会得到更好的三维 显示效果。 从以上的分析可以得出，采用基于三维重建的透镜参数不匹配问题的解决方 案可以很好的解决集成成像系统中许多已有的问题。与其它已有的方法相比，该 方法对集成成像系统中某些问题的解决具有很好的鲁棒性。但是该方法并不能解 决三维集成成像系统中的所有问题，例如由于单个相机采集而引起的每一幅单元 图像的分辨率较低问题、透镜阵列中单个透镜的视场角比较狭窄等集成成像系统 中的共性问题。 2 4 小结 本章主要围绕三维集成成像系统中的记录采集阶段和重构显示阶段的透镜参 数不匹配问题展开讨论，从理论上对透镜参数不匹配问题进行了分析和研究。对 透镜参数不匹配问题的产生原因和影响进行了介绍，列举了严格要求的透镜参数 匹配对集成成像系统发展所带来的问题；提出了基于三维重建的透镜参数不匹配 的解决方案，对方案的总体结构和实现思路进行了阐述，并对实现过程中可能遇 见的问题进行了说明；最后举例说明了采用该解决方案对三维集成成像系统参数 所产生的影响。 第三章基于集成成像的物体三维信息重建 9 第三章基于集成成像的物体三维信息重建 本章围绕三维集成成像系统的三维信息重建展开，分析了三维集成成像系统 与计算机视觉领域的三维重建的差异，对三维集成成像系统中的数学模型进行了 理论推导，介绍了三维集成成像系统三维重建的基本思路和方法，结合具体的集 成成像系统特点重建出了物体的三维信息，并对重建结果进行了定量评价。 3 1 集成成像三维重建与传统计算机视觉三维重建比较 获得物体的三维信息已经成为制约很多应用领域发展的最为关键的问题，同 时在最近几十年中它也吸引了众多的研究者对其展开研究。在获取物体三维信息 的研究领域中，比较成熟的研究方向是计算机视觉【3 5 】，其通过两个或多个相机对 物体进行同时采集，然后通过立体匹配等处理方式从图像中得到物体的三维信息。 然而对于一般的计算机视觉系统，其需要两个或者多个相机，因此该系统一般总 体都比较庞大，且单个相机的相机内部参数以及相机之间位置参数都需要利用标 定靶进行严格的标定校准。而在最近，随着高分辨率c c d 等采集设备的出现以及 人们对立体视觉领域研究的更进一步深入，三维集成成像吸引了越来越多人的注 意【1 1 ，其通过透镜阵列作为中间形式对三维物体的信息进行采集以及重新显示。从 结构上来说，三维集成成像系统要比传统的计算机视觉系统小巧，而且在实际操 作使用上，三维集成成像系统不需要进行预先的校准处理；但其也存在着与计算 机视觉采集的图像相比视场角小、像素分辨率低等缺点。 誓茔 图3 - 1 计算机视觉与集成成像系统 为了求取物体的三维信息，需要获得多幅图像或者多个视点所之间像素之间 的匹配关系【3 5 】，【3 7 】。很多立体匹配算法是通过求取最小化的匹配参数来求取像素之 间的匹配关系。然而在进行匹配参数最小值求取时，会出现同时存在多个最小值 或者求取的最小值由于像素之间的相似性，而导致的对应的匹配关系并不是真实 的像素点匹配关系等情况，其增加了立体匹配算法实施的不确定性，也给最终求 取的物体三维信息带来了较大的误差。我们定义像素之间的差值平方和作为匹配 参数，通过分析立体匹配算法在计算机视觉系统和三维集成成像系统中的实现过 程来比较两者之间的差异。 定义区域n x n 作为立体匹配算法中像素点的相似性求取范围，需要在给定 像素为中心的n x n 的像素与其它匹配图像中的像素点的n n 区域中相对应的 l o 基于集成图像重建的虚拟视点图像阵列生成方法研究 点之间求取差值平方，最后对求取的个差值平方求和。此处以计算机视觉系 统中经典的双目视觉系统作为分析原型，其它情况与其类似。 根据双目视觉系统的特点，建立相似性评价因子e ，在立体匹配算法中，为 了验证左图像中的某一个像素点是否和右图像中的某一个像素点匹配，求取相似 性评价因子e ，根据相机之间的位置特点有： ，2 e = 瓯 + f ，v + j ) - g r + f ，v + 叫2 ( 3 1 ) i = - n 2 j = - n 2 其中g ，和g r 分别表示左右两幅图像的图像灰度矩阵。 在三维集成成像系统中，由于单元图像以阵列的形式呈现，在评价因子e 的 求取时会引入更多的图像信息。引入参数形和日作为选取的单元图像的阵列范围。 针对三维集成成像系统，参数e 可以表示为： w f 2h | 2n 汜n 1 2 e = k ，。 + f ，y + ) 一瓯+ ，朋 + f ，v + ) 】2 ( 3 2 ) l = 一w 1 2y = 一h 1 2i = 一n 1 2j = 一n 1 2 其中g 。表示第m 行第”列的单元图像的图像灰度矩阵。 从求取的双目视觉系统和三维集成成像系统的评价因子e 的表达式中，可以 看出三维集成成像系统中参数e 所求取的差值平方和的相加项要多于双日立体视 觉，从随机估计角度出发，其匹配结果的准确性要优于双目立体视觉系统。但是 由于三维集成成像系统中，单元图像像素分辨率较低，在参数e 表达式中，其限 制了参数的取值范围，而其又使得集成成像系统匹配结果的准确性有所下降。 集成成像所具有的多个视点和单元图像像素分辨率的特点，在求取立体匹配算法 中，其对评价结果产生相反的影响。 3 2 集成成像系统中的基本几何关系理论 在集成成像的记录过程中，对真实三维物体进行拍摄，采集得到不同视角的 单元图像。由于透镜阵列中各透镜相对于三维物体位置排列的不同，每一幅单元 图像所采集到的物体信息也不同。 第三章基于集成成像的物体三维信息重建11 一副罩兀图傈 图3 - 2 单元图像对三维物体信息记录 三维集成成像视差单元图像阵列的记录如图所示，单元图像记录下三维物体 的几何和位置关系。三维信息重建过程其目的是从单元图像所记录的平面信息中 重建出三维物体真实的结构与轮廓。 三维集成成像系统中透镜之间所形成的阵列关系，其与已有的计算机视觉系 统中的相机位置关系相类似，在此处结合计算机视觉理论中的坐标位置关系对三 维集成成像系统中的图像位置关系加以分析。一般的透镜成像模型如副3 3 】： p ( x w ，y 霄，z w ) 0 1 p ( u 。v 一。 ， 图3 3 透镜成像模型 采集到的单元图像阵列是以数字图像的形式在计算机中呈现，所以建立图像 坐标系，为透镜阵列中的每一个透镜建立单独的图像坐标系，以每一幅单元图像 左上角点作为图像坐标系坐标原点，单元图像中的每一个像素的坐标( 甜，1 ，) 分别是 该像素在得到的单元图像的图像数组中的列数和行数，所以( “， ，) 是以像素为单位 的坐标。由于( 甜，1 ，) 只表示像素位于数组中的行数和列数，并没有用物理单位表示 该像素在图像中的位置。因而建立以物理单位( 常用m m ) 表示的图像尺寸坐标系， 该坐标系以单元图像中图像坐标系坐标为( ，1 ，。) 的点为坐标原点，其坐标轴平行 于图像坐标系的坐标轴，设定似。，v 。) 点为单元图像的像素数目的1 2 。设单元图像 中每一个像素的横向实际尺寸为d x m m ，纵向实际尺寸为咖m m 。则单元图像中任 意一个像素在两个坐标系下的关系用齐次坐标和矩阵形式表示为： 1 2 基于集成图像重建的虚拟视点图像阵列生成方法研究 ( u - u o ) d x = x 寸 i = 喜善二毒霉 辜 c 3 3 ， 空间某点p 在欧几里z 可, 一4 ，翰- i 系与透镜坐标系下的齐次坐标分别为( x w y 。z 。) r 与( t 儿z 。) r 。其存在转化关系： t y c z c 1 = 瞄 = m y w z ” l ( 3 4 ) r 为3 3 的正交单位矩阵，f 为三维平移向量，f = ( ，0 ，t ：) ，o = ( 0 ，0 ，o ) 为0 向 量。向量此式即为两个坐标系之间的转化关系，在此不作推导。设该点所对应的 图像尺寸坐标为( x ，y ) 。可以得到方程： 写成矩阵形式为： 代入( 3 3 ) 式可得： 0 o 乙簖0硼=00 010 厂 乙i方一v 0 砂l lvi = l l人1 j l z c x z c y ，、r 芰 j t z 。 f 1 ( 3 - 5 ) ( 3 6 ) 儿乙 iuii川i一 ，l 厂一乙厂一乙 = l i 、，、， x 一 上儿 一 儿乙 ，f。l 、l o 0 0 o 0 1 ，0 o ，。一 = 、j x y 1 ，。，。l z r 0 ，_ 、_、 o 0 0 o o l0厂o 第三章基于集成成像的物体三维信息重建1 3 料 x w rf 、i 凡 0ij l 乙 l i ( 3 7 ) 假设欧几里得坐标系下的任意一点p 的坐标为( x w , y 。，z 。) 。设该点尸在第i 行，第列的单元图像上的对应坐标点为p ( ，屹) ，根据上面的公式推导以及关系 设定可以得出( x 。，y 。，z 。) 与( ， ，f ，) 之间存在如下的关系： 料 常 0 | 如 o ： i ( 3 - 8 ) s 为比例系数，厂为透镜焦距，出、咖分别表示单元图像上的“、，方向单 个像素的实际长度，、1 1 d 为单元图像中心， 参： 表示该单元图像的透镜坐标 该坐标系的转换式 ；， 可以写成4 维单位矩阵e 。根据三维集成成像系统中透 距离为a x ，垂直相邻透镜之间的距离为a y ，可以得到第f 行第列的单元图像的 r = 0 1 0 帼tc3-9lo 0 l j 0 ， = il ，= i 脚i ( ) 【j h儿乙 厂，u00刀il 卜旷0 0 n r 0 0 0 o 咖u 吆o 0o厂万。 厂一出o o r 旷 1 卜j i i i j l 0 0 o 1 4 基于集成图像重建的虚拟视点图像阵列生成方法研究 已知焦距厂等其它参数，加上此处的r 和t ，我们可以得到第f 行，第，列的单元图 像的像素点p ( ，h ) 与欧几里得坐标系下的对应点尸( h ，y 。，z 。) 坐标之间的对应关 系，设它们的关系矩阵为，即： m 叶坞 x w y 。 z w l m _ m i t 叶匕 铂23m 1 4 m 2 2 m 2 3肌2 4 2m 3 3 ，4 3 3 基于点对匹配的单元图像立体匹配算法 在三维集成成像系统中，假设重建出的三维物体所在的坐标系为欧几里得坐 标系，已知第f 行，第j 列的单元图像上的点的像素坐标p ( ，峋) ，设该点是欧几 里得坐标为 。，y 。，黜实际物体点p 在该单元图像上的投影点。根据三维集成成 像系统中透镜阵列之间的位置关系，以及立体视觉理论【3 5 】可以得到坐标( x 。，y 。，z ，) 与( ，b ) 之间存在如下的关系： 刚疆毫毫 ( 3 1 0 ) 由上面的式子可知，如果要重建出点p ( ，) 所对应的实际物体点p 的欧几里得坐 标p ( x 。，y 。，z 。) ，至少应该知道点p ( x 。，y 。，z ，) 在另一幅单元图像中的投影点的坐标 p ( ，) ，这样能够组成一个三元一次的方程组，方程组由四个不相关的方程组 成，通过最小二乘法求取方程组的解，最终求出点p ( h ，儿，z 。) 的坐标。 图3 - 3 单元图像中像素点筛选 在三维集成成像系统中，如果对单元图像中的所有像素点进行重建，其重建 时间和计算量很大，所以对单元图像中的像素点进行筛选，只对一部分点进行重 儿， 广州iiiiiii广j 第三章基于集成成像的物体三维信息重建 建。定义参数疗、m ，代表在单元图像中每刀m 个像素点选取一个点作为需要重 建的点，刀表示行行，m 表示m 列，以和m 的值由要求的重构精度所决定。图展示 了当，= 2 ，m = 2 是所选取的重建点，图中单元图像每4 个像素点选取一个点作为 重建点。这样的选取在满足精度的前提下可以使三维重建过程的计算时间和计算 消耗降低。 从上面的理论可以知道，为了能够重建出单元图像中的某一个具体像素点其 所对应的物体点的欧几里得坐标，至少需要知道该像素点在其它另一副单元图像 中的匹配点。在经典的立体视觉处理系统中，一般选取一副图像来寻找相应的匹 配点。而在三维集成成像系统中，由于单元图像之间视点连续，且相邻视点之间 的差异较小，可以在多幅单元图像进行匹配点选取，多幅图像的匹配可以提高点 对之间的匹配准确度，进而提高重建的精度。 l ，l 3 7 几 j 7 一 ，l 2 鼻 r ，一 图3 - 4 毛、乞、k ，、也位置关系 在多幅匹配单元图像选取时，为了使匹配效果达到最佳，本文提出了一种动 态设定匹配单元图像位置的算法。假设需要重建出第f 行，列的单元图像中像素坐 标为( ，) 的点p 。定义参数七，以第衍亍歹列的单元图像为中心选取4 后幅单元 图像来寻找点p 的匹配点，4 x k 幅单元图像的位置由需要匹配的单元图像位置 ( f ，) 和p 点的像素位置( ，v ：f ) 动态设置。所有单元图像具有相同的大小，宽为w ， 高为h 。定义毛、乞、毛、缸四个变量，分别表示以( 屯) 为中心的四个垂直方向 选取的匹配单元图像的个数，如图所示，它们满足关系式： 1 6 基于集成图像重建的虚拟视点图像阵列生成方法研究 墨+ 乞= 2 x k 恕+ 屯= 2 x k 生：上 kw l | | i 包一 1 ，：f ， = = ：一 屯h - v v ( 3 1 1 ) 这种用像素位置( ，1 ，：f ，) 来决定位置毛、如、毛、也的匹配单元图像选取方法， 在k 值不变的情况下使得像素点p ( u ，j ，v i ，) 能够在更多的单元图像中找到匹配点，使 得最后重建结果的精度提高。而对于该算法中k 值的选取其主要依据单元图像的像 素分辨率以及单元图像的数目共同来确定。当求取的毛、如、岛、缸出现以下的 特殊情况时，根据具体的情况需要重新确定各个量得取值： 当f 一毛 w ，k 2 重新设定为w f ，毛重新设定为2 xk + f w ； 当一恕 h ，缸重新设定为h - j ，毛重新设定为2 x k + j - h 。 与其它已有的集成成像三维重建算法相比，本文提出的动态设定匹配单元图像位 置的方法结合了三维集成成像系统的单元图像多且形成规则阵列的特点，以及计 算机视觉中立体匹配理论，使得三维重建后续的匹配算法在同等条件下精度有所 提高，但同时使计算时间在匹配单元图像数目相同的情况下有所降低。 图3 - 5 三维物体到透镜阵列的位置关系 对多幅匹配单元图像的位置选取进行了讨论，为了能从多幅单元图像中找出 第三章基于集成成像的物体三维信息重建 1 7 给定像素点的最佳匹配结果，结合三维集成成像系统的特点，提出了一种立体匹 配算法。以第f 行，列单元图像中的点p ( u 1 ，) 进行讨论。已知三维物体到透镜阵 列的距离为q 嗽( 该数据在单元图像采集时需要同时测定) ，其中的表 示三维物体上点到透镜阵列的最近距离，仇。表示三维物体上点到透镜阵列最远 距离。按照重构精度要求，将到d m 戡分成n + i 层，相邻两层之间的距离为 a d = ( d 黼一) ，这样的设定表示重建结果中的点只会出现在+ 1 层与透镜 阵列平行的平面上。用d ，表示n + i 层分割平面中第x 层平面到透镜阵列的距离： d 。= ( x 1 ) a d + d m i 。 ( 3 1 2 ) 当x = 1 时，其表示三维物体到条件阵列的最近距离，x = n + i 时，其表示三 维物体到条件阵列的最远距离风。，。 假设点p ( ，q ，) 重建出的物体点的欧几里得坐标( ，儿，z 。) 中z 。= 皿，由 ( 3 1 0 ) 式可以得出，在已知甜护，z 。的情况下可以计算出p 点的欧几里得三维坐标 ( x wy 。，z 。) ；同样根据( 3 一l o ) 式可以推知，当已知点e ( x w ，y ，z 。) 的欧几里得坐标7 时，可以在4 k 幅选出的匹配单元图像中通过求解方程计算出点p ( x 。，y 。，z 。) 的相 对应的投影点的像素坐标。根据上面的理论分析可以得出，对于点p ( u ，i ，屹) ，在假 设z 。，= d 。的情况下，可以得到该点在4xk 幅匹配单元图像中的相对应的匹配点的 像素位置坐标。 为了求取最佳的立体匹配结果，建立匹配参数g ，。对4 k 幅匹配单元图像中 点p ( u u 1 ，盯) 的匹配点以及点p ( u v , ) 分别以其像素坐标为中心求取8 邻域灰度均 值，可以得到4 x k + 1 个灰度均值，然后对求得的4 x k + 1 个均值求取标准差，标准 差反映了这4 x k + 1 个灰度均值之间的相似性，将该标准差标记为g 。 改变q ，使见从q 变化到d + ，可以得到+ 1 个q ，将其分别标记为g l 、 g 2 、g 卅。定义关系式： a = m i n ( g l ，g 2 ，g “) ( 3 1 3 ) 彳代表了g 1 到g + ，的最小值，将满足关系式( 3 1 3 ) 的一组匹配点选为最佳匹配 点，找出最佳匹配点所对应的d 。值，根据前面的推导，在已知z 。= d x 的情况下 可以得到点p ( u 。，) 所对应的实际物体点p 的欧几里得坐标尸( x 。，y w ，z 。) ，即通过 上面的立体匹配过程重建出了像素点的欧几里得坐标。 物体的三维信息除了上面求取的三维结构坐标信息以外，还包括点的三维纹 理信息。根据求取的点p 的欧几里得坐标p ( ，y 。，z 。) 我们可以在4 k 幅选出的匹 配单元图像中通过求解方程计算出点e ( x 。，儿，z 。) 的相对应的投影点的像素坐标， 并将4 k 幅匹配单元图像中匹配点的像素坐标分别表示为 。，。) ， 1 8 基于集成图像重建的虚拟视点图像阵列生成方法研究 胛= l ，2 4 xk 。定义该点对应的三维重建结果的纹理色彩信息为矿，根据色彩信 息的特点v 应该由红、绿、蓝三分量组成，将其分别表示为k 、，存在下 面的关系式： 挚 伤 哆 ( 3 1 4 ) 其中，g 卫( “。，吒) 、q g ( ，屹) 、e ，口( 甜。，) 分别表示4 k 幅匹配单元图像中匹配 点的色彩图像信息中的红、绿、蓝三分量，c r ( ，_ ) 、c g ( ”妒v f ) 、g ( ，1 ，：f ) 为点p ( u 。，) 的红、绿、蓝三分量。通过上面的方法计算得出了重建物体点的三维 纹理信息，为后续的显示或生存单元图像阵列提供了可能。 上面列出了重建单个点三维信息的方法，为了重建出整个三维物体，对通过 前面算法筛选出的需要重建的每一个单元图像像素点重复上面的方法进行重建， 重建出每一个像素点对应的实际的欧几里得坐标，并结合三维纹理信息求取方法 求取出每一个像素点所对应的欧几里得坐标的三维纹理信息，将所有的像素点的 重建结果放在一起形成密集的点云，从总体上重建和显示出整个物体的三维轮廓 和表面信息。 3 4 重建算法验证与结果分析 上面对三维集成成像系统的三维重建算法进行了详细的说明。通过一些实验 对上面列出的算法进行了验证，并对验证得到的重建结果进行了评价分析。 3 4 1 重建算法的验证 为了验证重建算法，需要生成三维重建所需要的单元图像阵列。而微单元图 像的生成一般采用计算生成的方式来实现，即通过计算机模拟的方式来实现对光 线传输过程的仿真，继而形成微单元图像阵列。计算机的模拟计算生成微单元图 像的过程是一个综合了透镜焦距、透镜尺寸、采集设备像元尺寸、物体到透镜阵 列距离等众多因素之后的计算仿真过程。本文使用计算机三维仿真技术完成对实 验方案中视差单元图像的采集，三维物体模型和透镜阵列都是采用d i r e c t3 d 技术 模拟实现的，在采集过程中综合了上面列出的参数得到需要的单元图像阵列。图 3 - 6 分别展示了d i r e c t3 d 技术模拟的原始三维物体( a ) 、透镜阵列采集之后得到的 1川jj 1 _ 1 吼 耽 睨 “ 帆 玉 白 函 g g e 锵脚锵硝撕时 。一一。一一。一一 第三章基于集成成像的物体三维信息重建1 9 单元图像阵列( b ) 。其中透镜数目为6 4 6 4 ，透镜阵列大小为7 4 r a m x7 4 r a m ，透 镜焦距为7 5 m m ，单元图像像素为1 0 0 x1 0 0 。 a ：三维物体 b ：6 4 x6 4 的