开题报告典范

基于多摄像机的物体三维重建方法研究二 选题依据从二维数字图像获取场景三维信息是计算机视觉的基本任务。近二十多年来，基于被动视觉的立体视觉方法在三维信息的获取方面取得了很大的成功，被广泛应用于例如物体三维建模、自主机器人导航、基于视觉的产品质量检测和医疗图像处理等诸多方面。随着集成电路的快速发展，当今廉价的数字摄像机可提供与以往高端摄像机相比拟的成像质量，加之计算机计算能力的提升，使得使用多个廉价数字摄像机从不同视点拍摄场景的图像，之后在可接受的时间内，由这些图像有效地生成场景的三维模型，最后合成新视点的图像这一过程成为现实。主观需求和客观条件的具备使得在计算机图形学、机器视觉和图像处理领域，基于多摄像机的物体三维重建技术受到了极大的重视，该技术突破了传统双摄像机三维重建技术的局限性，通过定义适当的模型，利用冗余信息获得了更稠密、更精确的场景三维信息。由多个摄像机重建三维场景的方法主要可分为两大类：多摄像机立体重建（multiplecameras stereo reconstruction）和体积方法重建（volumetric reconstruction）。1. 多摄像机立体重建是三维重建的经典方法1。 该方法在不同的输入图像的子集上执行立体对应性算法，这些子集通常由2-6 幅邻近的图像组构成，由此得到多幅从不同视点观察到的表示空间3d 点的视差图，之后基于多幅这样的存在噪音的视差图进行诸如网面数据对齐、几何数据融合等操作推断场景物体的表面。实现该方法的关键在于确定精确的对应性。2. 基于体积的重建方法在离散的3d 空间中重建场景，将待重建的场景包括在一个重建体积中，该重建体积指定重建执行的空间区域。重建体积被分割成体素（voxel ），在真实世界空间中形成了一个体素空间。基于体积的三维重建方法即确定可以精确表示场景物体的体素的集合。对没有透明物体存在的场景来说，所有的体素处于三种状态中的一种：表面体素表示场景中物体的表面，内部体素对任何摄像机都不可见，代表重建表面的内部体积，空体素代表空的空间。当前已有的方法包括体积交集方法（ volumetric intersection）、体素颜色方法（voxel coloring）和层次集方法（level set methods）。体积交集方法使用从参考图像观测的物体的轮廓重建表面和内部的体素。这些算法首先执行图 像分割算法，将输入图形分割成为包括前景和背景的二值图像，前景表示待重建的物体，之后 对每幅图像中的前景区域进行反投影，由于已知各摄像机的内外部参数，可以求得这些反投影 的光线在空间中的交集，形成一个体积，该体积即为场景的三维重建。体积交集方法可以从多 摄像机简单有效地重建场景4，但其也存在两个关键的缺陷：首先，图像的前景和背景分割作为一个经典问题， 始终没有得到很好的解决，因此不能对所有的场景自动地完成前景背景分割； 其次，由于使用二值图像进行处理，这类算法舍弃了原图像中有用的颜色信息，无法处理表面具有孔洞的物体。体素颜色方法确定空体素，将其从体素空间中雕刻去除。该方法假设点在漫反射的表面上是颜色一致的，意即，同一空间点在所有可视该点的摄像机中的成像像素点都是同一颜色。因此，-可编辑修改 -如果一个体素投影到所有可视该点的摄像机中都是一致的颜色，则该体素被认为是一个表面体素，被赋以它的投射颜色；反之，如果某个体素在投射到多幅图像中的颜色不一致，则被认作是空体素，应该被雕刻去掉。当所有的可视体素都各自投射到相应图像平面，并得到相应一致的颜色时，体素颜色算法终止，最后得到的体素集是与相应图像颜色一致的场景模型。最近体素颜色方法见 5。faugeras 和 keriven6 提出使用层次集方法进行多摄像机三维重建。 首先基于多摄像机对应性准则推导欧拉拉各朗日方程，得到偏微分方程，用于指导初始表面沿内部朝向的法向量方向向待三维重建的真实表面运动。层次集方程组在重建的体积上进行计算，与其它基于体积的方法不同，该方法不在立方体体素上，而是在离散的三维网格的每个顶点上评估层次集方程组。层次集方法与体素颜色方法类似，也可自动改变表面拓扑结构，除此之外，还可对任意放置的摄像机进行可视性建模 78 。多摄像机立体重建方法在图像空间寻找对应性，然后这些对应性转化到真实世界中的三维点和线段，这种混合图像和真实世界空间的处理的一个主要的难点在于精确的对应性的确定，尽管已经提出了众多的改进方法，但由于存在噪音和各种不可避免的误差，和仅在二维图像空间进行匹配本身存在的一些诸如遮挡等病态问题，对应性算法的可靠性依然很低，对三维重建结果产生也很大的影响。对应性算法的缺陷主要归因于在图像空间推理遮挡区域的困难性。与之相比，基于体积的三维重建方法能够容易地建模遮挡区域，因而成为近年来研究多摄像机三维重建方法的一个热点。主要参考文献：1. p. narayanan, p. rander, and t. kanade,“constructing virtual worlds using dense stereo”, proc. international conference on computer vision (iccv), 1998.2. konishinoandkatsushiikeuchi,“robustsimultaneousregistrationofmultiplerange images ”, the 5th asian conference on computer vision(accv), january 2002.3. f.dellaert,s.m.seitz,c.e.thorpeands.thrun,“structurefrommotionwithout correspondence”, proc. computer vision and pattern recognition (cvpr), vol. 2, pp. 13-15, june.2000.4. matthew brand, kongbin kang and david b. cooper,“algebraic solution for the visual hull”, proc. computer vision and pattern recognition (cvpr), vol. 1, pp. 30-35, 2004.5. g.g.slabaugh, w.b.culbertson, t.malzbender, m.r.stevens and r.w.schafer,“methods for volumetric reconstruction of visual scenes”, international journal of computer vision, vol. 57(3), pp.179-199, jan. 2004.6. o. faugeras and r. keriven,“complete dense stereovision using level set methods”, ieee transactions on image processing, vol. 7, pp. 336-344, mar. 1998.7. p. pons, g.hermosillo, r.keriven and o.faugeras，“how to deal with point correspondences and tangential velocities in the level set framework”, proc. international conference on computer vision (iccv), 2003.8. o.faugeras, j.gomes and r.keriven,“computational stereo a variational method”, geometric level set methods in imaging, vision and graphics, chapter variational principles in computationalstereo. s. osher and n. paragios eds. springer-verlag, 2003.三 研究内容本课题研究多摄像机三维重建技术的若干问题，待三维重建的物体表面限定为完全漫反射表面。具体研究如下四个方面内容：1. 多摄像机三维重建系统高精度鲁棒标定方法作为多摄像机三维重建的基础工作，研究用于高精度标定多摄像机系统的鲁棒易用的方法，具体研究非完全会聚配置的多摄像机标定。所谓摄像机非完全会聚配置，意即没有所有摄像机都可视的共同区 域。当前的自标定技术一般可靠性较低，难以用于三维建模等对精度要求较高的场合，因此必须考虑使用标定物的标定方法，然而由于多摄像机非完全会聚配置，标定物不能同时在所有摄像机上成像，为将所有摄像机标定到同一世界坐标系，必须移动标定物。研究的重点在于两方面：在保证易用的前提下，使用何种标定物，使能够鲁棒提取标定物特征，特别是对于多维标定物在图像中处于半遮挡或具有较大的射影变形的状态时的鲁棒特征提取；针对标定物特征，设计标定算法，使能得到精确的标定结果。2. 基于多摄像机的大范围三维重建方法研究使用多个摄像机对大范围场景三维重建的方法。与通常的sfm 方法重建城市三维地图等应用不同， 本研究内容中的大范围场景是相对于完全会聚配置的摄像机系统具有的公共可视区域而言，具有的相对较大的场景。本研究方法使用固定位置的多个摄像机，各相邻摄像机具有公共可视区域，不相邻摄像机可能具有公共可视区域。经典的多摄像机立体重建方法和sfm 方法通常采用分别重建具有较大公共可视区域的各立体图像对，之后对立体图像对之间的重叠区域进行表面数据融合，即拼接形成单一的场景表面。 这些方法一般不重建公共区域小于设定阈值的立体图像对。本研究的目标是探索一种三维重建方法， 使得重建过程在一个统一的框架下进行，无表面拼接过程， 所有的图像信息得以充分地利用， 得到场景无孔洞的纹理映射的三维模型。3. 基于多摄像机的物体完整表面三维重建方法研究多摄像机三维重建多连通结构物体完整表面的方法。通常的多连通结构的物体即相互分离的多个目标物体。同时重建多个目标物体的完整表面时，多个目标物体之间存在严重的相互遮挡，传统的多摄像机立体重建方法仅在立体图像对内部数幅图像间求解对应性，对目标物体表面的某点而言，仅是所有可视该点的摄像机的一个子集对决定该点位置产生影响，其它的摄像机提供的信息则因为不在立体图像对内部而被舍弃 （导致一摄像机的图像虽然与某立体图像对中图像有交集但不在其中的可能原因有重建策略影响或交集太小等因素），由此导致了重建精度损失。研究的重点在于如何合理地利用可从图像得到的所有信息，有效地重建完整表面。4. 基于多摄像机的三维重建系统实现方法四 研究方案针对研究内容，本课题拟分别采用如下研究方法和技术路线：1. 多摄像机三维重建系统高精度鲁棒标定方法拟使用平面平行线段模板作为标定物，平行线段线间距恒定且已知。选择二维标定物的理由如下：第一，当前已证明仅使用自由移动的一维标定物无法完全标定摄像机，必须对一维标定物的运动加以限制，如使用一端固定的线段上的点作为标定点等，但不适用于非完全会聚配置的多摄像机系统。用于非完全会聚配置的多摄像机系统标定的易于操作的一维标定物运动约束有待探求；第二，当存在较大的射影变形时，三维标定物的标定特征在图像中难以提取并确定对应性，且移动三维标定物与易用的宗旨不符。选择平行线段作为标定物特征的理由主要在于该特征便于提取，在具有较大的射影变形图像中仅提取线段走向与提取点特 征相比相对容易，并且当标定物部分处于摄像机可视区域内时，仍可自动确定对应性。提取特征并正确确定对应性后，对包含所有对应性的特征值矩阵使用非线性特征值最小化方法，获得射影意义下的透视投影矩阵，之后利用平行线段的线间距已知，将射影坐标系 确定为欧氏坐标系。本方案实现的关键在于：鲁棒地提取特征并正确确定对应性；有效的数 值计算方法。2. 基于多摄像机的大范围三维重建方法拟使用曲面演化的思想多摄像机三维重建大范围场景。曲面演化方法有别于传统的三维 重建方法，该方法不将三维重建分作立体匹配（matching ）、多网面对齐（ registration ）、多网面几何数据融合（integration ）等步骤，而是将场景中物体表面看作在空间中移动变形，即演化的曲面，演化的目的是让该曲面尽可能合理地解释所有视点的图像。拟将待重建的表面作为所有图像的函数， 定义合适的相似性测度， 求使该相似性测度最大的物体表面的函数， 将三维重建问题转化为求解泛函极值的问题， 之后使用变分原理求泛函极值，计算欧拉方程，得到求解极值的必要条件，即一套偏微分方程组，由其推导出曲面演化的方向和速度，随时间进行多次迭代。通常在空间体素顶点上计算以实现曲面演化，体素顶点所成象素的相似性测度在所有可视该点的摄像机的图像上评估。伴随基于体素的大范围场景重建方法出现的一个问题即算法复杂度与重建精度相互制约：低空间分辨率 （使用较-可编辑修改 -大的体素）降低算法复杂度，同时降低重建精度，高空间分辨率虽然能提高重建精度，然而增加了算法复杂性。拟采用多分辨率空间的策略，随距离由近至远， 采用由高至低的分辨率。本方案符合研究的目标，即在一个统一的框架下进行重建过程，无须表面拼接过程，所有的图像信息得以充分地利用。3. 基于多摄像机的物体完整表面三维重建方法拟使用基于层次集（ level set ）曲面演化的方法。层次集方法主要是从界面传播等研究领域中逐步发展起来的，它是处理封闭运动界面随时间演化过程中几何拓扑变化的有效的计 算工具。 osher 等人于 1988 年首先提出依赖时间的运动曲面的层次集描述，其主要思想是将移动的曲面作为零层次集嵌入高一维的层次集函数中，由曲面的演化方程得到层次集函数的演化方程， 而嵌入的曲面总是其零层次集，最终只要确定零层次集即可确定移动曲面演化的结果。 层次集方法能够自动处理演化过程中几何拓扑的变化，因此适用于多连通结构物体的多摄像机三维重建。faugeras和 keriven8 于 1998年提出使用层次集方法进行曲面演化多摄像机三维重建。原方法描述为： 以基于曲面演化的多摄像机三维重建方法为基础，使用层次集（ level set ） 方法处理演化过程，将由欧拉方程所得的偏微分方程组沿曲面法向方向的分量作为曲面演化速度， 计算层次集函数的演化速度，使得由层次集函数的零层次集表示的物体表面的曲面朝着最大化相似性测度的方向移动。原方法使用物体表面的微分几何属性驱动曲面演化，使用交叉相关性（crosscorrelation ）作为相似性测度。该方法能获得相当好的重建结果。该方法认为可视某点的所有摄像机对决定该点位置的影响因子相同，可能会导致重建精度问题（由其演示视频可看出对存在严重遮挡的多连通结构物体（双环） 的三维重建结果部分区域有较大误差） 。另外算法的收敛性没有得到证明，即有时可能得不到正确结果，本研究内容拟以faugeras和 keriven8 的方法为基础，从考虑可视任一点的所有摄像机对决定该点位置的影响因子出发，解决精确重建多连通结构的物体存在的问题；对该方法的原理，结合推导步骤作几何解释，说明收敛性，若可能，给出收敛条件并证明。4. 基于多摄像机的三维重建系统实现方法利用 3 套 ieee1394接口三目图像采集传输板建立9 个视点的三维重建实验系统，研究大范围场景多摄像机三维重建方法。各视点摄像机位置大致呈一字型排列，观察同一方向。使用本课题研究的标定方法标定各摄像机的参数。所有摄像机同步采集场景图像，应用基于曲面演化的多摄像机三维重建技术，生成纹理映射的场景三维模型，并评估重建质量。利 用 20 套 ieee1394接口三目图像采集传输板建立60 个视点的三维重建实验系统，研究获取多连通结构物体完整稠密表面的多摄像机三维重建方法。20套三目立体视觉系统位于正十二面体的20 个顶点上，观察方向一致朝向正十二面体内部。使用本课题研究的标定方法标定各摄像机的参数。所有摄像机同步采集场景图像，应用基于层次集曲面演化的多摄像机三维重建技术，生成水密的纹理映射的物体三维模型，并评估重建质量。五 研究工作进度安排2004.07-2004.12新版 iee