硕士论文——基于光照复用的变光照三维采集系统的设计与实现

浙 江 省 硕 士 学 位 论 文论文题目：基于光照复用的变光照三维采集系统的设计与实现授予学位学科专业：计算机技术学科专业代码： 研究方向：智能控制系统与嵌入式软件技术省编号：杭州电子科技大学硕士学位论文摘要在实际情况下，大范围动态光场采集系统可以捕获大型或多个运动目标在不同光照方向的表面反射属性、运动轨迹及环境光照信息，为实现任意光照条件下三维场景真实感再现提供可靠的前提保障。然而在进行变光照拍摄的过程中，由于场地范围大、光源数量多等原因，无法捕获正确、清晰的光场图像。针对上述所存在的问题，本文设计了一种基于光照复用的变光照三维采集系统。增加拍摄时刻的光源数量，提高光源利用率，降低解复用后得到的单光源图像噪声，提高光场图像质量。提出了一种基于哈达玛矩阵的新型快速光照解复用算法，将计算复杂度由 N2 降低到 Nlog2N，将光场图像解复用的运算效率提高了 26 倍。论文的主要内容如下：第一章主要介绍了三维采集系统的国内外研究现状以及三维采集系统的研究方向与研究难点。第二章对三维系统光照控制采集技术进行了研究，介绍了恒光照控制系统与变光照控制系统。详细介绍了基于单光源的三维采集技术与基于光照复用的三维采集技术的优缺点，以及三维采集系统控制网络的通信方法。第三章提出了一种基于哈达玛矩阵的光照复用采集算法，并利用哈达玛矩阵可以因式分解的特点，提出了一种基于哈达玛矩阵的新型快速光照解复用算法。该算法增加了每次拍摄时的光源数与亮度，提高了采集图像的曝光度和清晰度。在保证图像信噪比的情况下，提高了光场图像解复用的运算效率。第四章使用基于 Matlab/Simulink 的 TrueTime 工具箱搭建 CAN 网络的仿真平台。系统模拟 97 个控制节点 191 组光源变化，验证基于哈达玛矩阵的光照复用算法在三维采集系统中的可行性。并通过实验对网络通信协议在系统中系统控制实时性、光照控制正确性进行验证。第五章对基于光照复用的变光照三维采集系统的硬件平台进行设计与实现。将本文所设计研究的基于快速哈达玛变换的变光照三维采集系统在实际的三维图像采集鸟笼系统中进行了相关的变光照图像采集实验，对快速哈达玛变换解复用算法和仿真系统实验结果在实际系统中进行验证。实验结果验证了本文所设计的光照复用采集系统的确提高了采集图像的质量和效率。图像的信噪比也从 1.826 提高到了 2.325。基于快速哈达玛变换的光照解复用方法将计算次数从 N2 降低到了 Nlog2N。同时与传统的解复用算法相比，其运算速率提高了 26 倍。关键词：三维采集、快速哈达玛变换、光照复用、TrueTime、CAN 总线I杭州电子科技大学硕士学位论文ABSTRACTA wide range of dynamic light field acquisition system can capture large or multiple moving targets from the different surface reflection properties of light direction, movement and environmental light information, in order to provide the reliable premise and guarantee for realizing the realistic reappearance of 3D scene in arbitrary lighting environments. However, during variable illumination capturing, its unable to capture the correct and clear images of light fields for the wide range of venues and a larger number of light sources etc.To the above questions, this paper designs a variable illumination 3D capture system based on multiplexed illumination, which increases the number of light source in capture time, improves the using rate of light source, reduces the image noise of single light source after de-multiplexed illumination, single source of image noise, and improves the quality of images of light fields. And this paper also proposes a new fast multiplexed illumination algorithm based on Hadamard matrix, which decreases computational complexity from N2 to Nlog2N improving the computation efficiency of de-multiplexed illumination by 26 times. The following is the main content of paper:First chapter mainly introduces 3D capture system on the domestic and international research as well as trend and difficulty.Second chapter studies illumination control technology in 3D capture system and introduces constant illumination control system and variable illumination control system. Moreover, it gives the details about the advantages and disadvantages of 3D capture technology based on single light source and based on multiplexed illumination, and communication method of 3D capture system controlling network.Third chapter proposes a multiplexed illumination algorithm based on Hadamard matrix, also proposes a new fast de-multiplexed illumination algorithm based on Hadamard matrix exploiting factorization of Hadamard matrix. This algorithm increases the number of light source and brightness at every captures, improves the sensitometry and articulation of image capture and the computation efficiency of de-multiplexed illumination in case of signal to noise ratio of image.Fourth chapter uses TrueTime toolkit based on Matlab/Simulink to build the emulation platform based on the emulation CAN network. System emulates 97 control nodes and 191 sets of light source change, verifies the probability of multiplexed illumination algorithm based on Hadamard matrix in 3D capture system, and tests network communication protocol about real time for controlling system and accuracy for controlling light in system through experiment.II杭州电子科技大学硕士学位论文Fifth chapter realizes hardware platform of variable illumination 3D capture system based on multiplexed illumination. The variable illumination 3D capture system based on fast Hadamard transform designed by this paper is experimented on relevant variable illumination image capture in actual 3D image capture cage system and tests fast Hadamard transform algorithm for demultiplexed illumination and the result of emulation experiment. The results shows the multiplexed illumination method certainly improves the quality and efficiency of image capture, which increases the signal-noise ratio of the image from 1.826 to 2.325. De-multiplexed illumination method based on fast Hadamard transform decreases the computing times from N2 to Nlog2N. Meanwhile, the rate of calculation speed has increased by 26 times than traditional method.Keywords: 3D Capture, Fast Hadamard Transform, Multiplexed Illumination, TrueTime, CAN BusIII杭州电子科技大学硕士学位论文目 录摘要.IABSTRACT .II第一章 绪论 .11.1研究背景、目的及意义.11.2三维采集系统的国内外现状.11.3三维采集控制系统的发展趋势.41.3.1 三维采集控制系统的研究难点.41.3.2 三维采集控制系统的研究方向.51.4课题研究的主要内容.61.5小结.7第二章 三维系统光照控制采集技术研究 .82.1光照控制系统.82.1.1 恒光照控制系统 .82.1.2 变光照控制系统 .92.2三维采集系统光照控制技术研究.102.2.1基于单光源的三维采集技术 .112.2.2基于光照复用的三维采集技术 .122.3三维采集系统控制网络通信方法研究.132.3.1 串口通信.132.3.2 CAN 总线通信 .142.4小结.14第三章 基于快速哈达玛变换的光照复用算法 .163.1哈达玛变换与快速哈达玛变换原理.16IV杭州电子科技大学硕士学位论文3.1.1哈达玛矩阵原理 .163.1.2哈达玛矩阵构造方法 .173.2 基于光照复用算法的三维图像采集 .193.2.1基于哈达玛变换的光照复用算法.193.2.2光照复用模拟实验.213.2.3光照复用真实场景实验.223.3 基于快速哈达玛变换的图像解复用.243.3.1 基于快速哈达玛变换的解复用算法 .243.3.2图像解复用实验.263.4 小结.27第四章 三维采集光照控制系统软件仿真设计 .284.1 系统仿真软件设计方案.284.1.1硬件系统条件 .284.1.2仿真软件要求 .294.1.3仿真平台设计总体思路 .304.2 基于 TRUETIME 的仿真软件平台搭建 .314.2.1仿真平台总体结构设计.314.2.2 CAN 通信网络模块设计 .354.2.3主控制板模块设计.364.2.4从控制板模块设计.374.3 系统仿真结果验证.384.3.1系统控制实时性验证.384.3.2光照控制正确性验证.404.3.3光照系统采集相机帧率.414.4 小结.43第五章 三维采集光照控制系统硬件平台设计与实现 .445.1 系统硬件设计要求.445.1.1硬件设计目标及功能 .445.1.2硬件设计总体思路 .44V杭州电子科技大学硕士学位论文5.2系统硬件结构.455.2.1 系统框架结构 .465.2.2照明单元 .475.2.3采集单元 .475.2.4控制板模块 .485.3硬件系统工作原理.505.3.1硬件系统控制网络结构 .505.3.2控制系统软件设计 .515.3.3网络通信协议设计 .545.4实验结果与分析.565.4.1图像信噪比分析 .575.4.2图像解复用时间复杂度分析 .585.4.3三维模型重建效果 .595.5小结.60第六章 总结与展望 .626.1论文工作回顾.626.2未来工作展望.63参 考 文 献 .64致谢 .68附录：作者在读期间发表的论文及参加的科研项目 .69VI杭州电子科技大学硕士学位论文第一章 绪论1.1 研究背景、目的及意义从静态的三维图像，到模拟三维实际场景，再到三维动画，三维电影，以及近年出现的三维打印。科学技术的发展给我们带来你前所未有的体验，人们也希望能够在视觉感官中感受到的不再是平面的二维场景，而是与我们所处的空间一样的三维世界。三维技术作为虚拟现实的一个重要分支，不仅仅是华丽的视觉体验，更有着非凡的现实意义。重建三维场景能够有效的应用于病人的手术治疗完成一些人工难以完成的精密手术1；地质勘测的研究可以通过三维场景的重建，让研究人员能够从重建的场景中对地质进行分析研究，避免工作人员进入危险地带进行勘察2；三维技术也可以适用于文化遗址的场景复原，使得古代劳动人民的璀璨智慧能够得以传承，不至消失在漫漫的时间长河之中。同时，军事演习、建筑设计、电视转播、卫星地图、游戏开发等等都将因为三维技术的成熟而带来突破性的飞跃。三维场景的建立需要从现实的场景中采集和捕获信息。因此，信息的准确性和有效性将直接影响到三维场景的重建。光线变化是决定图像质量的关键因素之一。恒光照采集系统因为光线在沿直线传播时遇到遮挡，使得图像光照强度发生变化。而目前的变光照采集系统又普遍因为系统可控制的光源数较少，使得重光照的误差较大。并且，单光源的光照变化模式的光源利用率很低，造成资源的极大浪费。静态采集对系统限制较多。而动态图像的采集需要考虑到系统实时性和同步性的问题。为了解决三维采集系统的动态采集、变光照采集和多目标采集所面临的这些问题，本文设计了一个基于快速哈达玛变换的变光照三维采集系统。该系统使用 97 个控制节点组成大型 CAN 网络，控制 191 组 1910 个 LED 灯的光照变化按照哈达玛矩阵规定的序列闪烁。使用 TrueTime 工具箱进行采集系统的仿真实验，对基于光照复用的采集系统的性能进行验证。最后根据采集系统的功能需求，设计硬件控制开发板在真实的三维图像采集鸟笼系统中进行图像采集实验，对快速哈达玛变换解复用算法和仿真系统实验的结果在实际中进行验证，确保系统性能和可行性。1.2 三维采集系统的国内外现状最早，三维采集系统使用的是一个摄像机在拍摄场景中不停的移动，拍摄各个视角的平面图形，再将图像合成为三维图像。既耗时耗力，又事倍功半，也给图像的拍摄过程带1杭州电子科技大学硕士学位论文来了很多不便。1995 年，McMillan 提出了全光场建模系统3，通过多张图片经过图像处理得到 360全方位的参考图像。然而这样的图像只能算是 360的二维图像，而不能用于图像的三维重建。1996 年 Levoy 又提出使用摄像机阵列密集采集图像的光场渲染系统4,5。但是该系统对于采样密度的要求非常高，只能用于静态无遮挡物的场景，并且大量的采集数据造成的传输效率低，也使得该系统难以应用于实际的三维重建6,7。由于光照变化对图像采集造成了很大的影响，恒光照的采集系统，对光源的亮度要求十分高。如果光线在传播路径上遇到了遮挡，那么就会造成光线强度发生，使得图像三维信息改变，增加了三维图像合成的复杂度。于是三维采集系统的研究向着变化光照的方向发展。2000 年，Debevec 考虑到了光照对重建三维图像的影响，在伯克利大学构建了用于人脸采集的变光照静态采集系统8，通过改变光线照射的亮度和方向来得到人脸各区域的图像信息。但是由于是静态采集系统，采集对象必须静止不动。并且相机的采集视角的固定的，也对整个系统的图像采集造成了很大的限制。图 1.1 用于人脸图像的变光照静态采集系统2005 年，Debevec 又实现了一个变光照的动态采集系统，该系统同样是对人脸进行采集9，然而却利用了光照的高速变化和高速摄像机相互配合。这种方法需要在短时间内进行快速的变光照控制。该系统虽然实现了变光照的动态图像采集，但是由于使用了高速摄像机作为采集设备，大大的增加了整个采集系统的成本。同时系统只能够用于单视角的图像采集，使得采集后的图像无法进行视角的变化。2杭州电子科技大学硕士学位论文图 1.2 用于人脸图像的变光照的动态采集系统图 1.3 用于人体全身图像的变光照的动态采集系统2006，Debevec 进一步的改进了采集系统，实现了动态的变光照采集10，用摄像机阵列代替了高速摄像机，解决了单一视角采集的问题。同时，此系统采集人体全身图像，这大大降低了对采集对象条件的约束。然而，该系统的光照使用周期性的变化，再用摄像机配合对采集对象进行采集，这种方法显然还只能适用于实验室的研究。3杭州电子科技大学硕士学位论文图 1.4 基于单光源的动态采集系统2008 年，清华大学提出了七维动态变光照采集系统11,12。可是由于该系统可控制的光源数较少，造成了重光照的误差；同一时刻只能采集一种光源的信息，对光源的利用率造成了极大的浪费。因为系统限制，此系统只能用于单目标采集。1.3 三维采集控制系统的发展趋势由于三维技术的不断发展，国内外不少高校以及研究机构都致力于三维采集控制系统的研究。根据前人的经验和现今研发人员的不断努力和科研，三维控制采集控制系统的研究也不断的发展进步。但是，大范围动态光场采集系统可以捕获大型或多个运动目标在不同光照方向的表面反射属性、运动轨迹及环境光照信息，为实现任意光照条件下三维场景真实感再现提供可靠的前提保障13。然而在进行变光照拍摄的过程中，由于场地范围大、光源数量多等原因，无法捕获正确、清晰的光场图像。因此，三维采集系统朝着变光照，多目标，动态采集的方向发展。1.3.1 三维采集控制系统的研究难点三维采集控制系统采集到的图像数据最终要服务于三维图像的处理和场景的重建。为了能够逼真的还原现实中的场景，必须考虑到很多现实场景中可能出现的因素。所以，本文将阅读的文献中所提到的有关三维采集控制系统的设计要求，做了几点总结：1、光照条件的影响。三维采集控制系统用于三维图像的采集，为了使采集到的图像能4杭州电子科技大学硕士学位论文够用于三维重建，必须充分的考虑到采集图像的信噪比。而光照条件对于图像的采集有较大的影响14。在实际生活中，自然环境下的光线不会一层不变。而光照强度的变化，会造成图像信息的改变，这对图像的三维重建有较大的影响，极大的增加了图像处理的难度。并且光沿直线传播，如果光线在传播路径上遇到了遮挡，这也会引起光线强度的变化。2、多视角的图像采集。如果得到某一个视角的图像信息，那么只能构建出物体这一个视角的三维信息，不能构建出全方位的立体三维重建模型，无法还原出逼真的三维场景15。同时，单视角的图像采集，若在图像处理的后期想要变换图像的视角，也是无法实现的。3、多目标的图像采集。在现实生活，往往不止有一个运动目标，通常是多个运动目标一起运动。例如，三维电影里的场景中，往往有多个角色一同对话搭戏。因为多目标的图像采集系统的应用需要考虑到很多的问题。当多个目标一起运动时，目标之间可能会形成图像采集死角16。如何采集到死角中的三维图像信息，多目标也将造成图像的三维信息变多，如何区分多个不同的目标，如何进行多目标的图像处理等等，这些都是需要研究的问题。1.3.2 三维采集控制系统的研究方向在进行三维系统的重建之前，需要考虑到多方面的因素，确定三维采集设计系统应满足的基本要求。因此，三维采集系统的研究方向概括为下面几点：1、变光照三维采集系统。在图像采集和处理时，都不得不考虑光线变化影响。从三维采集系统的发展历程来看，早期的三维采集系统并没有考虑到光线的变化，这使得光照在传播路径上遇到遮挡或是光线强度的变化，就会对图像造成影响17。使得图像信息变化，或严重时将造成图像无法使用。这给三维重建带来了很多不便。这使得三维采集向着变光照的方向发展。因此，三维采集系统也将变光照列为一个重要的研究目标。2、多光源的三维采集系统。现今的三维采集系统大多数是变光照采集系统，这样的系统通常需要多组光源来进行光照变化的控制18。因为光源数如果较少的话，会造成图像成像时的曝光不足，产生较多的噪声。同时，光源数较少，还会造成较大的重光照误差。并且，三维采集不同于二维，只需要采集某一视角的图像。三维图像的重建通常需要多个角度的图像信息，在三维图像处理中，有时也需要转换图像的视角。3、同步控制的三维采集系统。三维采集系统的变光照和多光源必将引出三维采集系统的同步控制问题。在变化光照的三维采集系统中，如果没有进行光照复用，那将会大大的降低光源的利用率。每一次获取图像都需要进行多次不同光照变化采集。这不仅产生了极大的图像处理数据，而且耗费了很多的时间，极大的增加了光资源的开销19。然而光照复用需要考虑到不同光源的同步问题，数目众多的光源环境下如何进行光源的同步控制，这还是非常值得研究的问题。4、动态三维采集系统。早期的三维采集系统通常是静态采集系统，这对使得图像采集5杭州电子科技大学硕士学位论文系统容易控制，同时需要处理的图像数据量也相对较小。但是静态采集系统对采集物体的要求较高，必须保持采集对象静止不变。像三维电影，三维游戏等等，都需要三维重建的物体可以进行像人们一样，能够做出相应的动作，感知周围的物体。但是动态三维采集系统大大增加了需要处理的图像的数据量。同时控制三维采集系统捕捉到图像的动态变化三维信息，也是值得研究的难点。并且，在动态三维采集系统中，还要考虑到三维采集系统的实时性等因素，增加了三维采集系统的难度，但是它也是现今三