新课标下基于线移的双目三维重构匹配算法的过程分析

1、新课标下基于线移的双目三维重构匹配算法的过程分析    第1章  绪  论1.1  双目立体视觉的发展立体视觉的开创性工作是在六十年代中期开始的。美国麻省理工学院的Roberts完成了二维景物的分析研究。他的工作就是把过去的二维图像分析推广到了二维景物分析，这标志着立体视觉技术的诞生，在随后二十年中它迅速地发展并形成了一门新的学科1。七十年代，立体视觉在图像的预处理技术、提取三维信息和图像匹配技术等许多方面都有重大突破。七十年代末，Marr和Poggio等人创立的计算机视觉理论对立体视觉发展产生巨人影响，使得景物可视表面的重

2、建形成一个完备的体系。近年来，立体视觉理论日臻完善，立体视觉技术研究向实用化方向发展。在整个计算机视觉学，占有越来越重要的地位2。David Marr教授于1977年提出了计算机视觉理论，该理论在80年代成为机器视觉研究领域中的一个十分重要的理论框架3。Marr视觉计算理论立足于计算机科学，系统地概括了心理生理学、神经生理学等方面业己取得的所有重要成果，是视觉研究中迄今为止最为完善的视觉理论4。1.2  Marr视觉理论Marr教授于1977提出了一个比较明确的视觉计算理论体系，这一理论把视觉过程看做一个信息处理的过程，而对于信息处理的研究又分为二个层次：计算的理论层次表示与算法层次

3、、硬件实施层次。Marr从视觉计算理论出发，将系统分为自下而上的三个阶段，即视觉信息从最初的原始数据（二维图像数据）到最终对三维环境的表达经历了三个阶段的处理，如图1-1所示。      图 像                             

4、0;                       3D描述                          要素图 &

5、#160;              2.5维图图1-1  Marr框架的视觉三阶段Marr理论是计算机视觉研究领域的划时代成就，积极推动了这一领域的研究，多年来对图像理解和计算机视觉的研究发展起了重要的作用。但Marr理论也有不足之处，其中有4个有关整体框架（图1-1）的问题5。1框架中输入是被动的，给什么图像，系统就处理什么图像。2框架中加工目的不变，总是恢复场景中物体的位置和形状等。3框架缺乏或者说未足够重视高层知识的知道作用。4整个框架中信息加工过

6、程基本自下而上，单向流动，没有反馈。针对这些问题，近年来人们提出了一系列改进思路，对应图1-1框架将起改进融入新的模块得到图1-2的框架。     第2章  基于线移的双目视觉基本原理2.1  双目视觉的硬件系统组成为了从二维图像中获得物体特征点的三维坐标，双目视觉系统至少从不同位置获取包含物体特征点的两幅图像。它的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体。双目视觉系统在很多领域中都有应用，根据不同的使用对象，视觉系统的软硬件都会有所不同。通常的双目视觉系统主要由七个部分组成，主要是：摄像机和光学部件、灯光、

7、部件传感器、图像采集卡、PC平台、检测软件以及数字I/O和网络连接。其中，摄像机和光学部件主要用于拍摄目标物体；灯光用于照亮部件，从摄像机拍摄到更好的图像；部件传感器在被检测物体靠近时给出一个触发信号，告诉视觉系统去采集图像；图像采集卡将摄像机与PC连接起来。它从摄像头中获得数据(模拟信号或数字信号)，然后转换成PC能处理的信息；PC平台为检测软件以及数字I/O和网络连接提供硬件支持，完成图像数据处理和传输，以及获得目标物体的三维信     息16。本课题的主要任务是用双目视觉系统模拟人眼功能，从获取的图像中得到目标物体的三维信息。设计同时使用两个摄像头

8、，在不同位置对同一物体进行摄像，根据两张图之间物体成像视差原理获取物体的空间信息，为机器人实现抓取等动作提供诸如空间位置、物体重心等有用信息。为完成这一任务，实验中构建的双目视觉系统主要由摄像机和光学部件、灯光、摄像机架、图像采集卡、PC平台、检测软件等六部分组成。系统构成如图2-1所示：                          

9、;                                                  

10、;                                                  

11、;                                                  

12、;                                                  

13、;                                                  

14、;                                                  

15、;                                                  

16、;                                                  

17、;                                     图2-1  双目视觉系统构成2.2  双目视觉原理双目立体视觉是基于视差原理，由三角法原理进行三维信息的获取，即由两个摄像机的图像平面（或单摄像

18、机在不同位置的图像平面）和被测物体之间构成一个三角形。已知两摄像机之间的位置关系，便可以获取两摄像机公共视觉场内的三维尺寸空间物体特征点的三维坐标。立体视觉是通过多幅图像获取物体二维几何信息的方法，对生物视觉系统，人们旱就注意到，几乎所有具有视觉的生物都有两个眼睛，用两个眼睛同时观察一个物体时，会有深度或远或近的感觉17。双目立体视觉就是仿照这个原理，利用两台摄像机从不同角度同时获取同一景物的两幅图像，通过计算空间点在两幅图像中的视差来获取景物的二维坐标值。其视差测距原理如图2-2所示，设分别为左、右两个相机的光学中心位置(透镜中心)， 与 之间的距离b，相机焦距 。设物体上的点P在左、右相机

19、图像平面上的投影点分别为 ， 与  连线间的距离为d，过 ， 分别向图像面(即视平面)作垂线，垂足分别为 ， ，过P向图像面作垂线，垂足为B。令 ， ， 。p  aB                  d                   

20、;     F  b           Cr图2-2  视差测距原理图由三角原理得                  左右像面上的外极线。 与左右像平面的交点 、 叫做左右像平面的极点。同一像平面上的所有外极线都应相交于 点,称为该像面的外极中心。 

21、0;                             P                     &#

22、160;                                                  &

23、#160;              图2-5  交向姿态双目视觉模型的对极集合关系对极几何为双目视觉立体匹配提供了一个局部约束条件。与左像面上投影点 所对应的右像面投影点 必在右外极线 上，反之与右象平面上投影点 所对应的左像平面投影点 必在左外极线 上。所以极线 、 在左右像平面上是相互对应的。设左右摄像机的坐标系分别为 和 ，其中：  、 为左右摄像机的透视中心，设左右摄像机坐标系之间有如下变换关系：   &#

24、160;                                       （2-12）          &

25、#160;                           （2-13）如果左像平面上一条斜率为 并通过左外极中心 的直线与右像面上一条斜率为 并通过右外极中心 直线相匹配,则这两条直线分别为同一外极平面与左右像平面的交线。 与 有如下对应关系：       

26、60;                          （2-14）              （2-15）给定左像面上一点，计算过该点的左极线斜率以及与之相对应的右极线斜率，就可以在右图像中沿着右极线搜索相匹配的右像

27、点。外极线斜率约束为方体匹配提供了横向上的约束，与空间二进制编码相接合，就可以实现高精度、高密度的匹配了，经过插值处理可以达到亚像素级水平的匹配。2.3  线移结构光基本原理根据光学投射器的光束模式不同，结构光模式可分为点结构光模式、线结构光模式、和多线结构光模式以及网格结构光模式等。下面介绍线结构光模式和多线结构光模式：线结构光又称光带模式。如图2-6所示，激光器投射的光束通过一柱面镜在空间形成一窄的激光平面，当与物体表面相交时便在物体表面产生一亮的光条。该光条由于物体表面深度的变化以及可能的间隙而受到调制，表现在图像中则是光条产生了畸变和不连续，畸变的程度与深度成正比，不连续则显

28、示出了物体表面间的物理空隙。线结构光视觉的任务就是从畸变的光条图像信息中获取物体表面的三维信息。 图2-6  线结构光模式多线结构光模式是光带模式的扩展。如图2-7所示，由光学投射器向物体边面投射了多条亮条，其目的一方面是为了在一幅图像中可以处理多条光条，提高图像的处理效率，另一方面为了实现物体表面的多光条覆盖从而增加测量的信息量，以获得物体表面更大范围的深度信息。这种模式也就是所谓的“光栅结构模式”。多光条可以采用幻灯投影仪投影产生一光栅图样，也可以利用激光扫描器来实现。后者可以使用可控的激光平面扫过视场，旋转镜的每个位置都可得到光条图像以供分析，通过该过程即可获得覆盖视

29、场的激光线栅。较之光带模式，多线结构光模式的效率和范围增加，但同时引入了标定复杂性的增加和光条识别问题。 图2-7  多线结构光模式技术实现方案：采用GRAY码与线移技术相结合的方法，实现物体空间的划分和匹配。方案1：投影仪投射的图像大小是1280 1024，首先采用的是6幅GRAY码图案和20次线移条纹相结合的方法，6幅GRAY编码把摄像机采集的空间划分为64个区域，采用20次线移技术实现每个区域的移动覆盖。方案2：投影仪投射的图像大小是1280 1024，采用的是7幅GRAY码图案和10次线移条纹相结合的方法，7幅GRAY编码把摄像机采集的空间划分为128个区域，采用1

30、0次线移技术实现对每个区域的移动覆盖。本文采用的是采用6幅GRAY码图案和20次线移条纹相结合的方法，6幅GRAY编码把摄像机采集的空间划分为64个区域，采用20次线移技术实现每个区域的移动覆盖。因为Gray码将图像平面分为64个区间，每个区间拥有一条亮条纹（图2.6中的红色条纹）。在最小的GRAY区域进行光条的移动，每个GRAY区域里每一次只有一根光条在移动。在左图像平面某区间的亮条纹取上面一点与极点 做连线，设所做线段的斜率为 。根据对极几何关系可知其匹配点与对应的极点 所连线的斜率 。然后在右图像平面与左图像平面对应的亮条纹上取点与极点 做连线 ，再将 与 做比较，当 与 之差最小时，该

31、点即为所求的匹配点。最后根据求三维空间坐标公式就可求出空间点的三维坐标。如此循环就可以找到所有的匹配点对应的空间点的三维坐标。下面5幅图分别是第0次，第5次，第10次，第15次，第19次线条纹移动后的纸杯的图像： 图2-8  第0次线移纸杯图 图2-9  第5次线移纸杯图 图2-10  第10次线移纸杯图 图2-11  第15次线移纸杯图 图2-12  第19次线移纸杯图2.4  标定的参数说明双目立体视觉测量系统中，通常先采用单摄像机标定方法，分别得到两个摄像机的内、外参数，通过同一

32、世界坐标中的一组定标点来建立两个摄像机之间的位置关系，所需标定内部参数如下表2-1，外部参数如表2-2。表2-1 摄像机内部参数内部参数 左摄像机 右摄像机焦距   像面中心   镜头径向畸变参数   水平扫描比例系数   像面坐标   原始的二维图像，本设计所采集的有6幅图，然后读入所标定的摄像机的参数，对所采集图像进行图像处理（主要涉及的处理对图像各点进行格雷编码，高斯滤波，图像二值化，去除孤立点，图像亮条纹的细化），再根据线移结构光原理和对极几何关系原理对图像进行匹配并

33、计算出匹配点所反映的物体某点的世界坐标。最后以点云形式实现三维重构。设计流程为：    图3-8 双目立体视觉中空间点的三维重建设左摄像机 位于世界坐标系的原点处且无旋转图像坐标系为 ，有效焦距为f；右摄像机坐标系为 ，图像坐标系为 ，有效焦距为 ，由摄像机透视变换模型有：                        

34、;                               (3-3)                   

35、;                                   (3-4)而 坐标系与 坐标系之间的相互位置关系可通过空间转换矩阵 表示为         

36、60;        ，               (3-5)其中， ， 分别为 坐标系与 坐标系之间的旋转矩阵和原点之间的平移变换矢量。由上面几个式子可知，对 坐标系中的空间点，两摄像机像面点之间的对应关系为    &n 平移矢量T就可以得到被测物体点的三维空间坐标。然后将计算结果以ASC点云格式保存。3.3  小结本章首先通

37、过双目立体视觉的硬件系统采集到原始的二维图像，本设计所采集的有6幅图，然后读入所标定的摄像机的参数，对所采集图像进行图像处理（主要涉及的处理对图像各点进行格雷编码，高斯滤波，图像二值化，去除孤立点，图像亮条纹的细化），再根据线移结构光原理和对极几何关系原理对图像进行匹配并计算出匹配点所反映的物体某点的世界坐标。最后以点云形式实现三维重构。         第4章  调试结果和分析4.1  调试结果本设计是利用C#语言在.net平台编写程序（程序见附录）。由于是经过20次线条纹的移动完成对整个覆盖

38、面的扫描，因此计算量比较大，整个程序运行需要大约2分钟。运行的结果就是在.net台平台将三维重构图以点云格式显示出来。图4-1是一幅纸杯原图，图4-2中的（a）、（b）、（c）3幅图是3幅从不同角度截取的以点云格式显示的三维重构后的纸杯图；图4-3是一幅瓷杯原图，图4-4中的（a）、（b）、（c）3幅图是3幅从不同角度截取的以点云格式显示的三维重构后的瓷杯图；图4-5是一幅普通纸盒的原图，图4-6中的（a）、（b）、（c）3幅图是3幅从不同角度截取的以点云格式显示的三维重构后的纸盒图像。纸杯原图 图4-1 纸杯原图从3个不同角度观察的重构后的纸杯图像 （a） (b

39、) (c)图4-2 重构后的纸杯图像瓷杯原图 图4-3瓷杯原图从3个不同角度观察的重构后的瓷杯图像   (a)   (b) (c)图4-4 重构后的瓷杯图像纸盒原图 图4-5 纸盒原图从3个不同角度观察的重构后的纸盒图像 (a) (b) (c)图4-6 重构后的纸盒图像从上面的原图和重构图可知，线移结构光光能实现对物体的三维重构，精确度高。同时由于需要20次线移结构光完成对整个覆盖面的扫描，算法有待提高，耗时较长。从重构后的图像上来看，误匹配点较多，说明图像采集的环节需要注意，算法有待

40、改进。4.2  结果分析从调试结果来看结果不是很理想，图像出现了很多的误匹配点，经过分析，可能是以下因素造成的：1虽然采用外极线的约束条件，但实验中采用的图像对对应像点的位置偏差较人，造成两幅图像搜索范围扩大，从而减小了双向搜索匹配成功率；2摄像机模型是计算空间点三维坐标的直接依据，我们采用的是理想的摄像机针孔模型，摄像机坐标系的精确度也会增加整个系统的误差；3当目标物体过远、过近或过分偏向视场一侧时，其在左右图像中的视差较小或过度悬殊，导致视差确定的相对误差增加从而引起测量误差；4目标在左右图像中成像差异造成匹配成功率的下降。由于相机视角与共同视野区的原因，使在一幅图像中存在的目标

41、像点，在另一幅图像中可能不存在匹配像点，也就无法对其匹配。4.3  小结本次设计是利用C#语言在.net平台编写程序。由于是经过20次线条纹的移动完成对整个覆盖面的扫描，因此计算量比较大，整个程序运行需要大约2分钟。运行的结果就是在.net台平台将三维重构图以点云格式显示出来。本章显示了三维点云结构的重构图像进行的一些截图，说明了线移结构光法能实现物体的三维重构。证明了本课题采用的技术具有实用性，文中还对实验结果进行了分析。结  论经过数月的苦战，本次毕业设计终于进入了尾声。在此过程中，笔者在应用所学习理论知识和实际经验的同时，也学习到了不少的知识，增长了不少的见识，真所谓

42、是学到用时方知少。双目视觉测量技术是机器视觉的热点技术之一，它可以快速准确地获得被测物体表面的点云数据，是逆向工程的前提。本毕业设计主要是基于双目立体视觉原理和极线几何关系对物体的三维重构。利用格雷码加线移结构光对物体进行投影，再经摄像机采集图像信息以实现对物体的三维重构：摄像机采集到的6幅图像序列形成的格雷码将图像空间划分为64个周期，通过20次线条纹的移动完成对整个扫描平面的覆盖，在已获得两摄像机标定参数基础上，结合对极几何原理完成左右图像像素点的匹配。根据空间点三维坐标计算的数学模型计算出点的空间坐标，最后以点云形式实现物体的三维重构。由于是第一次涉及机器视觉方面的相关知识，再加之笔者的

43、水平有限，所做的工作不多。需要学习的东西还很多，设计中对机器视觉的学习和运用有些肤浅，并没有进行深一些的研究。（1） 论文所涉及的理论工作主要是对机器视觉的相关知识的学习和C#语言软件平台的学习。（2） 论文所涉及的实践工作主要是对图像的采集，以及软件的编写和硬件软件的调试。希望本次毕业设计能够机器视觉研究作出很小的一点点贡献。    致  谢在本次毕业设计中，首先必须要感谢我的导师刘先勇教授。本文正是在刘先勇教授的指导和关心下完成的成的。刘老师严谨治学和诲人不倦的精神使我深受其益，尤其他对工作的认真负责的态度，更是经常令我汗颜。在我遇到困难和

44、挫折时，刘老师的鼓励和支持曾帮助我顺利度过难关。可以说在做学问和做人方面，刘老师给我的影响令我终生难忘。因此，在这里我要特别感谢刘老师给予我的帮助，向刘老师致以深深的谢意和敬意！其次必须要感谢我的师兄郭进，在设计过程中，郭师兄不仅给了我大量设计中的帮助，还在设计开始的时候就借了他的电脑给我。论文的编写也得到了郭师兄的很多启发和指导。总之，在毕业设计的过程，郭师兄给予了我们无微不至的关心和指导，在这里表示忠心的感谢！另外这次毕业设计在程序的编写上还得到了朱科同学和刘兴强同学的帮助，在毕业设计的格式上是张凯同学让我少走了很多的弯路，在此，我对你们表示感谢！在这次毕业设计中，参阅了很多的文献和书籍，

45、从中也学习到了很多的知识，在这里特向有关的作者表示感谢！人生有涯，学无止境。面临毕业，任重而道远，在今后的人生道路上，我将更加努力，不断进步，以加倍努力来回报在我成长的过程中给予过我帮助的各位师长、同学和朋友们！最后，我要感谢所有帮助过我、关心着我的人！并向所有的这些人们说一声：祝愿你们一生幸福！参考文献1 张广军.机器视觉M.北京：科学出版社，2005.1.2 李改从，刘怡光，游志胜.双目系统中一种车体的三维重建方法J.四川师范大学学报(自然科学版)，2002，5：320-323. 3 李晓星，康绍     峥，周贤宾.立体视觉与空间编码技术相结合的非接触三维曲面测量系统J.中国机械工程，2004，15（9）：806-809.4 马利红，王辉，李勇，金洪震.全息模拟再现像的三维重构J.光子学报，2006，35（4）：595-598.5 罗先波，钟约先，李仁举.三维扫描系统中的数据配准技术J.清华大学学报(自然科学版)，2004，44（8）：1104-1106. 6 龙玺，钟约先，李仁举.结构光三维扫描测量的三维拼接技术J.清华大学学报(自然科学版)，2002，42（4）：477-480. 7 周骥，石教英，赵友兵.