基于双目视觉的三维信息恢复

工学硕士学位论文基于双目视觉的三维信息恢复THREEDIMENSIONALINFORMATIONRECOVERYBASEDONBINOCULARVISION学科专业控制工程机电工程与自动化学院二零一六年六月摘要现实世界是一个三维立体世界，通常的二维显示已很难满足人们的需求，人们希望能够真实的还原出空间物体的三维信息。随着现代信息技术的飞速发展，三维显示技术不断走向成熟，它能够真实再现客观世界的场景，呈现出场景的深度、层次和真实性。越来越多的3D应用正在进入并改善着我们的生活。双目视觉是机器视觉的一种重要形式，具有精度高、扩展能力强大，连续工作时间长、结果易于保存和复制等不可替代的优点，是目前应用比较广泛的三维恢复技术之一。本文分别对双目视觉系统的构建、双目摄像机的标定、图像的获取与预处理、特征提取与匹配、深度信息恢复等五个部分进行讨论与分析，主要的内容包括（1）搭建双目视觉平台，利用该平台进行图像的获取，摄像机的标定，双目立体匹配，以及三维深度信息提取。调整两个摄像头的高度，保证在使用过程中双目摄像机成像处在同一水平线上，减小系统误差。（2）结合平面标定模板的摄像机标定方法，使用MATLABGUI设计摄像机标定界面，该标定界面操作简单、方便、快捷，简化了摄像机标定工作。首先打印一个标准2D的79（252MM，324MM）棋盘格平面标定板，使用左、右摄像机从不同角度各拍摄20张棋盘标定模板图像，输入到所设计的摄像机标定界面，进行标定，求解出左、右摄像机参数。（3）使用已标定的双目摄像机获取立体图像对，对获取的图像进行预处理，通常获取的图像中包含的信息量比较大，而且还有可能掺杂着各种噪声。因此在进行立体匹配之前，需要把复杂的有噪声的图像简单化。主要是对图像进行灰度化处理、平滑滤波，减少图像中的噪声干扰，提高图像边缘的可检测性，为双目立体匹配打好坚实基础。（4）双目立体匹配主要是对待匹配的图像和参考图像进行特征点的检测与匹配，得出两幅图像上对应特征点之间的差异，求出两幅图像的视差。选取四组不同的图像对SIFT和SURF匹配算法在特征点检测数量和算法运行时间上进行实验对比，由实验结果选择性能较好的特征匹配算法，对目标图像进行匹配，得到视差。（5）三维信息恢复是通过双目视觉三角测量原理，计算出目标体的深度信息。通过改变双目视觉系统与目标物体的距离，选取测量点进行测试，将实验得到深度信息与真实信息比较，得到系统的误差大小，实验结果表明在双目视觉系统的测量范围内，本文的双目视觉系统的总体误差在5以内，误差较小，为后续的应用奠定了理论基础。关键词双目视觉；摄像机标定；立体匹配；三维信息恢复ABSTRACTTHEREALWORLDISATHREEDIMENSIONALWORLD,USUALLY,2DDISPLAYCANNOTMEETTHENEEDSOFHUMANBEINGSPEOPLEWANTTOBEABLETOTRULYRESTORETHETHREEDIMENSIONALINFORMATIONOFSPACEOBJECTSWITHTHERAPIDDEVELOPMENTOFMODERNINFORMATIONTECHNOLOGY,3DDISPLAYTECHNOLOGYHASBECOMEMATURE,ITCANREPRODUCETHEOBJECTIVEWORLDOFTHESCENE,SHOWINGTHEDEPTHOFTHESCENE,THELEVELANDAUTHENTICITYMOREANDMORE3DAPPLICATIONSAREENTERINGANDIMPROVINGOURLIVESBINOCULARVISIONISANIMPORTANTFORMOFMACHINEVISION,HASTHEADVANTAGESOFHIGHPRECISION,POWERFULEXPANSIONABILITY,LONGCONTINUOUSWORKINGTIME,RESULTSAREEASYTOSTOREANDCOPYIRREPLACEABLEBINOCULARVISIONISONEOFTHEMOREWIDELYUSED3DRECOVERYTECHNIQUESTHECONSTRUCTIONOFBINOCULARVISIONSYSTEM,BINOCULARCAMERACALIBRATION,IMAGEACQUISITIONANDPREPROCESSING,FEATUREEXTRACTIONANDMATCHING,DEPTHINFORMATIONRECOVERYAREDISCUSSEDANDANALYZEDINTHISARTICLE,MAINLYCOMPLETEDTHEFOLLOWINGWORK1BUILDAPLATFORMOFBINOCULARVISIONANDUSETHISPLATFORMFORIMAGEACQUISITION,CAMERACALIBRATION,BINOCULARSTEREOMATCHING,DEPTHANDTHREEDIMENSIONALINFORMATIONEXTRACTIONADJUSTTHEHEIGHTOFTHETWOCAMERAS,GUARANTEEINTHEPROCESSOFUSINGBINOCULARBINOCULARCAMERAIMAGINGATTHESAMELEVEL,REDUCETHESYSTEMERROR2COMBINEDWITHTHECAMERACALIBRATIONMETHODOFPLANECALIBRATIONTEMPLATE,USINGMATLABGUIDESIGNCAMERACALIBRATIONINTERFACE,THECALIBRATIONINTERFACEISSIMPLE,CONVENIENTANDFAST,ANDSIMPLIFIESFIRSTLYPRINTASTANDARD2D79252MM,324MMCHECKERBOARDPLANARCALIBRATIONBOARD,USETHELEFTANDRIGHTCAMERASSHOOTING20ACHESSBOARDCALIBRATIONTEMPLATEIMAGEFROMDIFFERENTANGLES,INPUTTOCAMERACALIBRATIONINTERFACEDESIGNEDTOCAMERACALIBRATIONANDSOLVETHELEFTANDRIGHTCAMERAPARAMETERS3USINGTHECALIBRATEDBINOCULARCAMERATOOBTAINTHESTEREOIMAGE,BEFORESTEREOMATCHING,COMPLICATEDNOISYIMAGENEEDSTOBEPREPROCESSEDMAINLY,SMOOTHINGFILTERINGFORGRAYIMAGETOREDUCETHEINTERFERENCEOFTHENOISEOFIMAGETOENHANCEIMAGES,IMPROVEIMAGECONTRAST,IMPROVETHEDETECTIONOFIMAGEEDGE,PROVIDEDASOLIDFOUNDATIONFORSTEREOMATCHING4BINOCULARSTEREOMATCHINGISMAINLYTODEALWITHTHEMATCHINGIMAGEANDREFERENCEIMAGETODETECTANDMATCHTHEFEATUREPOINTS,ANDTOFINDOUTTHEDISPARITYBETWEENTHETWOIMAGESSELECTFOURDIFFERENTSETSOFIMAGESTOSIFTANDSURFMATCHINGALGORITHMINNUMBEROFFEATUREPOINTSDETECTIONANDRUNNINGTIMEOFTHEALGORITHMWERECOMPAREDACCORDINGTOTHEEXPERIMENTALRESULTS,WESELECTBETTERPERFORMANCEOFTHEFEATUREMATCHINGALGORITHMTOMATCHTHETARGETIMAGEANDOBTAINTHEDISPARITYVALUE53DINFORMATIONRECOVERYISTHROUGHTHEBINOCULARVISUALTRIANGULATIONPRINCIPLECALCULATEDTHEDEPTHINFORMATIONOFTHEOBJECTBYCHANGINGTHEDISTANCEBETWEENTHEBINOCULARVISIONSYSTEMANDTHEOBJECT,THEMEASUREMENTPOINTSARESELECTEDTOBETESTEDTHEEXPERIMENTALRESULTSARECOMPAREDWITHTHEREALINFORMATION,ANDTHEERRORSIZEOFTHESYSTEMISOBTAINEDTHEEXPERIMENTALRESULTSSHOWTHATINTHEMEASUREMENTRANGETHETOTALERROROFTHEBINOCULARVISIONSYSTEMISLESSTHAN5THISLAYSTHETHEORETICALFOUNDATIONFORTHEFOLLOWINGAPPLICATIONKEYWORDSBINOCULARVISIONCAMERACALIBRATIONSTEREOMATCHINGTHREEDIMENSIONALINFORMATIONRECOVERY目录摘要VABSTRACTVII目录IX第一章绪论111研究的背景与意义112国内外研究概况2121国外研究概况3122国内发展现状与前景分析413论文主要工作和结构安排5131主要工作5132结构安排6第二章摄像机标定及其界面设计821摄像机模型8211图像坐标系、摄像机坐标系与世界坐标系9212线性摄像机模型13213非线性摄像机模型15214镜头畸变的校正1722摄像机标定18221线性摄像机标定19222双目视觉摄像机标定2223摄像机标定界面设计2324本章小结29第三章图像预处理与边缘检测3131图像获取3132图像预处理32321灰度变换32322平滑滤波3433边缘检测37331边缘检测理论38332边缘检测算子39333实验结果与分析4234本章小结44第四章双目立体匹配算法4541立体匹配原理45411匹配基元的正确选择45412匹配约束条件45413匹配算法分类4742特征点检测47421基于改进的HARRIS角点检测算法47422角点检测结果对比5043特征匹配算法52431基于SIFT的立体匹配算法52432基于SURF的立体匹配算法59433SIFT、SURF算法对比分析6244本章小结66第五章三维信息恢复6751双目视觉三角测量原理6752系统组成69521硬件组成69522系统工作流程7053三维信息恢复实现71531摄像机标定实现71532双目立体匹配实现77533三维深度信息提取78534误差分析8254本章小结82第六章总结与展望8361总结8362展望83参考文献85作者在攻读硕士学位期间发表的论文91作者在攻读硕士学位期间参与的项目92致谢93第一章绪论11研究的背景与意义机器视觉1最先应用的领域是工业制造，因为通过机器视觉的自动识别功能，可以非常好的代替人眼识别。在一些不适合于人工作业的危险工作环境或人眼视觉难以满足要求的场合，常用机器视觉来替代人工视觉；在大批量工业生产过程中，不再依靠人来完成，用人眼视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。机器视觉就是利用机器来代替人的眼睛，不仅要获取简单的图像而且要通过机器本身的机器视觉系统对所获图像的各种信息进行处理、分析和计算，并对计算结果做出相应的定量解释和定性分析，从而进行相应的决策3。在工业方面，随着工业40的兴起带动机器视觉升级，对机器视觉设备需求大幅增温。相关产品开发商正着力研发3D视觉感测技术，让机器视觉设备不仅能判断物件颜色，更能辨别出质感和空间位置，大幅提高辨识精准度，以满足更精密的自动化控制应用。在生活娱乐方面，虚拟现实（VR）最为火爆，虚拟现实技术就是利用计算机生成一种模拟环境让参与者置身于计算机生成的三维图像世界中，感受逼真的三维世界。在VR系统中，双目立体视觉起了很大作用。通过对摄像头的实时画面进行分析，采用立体视觉技术来获取图像的深度图，得出深度信息进而可以感知深度。对于人来说，人眼是高级的视觉系统，人的视觉系统具有识别能力强、分辨率高、能快速适应灵活多变的外部环境等优点。但也有其自身的缺点，例如人的双眼不能长时间的工作，否则获取外界信息的能力就会降低，人眼在特定的环境时，它的识别能力也有一定的限制，还有就是受情绪的影响很大。表11是机器视觉与人眼视觉在不同类别下的对比。表11机器视觉与人眼视觉比较类别人眼视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目标适应性差，易受背景及环境变化的影响智能具有高级智能智能很差，不能很好地识别变化的目标灰度分辨力差，一般能分辨64个灰度级强，具有多个灰度级速度01秒的视觉暂留使人眼无法看清楚快速运动的目标快门时间可达到10微妙左右，处理器的速度越来越快运动分析定量分析定量分析，但受限制感光范围400NM750NM范围的可见光紫外光、红外光、可见光环境要求对环境温度、湿度的适应性差对环境适应性强观测精度精度低，无法量化精度高，可到微米级，易量化测距可以定量估计能力非常有限二维描述高度发达对目标能较好的描述三维描述高度发达非常低级其他主观性，受情绪影响，易疲劳客观性，可连续工作12国内外研究概况随着计算机技术的快速发展，机器视觉也相应地获得了飞速发展，一些新概念、新方法和新理论相继出现，与之相关的机器视觉的成本也随之大幅度的降低，机器视觉具有非常突出的特点，符合现代工业的发展要求，使得机器视觉在世界范围内得到了广泛的应用2。全球范围内，机器视觉产业主要在北美、欧洲以及日本地区发展迅速，正处于产业成熟期，在工业40等市场热点的推动下，欧美、日本等国在机器视觉技术方面将会有不断的发展与创新，国际市场上的机器视觉规模不断的增长。另外，中国机器视觉市场正在继北美、欧洲和日本之后，成为该领域世界第四大市场，占81（如图11所示），正在引起世界各大厂商越来越多的重视。01203405607北美欧洲日本中国其他6114950840710图11全球机器视觉市场地区分布图121国外研究概况在国际上，欧美、日本等发达的国家和地区利用坚实的、强大的工业基础，投入大量的人力、财力、物力来研究和开发机器视觉，不仅在硬件方面开发投入使用，而且对软件也进行不断升级，提高算法的优越性。通过理论与实际应用的结合，不断将理论研究投入到实际应用中去，致使机器视觉不断的发展进步，取得了非常好的成果。例如，华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航3。系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维坐标。日本大阪大学自主开发了一套自适应双目视觉伺服系统，该自适应双目视觉系统对未知运动方式的目标物体能够实现非常好的自适应跟踪4。美国麻省理工学院利用双目立体视觉系统，通过三角测量原理求出目标物体的深度信息，再采用改进图像分割方法，可以在非常快速的环境中对视频图像进行目标物体位置的分割，并取得了非常好的效果5。日本东京大学机将机器人整体姿态信息整合到实时双目立体视觉系统中，整合之后的双目立体视觉系统可以对机器人进行导航，实时的躲避障碍物6。由于机器视觉本身的结构就非常的复杂，所以只能不断的进行科学研究与创新。虽然机器视觉技术还面临很多问题，但是发达国家和地区在这一领域仍然处于国际领先地位。122国内发展现状与前景分析随着我国经济的快速发展，对机器视觉技术的需求越来越广泛，推动了机器视觉技术的迅速发展，国内相关高校、研究所和企业在机器视觉技术领域不断的进行积极的探索和大胆的尝试，将视觉理论与实际应用紧密结合，并逐步将机器视觉技术应用到工业生产。比如，西北工业大学博士研究生针对双目视觉系统结构，采用三角法建立了双目视觉测量系统的结构参数模型，分析双目视觉系统结构参数与空间被测点之间的关系特性，研究各结构参数对测量精度误差分布的影响，通过仿真实验给出了小误差时的结构参数的最佳取值范围7。上海大学通信与信息工程学院提出了基于神经网络的双目立体视觉摄像机标定方法8。首先对摄像机进行线性标定，然后通过网络训练建立起三维空间点位置补偿的多层前馈神经网络模型，此方法对双目立体视觉摄像机的标定具有较好的通用性。东南大学在双目视觉基础上提出了新的特征匹配算法，该特征匹配算法能够完成非接触式的测量，并且测量精度较高，该匹配算法对测量的对象没有特殊的要求，可以是三维不规则的偏转线圈8。浙江大学机械学院通过建立双目立体视觉系统，采用透视成像的原理对多自由度的机械设备进行检测，可以实现精确的位姿动态检测，取得了较好的成效9。哈尔滨工业大学提出了异构双目活动视觉系统，该双目活动视觉系统能够对全自主的足球机器人进行导航，实现足球机器人的一系列动作10。维视图像公司采用双目相机，从相机内参数标定、镜头畸变标定、双目立体匹配等方面取得了非常好的效果。该系统可以实现机器人导航、微操作系统的参数检测、三维测量和虚拟现实等应用。还有的高校与相关机器视觉的企业进行密切的合作，将机器视觉理论研究与企业相结合，把研究成果落到实处，逐渐地应用到现实生活中，同时企业也不断的加大投入，取得了全面的发展和改进，获得了一定的成果。我国的机器视觉应用范围涵盖了工业生产、农业生产、军事、航空航天、气象预测、天文观测、公安侦查、交通运输管理、食品药品安全、科学研究等各行各业。在我国，机器视觉较发达国家起步较晚，机器视觉行业存在非常大的发展空间，行业市场规模在不断扩大，对机器视觉的需求巨大。13论文主要工作和结构安排131主要工作本论文以机器视觉理论为基础，主要从系统的搭建、摄像机的标定及界面设计、图像滤波与边缘检测、特征点的检测与立体匹配算法、深度信息的提取等部分对双目视觉进行了研究与实验，详细讲解了基于双目视觉的三维信息恢复。所做的主要工作如下（1）研究了双目视觉理论知识，搭建了本文的双目视觉平台，利用该平台进行图像的获取，摄像机的标定，双目立体匹配，以及三维深度信息提取。调整两个摄像头的高度，保证在使用过程中双目摄像机成像处在同一水平线上，减小系统误差。（2）通过对摄像机标定技术的学习，结合张正友平面棋盘格标定法，使用MATLABGUI设计出摄像机标定界面，该标定界面既可以标定单目视觉的摄像机，也可以同时标定双目视觉的左、右两个摄像机。制作平面棋盘格标定板，使用左、右两个摄像机各拍摄20幅标定板图像，输入到标定界面，计算出摄像机的相关参数。（3）详细分析了改进的HARRIS角点检测算法，通过对五组不同的图像进行角点检测实验，从实验结果可以看出，改进后的算法，即加入区域像素的相似度优化的HARRIS角点检测算法检测出的角点数量增加，并且算法核心部分的平均消耗时间比未优化的算法提高了20左右。（4）对SIFT特征匹配算法与SURF特征匹配算法进行了详细的分析，通过多组实验直观的比较两种匹配算法在特征点检测和算法运行时间上的性能，结合实验结果分析两种匹配算法的优缺点。根据本文后续的应用，将双目视觉应用于扫地机器人导航，避障，选取综合性能较好的SURF匹配算法，进行双目立体匹配，获取视差，为后续的三维信息提取做准备。（5）使用已标定的双目摄像机获取目标物体图像，根据双目视觉三角测量原理得出的深度信息计算公式，求出目标物体的深度信息。改变目标物体与双目摄像机的距离，通过多组实验测量双目摄像机与目标物体的距离，比较真实距离与双目视觉测量距离的误差，由多组实验结果可以看出，在双目摄像机成像范围内，本文的双目视觉系统的测量误差总体保持在5以内，为采用双目视觉系统进行导航、避障的扫地机器人应用提供了理论支持。132结构安排论文具体结构安排如下第一章为绪论，介绍了机器视觉研究的背景与意义，国内外研究的概况。总结本人所做的工作，并对论文的结构作了安排。第二章对摄像机成像的几何模型，摄像机坐标系统，图像坐标系和世界坐标三者三者之间的关系以及摄像机镜头畸变的校正进行了简要介绍，分析了线性摄像机标定的原理以及双目摄像机的标定方法，并介绍使用MATLABGUI设计的摄像机标定界面，该界面操作简单、方便、快捷，可以很好的对摄像机参数进行标定。第三章基于MATLAB的图像处理，主要是对获取来的原始图像进行灰度化处理、图像滤波处理以及图像的边缘检测。图像滤波是为了改善图像的质量，从图像中剔除不相关的信息，以还原图像中真实的和有用的信息。经过预处理后的图像只带有边缘信息，简化图像信息的同时增强了边缘信息，从而提高了后续的特征提取、匹配的可靠性。第四章是双目立体匹配算法，介绍了特征匹配的基元选择，匹配约束条件，匹配方法的分类以及SIFT特征匹配算法、SURF特征匹配算法。研究基于HARRIS算子的特征点提取方法，并在HARRIS角点检测算法进行阀值判断之前加入图像区域像素的相似度优化，提高特征点检测效果。选取四组不同的图像进行实验，对SIFT特征匹配算法和SURF特征匹配算法的性能进行对比，结合实验结果选择合适的特征匹配算法，获取视差。第五章是三维信息恢复，对双目立体视觉三维信息恢复的原理进行分析，简化三角测量原理获得三维深度信息，推到出深度信息的计算公式，并利用标定得到摄像机内部参数与匹配得到的视差值，计算目标物体的三维深度信息。通过改变双目摄像机与目标物体之间的距离进行不同的实验，由实验结果分析了误差大小和来源。第六章是对论文研究工作进行总结，并在此基础上对本文研究工作中存在的不足之处提出了进一步的研究和改进方向。第二章摄像机标定及其界面设计机器视觉应用中，为确定空间物体上的三维坐标点与其在图像中对应点之间的相互关系，必须建立摄像机成像的几何模型，该几何模型参数就是摄像机参数，求解参数的过程就称为摄像机标定1112。摄像机参数的标定是非常关键的环节，其标定结果的精度直接影响摄像机工作产生结果的准确性。因此，做好摄像机标定是做好后续工作的前提。21摄像机模型摄像机成像的过程如图21所示，二维图像上的每个点与三维空间物体表面相对应的点几何位置有关，这些在摄像机二维图像上的点的位置与空间点之间的相互关系，由摄像机成像几何模型来确定，摄像机成像几何模型的参数称为摄像机参数。在实际应用中，摄像机的几何模型通常用数学模型来描述，它可以分为线性模型（也称为针孔模型）和非线性模型1314。外参数摄像机内参数摄像机图21图像形成过程211图像坐标系、摄像机坐标系与世界坐标系如图22所示，建立以像素为单位的平面直角坐标系。以像素为单位VU的坐标系的横坐标与纵坐标分别是该像素点在摄像机二维图像中相应的列数UV与行数15。O0O1U0,V0UVYX图22图像坐标系由于坐标系只代表二维图像中像素点的列数与行数，而像素点在二维,VU图像中的位置关系没有用物理单位表示出来，所以，还需要建立用物理单位（比如单位为毫米）来表示的图像坐标系。将摄像机的光轴与二维图像平YX面的交点定义为图像坐标系的原点为，该点一般位于二维图像平面的中心1O1处，也称为摄像机图像的主点。并且图像坐标系的轴与像素为单位坐标系下的轴平行，图像坐标系的轴与像素为单位坐标系下的轴平行。假设UYV代表在坐标系下的坐标，与分别表示每个像素点在图像坐,0V1OVUDXY标系横轴和纵轴上的长度与宽度大小。图像中的每个像素点在坐标系XVU中的坐标和在坐标系中的坐标之间都存在如下的转换关系Y0VDYUX（21）假设式（21）中物理坐标系中的单位为毫米，那么的单位为DX，那么的单位就是像素，即和的单位一样都是像素。像素毫米DXU将式（21）转化为矩阵形式1011VDYVU（22）式（22）的逆关系式可表示为101VUDYXDXY（23）摄像机可以放置在三维空间中的任意位置，这就需要由轴构成的WZYX,世界坐标系来描述摄像机的空间坐标。图23所示是摄像机成像几何关系，其中点是摄像机的中心，轴和轴与图像平面的的轴与轴平行，轴为OCXCYXYC摄像机的光轴。摄像机光轴与二维图像平面的交点，称为图像坐标系的原点，1O由点与轴构成摄像机坐标系，的长度为摄像机的焦距。CZYX,1OF世界坐标系是用来描述摄像机在空间中的位置，并且三维空间中的任何物体的位置信息也可以用世界坐标系来描述，如图23中坐标系称为WZYX世界坐标系，旋转矩阵和平移矩阵表示从世界坐标系到相机坐标系的转换。RT假设空间一点在世界坐标系下的齐次坐标是，在摄像机坐标下PTWZYX1,的齐次坐标是，则摄像机坐标系下的坐标与世界坐标系下的坐标TCZYX1,有如下的转换关系110WWTCCZYXMTRZ（24）其中，为是的正交单位矩阵，也称为旋转矩阵，是三维的平移矩阵。R3T矢量，是的矩阵。0,1M4,CCCZYXPCZWOWXWYWZ1OXYOCXCYP图23摄像机坐标系与世界坐标系OCYXPQCZYXPQ0,TR图24摄像机坐标系与世界坐标系之间的转换关系如图24所示，从摄像机坐标系下到世界坐标系下的转换，是通过旋转矩阵和平移矩阵来实现。RT在三维空间中，可以将旋转变换拆解为绕各自轴，轴，轴的二维旋转XYZ的组合形式，其中旋转的轴线的度量保持不变。最终一个旋转变换可以等价于在另一个不同的坐标系下对点位置的重新描述。图25所示的是绕三个坐标轴旋转不同角度。XYZYZXZYXXYZZXY图25坐标旋转示意图如果按照顺序分别绕轴旋转角度，和，那么最终的旋转矩阵RZYX,是矩阵、矩阵以及矩阵的乘积，其中XRZRCOSIN0I01XR（25）（26）COS0SIN1IY1IZR（27）因此，旋转矩阵ZYXR平移矩阵用来表示将一个坐标系下的原点转换到另一个坐标系下的原点，T或者说平移向量是转换之后的第一个坐标系原点与第二个坐标系原点之间存在的偏差。假设空间一点在世界坐标系的下的坐标转换到在摄像机坐标系下之0P后，该点坐标变为点的坐标，这两者的关系表示为，则可OPC0TPRC以用三个角度，和表示绕不同坐标轴的三维旋转变换，用三个参数表示三维平移。,ZYX212线性摄像机模型用线性模型（针孔模型）表示任一点在像平面中的投影位置，,CZYXP任一点的投影点都是（即光心，也是投影中心）与点,CZYXP,YXPO的连线与图23中像平面的交点。对应比例关系可得,CZFYYXXC（28）在摄像机坐标系内，由三角形相似性原理可得，表示焦距，单ZXFXCF为毫米。将式（28）写成齐次坐标与矩阵的形式为101CCCZYXFZYX（29）将式（22）与（23）代入式（29），得到点坐标与投影点的坐标PP的关系为,VU1010011WTCZYXTRFVDYUXZVUWWTYXXMZYXTRVKU2101（210）其中，；为投影矩阵，完全取决于DXFKXYFKYM431四个参数，矩阵中的参数就是摄像机的内部参数，矩阵中的0,VUKYX12M参数是摄像机的外部参数，摄像机外部参数完全由摄像机坐标系相对于世界坐标系的空间位置转换关系确定。如果已知摄像机的内部参数和摄像机的外部参数之后，可以通过式（210）求出矩阵。则对空间中的一点，坐标为，就可以逆向的求解MTWZYXP1,出与点相对应的图像中点的位置为。当已知投影矩阵和时，式PP,VUMWX（210）给出的三个方程中，消去就可以解出的值，反之则不成立，如CZ,果想求解空间点的坐标，知道了空间点对应的图像点的位置，经管PPP,VU再已知摄像机内外参数，也是不能唯一的确定图像点对应的空间点的值。WX在式（210）中，是的不可逆矩阵，尽管已知了投影矩阵和图像位置M43M，消去式（210）中的，但是这样仅仅只能得到关于的两个,VUCZWZY,线性方程组，由这两个线性方程所构成的方程组都是射线的方程，也就是OP说，投影点为的全部空间点均在该射线上，如图23所示，当已知摄像机POP图像中的点时，由线性摄像机成像几何模型可知，对于任何的空间点，只要该空间点位于射线上，则该空间点所对应的摄像机图像上的点都是点，OPP所以，这样的空间点有无数多个，很难唯一的确定。将式（29）写成归一化形式，得10101WCZYXFZYX（211）将式（22）带入式（211），得到1010101WCZYXFVDYUXZVU1010WYXZYXVKU（212）定义归一化图像坐标为,NYX1011VUKYN（213）由式（212）与式（213）可得101CCCNZYXZYX（214）所以，式（214）中，与，的关系为NXYCXYCCZCNZYY（215）213非线性摄像机模型非线性的摄像机模型，是指摄像机在成像过程存在畸变与小孔成像模型所成的像有差别。在有畸变的情况下，需要一个非线性的摄像机模型来描述这种畸变，便于后续对摄像机畸变进行有效的校正。摄像机畸变的校正首先需要通过摄像机标定获得摄像机的内部参数矩阵和畸变参数，得到这些参数之后才能对存在畸变的图像进行校正。对于有的摄像机透镜系统在设计或装配过程中可能会引起图像点的偏离，导致摄像机成像出现误差，这种误差被称为光学畸变，如图26所示。,ZYXFXYZXY,DDYXI图26畸变示意图摄像机的畸变类型有很多种，主要可以分为偏心畸变、薄棱镜畸变和径向畸变。径向畸变会在径向位置上产生偏差，薄棱镜和偏心畸变主要会产生径向和切向两个方向上的偏差。径向畸变主要由摄像机镜头形状因素引起，这种畸变关于摄像机的光心对称，向内侧凹陷的畸变类型称为枕形畸变，向外侧凹陷的畸变称为桶形畸变，如图27左图所示。数学模型可由式（216）表示。2221YXKYXKRYX（216）其中，为径向畸变系数。21,K偏心畸变主要是由于各种原因导致摄像机的光心与几何中心不能完全对齐造成的，偏心畸变包括径向畸变和切向畸变两种，如图27中右图所示，偏心变形的数学模型可以用式（217）表示。32221YXPYDYX（217）其中，为偏心畸变系数。21,P薄棱镜畸变是由于摄像机镜头在设计加工、安装中造成的误差，最终导致摄像机镜头发生径向和切向偏差，式（218）是薄棱镜畸变的数学模型。21YXSPY（218）其中，为薄棱镜畸变系数。21,SAB桶形畸变A枕形畸变点位置实际像点位置理想像DTDR切向畸变径向畸变DTR图27摄像机畸变类型综上所述，摄像机畸变可以用式（219）表达式统一表示。,YXYXPDRYXX（219）一般来说，在要求不是非常高的使用条件下，径向畸变完全可以描述摄像机的非线性畸变，如果需要考虑镜头畸变，就要对摄像机线性成像模型进行修正，加入畸变因素。假设实际图像中的像素坐标为，理想状态下图像中的,YX像素坐标为，则理想坐标、实际坐标和畸变偏差之间关系如式（220）所,YX示。YXY（220）214镜头畸变的校正由于摄像机镜头都是采用的透镜，根据透镜所具有的结构特点，多数摄像机在成像过程中都可能会存在镜头畸变，对摄像机成像模型影响最大的是径向畸变，在一般情况下只需要考虑摄像机镜头的一阶和二阶径向畸变就能够满足实际中的需要，假定摄像机的镜头在轴和轴方向上的畸变系数是相同的，XY则径向畸变模型可以用式（221）表示。2221YXKYXKYX（221）其中，为校正前的图像坐标，为校正后的图像坐标，为,YX,1K2一阶径向畸变和二阶径向畸变系数。将式（221）转换到像素坐标有22210YXKYXKVU（222）其中，为校正前的图像像素坐标，为校正后的图像像素坐标。如,VU,VU果有幅图像，能获得组方程组。表示为式（223）。MM（223）VUKYXVYXVUUYXYXMMMMM1220220121021102写成矩阵形式DDK（224）然后，通过线性最小二乘的方法求出径向畸变系数T1（225）当摄像机的一阶径向畸变系数和二阶径向畸变系数求出后，就可以进1K2K一步优化所有的参数，经过非线性校正及优化后径向畸变的现象将极大的改善。22摄像机标定摄像机标定是利用标定模板的参考点坐标和它的图像坐标），（ZYX来确定摄像机内部的几何参数（内部参数）以及摄像机在三维世界中的），（VU坐标关系（外部参数）。内部参数包括摄像机镜头焦距，镜头畸变系数，F），（SK图像坐标原点等参数。外部参数是选择矩阵和平移矩阵。），（0VURT221线性摄像机标定摄像机标定是获取摆放在摄像机前方一定距离的具体参数已知的标定物的图像，标定参照物如图28所示，并根据摄像机拍摄的不同角度的标定参照物的图像，采用标定算法计算出摄像机的内部参数与摄像机的外部参数。在标定参照物上的每所有特征点（图28中每个小正方体的顶点）在制作时都需要非常准确的测定该特征点在世界坐标系中的空间位置，只有每个小正方体的顶点信息被精确的测定，才能保证摄像机标定的精度。图28标定参照物由获得的标定参照物图像求出投影矩阵，将式（210）展开写成M113432211WKKCKKZYXMZVU（226）其中，为空间中第个特征点的坐标，为第个特1,WKKZYXK1,KVU征点的图像坐标，为投影矩阵的行列的元素。将式（226）拆分写成IJMMIJ如下三个方程11343323222141312MZYXMZVUWKKWKCKKKKCKWKKWKCK（227）将式（227）中第一式与第三式，第二式与第三式分别消去，可得两个CKZ关于的线性方程，如式（228）所示。IJM（22834323124322131MVZYVMXZYXUUKWKWKWKWKKWK）式（228）表示，如果已知标定模板上的个点，并且已知个点的空间NN坐标为和图像点坐标为，可得,1,KZYWK,1,KVU（22934341321423143211111111110001000MUMVUYVXVZYXZUUZYXZYXVXXNWNWNWNWNWWWW）由式（210）可知，矩阵不会影响与之间的转换关系，M,W,所以，令，得到关于矩阵中其它元素的个线性方程组，方程组中134MMN2的未知数的个数为11个，记为向量，为11维向量，将式（229）简写成MUK（230）其中，为式（229）左边的矩阵，为未知的11维向量，为式12NMU（229）右边的维向量，已知，当时，式（230）线性方程组2,1的解可以用最小二乘法求出。则，与构成了所要求解的矩阵，只要34M已知6个或者6个以上的空间中点与这些空间点所对应的图像坐标系中的坐标，就可以求出矩阵，求出矩阵后，将结果带入到式（210）表示的关系，进M一步的求解出摄像机的内部参数与摄像机的外部参数。将矩阵分解成与摄像机内部参数、摄像机外部参数有关的关系式为100132103244ZYXYXTRTVKUM（231）其中，为矩阵的第行的前三个元素组成的行向量；,21IMI为矩阵第行第四列元素；为旋转矩阵的第行；3,4IMI3,21IRRI分别为平移向量的三个分量。ZYXT,T由式（231）可得ZYYZXXTRVKVKTUM3002132414（232）比较式（232）等号两边可得，。由于是单位正交矩阵的第三34R3行，所以，由可以解出，再根据下列式子求解出1|3R1|34M|134M的值。YXKVU,033402143302342113234132430011|MTVKUTRMVKURKRVUZYXYXYXYX（233）222双目视觉摄像机标定双目摄像机标定1617与单目摄像机标定的区别是，用两个摄像机同时观察周围环境，需要通过摄像机标定，测量两个摄像机之间的相对位置关系（如图29所示）。在双目摄像机标定过程中可以先用单目摄像机标定的方法，对左、右两个摄像机单独进行标定，通过单独标定分别得到左、右摄像机各自的内部参数与外部参数。WXWYWZP1O2O1X1Y1Z2Z2X2YP1L2L1P2P2P1,TR2,TR1I2I1C2C图29双目摄像机几何关系假如用摄像机外参数中的旋转矩阵和平移矩阵表示世界坐标系与摄1R1T1像机坐标系之间的转换关系；用摄像机外参数中的旋转矩阵和平移矩阵表2R2T示世界坐标系与摄像机坐标系之间的转换关系，那么对任意一个世界坐标系2C中的点，坐标为，该点在摄像机坐标系与摄像机坐标系下的坐标分PWX1C2C别为，由双目摄像机的关系可得下列关系式1C2（234）2211TXRWC将式（234）消去后得21211TRTCC（235）所以，两个摄像机之间的关系可用表示为T,21TRT（236）由式（234）（236）知，若对左、右两个摄像机分别单独进行标定，得到摄像机的旋转矩阵和平移矩阵，摄像机的旋转矩阵和平移矩阵，1C11T2C2R2T则双目摄像机的几何关系可以通过式（236）计算得到。在计算时需要TR,将左、右两个摄像机单独标定中的矩阵拆分，以便于求解出摄像机的旋转M1C矩阵和平移矩阵，摄像机的旋转矩阵和平移矩阵。1R1T2C2R2T23摄像机标定界面设计摄像机标传统的定方法中，都需要利用三维立体标定物体，该标定物体要求在制作，加工过程中需要保证标定物上每个特征点的精度，最终保证摄像机标定结果的精度。而二维平面标定模板的摄像机标定方法，只需要摄像机从不同角度拍摄二维平面标定模板，获取一定数量的二维标定模板图像，基于二维平面标定模板的摄像机标定方法使用方便、灵活且标定精度较高18。基于二维平面标定模板的标定过程可以分为两步第一步，求解二维平面标定模板与图像平面之间的矩阵转换关系，在求解矩阵转换关系时不需要考虑摄像机的成像几何模型，只需要知道平面标定模板坐标系中的点和对应的摄像机图像坐标中的点的关系，两个坐标系中点的对应关系可以利用最小二乘法求解得到。第二步，利用第一步的关系求解出摄像机的内部参数矩阵和外部参数矩阵。根据计算所得二维平面标定模板和图像平面的矩阵转换关系列写出与摄像机内部参数相关的方程组，求出该方程的解，即可以得到摄像机的内部参数。由于摄像机镜头畸变的存在，通过求解该方程得到的内部参数可以作为初始值进行优化，从而得到摄像机各参数的精确值，从而提高摄像机的标定精度。根据二维平面标定方法可知，由线性摄像机模型，可得式（237）111321WWZYXTRAZYXTRAVUS（237）把世界坐标系所在的平面置于标定模板所在的平面，即。将式0（237）变形为式（238）110121WWYXTRAYXTRAVUS（238）其中，表示旋转矩阵的第列向量。令，IRITYXM，则式（238）可简写为TVUM1HMS（239）其中132132121HHTRA（240）即为单应性矩阵。有式子可以推出HMHMS13213HXSYVU（241）从而推得23213211HYHVYVHUU（242）令3212321312HHH（243）则010HVYVXYUUX（244）将式（244）写成的形式，则矩阵最小特征值所对应的特征向量SHST就是该方程的最小二乘解。再根据所求的，求解出。由于上式中所求得的HH与真实的可能差一个比例系数，所以，将式（240）改写成下列形式HTRAH21321（245）与为单位正交向量，有，且，所以得到摄像机内1R221T021RT部参数求解的两个约束条件21211HAHATT（246）令32311BABT1120202020202022VUVUVUVV是对称矩阵，可以用6维的向量来表示BTBBB321321（247）假设的第列向量可以表示为的形式，那么HI321IIIIHHBVHTIJITI（248）其中3313132121JIJIJJIJJIJIJIJIIJHHHHV若有幅摄像机标定模板的图像，就可以得到关于的形式NB0B（249）其中矩阵V是，假如，则就能被唯一的求解出来，进而计算出摄623NB像机的5个内部参数，参数计算公式如式（250）所示。/2130211112313120230UVUVUFBFSFBVBV（250）矩阵求得之后，再根据摄像机的内部参数矩阵，利用下列式子可以计HA算出每幅平面标定模板图像的外参数，外参数计算公式为|1|,22131321HAHATRRR（251）以上求解旋转矩阵的误差较大，需要用最大似然估计来进行优,321RR化。基于MATLABGUI21编程实现摄像机标定，采用的是二维平面棋盘格模板，改变二维平面棋盘模板的不同角度，获取图像，通过图像处理，计算出摄像机的参数，棋盘标定模板如图210所示。WYWZWXWO图210标定模板由二维平面标定的原理可知，摄像机从不同角度获取一定数量的棋盘格标定模板图像，通过处理之后，利用MATLABGU设计出的摄像机标定界面，将拍摄得到的一定数量的棋盘格标定模板图输入到标定界面，设置相应的棋盘格参数，提取出棋盘格的角点信息，计算出摄像机的内部参数、外部参数和畸变参数。该标定界面可以实现快速、准确、自动处理。图211给出了所设计的摄像机标定界面工作流程。NYNY图211摄像机标定界面设计流程采用MATLABGUI设计的自动摄像机标定，该摄像机标定界