[硕士论文精品]基于激光点的空间物体的视觉测距方法与实验研究

朱丹风基于激光点的空间物体的视觉测距方法与试验研究中文摘要机器视觉作为当今最为活跃而又富有挑战意义的研究领域，其研究内容和应用领域相当广泛。机器视觉技术是20世纪中期发展的一门新兴的综合性科学技术，它集合了电子、机械、光学、计算机及信息科学等多学科的最新成就，是高技术领域的重要组成部分。本文以利用激光点测距为目的，对摄像机标定技术、摄像机标定算法以及图像处理技术进行了研究和探讨。首先通过对双目立体视觉基本几何模型的介绍，建立了摄像机的标定模型。由于摄像机镜头存在镜头畸变，模型有线性模型和非线性模型之分，对于要求精确定位的应用，需要考虑畸变带来的影响。然后对摄像机标定算法进行探讨，本文采用以传统的标定算法为基础，借鉴了TSAI和ZHALLG的方法，提出了一种基于径向排列约束RAC的两步法标定。在摄像机标定模型确定的基础上进行了摄像机标定试验，利用已知的标定物、标定物的图像以及建立的摄像机标定模型求解出摄像机内、外部参数。实验中采用实体铝制标靶，借助三坐标测量仪获取目标物体的空间点坐标值，再对目标物体进行图像处理得到图像坐标，利用模型得到参数的解。在视觉系统测距过程中，利用激光点作为目标物体，以激光点作为匹配特征可以简化过程，减小计算量。通过激光点的二维图像坐标和己标定的视觉系统计算得到标记点的空间坐标值，将这个值与实际测得的坐标值进行了比较，分析造成误差的原因。通过试验验证表明该视觉测距系统可以达到较高的精度，为今后的进一步研究打下了基础，相信随着研究工作的深入以及相关技术的不断完善，以激光点标记为匹配特征的双目立体视觉一定会取得令人满意的成果，这门技术也会越来越广泛地应用到各行各业中去。关键词双目立体视觉，机器视觉，摄像机标定，边缘提取，径向排列约束扬州大学硕士学位论文ABSTRACTMACHINEVISIONISANACTIVEANDCHALLENGINGRESEARCHFIELDITSRESE锄出AND印PLICATIONAREASSP陀AD讯DELYMACLLINEVISIONTECHNOLOGYISARISINGMEGRATIVESCIENCETECHNOLOGY，W越CHIST11ELASTWORDREFE玎INGELECTRONICS，MECHAMSM，O砸CS，COMPUTERANDCOMM砌CATIONTECLLILOLOGY，ANDWMCHIST11EMOSTIMPOR胁TPARTOF11I曲TECHFIELDWITLL血ET弼ETOFMETERAGEUSING1ASER，“SPAPERDISCUSSES恤TECHNOLOGYOFC锄ERACALIBRATION，CALIBRATION撕T11METICAILDIMAGEPROCESSINGFIRST，WEESTABLISHC锄ERACALIBRATIONMODELT11ROUGHBASICGEOME衄MODELOFSTEREOVISIONTHEREARELIRLEARCALIBRATIONMODELANDNONLINEARCALIBRATIONMODELI11C锄ELACALIBRATIONTECMQUES，SINCEMEC锄EM1ENSUSEDINMACMNEVISIONSUSTAINA10TOFNONLINEARDISTORTION111廿1ESITUATIONOFBEINGMEASUREDEXACTLY，MEDISTORTIONOFC锄ERALENSSHOULDBECONSIDEREDTHENWESTUDYONMECAMERACALIBRATIONALGORITHMSBASEDONTLLECOIENTIONALCALIBRATIONALGORIMMS，THEP印ERBRINGSFON旧RDANEWT、VOSTEPCALIBRATIONMEMODBAUSEDONMERADIALALI铲IILLENTCOLLS仃AIMRACBAUSEDONESTA_BLISLLINGTHECAMERACALIBRATIONMODEL，WEDESIGNTHECALIBRATIONEXPERIMENT，WKCHCANWORKOUTT11EUNLNO、VNC锄ERAPAR锄ETERSTHROU曲THETA唱ETCOORDMATES，TARGETIMAGE越LDT_HECALIBRATIONMODELSETUPABOVEINMEEXP缸MENT，WEUSEANALUININOUSPLANETARGETOBJECTTHECOORDINATEOFTLLETA玛ETSAREOBTAINED、VITLLT11E3ILHNENDIONMEAS面NGINSTNLIILENT，SIINUL锄EOUSLY，FORTHES酞EOFTESTINGTHEPRECISIONOFTHESYSTEM，WEUSELASERASTHETA培ETTOCALCULATETHE3DCOORDINATE，WHJCHCANBECOMPARED谢T11也EMEASURINGCOORDINATETHEP印ERALSOANALYZESMECAUSEOFTLLEENDRTHEVISIONMEASUREMENTSYSTEMBROUGHTFOMMDI11T11ISPAPERISPROVEDTOBEFEASIBLETHROUGHEXPERIMENT，WHICHBUILDSMEFOUNDATIONFORTHEFMHERRESEARCHWITHTHEDEVELOPMEMOFTHEWORK，THEBINOCULARSTEREOVISIONSYSTEM诵MLASERTOKEN埘UACQUIREASATIS匆INGPERFORNLANCETMSTECLLIL0109YWILLBEWIDELYUSEDINMOREANDMOREINDUSNVKEYWORDSBINOCULARSTEREOVISION，MACHINEVISIO玛C锄EMCALIBRATION，EDGEIIETECTION，LII溯IALALIGMNENTCONS乜AINT朱丹风基于激光点的空间物体的视觉测距方法与试验研究扬州大学学位论文原创性声明和版权使用授权书学位论文原创性声明本人声明所呈交的学位论文是在导师指导下独立进行研究工作所取得的研究成果。除文中已经标明引用的内容外，本论文不包含其他个人或集体已经发表的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本声明的法律结果由本人承担。学位论文作者签名柑J乳签字日期“蚤年厂月潍日学位论文版权使用授权书本人完全了解学校有关保留、使用学位论文的规定，即学校有权保留并向国家有关部门或机构送交学位论文的复印件和电子文档，允许论文被查阅和借阅。本人授权扬州大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公众提供信息服务。学位论文作者签名珠冉乩签字日期川8年厂月旧朱丹凤基丁激光点的空间物体的视觉测距方法与试验研究第一章绪论11课题研究的背景和意义人类接受的外部环境信息中，有80的信息是通过眼睛获取的。通过眼睛，人可以充分了解环境中各种物体的属性，包括形状、颜色、大小、空间位置以及物体之间的相互关系等，从而使人能与周围环境进行有效的信息交互，完成各种复杂的任务和行动。智能机器人感知外部环境信息也需要一双“眼睛”，那就是人工视觉或者叫机器视觉，它是智能机器人不可或缺的分系统之一。近些年来，机器视觉在工业中的应用越来越多，基于机器视觉的目标定位系统也是近年来工业机器人发展的成果。机器人对目标的定位更快、更准，实时性更好，从而推动整个机器人产业的发展。同时人们对视觉效果要求越来越高，传统的视觉处理技术已经不能适应发展，所以研究空间物体的视觉测距方法是视觉研究领域的一个重要课题，具有重要的理论意义和应用前景。据此，我们开展了基于激光点的空间物体的视觉测距方法与试验研究，该课题得到扬州高层次人才科研启动基金和江苏省自然科学基金BK2007084的资助。12机器视觉技术的定义和发展机器视觉，又叫人工视觉，亦可称为工业视觉或计算机视觉，与人类视觉或动物视觉有着本质的不同。也有人认为机器视觉是计算机视觉工业应用的一个分支。机器视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知三维环境中物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。机器视觉发展得益于神经生理学、心理学与认知科学对动物视觉系统的研究，但机器视觉已发展起一套独立的计算理论与算法。为从整体上理解机器视觉系统的体系结构，让我们先从信息处理的角度来分析人的视觉系统结构。扬州大学硕学位论文121机器视觉的生理基础人类视觉是机器视觉的原始模型，是解决一切视觉问题的完美参照系【L】。人的视觉感知是一个由客观世界的物理表象到主观映像的不断抽象概括的过程，在视觉系统内则是以表象空间视网膜到解释空间大脑视皮层的映射过程，是一个从具体的多彩、纷繁的空间景物到简练的属性概念的描述过程，这就是视觉感知的实质，是人类认识世界的独特本领。神经生理学为机器视觉提供了视觉神经系统的解剖构造，说明了人的视觉信号由眼到脑的生物组织和它们在视觉过程中所起的作用以及各种神经细胞的活动规律。它们是由光电信号到主观意识的复杂信息处理过程的生理基础，组成了视觉信息处理的“硬件”。而人的视皮层则是一个由大量简单神经元高度耦合的巨型非线性动力学系统，不同部位的神经元形态不同，反应特性迥异，但所有的视神经活动都遵循一定的共性规律，并具有相同的基本处理过程。机器视觉模型的使用有赖于实际应用的背景，而采用的处理算法应该在不同程度上或多或少地接近神经信息的处理原理。因此，人类视觉的感知机理理应成为视觉信息处理的“软件”。当人们在观察一个物体的时候，同一个景物，由于人眼从不同角度进行观察所得到的图像总是略有差别，这种差别我们称为视差如图卜1所示。利用这种视差可以求出物体的深度信息，从而就会对物体产生了所谓的“立体感”，也就是通常所说的双目立体视觉。2图11人类视觉视差原理朱丹风基于激光点的空间物体的视觉测距方法与试验研究立体视觉主要研究如何借助多幅图像成象技术从不同图像罩获取场景中物体的距离深度信息，兴起于20世纪60年代中期【2J。立体视觉的基本方法是用两个或两个以上的视点去观察同一物体目标，获得在不同视角下的一组图像，然后通过视觉成像原理推算出不同图像中对应像素间的相对位置信息，进而推断物体目标的空间位置。一个完整的立体视觉系统可以划分图像采集、摄像机标定、特征提取、立体匹配、三维重建和后期处理六个模块【2】。在这六个模块中，立体匹配是关键所在，如何快速解决两幅不同图像上特征点的匹配以及误匹配，对于确定空间物体的位置和姿态，引导机器人进行抓取、放置、装配等任务具有重要的现实意义。利用传统的立体匹配方法不仅计算量大而且易产生误匹配，而对于实际工程问题，只需要空间物体的位置和姿态，对于其它信息并不需要。因此，能否研究出一种快速测距算法，对于实现机器人双目立体视觉的应用和推广起到积极的作用。122机器视觉技术的发展机器视觉是用计算机实现人的视觉功能对客观世界的三维场景的感知、识别和理解。机器视觉是在20世纪50年代从统计模式识别开始的，当时的工作主要集中在二维图像分析、识别和理解上，如光学字符识别、工件表面、显微图片和航空照片的分析和解释等。20世纪60年代，ROB瞰S将环境限制在所谓的“积木世界“，即周围的物体都是由多面体组成的，需要识别的物体可以用简单的点、直线、平面的组合表示。通过计算机程序从数字图像中提取诸如立方体、楔形体、棱柱体等多面体的三维结构【3】，并对物体形状及物体的空间关系进行描述。ROBENS的研究工作开创了以理解三维场景为目的的机器视觉的研究。到70年代，已经出现了一些视觉应用系统14，5J。1973年，英国的MARR教授应邀在美国的麻省理工学院MIT的人工智能实验室创建并领导一个以博士生为主体的研究小组，从事视觉理论方面的研究。1977年，MARR提出了不同于“积木世界”分析方法的视觉理论叫ARR视觉理论，该理论在20世纪80年代成为机器视觉研究领域中的一个十分重要的理论框架【6J。到了80年代中期，机器视觉获得了迅速发展，主动视觉理论框架、基于感知特征群的物体识别理论框架等新概念、新方法、新理论不断涌现。而到90年代，机器视觉在工业环境中得到广泛应用7，引，同时基于多视几何的视觉理论得到迅速发展【9】。扬州大学硕士学位论文1221MARR视觉理论框架20世纪80年代初，MARR首次从信息处理的角度综合了图像处理、心理物理学、神经生理学及临床神经病学等方面已经取得的重要研究成果，提出了第一个较为完善的视觉系统框架，使机器视觉研究有了一个比较明确的体系。虽然这个理论还需要通过研究不断改进和完善，但MARR的视觉计算理论是首次提出的阐述视觉机理的系统理论，并对人类视觉和机器视觉的研究都产生了深远的推动作用。MARR从信息处理系统的角度出发，认为对视觉系统的研究应分为三个层次，即计算理论层次、表达与算法层次和硬件实现层次。1计算理论层次视觉信息处理的最高层次是抽象的计算理论层次，它回答视觉系统各个部分的计算目的与计算策略是什么，或视觉系统的输入输出是什么，如何由系统的输入求出系统的输出。MAH认为对于千差万别的三维物体，应存在一种计算层次上的一般性目的描述，即通过视觉系统重建三维物体的形状、位置。在这个层次上，视觉系统输入的是二维图像，输出则是三维物体的形状、位置和姿态，视觉系统的任务就是研究如何建立输入输出之间的关系和约束，如何由二维灰度图像恢复物体的三维信息。若在每一时刻都可以得到物体的三维信息，则运动分析也可以做到。2表达与算法层次视觉系统的研究应当给出各部分的输入输出和内部的信息表达，以及实现计算理论所规定目标的算法。表达与算法层次就是要回答如何表达输入和输出信息，如何实现计算理论所对应的功能的算法，以及如何由一种表示变换成另一种表示。一般来说，不同的表达方式完成同一计算的算法会不同，但MARR算法与表达是比计算理论低一层次的问题，不同的表达与算法在计算理论层次上可以相同。3硬件实现层次硬件实现层次解决的是如何用硬件实现上述表达和各种算法的问题。例如人的视觉系统与目前的机器视觉系统在“硬件实现”层次上是完全不同的，前者是极为复杂的神经网络，而后者是目前使用的计算机和各类图像处理硬件和软件。MA玎从视觉计算理论出发，将从视觉信息的原始数据到最终对三维环境的表达所经历的过程自下而上的分为三个阶段1第一阶段4朱丹风基于激光点的空间物体的视觉测距方法与试验研究第一阶段，也称早期阶段，利用图像处理手段对二维的原始图像进行各种处理，按照不同的视觉模型提取信息，构成所谓的“要素图”或“基元图“P血N叫SKETCH。基元图由二维图像中的边缘、直线段、曲线、顶点、纹理等基本集合元素或特征组成。2第二阶段也称中期阶段。MA玎称为对环境的25维描述，即部分的不完整的三维信息描述，也就是重建三维物体在以观察者为中心的坐标系下的三维形状与位置。当人眼或摄像机观察周围环境物体时，观察者对三维物体最初是以自身的坐标系来描述的；另外，我们只能观察到物体的一部分。这样重建的结果是观察者坐标系下描述的部分三维物体的形状，称为25维描述。这一阶段中存在许多并行的相对独立的模块和不同处理单元，如立体视觉、运动分析和由灰度恢复表面形状等。3第三阶段也叫后期阶段。将25维描述进一步处理得到物体的完整三维描述。25维描述显然是不够的，不难设想人脑中存在同一物体从所有观察角度看到的物体形象，以用来与物体的25维描述比较。因此25维描述进一步处理得到某一固定坐标系下的描述，即所谓三维阶段。MARR的理论使视觉信息处理的研究变得十分严密，把视觉研究从描述水平提高到数理科学水平，无疑使机器视觉发展史的一个重要里程碑。在MA玎视觉计算理论指导下，机器视觉有了长足的进步，发展了许多针对各种应用环境的由二维图像信息重构三维视觉的技术。1222三维重构技术三维重建技术一直是机器视觉领域最热门的研究方向之一，它是研究如何通过物体的二维信息获取物体在空间中的三维信息。三维重建技术是利用图像信息获取物体空间结构的过程，由于它仅仅利用图像信息，所以对设备的要求较低，数据量较小，尤其在当前网络时代具有广泛的应用前景。目前主要有单目视觉、双目立体视觉和三多目视觉。单目视觉是从同一视点在不同时刻获取不同场景的图像或从不同视点在不同时刻获取同一场景的图像，根据序列图像间关系和投影几何学中的若干不变性原理得到空间信息的方法。纯粹地利用单目视觉获取的图像来进行三维重构，大多应用S扬州大学硕学位论文于计算机视觉辨识领域；若用于世界坐标系下的测距，多数情况产生的只是研究对象的相对位置关系，或是仿射坐标系和投影坐标系下的结构。它特别适合以图像为参考系，在图像空间内进行控制的机器人领域。双目立体视觉简称体视，它采用两个摄像机从不同视点获取同一景物的多幅图像，通过测量景物在立体图像间的视差，来恢复景物中表面的深度、形状、距离等信息。视差测量是在对应点或特征点上进行的，不同的视差指示出不同的相对深度，多用于世界坐标系下的视觉测距。双目立体视觉直接进行对象的测量，不必像单目视觉一样进行预分析或者进行统计学的假设。一旦完成了立体图像的点对点的匹配，恢复深度值的过程就相对直接明了了。立体视觉技术可以实现被动光源下的测量，即不需要利用特殊光源提供结构信息，可以在自然光照下完成。从原理上讲，双目立体视觉足以确定空间点的三维位置。有些学者采用多目立体视觉，利用多个辅助摄像机，只是为了获取更多全方位的信息，帮助匹配像点的寻找，并为最终的三维重建提供帮助。通常所说的立体视觉指的是双目立体视觉。13机器视觉的应用机器视觉是研究计算机模拟生物宏观视觉功能的科学和技术，即用摄像机和计算机等机器代替人眼对目标进行测量、跟踪和识别，并加以判断。机器视觉之所以被称为自动化的眼睛，在国民经济、科学研究及国防建设上都有着广泛的应用，是因为机器视觉的最大优点是与被观测的对象无接触，因此对观测与被观测者都不会产生任何损伤，十分安全可靠，这是其他感觉方式无法比拟的。另外，视觉方式所能检测的对象十分广泛，可以说是对对象不加选择。理论上，人眼观察不到的范围，机器视觉也可以观察，例如红外线、微波、超声波等人类就观察不到，而机器视觉则可以利用这方面的敏感器件形成红外线、微波、超声波等图像，这扩展了人类的视觉范围。另外，人无法长时间地观察对象，机器视觉则不知疲劳，始终如一地观测，所以机器视觉可以广泛地用于长时间恶劣的工作环境。经过多年来机器视觉的研究和发展，目前已经成功的应用于如工业检测、工业探伤、精密控制、自动生产流水线、邮政自动化、粮食优选、显微医学操作，以及各种危险场合工作的机器人等【10】。下面是一些机器视觉技术的典型应用【11，12】6朱丹凤基于激光点的空间物体的视觉测距方法与试验研究1产品检验机器视觉技术在工业领域中一个成功的应用是产品检验，目前已经用于产品外形检验、表面缺陷检验。例如汽车零配件尺寸检查和自动装配的完整性检查，电子装配线的元件自动定位，饮料瓶盖的印刷质量检查，产品包装上的条码和字符识别，检查印刷底板的裂痕、短路及不合格的连接部，玻璃产品的裂痕和气泡等。2机器人导航机器人通过自身所携带的两个摄像机同步获取某一时刻场景中某一视点的两幅图像，组成图像对，机器人利用这样的二维图像对可以恢复场景的三维信息，并利用场景的三维信息识别目标、识别道路、判断障碍物等，实现道路规划、自主导航，与周围环境自主交互作用等。将立体图像对和运动信息组合起来，可以构成满足特定任务分辨率要求的场景深度图，这种技术在汽车辅助自动驾驶中已经得到了应用，另外在无人飞机等自主系统的自动导航也是十分有用的。3医学诊疗在医学诊疗过程中，病症的识别离不开机器视觉系统的使用。如，超声波、CT、磁共振、基于CCD的内窥镜等装备，这些都是利用了机器视觉对医学图像的处理、分析和理解。4国防系统机器视觉在国防系统中的作用越来越重要，其主要原因有两个一是满足自主操作的需要，二是需要分析大量先进成象传感器的输出。在自动监视军事目标，自动发现、跟踪运动目标，自动巡航捕获目标和确定距离等方面机器视觉起着关键的作用。作为自动化的一个关键技术，机器视觉技术已经成为国内外研究人员研究的一个热门课题。131机器视觉在国外的研究动态日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系到13】，利用双目体视的原理，以每幅图像中相对静止的三个标志为参考，实时计算目标图像的雅可比矩阵，从而预测出目标下一步运动方向，实现了对运动方式未知的目标的自适应跟踪。该系统仅要求两幅图像中都有静止的参考标志，无需摄像机参数。7扬州大学硕学位论文而传统的视觉跟踪伺服系统需事先知道摄像机的运动光学等参数和目标的运动方式。同本奈良科技大学信息科学学院提出了一种基于双目立体视觉的增强现实系统AR注册方法【L引，通过动态修正特征点的位置提高注册精度。该系统将单摄像机注册MR与立体视觉注册SR相结合，利用MR和三个标志点算出特征点在每个图像上的二维坐标和误差，利用SR和图像对计算出特征点的三维位置总误差，反复修正特征点在图像对上的二维坐标，直至三维总误差小于某个阈值。该方法比仅使用MR或SR方法大大提高了AR系统注册深度和精度。日本东京大学将实时双目立体视觉和机器人整体姿态信息集成，开发了仿真机器人动态行走导航系纠15】。该系统实现分两个步骤首先，利用平面分割算法分离所拍摄图像对中的地面与障碍物，再结合机器人躯体姿态的信息，将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系，建立机器人周围区域的地图；其次根据实时建立的地图进行障碍物检测，从而确定机器人的行走方向。日本冈山大学使用立体显微镜、两个CCD摄像头、微操作器等研制了使用立体显微镜控制微操作器的视觉反馈系统，用于对细胞进行操作、对种子进行基因注射和微装配等。麻省理工学院计算机系提出了一种新的用于智能交通工具的传感器融合方法U引，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割，而传统的目标分割算法难以在高速实时环境中得到令人满意的结果。华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统117】，使“探测者号能够在火星上对其即将跨越的几千米内的地形进行精确的定位和导航。系统使用同一个摄像机在“探测者”的不同位置上拍摄图像对，拍摄间距越大，基线越宽，能观测到越远的地貌。系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维坐标。相比传统的体视系统，能够更精确地绘制“探测者“号周围的地貌和以更高的精度观测到更远的地形。8朱丹风基于激光点的空间物体的视觉测距方法与试验研究132机器视觉在国内的研究动态浙江大学机械系完全利用透视成像原理，采用双目体视方法实现了对多自由度机械装置的动态、精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标，信息量少，处理速度快，尤其适于动态情况。与手眼系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。东南大学电子工程系基于双目立体视觉，提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法，可对三维不规则物体偏转线圈的三维空间坐标进行非接触精密测量。哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航IL引。将一个固定摄像机和一个可以水平旋转的摄像机，分别安装在机器人的顶部和中下部，可以同时监视不同方位视点，体现出比人类视觉优越的一面。通过合理的资源分配及协调机制，使机器人在视野范围、测距精度及处理速度方面达到最佳匹配。双目协调技术可使机器人同时捕捉多个有效目标，观测相同目标时通过数据融合，也可提高测量精度。在实际比赛中其他传感器失效的情况下，仅仅依靠双目协调仍然可以实现全自主足球机器人导航。火星863计划课题“人体三维尺寸的非接触测量”，采用“双视点投影光栅三维测量”原理，由双摄像机获取图像对，通过计算机进行图像数据处理，不仅可以获取服装设计所需的特征尺寸，还可根据需要获取人体图像上任意一点的三维坐标。该系统已通过中国人民解放军总后勤部军需部鉴定。可达到的技术指标为数据采集时间小于5S人；提供身高、胸围、腰围、臀围等围度的测量精度不低于10CM。机器视觉系统的应用，大大提高装备的智能化、自动化水平，提高装备的使用效率、可靠性等性能。随着新的技术、新的理论在机器视觉系统中的应用，机器视觉将在国民经济的各个领域发挥更大的作用，一方面可以带来新的产业增长点，向市场推广满足各种需求的机器视觉系统产品，产生直接的经济效益；另一方面，通过机器视觉系统的应用，更加有效地发挥自动化装备的效能，提升自动化生产水平，提高产品质量，带动整个产业的生产效率大幅提高。9扬州大学硕士学位论文14本论文的主要研究内容视觉测量是一种非接触性、高效的先进检测技术，广泛应用于航空航天、生产自动化、交通、机器人视觉、逆向工程、虚拟现实、医学技术以及映像诊断等领域。在现代化工业中，传统的测量方式，如三坐标测量机、卡尺、千分尺、因速度慢、效率低，难以满足先进制造装备所带来的零件加工效率越来越高的要求。因此，研究高效、智能、精确地视觉测量技术同益受到关注。本文以工业机器人操作中的视觉系统为应用背景，采用激光点作为视觉匹配特征，研究了一种高效且精度较高的视觉测距方法。在立体视觉测距系统中，双目立体视觉由两个摄像机的图像平面和被测物体构成一个三角形，已知两个摄像机之间的位置关系，便可以获取两摄像机公共视场内物体的特征点的三维坐标及空间物体的三维尺寸。本课题研究目的是在现有的双目视觉系统技术基础上进一步深入探讨，并将理论实践化，利用激光点作为主动标记点，力争研制出一套简单实用的双目视觉系统，使之能够确定目标物体的空间位姿。具体内容大致如下第一章，提出了课题研究的背景和意义，对机器视觉的应用与发展进行概述，确定本论文的主要研究内容。第二章，提出基于激光点的视觉测距原理，对图像处理技术进行系统的介绍，并针对激光点图像的处理对目前各项技术的方法进行了比较，最后确定激光点图像处理的具体方法。第三章，阐述双目立体视觉原理和建立摄像机模型，在空间解析几何的基础上，论述如何建立机器视觉系统的标定模型。在双目立体视觉系统中，为了测定距离，需要设定几个坐标系，在本课题中需要设定的主要坐标系有1世界坐标系2摄像机坐标系3图像坐标系。第四章，对视觉系统标定实验进行设计，其中包括摄像机的固定机构和标靶的设计。在机器人三维视觉中首要步骤是摄像机的标定，其基本思想是在场景中放置标定参照物，利用其上一些点的已知三维坐标和它们的图像点坐标，计算摄像机的内外参数。最后确定空间点的坐标值，利用已有设备三坐标测量仪获得目标物体的空间位置，再利用己标定好的摄像机参数理论求得空间点的位置，并与实际测量得到的数据进行比较，分析造成误差原因，为进一步工作提供参考。10朱丹风基丁激光点的空间物体的视觉测距方法与试验研究第五章，总结全文的研究内容，展望后续研究工作。15本章小结本章首先说明了本课题的研究意义和背景，介绍了机器视觉国内外在应用方面的研究现状，通过阐述视觉定义和及机器视觉中的一个重要基本理论叫ARR理论，介绍了基于图像的三维重构技术，最后对本文的主要研究内容做了介绍。扬州大学硕士学位论文第二章激光点标记及其图像处理机器视觉已经应用到各行各业中去，而工业用的机器视觉测距系统，主要应用于视觉检测、机器人的视觉引导和自动化装配领域中19291。我们通过双目立体视觉与激光源的相互协调配合，利用视觉系统对装配工件的识别定位以及检测，使装配机器人实现典型的装配动作，如抓取、插入和放置等。21基于激光点的空间物体的视觉测距原理工业生产中经常需要对半成品或成品进行三维几何尺寸的测量，一般要求具有一定的测量精度和较快的测量速度。用光电技术进行的三维非接触式测量消除了在接触式测量中可能产生的工件表面损伤，是较好的测量方法。非接触式测量有光栅测量法、激光三角测量法以及计算机立体视觉测量等方法。其中计算机立体视觉测量是人工智能与测量技术交叉而形成的智能测量，测量速度快、系统成本低、安装方便，具有较高的研究价值。立体视觉测量是从左右两个摄像机所得的两幅图像中获取研究对象的深度距离信息。由于它直接模拟人类视觉处理景物的方式，可在多种条件下灵活地测量研究对象的立体信剧30J。立体视觉测量基本原理是立体视觉测距系统的主要特点是通过一系列的坐标系变换来确定目标的位置参数。因此计算量比较大，它由两部分组成视觉传感器的标定及机器人绝对位姿的计算。这个系统典型方法是利用针孔摄像机成像模型理论建立视觉传感器与世界坐标系的关系；然后利用这个关系，通过立体视觉系统对外界环境特征的识别与匹配，计算出环境特征在视觉系统坐标系中的位置，进而通过预标定的视觉系统与移动机器人的位姿关系，确定机器人在世界坐标系中位置和姿态。我们利用激光点作为主动标记点，当摄像机经过标定后，其空问位置确定，激光源安装在摄像机上，光源的中心线与摄像机的光轴平行，且与摄像机光轴在同一平面内，并随摄像机一起转动。摄像机中的成像平面中心位于旋转轴线上，且成像平面与旋转轴线共面，以减少变换的计算量。利用两台摄像机从不同的角度对物体摄像，通过特征点的提取和匹配，得出测量点在其中两个图像平面上的坐标，再利用成像公式12朱丹风基丁_激光点的空间物体的视觉测距方法与试验研究计算出被测点的空间坐标。将两台CCD摄像机固定在三坐标测量仪上，通过CCD摄像机在空间不同的位置对物体进行摄像，以此获得物体的两幅图像，具体CCD摄像机空间位置如图21所示。设一目标物体放在视场中，激光射线与物体表面分别相交于尸，它在左右成像平面上的投影分别是E，和斥。M点为两摄像机光轴的交点，无和厶分别为两摄像机光学镜头的焦点。CCD摄像机此时采用考虑了镜头径向畸变的小孔成像模型，并利用径向排列约束求解摄像机外部参数【3L】。妊图21视觉测距原理图在图像匹配过程中，根据空间物体上任一标记点，在两幅CCD图像上成像后，图像上的标记点必为相互对应的匹配点，提出了在摄像机上加装激光源的方法，通过激光标记来解决目标物体上同一点在两幅CCD图像上对应点的快速匹配问题，从而很方便地求取目标物体的深度信息。最后利用立体视觉的成像公式以及坐标变换公式计算出匹配点的空间坐标。将计算出来的空间坐标和实际利用三坐标测量仪的实际空间坐标比较，满足下列条件H一H2儿。一儿2Z。一Z。2IRX，Y，X，Y，厂X，Y，则点X，Y记作物体点，反之则记作背景点。根据对丁的不同约束，可以得到3种不同类型的阈值【2】，即1全局阈值丁丁厂X，Y，只与点的灰度值有关；2局部阈值丁丁X，Y，厂X，少，与点的灰度值和该点的局部邻域特征有关；3动态阈值丁丁X，儿X，Y，厂X，Y，与点的位置、该点的灰度值和该点邻域特征有关。图像阈值化这个看似简单的问题，在过去的四十年罩受到国内外学者的广泛关注，产生了数以百计的阈值选取方法【43501，但是遗憾的是，如同其他图像分割算法一样，没有一个现有方法对各种各样的图像都能得到令人满意的结果，甚至也没有一个理论指导我们选择特定方法处理特定图像。总的来说，基于点的全局阈值算法，与其它几大类方法相比，算法时间复杂度较低，易于实现，适合应用于在线实时图像处理系统。由于机器视觉所要求算法具有良好的实时性，因此，这里针对基于点的全局阈值方法进行叙述【51】。2232阈值选取方法朱丹风基丁激光点的空间物体的视觉测距方法与试验研究在阈值分割过程中阈值的选取是关键。如果阈值选取过高，则过多的目标点被误归为背景；阈值选取过低，则会出现相反的情况。阈值选取方法的基本原则从视觉上看，所选阈值应产生最好的分割，减少误分割，并将目标与背景或目标与目标分开，使分割后区域数目较少，边缘较平滑。阈值的选择通常是利用直方图。我们假设图像是由两区域所组成的，一个区域以亮色为主，另一个区域以暗色为主，那么它的直方图有两个峰一个峰对应于表示物体的灰度值，另一个峰对应于表示背景的灰度值，如图26所示。于是，在两个峰之间选一个值作为阈值丁，将其值低于丁的所有像素之集定义为物体区域。灰度阈值法是实现分割的最简单技术。丁的选择原则是忍应尽可能包含与背景相关联的灰度级，而及则应包含物体的所有灰度级。分割后的图像为，、I6B厂B，Y5个标准参照物的控制点的坐标及其对应的图像上的坐标，即可用线性最小二乘算法解得11个参数。322非线性标定模型线性模型忽略了镜头畸变，只能用于视野较狭窄的摄像机标定，当镜头畸变较明显，特别是在广角镜头时，远离图像中心处会有很大的畸变，这时线性模型不能准确地描述成像几何过程，因此必须引入畸变因子，这就引入非线性模型。非线性模型同样需要机器视觉的三个坐标系，如图34所示。下面就来建立非线性条件下的世界坐标和图像坐标之间的关系。1世界坐标系X。，儿，Z，到摄像机坐标系X，Y，Z的变换RFX。丁】K【1式中R和T的意义同线性模型一样。2摄像机坐标X，Y，Z到图像平面坐标托，虼的理想投影变换42313朱丹风基于激光点的空间物体的视觉测距方法与试验研究料圈式中厂为摄像机的焦距。3理想平面坐标五，艺到实际平面坐标局，巧的变换考虑径向畸变陋司芎I1孑22；L芎C35，式中，白2局2艺2，七为畸变系数。这种畸变模型是关于，巧的非线性模型，在已知五，艺求局，匕时需要求解非线性方程组。但是在摄像机标定时，这种模4实际平面坐标以，艺到计算机帧存坐标“，V的变换季澜割M设M，局一，则髟。K317式中虬、，“O，VO的批心L1八OO、乃怯OLJ丁】K【1MYWZW1318式中六M厂1饥2，M厂1奶2，M为投影矩阵，式318即为考虑径向畸变的摄像机模型。43扬州大学硕士学位论文323需要标定的参数从上面阐述的标定模型来来看，无论是线性标定模型还是线性标定模型需要标定的参数大部分是一样的。1外部参数图34中物体点从世界坐标系至摄像机三维坐标系参见式36的平移丁和旋转变换矩阵尺中的参数称为外部参数，外部参数有6个，它们是相应于R的用欧拉角表示的绕X轴的旋转角矽，绕Y轴的旋转角目，绕Z轴的旋转角杪，及相应于平移矢量丁的三个分量F。，F。，F。2内部参数厂有效焦距，即图像平面到投影中心距离；七透镜畸变系数非线性标定模型中才有；。X方向的比例系数由于摄像机的扫描和时序误差使得从不能预先得知；V】，方向的比例系数对于CCD摄像机而言，是预先确定的；，图像平面原点的计算机图像坐标。1有效焦距厂及X，】，方向的比例系数从。，要在计算机图像坐标帧存中的行列值和实际坐标间进行相互转换，显然需要知道在帧存中行和列两个方向上相邻像素点问相对于实际图像坐标的距离，但是因为焦距同时在X和L，方向上放缩图像，可设，为1，而从此时就代表了图像的纵横比直观上说，如果以光轴垂直于一平面来拍摄该平面上一个J下方形，并使正方形的边垂直或平行于图像X，】，方向，则正方形两相邻垂直边以像素数计的长宽之比就是M，而此时计算的焦距厂将是实际焦距与J，方向比例系数的乘积。由上述讨论可见，厂，M，三个参数不是相互独立的，可以先给定。L来计算厂和，。2图像中心点“。，在二维形状分析中可以选取图像帧存中心作为图像原点；而对三维视觉来说，景物的实际中心与图伤帧存中心并不重合。造成实际中心和帧存中心点不重合有以下几个原因CCD面阵安装并未以透镜的光轴为中心，尤其是透镜可以被转动和拆卸的摄像机，这一点更都能保让。44朱丹凤基丁激光点的空间物体的视觉测距方法与试验研究即使CCD面阵安装合适，图像采集数字化的窗口的中心不一定与光学中心重厶口O3比例系数与图像中心点的计算目前的大部分标定算法都需要事先给出比例系数M，。和图像中心点“。，参数，下而讨论这些参数的计算方法。1比例系数SCALEFACTOR对CCD面阵摄像机而言，】，方向的比例系数即CCD面阵上相邻两行感光电荷的距离由硬件制造厂给出，而方向的比例系数受时序及采样的影响，将是不确定的。我们可以设法测量Z、J，方向比例系数之比。最简便的方法就是垂直拍摄一个圆环，然后计算水平方向和垂直方向上的直径比，。这种直接的方法简便而有足够的精度。2图像中心点图像中心点是光轴穿过图像平面的点。对于不需要精确中心点位置的系统，通常假设图像帧存的中心点即为图像中心点。对要求精确摄像机模型的三维计算机视觉系统，有必要给出具有较高精度的图像中心点的位置。利用激光束照射摄像机的透镜系统，根据激光束的反射情况调节激光束使其精确地通过光学中心，此时图像中激光束的像一个光点表示出了图像中心，这是一种最为精确的直接计算图像中心点的方法。33利用径向排列约束RAC计算摄像机外部和内部参数我们知道，在摄像机标定中所需标定的外部参数6个和内部参数6个，共12个参数。如此多的参数想在一个方程组或一次优化搜索中得到全部的解是不容易的，即使可以这样计算，也是非常费时的。目前一些标定方法普遍采用两步法或多步法来计算参数，即利用成像几何中某些内在的性质或关系先求一部分参数，然后利用已求得的参数再来求解其他参数。其中应用最为广泛的是两步法。即第一次先求解外部参数，然后再计算内部参数。基于RAC约束RADIALALIG姗ENTCONSTRAINT的方法就属于两步法。基于RAC的两步标定法的第一步是利用最小二乘法求解超定线性方程，给出外部参数；第二步求解内部参数，如果摄像机无透镜畸变，可由一个超定线性方程解出。45扬州大学硕士学位论文由图34可以看出，矢量厶和矢量厶有相同的方向，其中D是图像中心，只是R至薹薹；丁差C39，IX2吃儿吒Z。J，X。吩Y。Z。F”【Z2巧X。气Y。Z，T式中X。，儿，气是P点在世界坐标系中的坐标，坐标。RAC条件意味着存在下式XXD一飞XWR2YW七R3ZWTXY匕，LXW，吩儿ZF，将上式移项，整理可得320X，Y，Z是P点在摄像机坐标系中的321Z。匕_LY。圪12Z。虼13巧一X。叉0LY。叉0吃2一Z。叉0吃3叉00322上式两边同除以0，得H兄毒儿匕毒ZW匕毒匕号吖W髟等一YW局毒Z。以等2髟23，将式322表示为矢量形式朱丹风基于激光点的空间物体的视觉测距方法与试验研究BOAYJDZ0DYDX。XDY。XDR、|TPHLT9飞|TPZWXDTXTY|TP7S|TPTB|T9髟324其中，行矢量B。匕Y。巧Z。匕匕一X。XDY。XDZ。XD】是已知的，而列噼TYR2TYR3TYTXITYR4FYR5LTYR6TY是待求钓参数。对每一个物体点P，已知其H、儿、孙玛、巧，就可以写出式324。直观地说，选取合适的7个点使系数阵满秩就可以解出列矢量中的7个分量。这罩用同一平面上的空间点来作标定，这种标定模板较易设计。不失一般性，可选取世界坐标系，并使Z。O，这样式324中关于吩F，和吃的二项的系数均恒为O，于是，式324可表示为【H匕儿匕匕一局R、ITYH|TPYWXDT。TYR、|T口，|TP髟325求解空间刚体变换的困难之一是其33旋转矩阵X有9个参数，但是其正交性规定了R仅有3个自由度，即仅3个变量是独立的。计算出的必须满足正交性。若按照式324解出名6个变量，则未必能满足正交性。由式325可解出、匕、共4个独立变量。而正交阵加上一个比例1F，也正好有4个独立变量，故式325可以唯一地确定当方程数4时旋转阵R和平移分量，。、F，。上面利用RAC方法将外部参数分离出来，这样可以用求解线性方程的方法求解外部参数。下面给出其算法。2RAC两步法标定的计算过程第一步1拍摄一幅含有若干共面特征点的标定体图像。然后确定N个特征点的图像47扬州大学硕士学位论文坐标，图像坐标为甜，_，汪1，2。并设这些点相应的世界坐标为H，凡，。根据式317计算麓鬻冽26，圪MVO，I2利用式325对每个点可列出一个方程，联立这N个方程【，圪儿，圪圪一，如HTY气HYW|XD心TX|TRR1T3飞HL327式中F1，2，利用最小二乘法求解这个超定方程组N5，令TH|TY如飞FT，TTXTYRIH|TYR；飞|T，彳XWNKYWNKYDNX。NXDNYWNX制Y吖巧弓歹Y略D。XDX玳了根据矩阵论中的定理司以知道矩阵彳应该存在MOOREPENROSE逆，记为么，又根据矩阵彳的特殊情况可知矩阵彳存在左逆，所以彳彳71彳彳7因此X的最小二乘估计为J彳7么47】厂3283利用尺的正交性计算F，和玛，略去详细的数学推导，得到屯曼二匝二墼二望R3292吩一吃2髟髟局髟嘞朱丹风基于激光点的空间物体的视觉测距方法与试验研究S，I2吒2，L2吩2求得川后，需要确定它的符号。由成份几何关系可知，局与X应有相同符号。虼与J，也应有相同符号，可以利用这一关系来确定0的符号，即在求得0后，任选一特征点E，首先假设认为正，计算眨眨0_0吩吩FYTXTTTV若此时Z与局，Y与巧同号，则0符号就为正，否则0应为负。利用正交性和RII怒矧吼3。，式中S一SGN，4吃】，巧、玛可由矩阵中的前两行的叉乘得到。即F厂72一吩吩【吩吩一吃_R雎黧3|J32I一一吩L49扬州人学硕士学位论文“2，LK，吩Y。，F，IZ，2巧X。，儿FTJ设国，_H，苦不计透镜畸变，则有益丝ZT333334而刁哆乞，则有只厂一艺，乞艺，Q335而艺，H一，则有旷VI训每_训号336将式334用矩阵形式表示乃叱训M豳吨训叫虬337假设尼O，解此超定方程F_L，2可分别求出有效焦距厂和平移矢量丁的乞分量，然后再用这些值作初始试探，利用优化算法求解下列非线性方程组设目标函数为|VF臼111IN，1如1红2厂坚芷业XW|RSYWLT2圪1缸厂笙立掣RLXWI飞YW|TZ卜蝴一厂并糟2阻确一厂等等2338339其中乡表示所需优化的参数，这样可解得到厂、T、尼的精确值。这种方法简洁、快速、准确，避免了非线性的优化搜索。并且使RAC两步法的标定过程都可以通过求解线性方程组来实现，适合于需要快速标定摄像机的场合。朱丹风基于激光点的空间物体的视觉测距方法与试验研究34本章小结本章对立体摄像机标定原理和模型进行了讨论。首先对立体摄像机的标定原理进行了分析，介绍了摄像机镜头的畸变原理。然后在摄像机的线性标定模型基础上建立了考虑径向畸变的摄像机非线性模型，确定了需要标定的参数。最后提出一种利用径向排列约束RAC的摄像机标定算法。扬州大学硕士学位论文第四章摄像机标定试验对摄像机进行标定，在建立了标定模型以及设计了标定算法的基础上，还必须通过标定试验来确定摄像机的各种参数。即