移动机器人双目视觉定位与图像处理的研究VIP

1天 津 大 学 网 络 教 育 学 院专科毕业论文题目：移动机器人双目视觉定位与图像处理的研究完成期限：2017 年 3月 5日 至 2017 年 3月 15日学习中心：南京专业名称：机械制造与自动化学生姓名：张雷学生学号：151219403066指导教师：刘艳天津大学网络教育学院专科毕业论文2摘 要视觉移动操作机器人是机器人朝着智能化发展的热点。机器人虽然具有越来越高级的智能系统，但对于外部环境变化的适应能力还较为低下，其主要问题是缺乏像人一样的感知能力。为使机器人和人一样拥有对外界环境的感知能力，各国的研究者为机器人研制了如视觉、力觉、触觉和热觉等各种各样的传感器。作为能够对外部环境进行非接触测量的传感器，视觉传感器拥有采集信息量丰富，对环境适应性强的优点，已经成为了目前应用最为广泛的机器人传感器之一。机器视觉为获取图像、分析景物的位姿动态、指导机器人动作的过程，它包括目标物体识别、目标物体检测、目标物体定位和运动分析等问题。本文从移动机器人的视觉系统开始，首先介绍了移动机器人视觉系统的概况和技术原理。然后阐述了移动机器人双目系统基本原理，并且利用实例来具体说明基于这三种视觉系统的图像处理方法。本课题主要研究的是双目视觉的摄像机标定、图像匹配、三维重建，使移动机器人在大尺度工作环境下，利用重建后的工件位置信息，控制移动机器人对工件进行操作。视觉导航实现移动机器人路径跟踪，通过对路径图像进行处理，获取横向偏差与偏航角，对移动操作机器人位姿实时的调整，使其沿着规划好的路径行驶，到达目标点之后准确定位，最终完成移动机器人在无人操作下的工作。关键词：移动机器人 定位 视觉图像 传感器 3一、 移动机器人视觉系统1、赋予移动机器人以人类视觉功能，能像人一样通过视频处理而具有从外部环境获取信息的能力，这对于提高机器人的环境适应能力、自主能力，最终达到无需人的参与，仿真人的行为，部分的代替人的工作，对发展移动机器人是极其重要的。视觉系统包括硬件与软件两部分。前者奠定了系统的基础；而后者通常更是不可或缺，因为它包含了图像处理的算法及人机交互的接口程序。从广义上说，移动机器人的视觉即是通过传感器获得可视化的环境信息的过程，这不仅包括可见光的全部波段，还包括了红外光的某些波段和特定频率的激光、超声波，如图 1-1所示。超声波传感器使用维护简单、价格便宜，在过去的几十年里得到了大量使用，但也存在不甚精确的缺点。激光传感器精确度高，虽然价格偏高但目前越来越多地得到人们的青睐。相对于前两个者，工作于可见光频段的摄像机获取的环境信息则显得十分丰富，这为其后的图像处理提供了广阔的空间。图 1-1 电磁波谱及声学谱2、视觉传感器有主动传感器和被动传感器两类。包括人类在内的大多数动物具有使用双目的被动传感器；也有类似蝙蝠4的动物，具有从自身发出的超声波测定距离的主动传感器。通常主动传感器的装置复杂，在摄像条件和对象物体材质等方面有一定限制，但能可靠地测得二维信息。被动传感器的处理虽然复杂，但结构简单，能在一般环境中进行检测。超声传感器与激光属于主动传感器；绝大部分情况下摄像机、红外传感器均属于被动传感器，只有在待定情况下，如深水移动机器人视觉传感器自身带有光源才属于主动传感器。传感器的选用要根据目的、物体、环境、速度等因素来决定，有时也可考虑使用多种传感器并行协调工作。而且应用于移动机器人的视觉算法有别于其他方面的应用，其具体要求主要体现在：(1)实时性要求即算法处理的速度要快，它不但直接决定了移动机器人能够行驶的最大速度，而且也切要关系到整个导航系统的安全性与稳定性。举例来说，机器人的避障算法都需要提前知道障碍物的方位以便及时动作，这种信息获得的时间越早，则系统就会有更多的时间对此做出正确的响应。由于视觉信息处理巨大的计算量对算法程序的压力很大，对室外移动机器人尤其如此。 (2)鲁棒性要求 由于移动机器人的行驶环境是复杂多样的，要求所采用的立体视觉算法能够在各种光照条件、各种环境下都尽可能保证其有效性。室内环境的机器人导航环境相对较好,但对于室外移动机器人或者是陆地自主车 ALV，不确定性因素增加了很多，比如光照变化、边缘组织等，也不存在道路平坦的假设。为此，视觉导航算法在各种环境下都要求保证其有效性。(3)立体视觉算法也应该满足精确性要求但这种精确性与虚拟现实或者三维建模所要求的精确性是有所差别的，因为立体视觉算法对道路地形进行重建的最终目的是为了检测障碍物，而不是为了精确描绘出场景。对于移动机器人来说，有时候忽略细节可以提高整个系统的稳定性。一般来说，移动机器人的视觉系统总是要有以下一些组成部分：a.一个或多个光信号发生器，可以是天然信号发射器（如物体环境光线的反射光） ，或是人造光信号发射灯（如闪光灯、激光光源） 。b.用以接受结构体反射光信号的一个或多个传感器（如摄像机，这种摄像机产生的图像可以说是原始图像，但这种传感器不一定是光学传感器，也可以是超声波传感器。c.图像采集卡，将接受的图像转换为计算机可以识别的二进制编码以便随后进行处理。d.对图像进行增强去噪并对其中的缺陷进行清除和矫正等。e.将变换后的图像进行图像存储描述，给出必要的信息。f.特征抽取，根据各种定律、算法和其他准则导出相关信息。5g.目标识别，用来把抽取的图像特征与在训练阶段记录下来的图像特征进行比较。识别可能是总体识别、局部识别或者零位识别。不管结果如何，机器人都必须按照识别过程的结果决定采取相应的动作。在这一阶段，任何误差都可能造成性能上的不确定性。从移动机器人的视觉技术来看，可以分为单目视觉系统、双目视觉系统、全景视觉系统三类。二、 移动机器人双目视觉系统1、双目视觉原理及标定方法在大尺度工作环境下，移动操作机器人要进行零件的安装时，需要对目标物体进行识别和定位，因而需要对物体进行三维重建，准确的判断出目标工件相对于机器人的位置。本文采用的是双目视觉系统进行三维重建，在进行重建之前，首先要对双目视觉系统进行标定，精确地获得左右相机的内外参数。 （1）双目视觉原理 双目立体视觉基本原理是在两个不同的角度观察同一个景物，利用图像几何原理计算多个视角下感知图像的像素位置偏差，即通过视差计算景物的三维信息。计算机视觉技术研究的主要内容是获取空间三维场景的距离信息，包括主动视觉和被动视觉。凭借特殊光源，并控制光源的位置与高度，通过光线感知的方法来获取物体的距离信息，即为主动视觉；而被动视觉则没有特殊光源，直接使用摄像机拍摄物体，然后处理拍摄的图像，进而在视差中恢复它的三维信息。双目视觉属于被动视觉的一种。 双目立体视觉类似于人类的眼睛，充当两只眼睛获得图像，并且能够得到两幅图像之间的差异，通过分析差异获得物体深度感。双目立体视觉包含两个过程：获得两台摄像机的图像特征，分析特征进行三维模型重建。空间点成像原理如图 2-1所示。2、双目立体视觉技术的实现可分为以下五个步骤：图像的获取、双目摄像机标6定、特征点提取、立体视觉匹配和三维重建。 (1)图像的获取 立体图像的获取是双目视觉的物质基础。在满足测量范围的前提下，当两摄像头光轴夹角保持一定时，被测量物体距离越大则测量误差也就越大。CCD 摄像机的夹角一般是 005080，亦可以平行放置。 (2)双目摄像机标定 要对物体进行世界坐标的三维重建，首先要获取物体的图像，CCD 摄像机、数码相机则是重建前的基本测量工具，因此，对它们进行视觉标定是实现立体视觉的基本，也是关键的一个步骤。通常采用的标定方式是先对两个摄像机分别标定，获取各个摄像机的内外参数，然后再用世界系坐标下的一组点来确定两摄像机间的相互位置关系。 (3)图像特征点提取 立体图像特征点对中提取的点应该满足如下要求：抽取特征与传感器的类型相适应；具有好的鲁棒性与一致性。 (4)双目立体视觉匹配 双目体视最关键又困难的是立体匹配。它是由于拍摄时拍摄地点的不同可以引起立体像对的差异，不是由景物本身运动、景物变化引起的。立体匹配根据基元的不同，可分为三大类：相位、区域和特征匹配。 (5)图像的三维重建 三维重建是指利用物体的同一点在左右两幅图像中的对应位置，然后根据两摄像机的相应位置的坐标变换，求取空间点的三维坐标，实现三维重建。 3、像机的成像模型 （1）小孔成像 小孔模型就是把所有景物利用光学原理，投影到像机成像的平面模型。摄像机的镜头光心就是像机的光轴的中心点。如图 2-2所示，像机光轴的中心为 cO点，像机成像平面为2 。感光器件广泛分布在成像的平面上，将光信号转为电信号，并进行放大处理，得到图像。根据小孔成像的原理，物体在平面2上的成像是倒着的。即比例缩小，方向相反的像。摄像机为了使成像与原图像方向一致，在转换成数字图像时方向发生转换，使其与原物体的上、下、左、右方向都相同，并且进行放大，即成像平面2 等效为成像平面 2 ，成像平面 2 到数字图像转换可以等效为放大环节。7将摄像机的光轴中心设为坐标中心，平行于摄像机光轴的方向设为 z轴方向，图像坐标系沿水平方向增加的方向定为 x轴方向，将摄像机指向景物方向定为x轴的正方向。设景物点 1P的坐标为 111(,)xyz， 1P在成像的平面 2 的成像点 2P的坐标为 222(,)xyz，则 （2.14）式中，像机焦距为f,2fz 。（2）畸变模型 基于针孔相机模型的透视投影变换原理，将坐标值(x c， yc， zc ) 在针孔摄像机模型下的理想透视投影变换的坐标值(x uyu,)为： （2.11）式中，f 为摄像机的焦距。考虑透镜引起的畸变，则理想成像平面(x uyu,)到实际成像平面(x dyd,)的坐标转换为： （2.12）（2.13）式中，k 1k2、为径向畸变系数；p 1p2、为切向畸变系数。 8实际图像坐标(x dyd,)到计算机图像坐标(u,v)的变换(2.14) 式中，图像平面单位距离上的像素数(pixelsmm)为(xf,yf)；计算机图像坐标系中心点坐标为(0u,0v) 。4、 Opencv 标定系统的实现 在进行摄像机双目标定时，需要对左右图像进行采集，获取标定需要的棋盘格图像，然后利用采集回来的棋盘格对摄像机进行标定，确定双目摄像机的内外参数。标定场景如图 2-4所示。（1）标定过程a.将模板平面作为世界坐标系的平面，根据摄像机模型求取单应性矩阵 H根据平面标定法可得： （2.15）式中，s 是比例因子；H是投影矩阵或单应性矩阵；A 是内参数矩阵。在每一对世界坐标和计算机图像坐标已知的情况下可得到两个线性方程，当对应点数足够多时，便可求得 H。 b.令 123()Hhhh()xyArrt 。其中， 是比例系数，ih 为投影矩阵 H 的第i 列。由于采用笛卡尔坐标系，有约束条件如下： （2.16）可以通过约束条件和数学方程来求解摄像机内参数。根据矩阵 A 可以确定每幅图像的所有外参数。 然后根据畸变方程再次计算摄像机内外参数，通过式(2.11)-(2.14)可以求解出畸变参数。再对其进行全局优化：9(2.17) 式中，经过畸变校正后的投影是m，利用该函数最小化优化所有参数。摄像机标定的结果可以通过优化得到内部参数矩阵、外部参数矩阵和 4 个畸变系数。5、基于 Opencv的摄像机标定 选用平面棋盘格为标定模板进行基于 Opencv的摄像机标定。标定模板如图2-5所示，采用棋盘格是因为棋盘格的精度可以得到很好的保证，并且在程序方面，棋盘格需要角点提取，目前现有的角点提取方法比较完善，能够保证角点提取的精度要求和角点的排列顺序。实现对摄像机标定，仅需摄像机拍摄几张不同角度下的标定板图片。为了获得较高的标定精度，需要采集多幅图像，采用最小二乘法进行优化。图 2-5 棋盘格标定模版当图像被光线遮挡时，角点可能被遮挡，提取的角点数就不相同，此时就会导致失败。因此 opencv不能够确保提取图像上的角点。因而在编写标定的算法时，考虑到角点提取失败的情况：一方面 ， 成功提取角点的图过少，标定的结果不能满足精度要求；一方面，摄像机外参数数目与标定图像有关，图像太多时要考虑到存储空间的容量。在内存不够时，程序很容易出错，opencv 标定程序步骤如下： (1)采集一组标定用图像数据； (2)采用自动寻找角点函数对图像进行筛选；读入一组图像的每幅图像数据信息，并将数据信息分别代入自动寻找角点的函数中。若返回值为 1，即角点提取成功；若返回值为 0，提取角点失败； (3)如果标定的数目到达标定的最少数目，继续下一步；没达到相应数目，返回第一步； (4)在用创建矩阵函数为摄像机内外参数、在世界坐标和图像坐标的图像角点的坐标值分配存储空间； 10(5)用自动寻找角点函数获取图像像素的坐标值；再用得到的像素值代入获取亚像素角点的检测函数，获取图像角点的亚像素坐标值； (6)为得到摄像机的内部和外部参数值，可将双目标定函数代入世界坐标系和图像坐标系的角点坐标值； (7)最后用矩阵释放函数释放创建矩阵函数