机器视觉技术及应用 课件 任务1 3D视觉

3D视觉3D视觉的模型传统计算机视觉以二维图像为模型，但一般的二维图像显然不能够完整表示出物体的三维信息，这使得传统视觉技术的应用和发展受到了很大的限制，越发不能满足人们对于三维世界的认知和识别的需求。随着三维测量及重建技术不断发展，衍生出了多种不同形式的三维模型，其中以深度图像、点云、体素模型这三种最为常见。（1）深度图像传统视觉将三维场景投影成二维图像，二维图像反应的是场景的光强和颜色信息，由于投影成像的原理，它丢失了现实世界中的三维深度信息。通过对二维图像灰度或颜色的分析来实现场景形貌的识别和测量，会受到环境光照、阴影等因素的干扰以及物体几何特征的限制，极大的增加了识别的难度和测量的精确度。而深度图像(RGB-D)将深度信息作为图像的一个通道进行保存，即可有效解决二维图像的不足。深度图像由包含颜色亮度信息普通RGB图像(如图a)和包含深度信息的深度图(Depthmap，如图b)组成。可以看出，深度图与环境光照和阴影无关，它的像素点清晰地表达了景物的表面几何形状。

（a）普通RGB图像

（b）深度图（2）点云深度图像可以直观的表现出三维物体的几何特征，然而图像的尺度与真实世界的尺度并不相同，需要结合相机的内外参进一步解算才可得到物体在世界坐标系中的真实尺寸和位置。深度图像更适合物体识别、特征匹配等定性的分析处理，在测量、定位等定量的处理方面则比较麻烦，点云模型则弥补了这一不足。在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（PointCloud）。点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，点云中每个点的坐标值，以及相互之间的位置关系都与真实空间的尺度相同，这方便我们在提取到所需要的形状特征后，可以直接使用到真实世界中。由于点云模型对真实世界高度还原的特点，其被广泛应用到三维建模、逆向工程、文物保护、车辆导航等领域中，是目前3D视觉技术中最为常用的一种三维模型。如灯泡的点云模型，如图所示。灯泡的点云模型（3）体素模型“像素”是对二维图像的离散划分，而“体素”则可认为是对三维模型的离散划分。传统面图形学以面和边等元素来描述物体，而体表示法则以三维体单元来描述整个物体，与二维数字图像的像素类似，每个体单元被称为体素(Volumeelement，简称voxel)，如图所示为体素模型。

（a）原模型

（b）体素模型点云的数据结构通常是散乱无序的，而体素模型是一个有序的三维阵列，由于体素阵列的离散性和规则性，可以方便地设计针对体素的各种运算。但是相比点云，体素模型随着分辨率的增大，其数据量以立方级的速度增加，对储存空间和传输速度的要求也更高。体素模型由于其离散有序特点，在3D打印、医学影像重建等领域得到广泛应用。深度图像和点云之间可以通过传感器的内外参数实现相互转换，点云和体素模型也可由体素化算法实现相互转换。不同的模型有各自的优势和不足，随着3D传感技术及模型重建方法的发展，多种模型的结合使用为解决实际问题提供了更多选择。3D视觉的重建方法基于视觉的三维模型重建是实现3D视觉技术的关键环节和前提条件。在基于视觉的重建方法出现之前，往往要使用标准的尺度工具通过复杂的接触式测量来获取物体的三维形状数据，无论在效率还是精度上都难以满足生产生活的需求。使用视觉方法进行测量重建具有非接触、快速、精确且不受人为因素影响等优势。随着传感技术的发展，出现了多种形式的3D视觉测量设备，比较具有代表性的有双目相机、Microsoft的Kinect深度相机、iPhone的结构光三维传感器等，这些设备分别基于双目立体视觉法、飞行时间法、结构光法来实现三维的测量重建，这也是目前最为常见的三种重建方法，具有很高的研究价值和实际意义。（1）双目立体视觉法双目立体视觉(BinocularStereoVision)是视觉技术最基本的一种形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。对生物视觉系统，人们早就注意到，几乎所有具有视觉的生物都有两个眼睛。用两个眼睛同时观察物体时，会有深度或远近的感觉。1982年，美国麻省理工学院的Marr首次从信息处理的角度综合了图像处理、心理物理学、神经生理学及临床神经病学等方面已取得的重要研究成果，提出了第一个较为完善的视觉系统框架，这也是双目视觉技术的起源，它在研究人眼的视觉原理以及各种基于视觉的工程领域都有很重要的应用。

因此，双目视觉可以看成是由图像坐标向三维世界坐标映射的一个过程。只要在左右两部相机上找到匹配的像点，即可解算出此像点在空间中的三维坐标。双目法是3D视觉重建最基础和经典的方法，但其重建的结果在分辨率上受限于特征点检测的数量；在精度上受特征点匹配结果的影响，只适合在特征明显的场景下进行稀疏的重建，但在此基础上衍生出了结构光法，进一步提升了三维重建的效果。（2）结构光法结构光法在重建的数学原理上与双目法基本相同，如图所示，但结构光法通过投射固定形状结构的光源，来人为地制造特征点，从而解决双目法中图像特征点检测数目和匹配精度的问题。结构光测量示意图结构光的使用最早出现在80年代早期，Rioux等人使用点激光测距法，通过不断获取经物体表面反射回的结构光点，结合三角原理获取物体三维信息。这种方法也称为点结构光法，由于需要逐点扫描，要获得物体全部表面信息，耗时较长。随着光学投影技术的发展，出现了投射线激光以及二维图像投影的方法。线结构光指的是投向待测物体的为线光，这种方法逐线扫描物体，每次得到待测物体位于同一投影光线上的各点的三维坐标，这种方法的测量速度有所提高，计算量相应减小，但是测量效率仍较低。面结构光是指将一整个经由计算的特定图案投向待测物体的表面，然后大范围的获取由物体表面调制的信息，再经过解调得到整个覆盖面的三维信息，因而测量效率高，计算速度快。在面结构光中，又主要有光栅光和编码光两类：光栅光即使用物理或模拟光栅向待测物体投影，而编码光则投影的是一些经由编码的特制图案，某种程度上说，光栅光也是一种特殊的编码光。如图所示分别为光栅型结构光、二值编码型结构光、随机编码型结构光的投影图案。面结构光测量的精度较高，而且图像获取时间短，测量速度快，是目前3D视觉测量重建技术的主要发展方向之一。（a）光栅型结构光

（b）二值编码型结构光

（c）随机编码型结构光

光栅型、二值编码型、随机编码型结构光图案作为一种有效而可靠的三维重建和主动测量手段，结构光三维视觉技术以其低成本、高精度、大视场、实时性好和抗干扰能力强等特点，工业方面，广泛应用于自动化测量、机器人引导、大规模复杂三维场景重建等领域，而在日常的生活中，也被应用在人脸识别、车辆导航、VR设备等领域中，为我们的生活带来了新的体验。（3）飞行时间法飞行时间法也称为TOF，是Timeofflight的简写。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。TOF相机是近十年发展起来的3D成像设备，它不仅能像传统2D相机那样获得强度图像，还能实时获得感光器件上每个像素点到目标物体对应点的距离。下图演示了TOF相机测距系统的基本原理。测量开始时，由相机上的二极管阵列向整个场景投射调制光线，用返回相机感光元件表面的反射信号与参考信号卷积、采样，得到反射信号的相位，进而得出测量信号的飞行时间，结合光速，就可计算相机到被测物体的距离。TOF相机测距的基本公式是：基于TOF技术的3D相机是一种新型的、小型化立体成像设备，该相机可实时高效的捕捉动态目标的亮度信息与距离信息。这种相机操作简便，信息最大，有着广阔的发展潜力与市场前景，将会给许多领域带来革命性的改变。3D视觉的典型应用3D视觉作为一个学科来讲，是多学科的交叉融合，包含了计算机视觉、计算机图形学、人工智能、自动化控制等学科领域的内容，这也使得3D视觉技术在许多领域都能发挥重要作用。近年来，在国内外相关企业和科研人士的不懈努力下，不断有新的产品，产业线等应用上了3D视觉技术，在人们的日常生活上带来更加便捷的体验，在工业上也进一步提升了自动化、智能化的水平。本节将通过描述几个具体的实施案例来展现3D视觉技术的强大实力。（1）工业机器人定位引导随着我国工业化与信息化进程的不断发展，以及国家“工业4.0”战略的实施，工业机器人正在被广泛应用在自动装配、航空领域、智能制造、交通导航等领域，在工业流水线上主要用于分拣、码垛、焊接等流程工艺。传统的机器人引导通过手动示教或离线编程的方式来规划机器人的工作路径，这种方法制约了机器人的工作效率、灵活性和智能性，无法满足柔性生产系统的要求。而通过3D视觉引导的方式协助机器人完成对目标对象的定位，这种方法可以有效地提高生产线的工作效率和自动化水平。随机箱体抓取系统(RandomBinPicking，RBP)是目前普及率最高的一种机器人3D视觉引导系统，典型的bin-picking系统包括三个部分：机器人(机械臂)，视觉模块和计算机控制模块。整个系统的工作流程大致为：通过视觉传感器对目标检测区域进行扫描分析，获取场景内的工件三维信息，并计算出目标工件的位置姿态，根据位姿不同规划机械臂的抓取路径。视觉模块中的视觉算法是RBP系统的核心部分，算法主要分为3D数据采集和目标定位。3D数据采集可以通过线结构光的方法，结合机器人机械臂可移动平台来对工件进行扫描，从而解算出工件的三维坐标信息（如图所示），近年来也有使用面结构光来直接获取工件表面三维数据的方法，进一步提升了数据采集的速度。BRP系统示意图目标定位则是视觉系统对3D数据的分析和理解，一般采集到的3D数据用点云模型表示，通过提取目标点云的特征，并进行特征匹配，可以从场景中提取出具有固定特征的工件点云(如图所示)。实现目标定位后，再通过传感器和机器人坐标系之间的关系，将定位结果转换为机器人参考系下的坐标数据，即可引导机器人对目标工件进行抓取。

（a）工件图片

（b）工件点云RBP技术在工业自动化、流水线生产、智慧工厂、无人仓库等领域有着非常广阔的应用前景。在未来，机器人的3D视觉引导技术还可能往可移动机器人、大视场、复杂场景等方向发展，逐渐提升工业生产的自动化智能化水平，带来更高的效益和产能。（2）视觉SLAMSLAM(simultaneouslocalizationandmapping)即同时定位与地图构建。它是指搭载特定传感器的主体，在没有环境先验信息的条件下，于运动过程中建立环境的模型，同时估计自身的运动轨迹。如果搭载的传感器为视觉传感器，就称为“视觉SLAM”，其流程图如图所示。视觉SLAM流程图通俗得讲，以机器人为例，SLAM解决的问题可以描述为：将一个机器人随机放入某一空间中，机器人需要感知周围的环境并判断自己的位置。SLAM不同于传统意义上机器人的行为方式在于所处的环境没有先验性，也就是说从采集环境形貌，到认知环境特征，再到判断机器人自己的位置都是由机器人自发地去完成。这其实是一个很直观的问题，因为人类自己走进陌生环境时就是这么做的。目前的SLAM技术主要分为激光SLAM和视觉SLAM。激光SLAM使用激光雷达作为传感器，目前已经有比较成熟的产品，但是成本较高，而视觉SLAM则是使用双目相机、结构光3D传感器、深度相机等作为视觉传感器，应用场景相比激光雷达更加丰富，成本也相对较低。作为3D视觉技术未来最重要的发展方向之一，视觉SLAM已经开始应用在车辆辅助驾驶、无人机自主导航、城市3D地图重建、增强现实等领域。随着城市物联网和智能系统的完善，视觉SLAM必是大势所趋。虽然目前视觉SLAM技术方面还存在着一些问题，但这些都会随着消费刺激和产业链的发展逐步解决、趋于完善。（3）人脸识别人脸识别因具有非接触性、易被人们接受等优势，在个人身份认证中具有广阔的应用前景。传统基于2D图像的人脸识别技术，提取到的人脸特征比较有限，并且受光照、姿态、遮挡、妆容的影响比较大，鲁棒性较差，适用场合也受到很大限制。种种制约使得2D人脸识别技术一直难以推广，而随着3D成像技术的发展，从3D数据模型中提取到的人脸特征，不仅数量丰富，且受上述干扰因素的影响小，发展至今，已经成为了主流的身份认证方式之一。人脸识别的是实现的步骤分为：数据获取，人脸检测，特征提取，信息比对。主要的步骤上2D和3D的都是相同的，但在具体的实施方式上3D识别则更加丰富，如图所示，分别描述了2D和3D人脸识别的流程。人脸识别流程基于3D视觉技术的人脸识别目前已经进入我们日常生活的方方面面。我国在这方面发展迅速，有许多成功的案例。比如现在众多手机厂商都在使用的faceID，在识别速度相近的情况下识别精度是指纹识别的20倍；支付包的人脸支付也在线下得到了极大的推广，几乎实现了空手出门即可把东西买回家；海康威视、大华、科大讯飞等国内视