《机器人环境感知》课件-第2章-基于视觉的机器人环境感知技术

基于视觉的机器人环境感知

技术机器人环境感知技术-第2章第一讲视觉传感器概述及工作原理

视觉传感器是机器人环境感知的主要传感器之一，可以提供丰富的环境信息。机器人通过视觉传感器(如摄像头)捕捉环境中的光线信息，将其转换为电子信号，实现环境数据采集。通过对采集的图像数据进行预处理,如去噪、校正等，提高图像质量。利用图像处理和机器视觉算法从图像中提取有意义的边缘、纹理和颜色等特征信息。结合特征信息，构建环境的三维模型或语义地图，描述环境的几何和语义信息。利用物体检测和识别算法，识别图像中的障碍物、路径、标志等目标物体。最终实现机器人自主环境感知识别理解等。

在单目相机的成像模型中，可以通过对三维空间中任意一点𝑃与相机成像的二维图像中像素点𝑝之间的空间位置转换关系进行建模，来建立世界坐标系、摄像机坐标系、图像坐标系和像素坐标系四个坐标系之间的转换关系

将坐标原点定义为图像左上角像素，构建像素直角坐标系U-O-V，以像素为单位，坐标(𝑢,𝑣)描述着该像素在图像中的列号与行号。设(𝑢,𝑣)为图像坐标系原点O1在像素坐标系中的坐标，𝑑𝑥、𝑑𝑦表示像素坐标系中的像素在图像坐标系中的物理尺寸，可以将图像与像素之间关系表示为:转换坐标系的齐次化矩阵形式定义如下：

通过建立图像坐标系与摄像机坐标系之间的几何转换关系，摄像机空间中的任意一点(𝑋,𝑌,𝑍)可以投影到图像平面图像坐标系中的一点𝒑(𝑥,𝑦)。如图2-3所示，𝑓为焦距，光轴中心和像机坐标系的原点为O，像机坐标系的X和Y轴分别与图像坐标系的x轴和y轴平行，Z轴（光轴）与图像平面垂直。图像坐标系的原点o为光轴与图像平面的交点。两个坐标之间的转换可以表示为：

在实际机器人系统中，摄像机可以安放在世界坐标系𝑋𝑌𝑍-O中任意位置。同样，世界坐标系中某点𝑃(𝑋,𝑌,𝑍)可以通过世界坐标系与摄像机坐标系之间的旋转和平移矩阵（𝑅和𝑇）转换至摄像机坐标系中点𝑃(𝑋,𝑌,𝑍)。世界坐标系与摄像机坐标系的齐次坐标转换公式定义如下：式中，𝑹（3×3）为单位旋转矩阵；𝑻（4×4）为平移向量(𝟎=(0,0,0))；𝑴为4×4矩阵。摄像机的针孔成像模型（线性摄像机模型）是指空间世界坐标系任何点𝑷(𝑋,𝑌,𝑍)可21以转换找到在图像中的投影位置𝒑(𝑢,𝑣)：式中，M(3×3)为投影矩阵；𝑠为比例因子，𝑎=𝑓𝑑𝑥⁄为𝑢轴上归一化焦距（尺度因子）；𝑎=𝑓𝑑𝑥⁄为𝑣轴上的尺度因子（归一化焦距）；𝑴由𝑎、𝑎、𝑢、𝑣(内部参数系数)决定；𝑴为摄像机外部参数（取决于摄像机相对于世界坐标系的方位）。像机标定是指确定机器人环境感知系统的摄像机内外参数的过程。

摄像机标定的目的是建立摄像机图像像素位置与物体空间位置之间的关系，即建立机器人环境感知系统摄像机的世界坐标系与图像坐标系之间的关系。摄像机外部参数包括旋转矩阵以及平移向量，它们构成了物体的位置和方向。而摄像机内部参数与畸变系数表示图像像素转变为实际的物理距离的关系。无畸变枕形畸变桶形畸变目前，摄像机标定通常使用“张氏标定”法，根据摄像机模型，由已知特征点的坐标求解摄像机的模型参数，即求解相机的参数包括相机内参数和畸变参数，以及外部参数旋转矩阵和平移矩阵。

单应性矩阵计算：设三维世界坐标系中一点𝑸=[𝑋,𝑌,𝑍,1]，相机的像素平面中一点𝑷的坐标为𝑷=[𝑢,𝑣,1]，则世界坐标系与相机图像坐标系之间的转换关系如下：式中，𝑲为摄像机内参数，𝑹为旋转矩阵，𝑻为平移向量，相机内参定义如下：通过利用张氏标定法，将世界坐标系放置于标定棋盘平面上，即令棋盘平面为𝑍=0。则：第二讲基于视觉的机器人障碍物三维识别方法

在本节中主要提出一种基于置信度传播的、端到端的双目深度估计与障碍物三维识别定位神经网络模型。该网络模型通过利用可微分的置信度传播代价聚合方法来提高双目深度估计性能。此外，该模型还采用多模态特征信息融合技术，通过提取障碍物的图像颜色特征信息与其深度信息相融合，可以准确地实现障碍物识别与定位。

在传统的双目立体匹配算法中，置信度度量通常用来最大程度地减少歧义匹配区域，提高匹配成本量的质量，以帮助每个像素选择正确的视差，但是在复杂的成像环境下，这些基于置信度度量的传统双目立体匹配算法难以到达期望的性能。本节介绍了一种可微分置信度传播网络模型并将其融合到端到端的双目立体匹配深度估计神经网络结构中，以指导匹配代价聚合。本小节将从特征提取，代价构建，代价聚合，视差预测四个部分详细介绍置信度传播深度立体匹配神经网络。

特征提取：双目图像特征提取与注意力机制：卷积与下采样易造成特征损失，缺少特征对齐与增强环节注意力机制可提升关键特征提取，广泛应用于分类、分割、检测等任务现有方法往往引入复杂模块，导致计算与内存开销大本章引入高效通道注意力机制：在不增加复杂度的前提下提升特征表征能力高效注意力卷：式中，𝐸(;)表示第𝑛个高效注意力卷积模块中第𝑙个级联注意力卷积子模块。注意力卷积子模块𝐸(∙)定义如下：式中，𝜎(∙)为激活函数，通常选用𝑅𝑒𝐿𝑢函数，函数A()表示高效注意力卷积层，其定义如下：式中，Sigmoid(∙)表示归一化激活函数；𝐴𝑉𝑃(∙)表示自适应均值池化层。

代价构建：本节中所介绍双目立体匹配网络最终使用了一种混合的代价构建方法来构建匹配代价，它结合基于拼接的代价构建方法𝐶与分组相关的代价构建方法𝐶的优势，最大限度地保持匹配代价的特征多样性，能够为代价聚合网络提供高质量的匹配代价。

代价聚合：双目立体匹配中存在遮挡、重复纹理、低纹理等导致错误匹配，传统置信度度量难以端到端集成。引入可微分置信度传播模型(DCP)，在代价聚合过程中传播高置信度像素，引导代价更新。基于高斯权重传播置信度，利用3D卷积与PConv3D模块实现多尺度特征聚合

视差预测：采用SmoothL1损失函数训练网络视差回归结果通过计算预测结果与真实数据的误差，并反向传播更新网络权重损失函数定义为：

𝑆𝑚𝑜𝑜𝑡ℎ(𝑥)损失函数定义如下：

本小节介绍一种基于双目深度估计的障碍物识别定位网络模型。该模型首先利用双目深度估计网络获取场景的深度信息，然后通过对称编码卷积神经网络对场景中的障碍物进行识别。网络输入为左图像与其高效注意力特征以及视差特征，编码与解码阶段分别通过卷积和特征融合实现障碍物特征的提取与恢复，并采用多尺度输出监督方式进行训练，最终使用交叉熵损失函数作为训练目标。

节构建了一个面向移动机器人避障的双目深度估计与目标识别数据集。通过在移动机器人作业场景中，移动机器人的行进路径中放置一些简易的障碍物，利用移动机器人三维成像平台中搭载的Zed2双目相机采取相应数据，构建了相应的数据集ZedStereoObstacle，并对相应的障碍物进行了标注。该数据集由500组数据组成，按8:2的比例划分训练集与测试集。

SceneFlow数据集是一个大型合成数据集，包含足够的训练样本数据，在SceneFlow数据集上的可视化视差估计结果如上所示。

在SceneFlow数据集上不同方法性能对比，在SceneFlow数据集上提供了一些立体匹配方法的>1%，>2%和>3%像素误差百分比和平均像素误差EPE的结果对比结果，本节双目深度估计网络模型性能达到了最优。

在ZedStereoObstacle数据集上不同方法性能对比对基于置信度传播的双目深度估计与障碍物三维识别定位神经网络模型的性能在ZedStereoObstacle数据集上进行了评估，得到了5.06%的>1%像素误差，2.93%的>2%像素误差，1.71%的>3%的像素误差，EPE像素误差为0.39px。

移动机器人行进路径上的障碍物精准识别与定位是移动机器人安全导航的关键。输入双目图像后，利用置信度传播双目深度估计与障碍物三维识别网络模型得到左图像对应的深度图与障碍物识别分割图。接着根据左图像的ROB特征、深度图与双目相机参数在全局地图中找到相机的相对位置。然后根据相机的相对位置与障碍物的三维空间信息来调整移动机器人的行进路径。第三讲基于视觉的机器人抓取工件三维识别方法

双目视觉三维场景重建与抓取目标识别定位网络：双目立体匹配深度估计网络可微分归一化匹配代价构建联合引导代价聚合（双边滤波器）提升三维重建精度，减少边缘膨化三维目标识别定位网络融合RGB、双目特征、深度特征提高目标识别与定位精度基于ResNet-50，引入弹性动态卷积模块提取上下文特征

在双目立体匹配中，传统的归一化互相关方法难以在端到端网络中优化，提出可微分归一化互相关（DNCC）及其分组构建策略（GroupedDNCC），在降低内存与参数开销的同时，提升了复杂场景下的特征相似性表达与匹配精度。设计了可微分联合引导代价聚合模型（DJGCA），基于双边滤波的边缘/轮廓特征保持能力，有效缓解了视差不连续区域的误差。结合堆叠沙漏结构的多尺度上下文学习，最终实现从粗到精的高精度深度估计与三维重建。双目深度估计与抓取目标识别网络框架：

双目深度估计与抓取目标识别网络：

通过利用移动复合机器人机械臂上搭载的Zed2双目相机采取相应数据，构建了相应的数据集ZedStereoObject，对相应的障碍物进行了标注。该数据集由500组数据组成，按8:2的比例划分训练集与测试集。

在SceneFlow数据集上不同方法性能对比在SceneFlow数据集上提供了与其他立体匹配网络方法的>1%，>2%和>3%像素误差百分比和平均像素误差EPE的结果对比结果，本节所提出的基于可微分归一化代价计算与联合引导代价聚合的双目立体匹配深度估计网络模型性能达到了最优。

在