第7章-基于视觉的机器人三维场景重建技术

基于视觉的机器人三维场景重建技术机器人环境感知技术-第七章湖南大学∙人工智能与机器人学院第一讲

基于视觉的机器人三维场景

重建技术核心意义三维场景重建技术是智能机器人能够准确感知环境，实现其自主行动的前提与基础。工作流程1环境数据采集（摄像头捕捉光线信息）2图像预处理（去噪、校正等）3特征提取（边缘、纹理、颜色等）4三维模型/语义地图构建5目标检测与识别本节核心知识点三维场景重建视觉传感器概述及工作原理基于双目视觉的机器人环境三维重建方法基于双目视觉的机器人导航场景深度估计方法视觉传感器类型双目相机多目相机三维场景重建技术概述双目通过两台相机的几何投影模型直接计算空间点的三维坐标；三目则通过多视角冗余验证提高匹配精度和鲁棒性，核心都是三角测量，但三目增加了视角数量来减少歧义和遮挡问题。双目成像原理通过对三维空间中任意一点P与双目相机的左相机与右相机成像的二维图像中像素点PL与PR之间的空间位置转换关系进行建模，获取P在空间中的实际位置。核心问题：视差获取双目视觉环境感知系统使用两个摄像机模拟人的两只眼睛，目标在摄像机中的投影存在视差，视差的有效获取成为了立体视觉算法的重要问题。双目立体视觉成像左相机目标点P右相机左图像PL右图像PR通过视差计算深度信息三目成像模型在双目相机成像的基础上，同时使用加入多个视角的相机，构成多目相机成像系统。多目相机可以获取同一场景的多个视角图像，从而实现三维信息的获取和处理。三目摄像机立体视觉成像相机1相机2相机3目标场景视觉：双目与三目双目相机三维成像原理三目相机的三维成像原理和双目相机类似双目立体匹配算法双目立体匹配算法可分为以下四个步骤：1.匹配代价计算。是双目立体匹配的第一步，其主要目的是衡量左右图像中像素之间的相似程度。在完成立体校正后，以左图像作为参考图像，对其中的每一个像素沿视差方向在右图像中搜索对应的候选像素，并通过代价函数计算二者之间的匹配代价。代价值的大小反映了像素之间的相似性，代价越小表示匹配的可能性越高。2.匹配代价聚合。旨在提高匹配代价的稳定性和鲁棒性。由于单个像素的匹配代价容易受到噪声和局部纹理不足的影响，因此通常在局部邻域内对匹配代价进行加权聚合，以充分利用邻域像素的信息，从而减少误匹配和歧义匹配现象，提升整体立体匹配的准确性。3.视差计算。在聚合代价的基础上确定每个像素的最终视差值。传统方法通常采用WinnerTakesAll策略选取代价最小的视差作为结果，但该方法容易受到噪声影响而产生较大误差。因此，视差计算往往被建模为能量最小化问题，通过构造包含数据项和平滑项的能量函数，并对其进行优化，以获得更加准确和稳定的视差估计结果。4.视差精细化。双目立体匹配的最后一步，通常作为后处理阶段对初始视差图进行进一步优化。该过程主要通过视差滤波、空洞填充以及边缘优化等方法，对错误视差进行修正并改善视差图的连续性和平滑性，从而提升最终视差结果的质量和视觉效果。第二讲

基于双目视觉的机器人三维语义地图构建方法研究背景移动机器人作业场景三维地图构建是其自主柔性作业的前提。双目立体视觉因其获取信息丰富、稳定性高，能够很好地满足智能工厂非结构化环境中移动机器人自主柔性作业的三维环境感知信息获取需求。面临挑战网络模型的级联卷积模块会损失部分特征信息目标物体尺度大小变化随场景深度而动态变化非结构化场景下的复杂环境感知解决方案本节提出一种基于编码器-解码器架构的渐进式特征融合双目立体匹配神经网络模型：动态尺度特征提取网络用于双目立体匹配代价计算分组拼接的代价构建方法更好地表达双目图像之间的特征相似度渐进式匹配代价特征融合以粗到细的方式对多尺度输出结果进行监督学习三维语义地图构建概述编码器阶段（EncoderStage）通过级联多个动态尺度特征卷积模块作为网络基石，构建类似ResNext-50的网络结构。特征维度变化：[B,32,H,W]→[B,128×2n-1,H/2n,W/2n]解码器阶段（DecoderStage）通过级联多个向上卷积层来重建与编码阶段特征相同尺度的特征。特征维度变化：[B,128×24-n,H×2n/16,W×2n/16]多尺度多阶段编码特征提取弹性动态卷积模块核心特点：残余连接路径数P=32包含特征下采样与上采样操作多尺度特征提取与融合网络架构优势：像素级对齐与加强弥补下采样带来的特征信息损失提取全局上下文特征信息多尺度多阶段编码特征提取多尺度多阶段编码特征提取弹性动态卷积𝐿(∙)：提取的左右图像的特征维度（𝐵,𝐶,𝐻,𝑊）变化：基于全相关的代价构建Ccorr=L,FR>使用特征向量内积构造匹配代价空间过于激进，特征信息丢失基于拼接的代价构建Ccat=Concat[FL,FR]将左右特征在通道维度拼接特征冗余，参数需求大基于分组相关的代价构建Cgcorr=Lg,FRg>将特征通道分组后计算相关较好的折衷方案本节提出的方法：基于分组拼接的代价构建结合分组相关与拼接的优点，实现更好的折衷：将特征图分为Ng组组内对应像素点求和拼接分组后的特征多尺度混合匹配代价结合分组拼接代价Cgcat与分组相关代价Cgcorr的优点，在多个尺度、多个阶段中构建匹配代价量Chybrid=Concat[Cgcorr,Cgcat]多尺度渐进式匹配代价特征融合与深度估计双目立体匹配网络中常用代价构建方法：多尺度渐进式匹配代价特征融合与深度估计渐进式融合策略小尺度的匹配代价输入到代价聚合网络中经过三维卷积层进行聚合与上采样后，与大尺度的代价进行渐进式特征融合，匹配代价空间中的像素特征得到了对齐与增强。堆叠沙漏三维卷积网络1自上而下/自下而上的三维卷积层更好地学习匹配代价中多尺度上下文语义特征2三维特征上采样与下采样实现多尺度特征的对齐与融合3多尺度视差输出重建出具有多个尺度的视差输出多尺度渐进式匹配代价特征融合与深度估计视差回归与深度估计深度立体匹配网络模型输出了多个尺度的视差图，这些视差图分别由不同的训练权重进行监督训练。对小尺度的视差输出进行监督学习能够获得比较粗糙的视差图结果，其更多地关注重建出视差图的整体轮廓。同时，大尺度的视差图输出融合特征能够提供了更精细的视图特征特征。因此，深度立体匹配网络将能够从粗糙到精细的渐进式特征融合与监督训练。通过采用文献[19]提出的视差回归计算模型来估计连续的视差图

每个像素在特征维度D的置信度网络模型采用多尺度多视差输出模块，其定义如下:多尺度多视差输出用平滑损失函数函数来训练网络的视差回归预测结果，通过计算预测结果与真实数据之间的误差，利用反向传播算法，将误差反向传播至整个网络模型中来更新网络的权重。训练损失函数定义如下式中，C∗(d)表示计算Cout​每个像素在特征维度D的置信度，计算公式如下所示：视差回归模型给定输出的匹配代价Cout，维度为[B,Dmax,H,W]其中C*(d)表示每个像素在特征维度D的置信度，通过softmax计算得到。多尺度监督训练小尺度监督获得粗糙的视差图结果，关注整体轮廓大尺度监督提供更精细的视差图特征从粗糙到精细渐进式特征融合与监督训练损失函数平滑L1损失函数总损失λi为第i个视差估计图的训练权重网络输出多尺度视差图D̂0,D̂1,D̂2,D̂3深度图通过视差计算得到视差回归与深度估计

实验结果与分析SceneFlow数据集结果方法>1px(%)>2px(%)EPE(px)PSMNet13.767.691.09AANet9.30-0.84本节方法7.804.270.70ZedStereo数据集结果方法>10px(%)>20px(%)EDE(cm)PSMNet13.767.6913.62GwcNet11.826.6411.17本节方法10.185.539.27数据集信息SceneFlow大型人工合成数据集，35454训练图像，4370测试图像，分辨率960×540ZedStereo（自建）4492组样本，分辨率720×1280，8:2划分训练测试集应用：移动机器人离线语义地图构建输入双目图像双目深度估计网络预测深度提取ORB特征与相机参数ORB-SLAM2离线构建语义地图性能评价指标：SceneFlow数据集：像素误差百分比评价指标定：平均深度误差定义：ZedStereo数据集：像素深度误差百分比评价指标定义：平均视差定义：实验结果与分析实验结果与分析在SceneFlow数据集上的可视化视差估计结果在ZedStereo数据集上的可视化视差估计结果移动机器人离线语义地图构建应用第三讲

基于双目视觉的机器人导航场景深度估计方法研究背景移动机器人精准导航技术是移动复合机器人实现搬运、装配、钻铆等自主柔性作业的基础。基于双目视觉的移动机器人导航技术因其具有获取丰富的纹理信息和直接获取物体的三维深度信息等优势，而深受广大研究者的青睐。面临挑战大面积弱纹理区域重复或丢失的纹理图案物体遮挡问题颜色/灯光噪声干扰本节解决方案提出一种基于迟滞注意力机制特征提取和三维分组卷积监督代价构建的双目立体匹配神经网络模型：迟滞注意力机制（HAM）受电路迟滞比较器启发，有效抵抗噪声干扰三维分组卷积监督代价构建（GCCC）构建具有丰富相似性度量的高质量匹配代价传统方法的局限在非结构化复杂环境下无法稳定提取高质量特征特征提取网络对所有特征信息一视同仁匹配代价构建方法过于简单导航场景深度估计概述电路启发单限比较器输入电压趋于门限值时，输出电压产生抖动迟滞比较器具有迟滞回环传输特性，响应速度快，抗干扰性强迟滞注意力机制（HAM）定义：y=(α×Conv3(x)+1)·Conv(x)Conv(x)：卷积操作Conv3(x)：注意力卷积操作α：注意力权重因子（调节灵敏度）迟滞注意力机制特点✓有效抵抗噪声干扰✓专注于最相关的特征提取✓更稳定的特征表征✓通过α调节灵敏度基于迟滞注意力的编码特征提取基于迟滞注意力的编码特征提取网络结构采用与ResNet-50类似的结构，通过在级联卷积层模块中加入一个迟滞注意力模型来提取注意力特征。FL(n)=[1+α×HAM(n-1)]·Rconv(n)(FL(n-1))特征提取流程1输入左右RGB图像[B,3,H,W]2共享权重提取统一特征3迟滞注意力模块增强特征4输出高维特征[B,320,H/4,W/4]特征维度变化n=0,1[B,32,H,W]↓n=2[B,64,H/2,W/2]↓n=3,4[B,128,H/4,W/4]↓高维特征输出[B,320,H/4,W/4]基于迟滞注意力机制的特征提取网络基于三维分组卷积的监督匹配代价构建动机现有代价构建方法（全相关、拼接、分组相关）过于简单，不能提供双目图像间高质量的相关性度量，尤其在遮挡、重复区域、噪声等挑战下表现不佳。三维分组卷积监督代价构建（GCCC）定义：CGCCC(FL,FR)=3DConvG(Concat[FLg(x,y),FRg(x-d,y)])将通道分组，每组一一对应拼接使用三维分组卷积监督学习构建具有丰富相似性度量的代价混合代价构建结合监督代价构建CGCCC与分组相关代价Cgcorr的优势：Chybrid=Concat[Cgcorr(FLH,FRH),CGCCC(FLC,FRC)]最大限度保持匹配代价的特征多样性代价聚合与视差回归堆叠代价聚合网络连接多个输出模块，不同权重监督训练视差回归模型估计连续的视差输出图平滑L1损失函数训练网络的视差回归预测结果混合代价构建方法：基于三维分组卷积的监督匹配代价构建基于三维分组卷积的代价构建方法多阶段级联堆叠代价聚合网络结构损失函数:实验结果与分析（a）输入图像（b）视差预测（c）预测错误SceneFlow数据集结果方法>1px(%)>2px(%)EPE(px)PSMNet13.767.691.09GC-Net16.909.342.51本节方法7.894.420.76对比PSMNet，减小3.92%的>1%像素误差ZedStereo数据集结果方法>10px(%)>20px(%)EDE(cm)PSMNet13.767.6913.62GwcNet11.826.6411.17本节方法9.945.899.01移动机器人导航应用输入双目图像双目深度估计网络预测深度提取ORB特征与双目相机参数结合离线全局语义地图回环检测获取相机相对位置调整机器人行进路径实验配置SceneFlow训练循环：16个ZedStereo训练循环：20个批量大小：6GPU：2×NvidiaTeslaV100初始学习率：0.001最大视差值：192实验结果与分析实验结果与分析（a）输入图像（b）视差预测（c）预测错误对本小节中所提出的双目深度估计网络模型的性能在ZedStereo数据集上进行了评估。如表7-5所示，相比于网络模