CN115375746B 基于双重空间池化金字塔的立体匹配方法 （西安电子科技大学）

本发明公开了一种基于双重空间金字塔的中缺失多尺度语义信息及无法充分提取特征的使用训练样本集T，通过随机梯度下降法对该双配的结果Iipred。本发明提升了立体匹配方法在2M个图像对(2a)建立由平均池化金字塔E2AVG和最大池化金字塔E2MAX并联构成的双重金字塔网络(2d)将特征提取网络E、代价聚合网络R以及视差回归网络G级联构成双目立体匹配网(3c)对输出的图像使用SmoothL1损失函数计算预测视差图Iipred与真实视差图IiGT之间(4)将验证样本集V输入到训练好的双重空间池化金字塔的立体匹配网络S中，依次经(3b1)利用初始卷积神经网络E1分别对左(3b2)利用双重池化金字塔网络E2对左右目特征图进行池化运算，得到左目平均池化(3b3)将两个池化金字塔得到的特征图进行堆叠并经过特征融合网络E3，输出左图像(3b4)设置视差搜索范围D，先对每一个视差值d使用拼接的方式构建当前视差值的代3(3b5)利用代价聚合网络R对四维匹配代价体Cid进行卷积运算，得到聚合后的代价体3.根据权利要求2所述的方法，其特征在于，所述(3在平均空间池化金字塔E2AVG中使用四个不同大小的平均池化核对左图像特征图与右图像特征图进行平均池化操作提取含有语义信息的特征，得到左目平均池化特征图组在最大空间池化金字塔E2MAX中使用四个不同大小的最大池化核对左图像特征图与右iL_maxi由依次连接的三组卷积层构成，每一组卷积层包含32个大小为3×3、步长为1的三维卷积4i为预测视差图Iipred与真实视差图IiGT之间的损失值，η表示网络更新学习率，和bt+1分别表示经过更新后的卷积核权重参数及更新后的卷积核5的立体匹配方法，基于深度学习的立体匹配方法具有更强的特征表达能力与特征学习能络输出的特征进行聚合；3)使用内部型左右一致性检查对视差图进行左右一致性检测，对无效视差点进行填充从而获得最终的视差图。该方法存在的不足之处是：将卷积神经网络仅用于特征提取部分，未构建端到端的网络进行学习与训练，不利于算法对视差的进一步6[0015](2a)建立由平均池化金字塔E2AVG和最大池化金字塔E2MAX并联构成的双重金字塔[0018](2d)将特征提取网络E、代价聚合网络R以及视差回归网络G级联构成双目立体匹7[0021](3b)对训练集T中的左目图像IiL与右目图像IiR使用前向传播方法得到网络输出[0022](3c)对输出的图像使用SmoothL1损失函数计算预测视差图Iipred与真[0026](4)将验证样本集V输入到训练好的双重空间池化金字塔的立体匹配网络S中，依次经过其中的特征提取网络E、代价聚合网络R及视差回归网络G，得到视差图的预测结果[0029]2.本发明由于使用特征提取网络E，实现可用于进行立体匹配、光流预测、3D物体检测、3D跟踪等任务。其分为KITTI2012及KITTI2015两个子数据集。其中KITTI2012子数据集提供了194组含有双目图像及真实视差[0038]从KITTI双目立体匹配数据集中获取分辨率为W×H的N+M组图像对Ii＝{IiL,IiR,iL8[0045]2.1)参照图2，建立由平均池化金字塔E2AVG和[0051]2.3)建立由三个堆叠的三维卷积神经[0052]2.4)建立由两组依次连接的三维卷积层[0053]2.5)将特征提取网络E、代价聚合网络R[0055]3.1)设置学习率η,最大训练次数tmax，当前迭代周期t'＝0，在本实施例中η=max＝500；[0056]3.2)对训练集T中的左目图像IiL与右目图像IiR使用前向传播方法得到网络输出目平均池化特征图组FiL_AVG、左目最大池化特征图组FiL_MAX，以及右目平均池化特征图组9[0059]在平均空间池化金字塔E2AVG中使用四个不同大小的平均池化核对左图像特征图[0063]在最大空间池化金字塔E2MAX中使用四个不同大小的最大池化核对左图像特征图[0067]3.2c)将两个池化金字塔得到的特征图进[0073]3.3)对输出的图像使用SmoothL1损失函数计算预测视差图Iipred与真[0075]3.4)使用反向传播的梯度下降算法对当前网络St中的卷积核权重参数ωt以及卷[0078]其中，ωt+1和bt+1分别表示经过更新后的卷积核权重参数及更新后的卷积核偏置[0083]将验证样本集V输入到训练好的双重空间池化金字塔的立体匹配网络St中，先经过其中的特征提取网络E，分别对第i个样本的左目图像IiL与右目图像IiR提取包含语义信息特征与纹理边缘信息特征的左图像特征图与右图像多尺度特征图并对这两个特[0086]仿真实验的软件平台为：Ubuntu16.04LTS操作系统，Python3.7编程语言，[0088]仿真实验的数据集为：KITTI2012与KITTI2015中共计394个训练图像组为训练图[0089]在KITTI2012验证集V1中，将预测视差值Iipred与真实视差值IiGT的误差值大于e像素的区域Ae_all的面积SAe_all占图像Aall总面积SAall的比[0091]将视差非闭合区域Anoc中视差误差值大于e像素值的区域Ae_noc的面积SAe非闭合区域面积SAnoc的比值定义为e_n[0094]在KITTI2015验证集V2中，将区域A中的预测视差图与真实视差图的误差大于3像素或大于该点视差真实值5％的区域At与A区域的面积的比值定义为区域A内的D1误差评价证图像作为验证集V1输入到训练好的立体匹配网络St中，得到本发明方法的立体匹配的结[0100]将KITTI2012测试集分别经过基准方法与本发明方法得到的评价指标进行对比，到提升，其中2_noc指标提升了1.182_all指标提升了0.233_noc提升了0.073_[0104]仿真2.使用仿真1中训练好的立体匹配网络St，将KITTI2015中200张验证图像作[0105]对本发明方法的立体匹配结果计算其前景误差评价指标D1_fg、背景误差评价指[010