CN110533712A 一种基于卷积神经网络的双目立体匹配方法 （北京工业大学）

一种基于卷积神经网络的双目立体匹配方法本发明公开了一种基于卷积神经网络的双行一个可微分的softargmin操作获取初始视算法的4个阶段，并将4个步骤整合到一个网络匹配方法在特征提取过程中整合上下文信息有过程中小型编解码结构显著减少了网络训练/推2所述的初始特征提取模块是一个共享权重的孪生网络，先利用一个卷积层对输入立体图像对进行一次下采样，接下来是2个残差层进一步对输入所述的相关层模块包括两部分操作：第一部分指在孪生所述的正则化模块为一个小型编解码结构，用于在代所述的视差计算模块是利用一个可微分的softargmin操作在正则化特征图的视差维所述的视差细化模块用于进一步细化视差估计，其输3k指矩形块的大小，相关层执行的效果是让f1中的每个矩形块与f2中的每个矩形块进行比密块包含6个卷积层，且卷积层之间以稠密的方式进行连接，其每次连接维度的增长率为o(-cd)(2)视差细化模块输出的最终视差图维度为HxWx1，其中H、W分别表示原始输入图像的高和4un(di-df)(3)i是预测视差图的5差估计的目的是计算参考图像中每个像素的视差d。视差指参考图像和目标图像一对对应首次引入卷积神经网络去计算两个输入图像之间像素相似性(J.ZbontarandY.LeCun.Stereomatchingbytrainingaconvolutionalneuralnetworktocompa型常常在遮挡区域、重复纹理和反射表面等病态区域无法准确的找到像素对应的匹配点。6[0016]所述的初始特征提取模块是构建一个共享权重的孪生网络对输入立体图像对进[0018]所述的相关层模块是在孪生网络的第一个残差层输出的立体图像对之间和原始7[0025]所述的代价量模块是利用两个包含上下文信息的特征图构建代价量计算匹配代是将包含上下文信息的参考特征图与对应的包含上下文信息的目标特征图之间在每个可[0027]所述的正则化模块是利用一个紧凑的小型编解码结构在代价量上学习一个正则包括编码和解码两个阶段。编码阶段包含6个3D卷积层，每个编码层次应用两个卷积核为在每个上采样之前从编码阶段加上对应维度的特征图以保留粗糙的高层信息和详细的低[0029]所述的视差计算模块是利用一个可微分的softargmin操作在正则化特征图的视o(-ca)[0033]所述的视差细化模块的任务是找到一个增量图在初始视差图上加或减以进一步8u(dr-df)3)程中小型编解码结构显著地减少了训练/推测期间的内存占用和运行时间，并回归预测亚[0046]图3是本发明实施例提供的KITTI2015数据集中待匹配的参考图像和目标图像的态区域无法准确找到像素对应匹配点的问题，同时可显著地减少训练/推测期间的内存占[0051]图2是本发明提供的基于卷积神经网络的双目立体匹配方法的网络结构图。本发9个可能视差下进行连接形成一个4D代价量来寻找两个输入立体图像对像素之间的对应性。[0056]通过步骤3获得了立体匹配网络模型，现在通过迁移学习的方式利用迁移数据集[0057]1)将KITTI2015数据集中实施例的立体图像对进行随机裁剪到512×256大小的图[0062]利用上述操作在代价量的视差维度上进行视差回归预测平滑连续的初始视差图4中视差预测结果可知，本发明方法有效地解决了在病态区域无法准确找