CN112396074B 基于单目图像的模型训练方法、装置及数据处理设备 （广州虎牙科技有限公司）

本申请提供了一种基于单目图像的模型训获取单目图像采集装置在不同时间点采集的第将不同时间点采集的两个单目图像作为训练样本得到的第一光流预测结果作为代理标注来指不依赖校正好的双目图像样本的情况下实现双2获取单目图像采集装置在不同时间点采集的第一训练图根据所述第一训练图及第二训练图之间的光度损失，获得从所述第将所述第一光流预测结果作为代理标记，使用所述第一训练图和将训练好的所述图像匹配模型用于执行双目图像对齐根据所述第一训练图及第二训练图之间的光度损失，获得从第一训根据所述初始光流图和初始置信度图，获得排除被遮挡像素之后的采用前向-后向光度检测对所述初始光流图进行处理，根据光度差异确定各像素点对4.根据权利要求3所述的方法，其特征在于，所述采用前向5.根据权利要求4所述的方法，其特征在于，所述根据所述初始光流图和初始置信度根据预设的光度损失函数和平滑度损失函数进行从所述第一训练图到第二训练图的ppIf为将所述第一训练图It使用Census变化后获得的图像，为根据所述第一3训练图到所述第二训练图的正向光流将Ifrr扭曲到If获得的扭曲图像，Hamming(x)为汉明将所述第一光流预测结果作为代理标记，使用预设的代理对所述第一训练图及所述第二训练图进行相同的随机剪裁和/或相同的将所述第一光流预测结果作为代理标记，使用剪裁和/或降采样后的第一训练图及第10.一种基于单目图像的模型训练装置，其特征在于，应用于对图像匹配模型进行训第一光流预测模块，用于根据所述第一训练图及第二训练所述第一训练图到第二训练图的第一光流预第二光流预测模块，用于将所述第一光流预测结所述图像匹配模型用于当执行双目图像对齐时，将待处理的双目图像45[0002]双目图像对齐(stereomatching)是一个基本的计算机视觉问题，广泛应用于3D[0003]在处理双目图像对齐问题时，常使用卷积神经网络(ConvolutionalNeural得从所述第一训练图到第二训练图的第一光流6作为训练样本得到的光流预测结果作为代理标记，用于指导模型进行再次光流预测的学训练装置110相关的代码指令)，通过读取并执行机器可读存储介质120中与图像模型训练[0028]步骤S210，获取单目图像采集装置在不同时间点采集的第一训练图和第二训练7[0032]光流(opticalflow)预测是基于亮度恒定性和空间平滑性假设，根据像素的光度目图像对齐问题可以视作在刚性场景中，摄像机在一个位置拍摄后移动另一位置在此拍图像扭曲到参照图像，并通过测量翘曲目标图像和参照图像之间的差异来构建光度损失。8[0044]按照以下公式根据所述像素p的前向光流和后向光流获得像素p的置信度图Mt→t+1pp[0051]其中，p表示像素点，If为将所述第一训练图It使用Census变化后获得的图像，IK-r为根据所述第一训练图到所述第二训练图的正向光流将Ifx扭曲到If获得的扭曲9图和第二训练图进行相同位置和相同大小的剪裁和/或进行相同的随机降采样，然后使用剪裁后和/或降采样后的第一训练图和第二训练图进行步骤S230的训练，从而可以同时提[0068]在本实施例中，可以使用Adam优化器在TensorFlow系统上建立所述图像匹配模所述图像匹配模型。在步骤S230中，使用代理自监督损失函数Ls和平滑度损失函数Lm进行[0070]图6示出了在使用KITTI2012数据集和KITTI2015数据集上，使用现有的模型与别能力明显优于例如MultiFrameOccFlow和DDFlow等现有最[0071]图7示出了在使用KITTI2012数据集和KITTI2015数据集上，使用现有的模型与使用本实施例提供的方法训练出的图像匹配模型进行双目图像对齐的测试结果，从图7可见，本实施例提供的基于单目图像的模型训练方法训练出的图像匹配模型(“Our+proxy+[0073]所述图像获取单元111用于获取单目图像采集装置在不同时间点采集的第一训练[0074]所述第一光流预测模块112用于根据所述第一训练图及第二训练图之间的光度损[0075]所述第二光流预测模块113用于将所述第一光流预测结果作为代理标记，使用所述第一训练图和第二训练图进行光流预测的[0078]另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个