CN114445475B 稀疏深度图的深度补全方法、计算机装置和存储介质 （中山大学·深圳）

本发明公开了一种稀疏深度图的深度补全对对神经网络进行训练的过程包括获取彩色图多轮迭代处理过程以训练图像一致性优化模块图像一致性优化模块对稠密深度图的边界处像2所述第一编码网络从所述彩色图像和所述稀疏深度图提取得到多尺度所述第一解码网络对所述多尺度特征图回归得到初始所述像素相关性计算模块根据所述多尺度特征图计算像素相关性所述图像一致性优化模块执行多轮迭代处理过程；在一轮迭代处理果和所述目标深度图确定损失函数值，根据所述损失函数值调整所述图像一致性优化模以所述深度图真值中的所述基准点，和/或与所述基准点之间的距离不超过距离阈值对所述稀疏深度图进行编码，获得第二特征编码信息；所述第3将所述多尺度特征图中的各个尺度的特征信息，分别扩展至与所述对所述拼接特征图进行多层卷积处理，获得多维张量；以将所述待处理图像输入至经过训练的神经网络程序，所述处理器用于加载所述至少一个程序以执行权利要求1-8任一项所述的深度补全4[0007]针对目前的深度感知技术中所获得的稀疏深度图不能满足实际应用对稠密深度图的需求等至少一个技术问题，本发明的目的在于提供一种稀疏深度图的深度补全方法、5性表示所述彩色图像中各像素与相邻像素之间的[0019]所述像素相关性优化模块对所述初始深度图进行多次迭代滤波，获得稠密深度[0024]以所述深度图真值中的所述基准点，和/或与所述基准点之间的距离不超过距离E()为损失函数。[0039]进一步地，所述损失函数为以下多个函数中的任一个函数或者若干个函数的组6所述处理器可执行的程序在由处理器执行时用于执行实施例中的深7[0060]P4.第一编码网络从彩色图像和[0062]P6.像素相关性计算模块根据多[0070]P303.以深度图真值中的基准点，个等边三角形的顶点可以视为是等边三角形网格中的网格点，相邻两个网格点之间的距离采样点对深度图真值进行采样，可以实现等距采样，其中对每个采样点采样的结果是获得该采样点所在位置处深度图真值的深度值，对多个采样点采集得到的深度值组成本实施例可以近似地将△A2BC视为等边三角形，此时如果以基准点B和C以及非基准点A2作为采样8[0082]第一编码网络执行步骤P401-P404所获得的多尺度特征图，包含了从彩色图像和9度图中的一个像素点来说，远距信息(例如与其不相邻区域像素点的深度信息)是无效的，[0087]P601.将多尺度特征图中的各[0089]P603.将扩展后的各个尺度的特征信息按步骤P604所得到的多维张量便是执行步骤寸分别为其中Cn表示多尺度特征图中第n层特征信息的通道数，络、第一解码网络和像素相关性计算模块的参数(在调整图像一致性优化模块的参数后执根据第t-1轮迭代处理过程所获得的处理结果和本轮(第t轮)的残差图，确定本轮(第t轮)参数(在调整图像一致性优化模块的参数后执行第t+1轮迭代处理过程)，或者结束全部训理过程之间的区别主要在于所处理的是步骤P7所获得的稠密深度图或者上一轮迭代处理[0102]P801.根据第t-1轮迭代处理过程所获得的处理结果与步骤P1所获得的彩色[0104]P802.根据第t-1轮迭代处理过程所获得的处理结果和本轮(第t轮)的残差图如果损失函数值小于损失值阈值则结束迭代处理过程，也不再执行第t+1轮以及后续各轮[0107]通过步骤P801-P804对图像一致性优化模块进行训练，可以改善图像一致性优化[0108](1)在采样时保持了稀疏深度图在图像中分布的一致性，因此神经网络学得的深[0109](2)基于局部一致性的像素相关性计算方法。本发明在计算像素相关性时显式引[0110](3)基于图像一致性的深度图优化方法。现有技术预测的深度图常存在深度边缘稀疏深度图的深度信息进行预测，神经网络的输出结果为相对稀疏深度图的稠密深度图，[0117]在执行步骤S3时，所使用的神经网络可以由步骤P1-P8训练得到的神经网络去除[0121]S304.第一编码网络从待处理图像和[0123]S306.像素相关性计算模块根据多尺[0125]S308.图像一致性优化模块中的第二编解码网络对步骤S307中的稠密深度图进行程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可存储介质或设备由计算机读取