CN114511778B 图像处理方法及装置 （美的集团(上海)有限公司）

AU2020103905A4,2021中包括的前景概率及语义特征对与初始RGB图像及局部深度图；将深度特征向量和初始RGB图像初始RGB图像的语义信息，引导准确刻画图像局2基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对应的初始将所述深度特征向量和所述初始RGB图像进行特征融合，获得融合置信图和融合深度2.根据权利要求1所述的图像处理方法，其特征在于，将所述初始RGB图像输入至深度补齐模型的局部指导模块进行语义分割，获得所述局所述基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对应的将所述语义特征图和所述初始深度图像输入至所述深度补齐模型的约束网络进行深所述将所述深度特征向量和所述初始RGB图像进行特征融合，获得融合置信图和融合将所述初始RGB图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所将所述局部深度图、所述局部置信图、所述融合深度图和所述3.根据权利要求2所述的图像处理方法，其将所述深度特征向量和所述初始RGB图像输入至所述对抗生成网络的生成器，由所述生成器基于所述深度特征向量重建所述初始RGB图像的深度信息，获得所述生成器输出的所述生成器是基于样本RGB图像和样本密集深度图，联合所述对抗生成网络的判别器进行对抗训练得到。将所述语义特征图和所述初始深度图像输入至所述约束网络的编码器进行下采样处3将所述第一深度特征向量输入至所述约束网络的解码器进行上采5.根据权利要求4所述的图像处理方法，其通过所述深度补齐模型的实例归一化模块对所述第一特征向量和第一深度特征向量通过所述实例归一化模块对所述第二特征向量和第二得所述对抗生成网络输出的所述融合深度图和所述通过跳转连接的方式将所述约束网络的编码器中的所述深度特征向量输入至所述约束网络的解码器中的对称位置，得到所述解码器输出的所述局部深度图和所述局部置信基于所述局部注意力权重和所述融合注意力权重对所述局部深度图和所述融合深度基于所述样本训练集中所有样本深度图像进行语义分割训基于所述样本深度图像和所述第一至第五拟真深度图中的至少一获取所述对抗生成网络的生成器的第一损失函数以及判别4第二处理模块，用于基于所述语义特征图中包括的前景概程序被处理器执行时实现如权利要求1至9任一项所述图像处理行时实现如权利要求1至9任一项所述图像处理方5[0002]场景建模技术因结合深度传感器采集的深度图和彩色相机采集的RGB图而得到蓬[0007]基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对应的[0008]将所述深度特征向量和所述初始RGB图像进行特征融合，获得融合置信图和融合[0012]将所述初始RGB图像输入至深度补齐模型的局部指导模块进行语义分割，获得所[0013]所述基于所述语义特征图中包括的前景概率及语义特征对与所述初始RGB图像对[0014]将所述语义特征图和所述初始深度图像输入至所述深度补齐模型的约束网络进6[0015]所述将所述深度特征向量和所述初始RGB图像进行特征融合，获得融合置信图和[0016]将所述初始RGB图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网[0020]根据本发明的一个实施例，所述将所述初始RGB图像和所述深度特征向量输入至[0021]将所述深度特征向量和所述初始RGB图像输入至所述对抗生成网络的生成器，由所述生成器基于所述深度特征向量重建所述初始RGB图像的深度信息，获得所述生成器输[0022]所述生成器是基于样本RGB图像和样本密集深度图，联合所述对抗生成网络的判[0024]将所述语义特征图和所述初始深度图像输入至所述约束网络的编码器进行下采[0026]根据本发明的一个实施例，所述将所述初始RGB图像和所述深度特征向量输入至[0027]将所述初始RGB图像输入至所述对抗生成网络进行下采样处理，得到第一特征向[0028]通过所述深度补齐模型的实例归一化模块对所述第一特征向量和第一深度特征[0030]通过所述实例归一化模块对所述第二特征向量和第二深度特征向量进行特征融[0031]根据本发明的一个实施例，所述局部深度图和所述局部置信图通过如下步骤确[0032]通过跳转连接的方式将所述约束网络的编码器中的所述深度特征向量输入至所7[0035]基于所述局部注意力权重和所述融合注意力权重对所述局部深度图和所述融合[0036]根据本发明的一个实施例，所述样本训练集包括多个样本RGB图像及其对应的拟[0038]基于所述样本RGB图像对应样本深度图像进行高光区域掩模，得到第一拟真深度[0043]基于所述样本深度图像和所述第一至第五拟真深度图中8[0057]通过提取目标RGB图像的语义信息，引导对目标深度图像准确刻画图像局部深度[0058]进一步的，对抗生成网络的生成器对深度特征向量和目标RGB图像做类似风格迁9关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为指示或暗示相对重要性。可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征[0081]深度补齐(DepthCompletion)指通过结合使用同时刻采集的深度图与RGB图像，为三大类：第一类是直接采用编码-解码器(Encoder-Decoder)结构对深度图进行补齐操[0083]下面结合图1至图10描述本发明实施例的图像处理方法，通过构建深度补齐模型和相互之间的叠加来得到各式各样的颜色，以使RGB图像能够准备反映视觉色彩特征。其征图包括前景概率(foregroundprobability)和语义特征(semanticfeatures)的相关信H×W×2的语义特征图，语义特征图的第一个通道和第二个通道分别表示前景概率和语义[0092]步骤120、基于语义特征图所包括的前景概率及语义特征与初始深度图像进行特[0107]可以理解的是，初始RGB图像融合了深度特征向量得到的融合深度图所对应的深[0111]可以理解的是，目标深度图是针对初始深度图像和初始RGB图像所对应的场景的[0118]可以向深度补齐模型输入样本训练集中的深度图像和RGB图像，通过输出的密集[0119]在该实施例中，如图2所示，深度补齐模型可以包括局部指导模块(图示为LocalGuidanceModule)、约束网络(图示为ConstraintNetwork)、对抗生成网络(图示为RDF-GAN)和输出网络(图示为Confide[0120]将初始RGB图像输入至局部指导模块进行语义分割，获得局部指导模块输出的语H×W×2的语义特征图，语义特征图的第一个通道和第二个通道分别表示前景概率和语义[0126]约束网络基于初始深度图像及语义特征图进行特征提取处理，获得深度特征向[0132]约束网络进一步基于深度特征向量，输出局部置信图(图示为cl)和局部深度图度特征向量包括下采样处理和上采样处理过程[0135]置信图是由每个像素的置信值构成，置信值表示每个像素属于目标的可能性大[0137]对抗生成网络对深度特征向量和初始RGB图像进行特征融合，获得融合置信图和[0138]对抗生成网络的输入为深度特征向量和初始RGB图像，对抗生成网络基于深度特向量所表征的深度信息与初始RGB图像的[0139]对抗生成网络的输出为融合视觉信息和深度信息的融合深度图(图示为df)以及[0144]可以理解的是，初始RGB图像融合了深度特征向量得到的融合深度图所对应的深[0151]可以理解的是，目标深度图是针对初始深度图像和初始RGB图像所对应的场景的[0155]生成器以样本RGB图像提取的深度特征向量尽可能地重建样本RGB图像的深度信息，判别器(图示为Discriminator)则判别生成器输出深度图像与输入的样本密集深度图本密集深度图也可以是基于场景中对象的尺寸布局生成的准确且密集的[0161]需要说明的是，对抗生成网络的生成器对深度特征向量和初始RGB图像做类似风深度特征向量所表征的深度信息与初始RGB图像的信示基于分布Draw所采样得到draw情况下*的期望值，Edgt～Dgt(*)表示基于分布Dgt所采样得到gg[0172]如图2所示，约束网络的编码器(图示为ConstraintEncoder)对语义特征图和初[0173]约束网络的解码器(图示为Upsample1)对第一深度特征向量进行上采样处理，恢W-AdaIN)，融合约束网络的深度特征向量以及对抗生成网络中所输入的初始RGB图像的特[0180]其中，A和B分别表示深度特征向量z和初始RGB图像r通过自注意力机制得到的对别辨识为对深度特征向量z进行仿射变换得到的空间尺度因子其进行融合，得到融合了初始RGB图像的视觉信息和深度特征向量的深度信息的目标融合[0188]需要说明的是，实例归一化模块所融合的特征仅输出给为H/4xW/4，64的深度特征向量，进一步下采样得到H/8xW/8，128的深度特征向量以及H/[0194]通过跳转连接的方式将约束网络的编码器中的深度特征向量输入至约束网络的[0196]通过融合注意力权重和局部注意力权重对融合深度图和局部深度图进行加权处组中包括一个样本RGB图像以及与样本RGB图像对应的[0204]其中，拟真深度图像是通过对样本RGB图像对应的样本深度图像进行模拟生成的[0206]在实际执行中，可以通过选取不同场景下的样本RGB图像所对应的样本训练集对训练集包括室内场景下的样本RGB图像以及与样本R[0209]在一些实施例中，可以通过如下五种不同的实现方式得到五种不同的拟真深度[0224]在该实施例中，可以使用U-Net网络对样本训练集中随机划分的部分样本深度图[0228]例如，保留图9所示的第五拟真深度图和图7所示的第三[0235]在实际执行中，深度补齐模型的目标损失函数为第一至第四的四个损失函数的[0248]第三处理模块1130，还用于将初始RGB图像和深度特征向量输入至深度补齐模型[0252]生成器是基于样本RGB图像和样本密集深度图，联合对抗生成网络的判别器进行[0257]通过深度补齐模型的实例归一化模块对第一特征向量和第一深度特征向量进行[0262]基于局部注意力权重和融合注意力权重对局部深度图和融合深度图进行加权处率及语义特征对与初始RGB图像对应的初始深度图像进行深度特征提取，得到深度特征向发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以分割得到语义特征图；基于语义特征图中包括的前景概率及语义特征对与初始RGB图像对初始R