CN114677426B 图像处理方法、装置、电子设备及存储介质 （北京达佳互联信息技术有限公司）

A1,2012.05.10A1,2016.03.03第一边缘的第一方向和第二边缘的第二方向分的前景区域和第二边缘泛洪后形成的已知背景对遮挡区域进行深度信息补全和RGB信息补全处可准确地对图像的断层区域附近的像素点进行2获取待处理图像对应的深度图，从所述深度图中确定出前景对象在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第在所述深度图中通过所述已知背景区域对所述遮挡区域进行深度信息补全和RGB信息自的已知背景区域对各自的遮挡区域进行深度信息补全和RGB信息补若所述第一对象遮挡了所述第二对象和所述第三对象形成的域对各自的遮挡区域进行深度信息补全和RGB信息其中，所述第一对象为所述第二对象的前景对象，所述第二对获取所述深度图中各像素点之间的连通关系，基于所述连通关从所述深度图中确定出目标像素点；所述目标像素点对应的连基于所述目标像素点的深度值，将所述目标像素点划分为第一边缘确定所述第一边缘趋向前景对象中心点的方向为第一方向，确基于所述深度图中各像素点之间的连通关系，对所述第一边获取所述第一对象的第一边缘与所述第二对象的第二边缘，作获取所述第二对象的第一边缘与所述第三对象的第二边缘，作3若确定所述第一对象对所述第二对深度边缘不存在边缘遮挡，知背景区域，对所述第二对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信通过所述第三对象的已知背景区域，对所述第三对象被所述第二对象遮获取所述第一对象的第一边缘与所述第三对象的第二边缘，作第三对象被所述第一对象遮挡的遮挡区域和所述第三对象被所述第二对象遮挡的遮挡区若确定所述第一对象对所述第二对深度边缘遮挡了部分，对通过所述第二对象的已知背景区域，对所述第二对象被所述第一对象遮通过所述第三对象对应的初始补全图像，对所述第三对象被所述第二对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到通过所述第三对象的已知背景区域，对所述第三对象被所述第一对象遮进行深度信息补全和RGB信息补全，得到所述第三对象被所述第一对象遮挡的遮挡区域的基于所述局部补全图像中以及所述第三对象的已知背景区域中像素点之间的连通关获取与所述背景对象对应的采样窗口，基于所述采样窗口对所述4所述在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进在所述滤波后的深度图中，对所述第一边缘的第一方向和所述第从所述深度图中的背景对象的像素点中确定出深度值小于深度阈值的候确定所述候选像素点在所述深度图中所处的范围和所述候梯度幅值表示所述候选像素点在预设梯度方向上与相邻像素点之间根据所述候选像素点所处的范围和所述候选像素点的梯度幅值，从若所述候选像素点处于第一范围，则当所述候选像素点在任一图的背景对象中且处于所述背景对象的第二若所述候选像素点处于第二范围，则当所述候选像素点在任一根据所述已知背景区域以及所述补全背景图像，得到所述待处理图根据各所述图层的深度信息和RGB信息，得到所述待处理图像对应的重建的三维网格确定单元，被配置为执行获取待处理图像对应的深度图泛洪单元，被配置为执行在所述深度图中对所述第一边缘的第补全单元，被配置为执行在所述深度图中通过所述已知背景所述补全单元，还被配置为执行当所述待处理图像中至少包括第一对象5所述第二对象和所述第三对象各自的已知背景区域对各自的遮挡区域进行深度信息补全和RGB信息补全处理；若所述第一对象遮挡了所述第二对象和所述第三对象形成的深度边述深度图中各像素点之间的连通关系，基于所述连通关系确定各像素点的连通像素点数的所述第一方向和所述第二边缘的所述第二方向分别进行第一对象被所述第二对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第三对对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第二对第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第三对象对应的初息补全和RGB信息补全，得到所述第三对象被所述第一对象遮挡的遮挡区域的局部补全图6像；基于所述局部补全图像中以及所述第三对象的已知背景区域中像素点之间的连通关所述泛洪单元，还被配置为执行在所述滤波后的深度图中，对所述第素点处于第二范围，则当所述候选像素点在任一梯度方向上的梯度幅值大于第二阈值时，围表示处于所述深度图的背景对象中且处于所述背景对象的第二子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至11中任一项所述图像电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至11中任一项所述的78想要拍摄的对象可能被其他物体所遮挡，或者由于视差导致无法看到该对象的完整图像，[0006]在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进[0007]在所述深度图中通过所述已知背景区域对所述遮挡区域进行深度信息补全和RGB9所述第二边缘的所述第二方向分别进行第一泛[0016]获取所述第一对象的第一边缘与所述第二对象的第二边缘，作为第一对深度边[0017]获取所述第二对象的第一边缘与所述第三对象的第二边缘，作为第二对深度边的已知背景区域，对所述第二对象被所述第一对象遮挡的遮挡区域进行深度信息补全和[0021]获取所述第一对象的第一边缘与所述第三对象的第二边缘，作为第三对深度边所述第三对象被所述第一对象遮挡的遮挡区域和所述第三对象被所述第二对象遮挡的遮被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第三对象对区域进行深度信息补全和RGB信息补全，得到所述第三对象被所述第一对象遮挡的遮挡区[0027]基于所述局部补全图像中以及所述第三对象的已知背景区域中像素点之间的连[0033]所述在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分[0036]从所述深度图中的背景对象的像素点中确定出深度值小于深度阈值的候选像素[0037]确定所述候选像素点在所述深度图中所处的范围和所述候选所述梯度幅值表示所述候选像素点在预设梯度方向上与相邻像素点之间的深度图的背景对象中且处于所述背景对象的第二边缘[0044]根据各所述图层的深度信息和RGB信息，得到所述待处理图像对应的重建的三维所述第二边缘的所述第二方向分别进行第一泛对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第二对象对应的补全背背景区域，对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息背景对象中且处于所述背景对象的第二边缘外的范围；若所述候选像素点处于第二范围，图的背景对象中且处于所述背景对象的第二所述已知背景图像以及所述补全背景图像，得到所述待处理图像各个图层的深度信息和前景区域确定遮挡区域，最后通过已知背景区域对所述遮挡区域进行深度信息补全和RGB[0073]图3是根据一示例性实施例示出的深度边缘在图像上的可视化效果和经过3次滤[0084]其中，深度图表示将从图像采集器到场景中各点的距离(深度)作为像素值的图[0095]在步骤S130中，在深度图中通过已知背景区域对遮挡区域进行深度信息补全和[0096]其中，图像补全为一种根据图像自身或图像库信息来补全待修复图像的缺失区过已知背景区域对遮挡区域进行深度信息补全和RGB信息补全处理。当待处理图像中至少知背景区域对各自的遮挡区域进行深度信息补全和RGB信息补全处理。另一种为第一对象据补全的边缘和已知背景区域对遮挡区域进行深度信息补全和RGB信息补全，得到遮挡区一边缘和第二边缘上的像素点与至少一个相邻的像素点之间的深度差值大于或等于差值阈值，即第一边缘和第二边缘上的像素点与至少一个相邻的像素点之间不具有连通关系，于目标像素点的深度值，将深度值较大的目标像素点划分为背景对象的第二边缘的像素三对象的已知背景区域，对第三对象被第二对象遮挡的遮挡区域进行深度信息补全和RGB的已知背景区域200a对海面被人体遮挡的遮挡区域200b进行深度信息补全和RGB信息补息补全和RGB信息补全，通过第三对象的已知背景区域对第三对象的遮挡区域进行深度信二对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到第三对象对应的补全背景的遮挡区域进行深度信息补全和RGB信息补全，得到第三对象被第一对象遮挡的遮挡区域度幅值表示候选像素点在预设梯度方向上与相邻像素点之间据候选像素点所处的范围和候选像素点的梯度幅值，从候选像素点中确定出待滤波像素第二边缘内的第二范围，则当候选像素点在任一梯度方向上的梯度幅值大于第二阈值时，括：根据已知背景图像以及补全背景图像，得到待处理图像各个图层的深度信息和RGB信有空间感的3维图像运镜效果，此外在得到新视角图像后，还可以进一步进行人脸深度重[0151](1)根据预设深度阈值，将深度图中的像素点分为深度值小于深度阈值的像素点[0153](3)根据输入的第二边缘区域对应的第二边缘掩码和保护区域(即前景对象所在[0155]b)在保护掩码外且在第二边缘掩码外，当任一方向的梯度幅值大于第一阈值th[0162](3)通过连通域分析结果，对第一边缘的第一方向和第二边缘的第二方向分别进[0163]步骤S540，通过已知背景区域对遮挡区域先后进行边缘补全、深度补全和RGB补全边缘后记录补全的近侧区域和远侧区域，以便后续执行第二泛洪以及深度信息和RGB信[0171](1)通过带掩码的稀疏中值滤波提升精细的深度边缘，自适应的选择待滤波区域[0176]可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相[0180]泛洪单元720，被配置为执行在深度图中对第一边缘的第一方向和第二边缘的第[0181]补全单元730，被配置为执行在深度图中通过已知背景区域对遮挡区域进行深度二对象被第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到第二对象对应对应的初始补全图像，对第三对象被第二对象遮挡的遮挡区域进行深度信息补全和RGB信二范围表示处于深度图的背景对象中且处于背景对象的第二边缘内[0194]图8是根据一示例性实施例示出的一种用于实现图像处理方法的电子设备800的方便多媒体组件808和处理组件802之[0198]电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管后置摄像头可以是固定的光学透镜系统或具有焦距和光学变[0200]音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括麦克风配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信[0201]I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可如所述组件为电子设备800的显示器和小键盘