CN116250002B 具有软分层和深度感知的修复的单幅图像3d摄影的方法和系统 （谷歌有限责任公司）

2023.03.17PCT/US2021/0448282021.08.05WO2023/014368EN2023.02.09具有软分层和深度感知的修复的单幅图像景可见性映射包括与深度图像的深度梯度成反定指示图像的像素将通过视点调整而被去除遮成修复图像和修复深度图像。该方法进一步包像的第一三维(3D)表示和修复图像的第二3D表与第二3D表示组合来生成具有经调整的视点的2基于所述单目图像来确定包括多个像素的深度图像，其中，所述针对所述深度图像的每个相应像素，确定与所述深度图像的所述确定前景可见性映射，所述前景可见性映射包括针对所述基于所述深度图像来确定背景去除遮蔽掩模，所述背景去除遮蔽(i)通过使用修复模型根据所述背景去除遮蔽掩模修复部分的所述单目图像来生成修(i)基于所述深度图像来生成所述单目图像的第一3D表示，以及(ii)基于所述修复深通过根据所述前景可见性映射将所述第一3D表示与所述第二3D表示进针对所述深度图像的每个相应像素，通过将梯度算子应用于所针对所述深度图像的每个相应像素，基于与所述相应像素相关联针对所述深度图像的每个相应像素确定第一多个差值，其中所述对应深度值中减去(i)位于所述相应像素的预定像素距离内的对应参考像素的所述对针对所述深度图像的每个相应像素，通过将双曲正切函数应3所述相应像素的右侧和左侧的所述预定数量的像素确定基于深度的前景可见性映射，所述基于深度的前景可见性基于所述单目图像并且对应于所述单目图像来确定前景阿基于在(i)所述前景阿尔法遮罩与(ii)所述前景阿尔法遮罩的膨胀之间的差，来确定基于以下各项的乘积来确定所述前景可见性映射：(i)所述基于深度的前景可见性映基于所述深度图像来确定背景遮蔽掩模，所述背景遮蔽掩模包基于以下各项的乘积来确定所述前景可见性映射：(i)所述基于深度的前景可见性映针对所述深度图像的每个相应像素确定第二多个差值，其中，通考像素的所述对应深度值中减去(i)所述相应像素的所述对应深度值以及将所述相应像素针对所述深度图像的每个相应像素，通过将双曲正切函数应修复图像的所述去除遮蔽区域的所述强度值与所述修复深度图像的所述对应去除遮蔽背4基于所述训练深度图像来确定训练背景遮蔽掩模，所述训练背景将通过所述训练单目图像的原始视点的改变而(i)通过使用所述修复模型、根据所述训练背景遮蔽掩模修复部分的所述训练单目图及或多个：(i)基于通过鉴别器模型处理所述修复训练图像和所述修复训练深度图像而确定述修复训练深度图像与所述训练深度图像进行比较而确定的重基于所述深度图像来生成与所述第一3D表示相对应的3D前景(i)通过基于所述经调整的视点将所述第一3D表示进行投影来生成前景图像，(ii)通过基于所述经调整的视点将所述第二3D表示进行投影来生成背景图像，以及(iii)通过基于所述经调整的视点将所述3D前景可见性映射进行投影来生成经修改的前景可见性映射；确定下述各项之总和：(i)所述前景图像与所述经修改的前景可见性映射的第一乘积与(ii)所述背景图像与在所述预定值和所述经修改的前景可见性映射之间的差的第二乘(i)通过基于所述深度图像对所述单目图像的像素进行去除投影来生成第一多个3D(i)通过将与所述单目图像的邻接像素相对应的所述第一多个3D点的相应子集互连来(i)基于所述单目图像将一个或多个第一纹理应用于所述第一多边形网格，以及(ii)基于所述修复图像将一个或多个第二纹理应用于所述第二具有存储的指令非暂时性计算机可读介质，所述指令在由所理器执行根据权利要求1_18中任一项所述的520.一种具有存储的指令的非暂时性计算机可读介质，所述指令在由计算设备执行时使所述计算设备执行根据权利要求1_18中任一6[0001]机器学习模型可以用于处理包括图像的各种类型的数据，以生成各种期望输[0002]一种三维(3D)照片系统可以被配置成基于单目图像来生成模拟由单目图像表示单目图像来确定包括多个像素的深度图像。深度图像的每个相应像素可以具有对应深度另外包括：(i)通过使用修复模型根据背景去除遮蔽掩模修复单目图像的部分来生成修复景可见性映射将第一3D表示与第二3D表示组合来生成具有不同于初始视点的经调整的视[0005]在第三示例实施例中，一种非暂时性计算机可读介质可以具有存储在其上的指7[0027]表示来自初始视点的场景的单目图像可以用于生成表示来自经调整的视点的场8[0028]用于生成具有经修改的视点的图像的一些技术可以依赖于基于硬不连续性将场景分解成两个或更多个层。硬不连续性可以定义两遮蔽函数生成，该软背景去除遮蔽函数至少沿着深度图像的输入值的范围是连续且平滑[0032]修复模型可以使用软背景去除遮蔽掩模来修复单目图像和深度图像的可能被去成通过借用来自其它背景区域的信息而不是借用来自前景区域的信息来修复去除遮蔽背9[0036]前置相机104可以被定位在主体102的在操作时通常面向用户的一侧(例如，与显[0037]显示器106能够表示阴极射线管(CRT)显示器、发光二极管(LED)显示器、液晶机中的一个或多个相机捕获的图像、和/或这些图像中的一个或多个图像的修改版本。因够调整计算设备100的一个或多个方面的设置和相机112中的一个或多个可以是一个或多个相机的阵列。[0039]前置相机104和/或后置相机112中的一个或多个可以包括提供光场以照明目标对[0040]计算设备100还可以包括环境光传感器，其可以连续地或不时地确定相机104和/[0041]计算设备100能够被配置成使用显示器106和前置相机104和/或后置相机112来捕[0044]通信接口202可以允许计算系统200使用模拟或数字调制与其他设备、接入网络然而，可以在通信接口202上使用其他形式的物理层接口和其他类型的标准或专有通信协程序指令在由计算系统200执行时使计算系统200执行本说明书和/或附图中公开的方法、过程或操作中的任一个。由处理器206对程序指令218的执行可以导致处理器206使用数据作系统222访问，并且应用数据214可以主要可由一个或多个应用程序220访问。应用数据214可以被布置在对计算系统200的用户可见或隐藏的文件[0050]应用程序220可以通过一个或多个应用编程接口(API)与操作系统222通信。这些API可以促进例如应用程序220读取和/或写入应用数据214、经由通信接口202传输或接收(诸如经由Web浏览器或通过计算系统200上的物理接口(例如，USB端口))安装在计算系统于捕获可见光谱(例如，具有380纳米至700纳米的被配置用于捕获红外光谱(例如，具有701纳米至1毫米的波长的电磁辐射)中的图像的组以被配置成基于图像302来生成经修改的图像370。3D照片系统300可以包括深度模型304、[0056]经修改的图像370可以表示与来自不同于初始视点的经调整的视点的图像302相蓝色)相关联。深度图像306可以被表示为D=ΦD（I其中，D∈Rnx1并且ΦD表示深度模型n经被训练成基于单目图像来生成深度图像的机器学习模型。例如，深度模型304可以表示MiDaS模型，如由Ranflt等创作并且公布为arXiv：1907.01341v3的标题为“TowardsRobustMonocularDepthEstimation:MixingDatasetsforZero_shotCross_dataset[0058]软前景可见性模型308可以被配置成基于深度图像306来生成前景可见性映射n[0060]软前景可见性模型308可以被配置成基于深度图像306的深度梯度并且可能还基于图像302的前景阿尔法遮罩来生成前景可见性映射310。前景可见性映射310的可见性值可以在表示从图像302的前景特征到图像302的背景特征的过渡的像素位置处相对较低(并[0061]软背景去除遮蔽函数312可以被配置成基于深度图像306来生成背景去除遮蔽掩[0062]背景去除遮蔽掩模314的每个相应去除遮蔽值可以指示图像302的对应像素将通关联的深度值D(xi，yj)之间的深度差大于这些像素的相应位置之间的经缩放的距离则与像素位置(x，y)相关联的给定像素可以由于初始视点的改变而被去除遮蔽。其中，γ是控制双曲正切函数的陡生成修复图像318和修复深度图像320。修复图像318可以被表示为并且修复深度图像320可以被表示为修复图像318和修复深度图像320因此可以各自具有n个像素。修复模型316可以实现函数其中，1.DY表示修复图深度图像320可以表示根据背景去除遮蔽掩模314修复的深度图像306。对初始视点的改变可以导致一个或多个前景区域的明显移动，从而导致[0067]修复模型316可以被训练成利用匹配图像302中的其它背景区域的值而不是匹配修复图像318的修复部分的像素值与修复深度图像320的对应修复部分的深度值一致。即，修复模型316可以被配置成在生成去除遮蔽背景区域的值时考虑深度信息和颜色/强度信[0069]像素去除投影器322可以被配置成生成(i)基于前景可见性映射310和深度图像FP)=D(P)M-'P,背景3D表示326的3D点可以被表示为其中，p表矩阵，D(p)表示与如深度图像306中表示的相应像素相对应的深度值(而不是逆深度值)，b(p)表示与如由修复深度图像320表示的相应像素相对应的深度值(而不是逆深度值)，并且相机参考系被假定为与世界参考系对准。由于V(p)＝F(p)，所以可以针对3D表示324和326确定并且通过3D表示324和326共享3D点的单个集合。[0070]基于被确定为表示前景可见性映射310、图像302和修复图像318的像素的相应3D[0071]像素去除投影器322还可以被配置成基于对应图像或映像的像素值来对每个相应见性映射310的对应值而被纹理化，前景3D表示326的多边形网格可以基于图像302的对应和326还可以使用包括多个通道的单个多边形网格来表示，其中一个或多个第一通道表示及(iii)投影背景3D表示328以生成背景图像Ir,因此，经修改的前景可见性映射AT可以表示来自经修改的视点的前景可见性映射310，前景图像IT可以表示来自经修改的视点的图[0074]像素投影器330可以另外被配置成根据经修改的前景可见性映射AT将前景图像IT其中前景可见性映射310的值相对较高的图像302，并且可以主要是基于前景可见性映射310的值相对较低的修复深度图像320。经修改的可见性映射AT的可见性值可以选自和/或n景的多个不同视图并且因此表示去除遮蔽区域的地见性映射384(前景可见性映射310的示例)和背景去除遮蔽掩模386(背景去除遮蔽掩模314[0079]在经修改的图像392的渲染期间，图像380的内容(前景层)可以与修复图像388的景可见性映射384之后被确定以生成相应3D表示和这些3D表示到经修改的视点中的投影。因此，经修改的图像392表示来自与图像380的初始视点不同的经修改的视点的图像380的内容。如图所示的经修改的图像392不是精确的矩形，因为图像380和388可能不包括图像或多个图像可以经历进一步的修复，使得经修改的图像392即使在视点修改之后也是矩形[0082]软前景可见性函数340可以被配置成基于深度图像306来生成基于深度的前景可用于给定像素p和一个或多个周围像素而确定的深度梯度VD(p)的指数。[0083]在一些实施方式中，基于深度的前景可见性映射342可以等于前景可见性映射度图像306可能不准确地表示诸如头发或皮毛的一些细薄和/或高频特征(例如，由于深度度的前景可见性映射342可以与逆背景遮蔽掩模338和基于遮罩的前景可见性映射364组合前景可见性映射342可以与基于遮蔽的前景分[0084]前景分割模型350可以被配置成基于图像302来生成前景分割掩模352。前景分割掩模352可以将图像302的前景特征(例如，使用二元像素值1表示)与图像302的背景特征能不能准确地表示被表示在图像302中的前景对象的细薄和/或高频特征。前景分割模型350可以例如使用在由Qin等创作并且公布为arXiv：2005.09007的标题为“[0085]遮罩模型354可以被配置成基于图像302和前景分割掩模352来生成前景阿尔法遮可以使用每像素一个二元值或每像素一个灰度级强度值来这样做。与前景分割掩模352不同，前景阿尔法遮罩356可以准确地表示被表示在图像302中的前景对象的细薄和/或高频[0086]为了将前景阿尔法遮罩356并入到前景可见性映射310中，前景阿尔法遮罩356可阿尔法遮罩356来生成膨胀的前景阿尔法遮罩360，然后可以如差分算子362所指示的从前[0087]另外，软背景遮蔽函数332可以被配置成基于深度图像306来生成背景遮蔽掩模[0088]背景遮蔽掩模334的每个相应遮蔽值可以指示图像302的对应像素将通过图像302位置(x，y)处的给定像素可以被遮蔽。因此，软背景遮蔽函数332可以被表示为i通过对应范围以将给定像素(x，y)与预定数量的相邻像素(xi，yj)进行比较，并且可以将ReLU或泄漏ReLU应用于双曲正切函数的输j)中减去(i)相应像素的对应深度值D(x，y)以及将相应像素与位于相应像素的预第二最大差值来确定去除遮蔽值su,,当se[0,1]"时，逆函数336可以被表示为$-1=1-$,[0091]前景可见性映射310可以基于(i)基于深度的前景可见性映射342、(ii)基于遮罩的前景可见性映射364和(iii)逆背景遮蔽掩模338的乘积来确定，如乘法算子344所指示的。以此方式确定前景可见性映射310可以允许对前景对象的细薄和/或高频特征的表示，同时考虑到深度不连续性并且减少和/或避免基于遮罩的前景可见性映射364到太多背景对象边界的细薄和/或高频特征并入到基于深度的前景可见性映射3图4C包括基于深度的前景可见性映射442(基于深度的前景可见性映射342的示例)和前景阿尔法遮罩456(前景阿尔法遮罩356的示例)，其中的每个对应于图像402和深度图像406。图4D包括基于遮罩的前景可见性映射462(基于遮罩的前景可见性映射364的示例)和前景表示狮子的鬃毛中的一些头发的深度。在基于深度的前景可见性映射442和前景可见性映小可通过控制膨胀函数358对前景阿尔法遮罩356进行膨胀的像素的数量来子周围和狮子的鼻口部周围的轮廓区域，并且以较浅灰度级示出轮廓区域之外的背景部遮罩的前景可见性映射462中。前景可见性映射410因此表示图像402的基于深度的不连续分别类似于图像302和深度图像306，但是可以在训练时间处而不是在推理时间处被确定。深度模型304和软背景遮蔽函数332已经分别参考图3[0098]修复模型316可以被训练成修复图像302的如由背景去除遮蔽掩模314所指示的可的区域的地面真实像素值在训练图像502中可用，所以该技术可以允许在不依赖于多视图训练图像数据集的情况下训练修复模型316。在去除遮蔽区域的地面真实数据可用的情况[0100]修复模型316修复图像502和506的缺失区域的质量可以使用重构损失函数508和/或对抗性损失函数来量化。重构损失函数508可以被配置成通过分别将训练图像502和506成至少相对于已经被修复的区域(如由训练背景遮指示的)确定(i)训练图像502和修复训练图像518之间的第一L_1距离以及(ii)训练深度图型316以生成(i)彼此一致并且(ii)基于训练图像502的背景特征(而不是前景特征)的修复[0101]鉴别器模型512可以被配置成基于修复训练图像518和修复训练深度图像520来生和修复训练深度图像520是由修复模型316生成还是作为尚未由修复模型316生成的地面真性损失值524。对抗性损失函数522可以因此激励修复模型316以生成看起来逼真并且因此[0102]模型参数调整器526可以被配置成基于重构损失值510和对抗性损失值524(以及可以由训练系统500确定的任何其他损失值)来确定经更新的模型参数528。模型参数调整括用于3D照片系统300的一个或多个其他组件(诸如深度模型304或软前景可见性模型308等其他可能性)以及用于鉴别器模型512的一个或多个[0103]模型参数调整器526可以被配置成通过例如确定总损失函数的梯度来确定经更新[0104]图5B包括背景遮蔽掩模544(背景遮蔽掩模334和训练背景遮蔽掩模534的示例)，度级示出了长颈鹿周围的区域，从而指示这些区域可能通过从其渲染图像380的视点的改[0106]图6图示与基于单目图像来生成3D效果相关的操作的流程图。操作可以由各种计[0108]框602可以涉及基于单目图像来确定包括多个像素的深度图像。深度图像的每个[0109]框604可以涉及针对深度图像的每个相应像素确定与深度图像的相应像素相关联[0110]框606可以涉及确定前景可见性映射，该前景可见性映射包括针对深度图像的每[0111]框608可以涉及基于深度图像来确定背景去除遮蔽掩模，该背景去除遮蔽掩模包[0112]框610可以涉及(i)通过使用修复模型根据背景去除遮蔽掩模修复单目图像的部[0114]框614可以涉及通过根据前景可见性映射将第一3D表示与第二3D表示组合来生成的每个相应像素基于与相应像素相关联的对应深度梯度的指数来确中减去(i)位于相应像素的预定像素距离内的对应参考像素的对应深度值以及(ii)将相应像素与对应参考像素分开的经缩放的像素数量来确定。确定背景去除遮蔽掩模还可以包(i)基于深度的前景可见性映射和(ii)基于遮罩的前景可见性映射的乘积来确定值中减去(i)相应像素的对应深度值以及将相应像素与位于相应像素的预定像素距离内的训练成修复(i)单目图像的具有匹配背景特征且独立于前景特征的强度值的去除遮蔽背景度值与修复深度图像的对应去除遮蔽背景区域的对应深度值图像与训练单目图像进行比较以及将修复训练深度图像与训练深度图像进行比较而确定像，以及(iii)通过基于经调整的视点投影3D前景可见性映射来生成经修改的前景可见性前景图像与背景图像组合可以包括确定(i)前景图像与经修改的前景可见性映射的第一乘积与(ii)背景图像与预定值和经修改的前景可见性映射之间的差的[0132]在一些实施例中，生成第一3D表示和第二3D表示可以包括(i)通过基于深度图像图像的像素去除投影来生成第二多个3D点，以及(i)通过将与单目图像的邻接像素相对应以及(ii)基于修复图像将一个或多个第二纹理应用于第二多“arXiv：1912.08804”的标题为“SynSin:End_to_endViewSynthesisfromaSingle创作并且公布为arXiv：2004.11364的标题为“Single_ViewViewSynthesiswith由Shih等创作并且公布为arXiv：2004.04727的标题描述)和如本文描述的3D照片系统300的性能。[0135]性能通过学习的感知图像补丁相似性(LPIPS)度量(较低值表示更好性能)、峰值信噪比(PSNR)(较高值表示更好性能)和结构相似性指数量度(SSIM)(较高值表示更好性能)来量化。图7A、图7B和图7C中的结果分别对应于RealEvent10k图像数据集(在由Zhou等创作并且公布为arXiv：1805.09817的标题为“StereoMagnification:LearningView中讨论)、双像素图像数据集(在由Garg等创作并且公布为arXiv：1904.05822的标题为“LearningSingleCameraDepthEstimationusingDual_Pixels(利用双像素学习单相机深度估计)”的文章中讨论)和人体模型挑战者图像数据集(在由Li等创作并且公布为arXiv：1904.11111的标题为“Le