CN114175091B 利用基于上下文分割层的自适应去扭曲的最优身体或面部保护的方法 （伊美景象公司）

2022.02.11PCT/IB2020/0554952020.06.11WO2020/250175EN2020.12.17利用基于上下文分割层的自适应去扭曲的一种用于增强广角图像以改进广角图像的透视和视觉吸引力的方法使用定制的自适应去2a.由处理器接收原始广角图像，所述原始广角图像由成像器创建并且具有多个元素，b.由所述处理器将所述原始广角图像分割成多个分割4.根据权利要求1所述的方法，其中所述元素中的至少一个处于所述原始广角图像的5.根据权利要求1所述的方法，其中对所述至少一个分割层的特定去扭曲过程要么取7.根据权利要求1所述的方法，其中对所述至少一个分割层的特定去扭曲过程取决于8.根据权利要求7所述的方法，其中所述可调整的校正权重要么是根据用户偏好来选3b.由所述处理器通过从所述原始广角图像对具有所述扭曲的几何形状的所述至少一16.根据权利要求15所述的方法，其中根据可调整的校正权重来进行对所述原始广角18.根据权利要求15所述的方法，其中使用人工智能算法来进行对所述原始广角图像19.根据权利要求15所述的方法，其中所述原始广角图像的对象场景中的连续线在最20.根据权利要求15所述的方法，其中对所述原始广角图像的处理包括对纹理或显示ii.处理所述分割层中的至少一个，以至少部分地对所述至少一个分割层中的具有所4onContextSegmentationLayers”的目前待决的美国临时专利申请No.62/859,861的权[0003]本发明的实施例涉及摄影领域，并且更具体地关于可以如何取决于图像上下文、摄影中创建视觉上最令人满意的图像的投影。一个这种示例是利用广角镜头的群体自拍看起来具有正常比例，但是朝向边缘的人看起来被拉伸和变形，这是因为该投影的快速增加的像素数/度数。关于人类面部的这种不令人满意的视觉效果不仅在具有直线投影的镜头中可见，而且在每一个没有被专门设计成使该比例保持视觉上令人满意的镜头中也是可见的。算法被优化以提供朝向广角图像边缘定位的人类的视觉上更令人满意的图像——被称为[0007]例如，在美国专利10,204,398B2中5[0008]已经存在一些其他现有的扭曲图像几何校正方法，如在美在公差误差（tolerancingerror因此来自大规模生产批的真实镜头全部与彼此略微不[0011]为了克服先前提到的所有问题，本发明的实施例提出了一种自适应去扭曲的方6[0022]图2示出了与直线投影没有偏离或者具有与直线投影的小偏离的现有广角相机如[0024]图4示出了具有与直线投影的大偏离的现有广角相机如何也创建在视觉上不令人[0025]图5示出了用于应用图像校正以使它们在视觉上更令人满意但同时影响了透视的7[0031]图11示出了根据针对理想面部保护的基于深度和分割层的基于上下文的自适应[0033]以下描述中使用的某些术语仅仅是为了方便，并且不是限制性的。词语“右”、少一个”。真校正或去扭曲之后——被认为不具有图像失真。与该等式的任何偏离都被称为图像失8162是针对理论直线投影的中心160处的分辨率的2倍，并且所得的图像看起来甚至更加被[0036]图2示出了群体自拍或群体照片的示例图像，如它在由理论上完美的直线镜头捕我们可以看到其头部处于图像中心的人262看起来是正常的，这是因为在图像的中心区域[0037]图3示出了更令人满意的广角图像的分辨率曲线，该广角图像要么是直接从在中么是在利用硬件或软件去扭曲或校正算法有目的地修改了图像失真以避免图2的不合期望于图像的中心与边缘之间的图像的中间区中具有扩展区——仅仅是创建在视觉上更具吸加直到最大值312，并且然后下降回到边缘值314——是一些广角镜头或超广角镜头的典图1的直线曲线的情况那样，但是可以使用具有不同的最大放大倍率值和位置的许多类似[0038]图4示出了群体自拍或群体照片的两个示例图像400和450，如它分别在由具有类9似于图3的分辨率曲线的镜头捕获时将看起来的那样、以及在图像扭曲校正以进行比例节的分辨率曲线的所选投影不具有如图1的曲线的情况那样朝向边缘的大的分辨率增加。在广角图像对具有扭曲的几何形状的该至少一个元素进行分类来创建至少一个经分类的元统图像变形算法通过知道不令人满意的形状在图像中的位置以及创建它的分辨率曲线来空间中形成连续的水平线但是在校正图像中形成不连续的线的情况下、或者在线段585和586在对象空间中形成连续的垂直线但是在校正图像中形成不连续的线的情况下，这尤其[0040]图6示出了使用元素分类的以其简单形式的基于图像上下文的自适应去扭曲方法610、通过中心处的面部612与边缘处的面部614之间的大小差异所看到的人类面部之间的部634的相等大小中所看到的那样。在该示例中，比例节省投影可以是但不限于等矩形投[0041]图7示出了根据本发明的基于图像上下文分割和分割层的自适应去扭曲的优选方和图像上下文。用于将原始广角图像分割成多个分割层的该第一处理步骤经由软件算法、使得即使绝对距离不可获得，也允许深度估计算法将树704的相对深度排名为比人703更时执行的分类算法的结果。该分类算法用于将每个所分割的元素分类到所标识的类别中。对象，他们与彼此的距离也大于预定最小步长，并且因此他们形成了两个不同的层720和于与两个建筑物742和744相同的距离处，但是因为分割算法发现它们来自两个不同的种况下，也可以利用从算法710获得的来自每个层的分割和深度的信息来确定上下文。替代法710计算出的距相机的距离的降序对所有层进行叠加，以形成具有自适应去扭曲的完整到信息。将利用图8来解释对这些没有信息的区域进行的校正。该缺失信息存在于该示例图7的示例中的人类703和树704，对分割层的特定去扭曲过程取决于可以被添加到基于上些校正权重可以在运行自适应去扭曲的设备中预设，或者根据用户偏好来手动调整或选[0042]图8示出了用于在应用了基于上下文和深度层的自适应去扭曲方法期间填充缺失广角图像中的缺失信息的至少一部分。在其中关于图7解释的方法的最终图像具有缺失信得直线投影而已经对失真进行了去扭曲的广角镜头的示例原始广角图像。在该示例图像引力的利用身体和面部保护的自适应去扭曲被使用以得到去扭曲层840。在自适应去扭曲完成算法或图像修复算法来填充缺失信息。该完成算法可以使用各种方法来完成该图像，常在使这些所生成的渐变线的长度最小化的方向上将颜色从缺失信息区域的一侧上的颜色逐渐改变到另一侧上的颜色；使用被训练成完成图片的缺失信息的人工智能网络等等。该处理单元要么位于与相机相同的设备中，要么位于接收输出合并图像795的分离的设备充的信息的最终图像890，其中应用了透视校正，校正了人的形状以避免不令人满意的拉个去扭曲层来隐藏原始广角图像中的缺失信息的至少一部分。在其中关于图7解释的方法失真进行了去扭曲的广角镜头的示例原始广角图像。在该示例图像900中，该设置是室内此使得人的形状在视觉上具有吸引力的利用身体和面部保护的自适应去扭曲被使用以得是：经放大的层975，因为层940具有被移动从而在合并图像960中创建缺失信息的区的对心处的人943并没有通过自适应去扭曲算法930被调整，并且因此没有创建缺失信息的区。示出：用于调整相对放大倍率的算法970甚至可以调整在它们附近没有缺失信息的对象或层，以便保持图像的总体比例被遵守。图9的示例示出了具有经调整的放大倍率的一个层调整相对放大倍率的算法隐藏了缺失的背景信息。在所得的图像990中，与缺失信息的区[0046]图11示出了根据针对理想面部保护的基于深度和分割层的基于上下文的自适应例中，该原始广角图像1100是利用具有广角镜头——其具有或不具有与直线投影的偏上是不令人满意的。基于上下文的自适应去扭曲方法进行对人类面部1115的分割和分类。理想面部保护的任何其他变换。在数学上，我们将可选的旋转矩阵R和缩放矩阵S应用到[0064]pout"=Rxsxpout'具有多个元素，其中至少一个元素具有扭曲的几何形状，该扭曲的几何形状例如通过人理器1250然后将最终图像1270输出到显示器1260。最终图像1270具有去扭曲的几何形状，该去扭曲的几何形状例如通过人类1275的面部的正确比例而可见。在该示例中，显示器[0067]在根据本发明的一些实施例中，基于分割和深度层的自适应去扭曲方法被用拐角裁剪的视场，或者避免创建没有信息的黑色拐角或没有信息的输出图像的黑色侧边。的真实比例相比最大化输出图像中的比例的守恒时，基于上下文的自适应去扭曲方法760