CN116018617B 用于生成基于喷溅的可微分二维渲染的系统和方法 （谷歌有限责任公司）

2023.01.31PCT/US2020/0487842020.08.31WO2022/046113EN2022.03.03用于生成基于喷溅的可微分二维渲染的系可以包括获得包括多边形和纹理/着色数据的3D像素和相应地与像素子集相关联的坐标的2D光着色/纹理数据来确定像素子集的初始颜色值。该方法可以包括基于喷溅的子集的加权来确定2述像素子集中的每个像素的坐标描述相应像素相对于所述像素位于其中的所述多个多边由所述计算系统至少部分地基于所述像素的坐标和所述相关联的着色数据或所述相及对于所述像素子集中的每个像素，由所述计算系统基于所述喷溅统基于所述二维可微分渲染来生成所述二维可微分渲染的一个或多个相应喷溅的一个或3.根据权利要求2所述的计算机实现的方法，其中使用自动微分函数来生成所述一个基于被构造了一个或多个喷溅的一个或多个像素的相应坐标来生成所述一个或多个所述像素子集中的每个像素的坐标包括一个或多由所述计算系统至少部分地基于所述损失函数来调整所述机器学习模型的一个或多所述训练数据包括描述所述实体的第一姿势或第一取向中的至少一个的所述机器学习输出包括图像数据，所述图像数据描绘具有与所述第一姿所述机器学习模型包括机器学习的三维网格3所述训练数据包括与所述三维网格相关联的真实8.根据权利要求6所述的计算机实现的方法，其中所述三维网格包括以下项的网格表所述二维光栅进一步包括多边形标识符的相应子集，其中所述多边形标集中的每个多边形标识符被配置成对于所述像素子集中的每个像素识别相应像素位于其所述像素子集中的每个像素的所述初始颜色值是至少部分地基于相应像素的所述多所述多边形标识符被配置成识别所述两个或更多个重叠多边存储计算机可读指令的一个或多个有形的非暂时性计算机可指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包获得三维网格，所述三维网格包括多个多边形和相关联的纹将所述三维网格光栅化以获得所述三维网格的二维光栅，其中所每个像素的坐标描述相应像素相对于所述像素位于其中的所述多个多边形中的相应多边至少部分地基于所述像素的坐标和所述相关联的着色数据或所述相关联的纹理数据对于所述像素子集中的每个像素，基于所述喷溅的子集中的每个喷溅的加所述操作进一步包括：基于所述二维可微分渲染来生成所述二维可微分4基于被构造了一个或多个喷溅的一个或多个像素的相应坐标来生成所述一个或多个所述像素子集中的每个像素的坐标包括一个或多使用机器学习模型来处理所述二维渲染以生评估损失函数，所述损失函数至少部分地基于所述一个或多个导数来至少部分地基于所述损失函数来调整所述机器学习模所述训练数据包括描述所述实体的第一姿势或第一取向中的至少一个的所述机器学习输出包括图像数据，所述图像数据描绘具有与所述第一姿所述机器学习模型包括机器学习的三维网格所述训练数据包括与所述三维网格相关联的真实所述二维光栅进一步包括多边形标识符的相应子集，其中所述多边形标集中的每个多边形标识符被配置成对于所述像素子集中的每个像素识别相应像素位于其所述像素子集中的每个像素的所述初始颜色值是至少部分地基于相应像素的所述多20.存储计算机可读指令的一个或多个有形的非暂时性计算机可读介质，所述计算机可读指令在由一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包获得三维网格，所述三维网格包括多个多边形和相关联的纹将所述三维网格光栅化以获得所述三维网格的二维光栅，其中所每个像素的坐标描述相应像素相对于所述像素位于其中的所述多个多边形中的相应多边至少部分地基于所述像素的坐标和所述相关联的着色数据或所述相关联的纹理数据5对于所述像素子集中的每个像素，基于所述喷溅的子集中的每个喷溅的加6[0003]本公开的实施例的方面和优点将在以下描述中部分地阐述，或可以从描述中习[0004]本公开的一个示例方面涉及一种用于高效地生成三维模型的可微分二维渲染的计算机实现的方法。该方法可以包括由包括一个或多个计算设备的计算系统获得三维网格，该三维网格包括多个多边形和相关联的纹理数据或相关联的着色数据中的至少一个。个像素的坐标描述相应像素相对于多个多边形中的该像素位于其中的相应多边形的顶点包括由计算系统对于像素子集中的每个像素基于喷溅的子集中的每个喷溅的加权来确定[0005]本公开的另一示例方面涉及一种用于高效地生成三维模型的可微分二维渲染的读指令，该计算机可读指令在由一个或多个处理器执行时使一个或多个处理器执行操作。子集中的每个像素的坐标描述相应像素相对于多个多边形中的该像素位于其中的相应多7少部分地基于像素的坐标和相关联的着色数据或相关联的纹理数据中的至少一个来确定中的每个喷溅的加权来确定相应像素的更新的颜色值以生成三维网格的二维可微分渲染，[0008]参考以下描述和所附权利要求书将更好地理解本公开的各个实施例的这些和其[0010]图1A描绘根据本公开的示例实施例的执行二维可微分渲染的示例计算系统的框[0011]图1B描绘根据本公开的示例实施例的基于二维可微分渲染来执行机器学习模型[0012]图1C描绘根据本公开的示例实施例的执行二维可微分渲染的示例计算设备的框[0014]图3A描绘根据本公开的示例实施例的用于生成二维可微分渲染的示例方法的数[0015]图3B描绘根据本公开的示例实施例的用于从二维可微分渲染生成导数以训练机[0016]图4描绘根据本公开的示例实施例的用于生成二维可微分渲染的示例方法的流程8[0017]图5描绘根据本公开的示例实施例的用于在二维可微分渲染的遮挡边界处生成导维网格包括多个多边形以及相关联的纹理数据和/或着色数据。此三维网格可以被光栅化成描述每个像素相对于该像素位于其中的相应多边像素确定初始颜色值(例如，位于与黄色着色相分渲染。基于二维可微分渲染，可以为喷溅生成导示，并且相关联的着色和/或纹理数据可以指示三维网格的多边形的一个或多个颜色(例相关联的纹理/着色数据可以是机器学习模型的输出，并且因此为三维网格的渲染生成平外包括多个像素以及相应地与多个像素的子集相9网格的多边形以二维表示等)。像素的多边形标识符将识别到像素位于两个多边形内。另识符可以用于确保应用于像素的颜色与面向二维光栅的视点的多边形确定每个像素的颜色可以包括使用着色和/或纹理化方案将着色数据和/或纹理数据应用图像空间应用方案来应用着色数据和/或纹理数据以确定像素子集中的每[0028]计算系统可以对于像素子集中的每个像素在相应像素中的每个像素的坐标处构中心位置的喷溅的颜色可以随着距喷溅的中心的pp[0032]计算系统可以确定像素子集中的每个像素的更新的颜色值以生成三维网格的二的相应喷溅的加权可以是至少部分地基于相应像素的坐标和相应喷溅的坐标。作为示例，素的喷溅的子集可以仅包括为在该像素的特定p染的一个或多个喷溅相对于顶点位置的权重描绘具有与实体的第一姿势和/或取向不同的第二姿势或第二取向中的至少一个的实体机器学习输出的微分来训练任何类型或配置的机器学锯齿版本，但简单地光栅化并且然后模糊(即使利用任意超级采样)不足以生成非零导数ow(p)/0v。更具体地，单单光栅化通常在任何采样率下产生相对于顶点的零导数，并且和方法使得能够生成在遮挡边界处提供平滑导数的三维网格的可微分二维渲染。作为示例，现代可微分渲染技术通常在计算上昂贵和/或无法在渲染的遮挡边界处产生准确的导于生成三维网格的二维可微分渲染，该二维可微分渲染比传统方法计算效率更高且更准[0050]图1A描绘根据本公开的示例实施例的执行二维可微分渲染的示例计算系统100的栅的像素子集，用户计算设备102可以生成描述每个像素相对于该像素位于其中的相应多算设备102可以基于先前构造的喷溅的子集的加权来确定像素中的每个像素的更新的颜色置成从三维网格生成二维可微分渲染124的操作。将关于图3A和3B更详细地讨论二维可微[0055]在一些实施方式中，用户计算设备102可以存储或包括一个或多个机器学习模型机器学习模型基于使用本公开的示例实施例生成的三维网格的二维可微分渲染的处理来机器学习模型120可以是至少部分地通过评估损失函数而训练的机器学习模型，该损失函数评估在二维可微分渲染的遮挡边界处生成的导数和与三维网格相关联的训练数据之间个机器学习模型120可以在用户计算设备102处存储和实现，和/或一个或多个机器学习模[0059]用户计算设备102还可以包括接收用户输入的一个或多个用户输入组件122。例[0060]服务器计算系统130包括一个或多个处理器132和存储器134。一个或多个处理器它方式由一个或多个服务器计算设备实现。在服务器计算系统130包括多个服务器计算设[0062]如上所述，服务器计算系统130可以存储或另外包括一个或多个机器学习模型[0063]用户计算设备102和/或服务器计算系统130可以经由与通过网络180通信耦合的训练计算系统150的交互来训练模型120和/或140。训练计算系统150可以与服务器计算系[0066]在一些实施方式中，执行反向误差传播可以包括执行通过时间的截断反向传和140)可以是或另外包括机器学习姿势估计模型。机器学习姿势估计模型120/140可以接在训练数据162中的第一姿势和/或取向的真实值数[0068]在一些实施方式中，如果用户已经同意，则可以由用户计算设备102提供训练示[0071]图1A图示可以用于实现本公开的一个示例计算系统。也可以使用其它计算系[0072]图1B描绘根据本公开的示例实施例的基于二维可微分渲染来执行机器学习模型[0075]图1C描绘根据本公开的示例实施例的执行二维可微分渲染的示例计算设备50的包括在计算设备50的操作系统内或以其它方式由计算设备50的操[0080]图2描绘根据本公开的示例实施例的用于一维线段201的喷溅构造的说明性示例且一维线段201的喷溅204的构造可以与二维多边形的喷溅的构造[0085]在构造喷溅之后，可以至少部分地基于喷溅相对于线段和[0088]作为示例，如果像素位置208在线段201上被定位到喷溅204的右侧(例如，p＞s且该喷溅可以用于至少部分地基于该喷溅的位[0089]图3A描绘根据本公开的示例实施例的用于生成二维可微分渲染的示例方法300A多个像素以及相应地与多个像素306的子集相关联的多个坐标。这些坐标可以描述像素相可以描述第一像素相对于多边形302A中的第一像素位于其中的第一多边形的顶点的位置。像素/坐标306A的第二坐标可以描述第二像素相对于多边形302A中的第二像素位于其中的[0091]二维光栅306还可以包括像素/坐标306A的像素子集中的每个像素的多个多边形不可见的多边形302A的内部。多边形标识符306B可以指示在立方体的第一侧上的多边形[0092]应注意，光栅化器304可以利用任何类型的光栅化方案来光栅化三维网格以获得色确定器308可以确定多边形将在像素(例如，相对于多边形的顶点等)所位于的地方具有橙色。第一像素可以基于像素坐标306A和相关联的着色和/或纹理数据302B而被着色为橙用着色和/或纹理化方案将着色数据和/或纹理数据302B应用于二维光栅306。对于任一应作等)可以对于像素306A的子集中的每个像素在相应像素中的每个像素的坐标处构造喷个像素形成每像素裁剪空间位置V的h×w×4缓冲区。喷溅构造器312可以将透视除法和视[0098]基于构造的喷溅，可以为像素/坐标306A的像素子集中的每个像素确定更新的颜色值以生成三维网格302的二维可微分渲染314。更新的颜色值可以是基于由喷溅构造器的相应喷溅的加权可以是至少部分地基于相应像素的坐标和相应喷溅的坐标。作为离第一像素特定距离定位，并且像素/坐标306A的第三像素可以与第一像素相距甚至更远喷溅构造器312在第一像素的坐标处构造等)对第二像素的应用可以比第一像素喷溅对第用喷溅等生成)可以用于在渲染的遮挡边界处[0099]由在喷溅构造器312处对喷溅的构造生成的二维差分渲染314可以类似于二维光光栅306不足以生成非零导数更具体地，单单光栅化通常在任何采样率下[0100]图3B描绘根据本公开的示例实施例的用于使用二维可微分渲染来训练机器学习得。3D网格训练数据303可以是或另外包括与三维网格302的某个方面相关联的真实值数[0101]可以为二维渲染314的一个或多个相应喷溅(例如，在遮挡边界处等)生成一个或一个或多个相应喷溅相对于顶点位置的权重来生成一个或多个[0102]三维网格302的二维可微分渲染314可以用机器学习模型316处理以生成机器学习[0103]可以评估损失函数320，该损失函数评估机器学习输出318和与三维网格302相关失函数320等)来评估机器学习输出318，以确定机器学习输出318和与三维网格302相关联机器学习输出318可以包括描绘由三维网格302表示的实体(例如，对象、人体的至少一部[0106]图4描绘根据本公开的示例实施例的用于生成二维可微分渲染的示例方法400的理数据可以指示三维网格的多边形的一个或多个颜色相关联的纹理/着色数据可以是机器学习模型的输出，并且因此为三维网格的渲染生成平以是或另外包括多个像素以及相应地与多个像素三维网格的表面进行采样等)。这些坐标可以描述像素相对于像素位于其中的多边形的顶网格的多边形以二维表示等)。像素的多边形标识符将识别到像素位于两个多边形内。另识符可以用于确保应用于像素的颜色与面向二维光栅的视点的多边形确定每个像素的颜色可以包括使用着色和/或纹理化方案将着色数据和/或纹理数据应用图像空间应用方案来应用着色数据和/或纹理数据以确定像素子集中的每[0114]