CN114816041B 用于姿势指导的方法、系统和存储介质 （奥多比公司）

本公开关于提供上下文增强现实照片姿势的系统生成并显示针对在相机取景器流中描绘相机取景器流中描绘的对象正在与所生成的姿2生成与在客户端计算设备的相机取景器流中描绘的对象相通过将所重定向的所述参考身体框架锚定到所述对象，来将所迭代地确定所重定向的所述参考身体框架的部分与在所述相机取景器流中描绘的所针对每个所确定的对准，修改所重定向的所述参考身体框架的显将所重定向的所述参考身体框架锚定到所述对象包括：将所重定向的将所述对象身体框架锚定到所述对象包括：将所述对象身体框架4.根据权利要求3所述的计算机实现的方法，其中迭代地确定所重定向的所述参考身体框架的部分与在所述相机取景器流中描绘的所述对象迭代地确定锚定到所述对象的所重定向的所述参考身体框架的至少一个区段覆盖锚6.根据权利要求1所述的计算机实现的方法，其中修改所重定向的所述参考身体框架其中生成所述对象身体框架响应于检测到的对所从位于客户端计算设备的相机取景器上的交互式覆盖检测对样本姿势3从来自所述客户端计算设备的相机取景器流的数字图像提取第一对重定向所述第一参考身体框架，以包括所述第一对象身体框架在提供与所述相机取景器流中的第一对象对准的所重定向的所述第一参9.根据权利要求8所述的系统，其中所述一个或多个服务器还被配置为使所述系统通过如下操作来重定向所述第一参考身体框架以包括所述第一对象身体框架在所述第一参修改所述第一参考身体框架的关节之间的区段的长度，以10.根据权利要求8所述的系统，其中所述一个或多个服务器还被配置为使所述系统：11.根据权利要求10所述的系统，其中所述一个或多个服务器还被配置为使所述系统确定所述相机取景器流中的所述第一对象的通过将所重定向的所述第一参考身体框架的所述可视化的至少一个预定点锚定到所12.根据权利要求11所述的系统，其中确定所述第一对象的所述至少一个地标包括确从来自所述客户端计算设备的所述相机取景器流的数字图像提取第二对重定向所述第二参考身体框架，以包括所述第二对象身体框架在基于相对于所述第二对象的至少一个地标，提供与所述相机取景器14.一种非暂态计算机可读存储介质，包括指令，所述指令在由至少一个处理器执行经由位于所述计算设备的相机取景器上的交互式覆盖，4基于所述一个或多个物体标签、针对在所述数字图像中描绘的每基于所述一个或多个物体标签、针对在所述数字图像中描绘的每针对所述样本姿势图像集合中的所述样本姿势将所述样本姿势图像集合的所述不同子集确定为与所选择的所述特征向量相对应的生成所述交互式覆盖，所述交互式覆盖包括所述样本姿势将所述交互式覆盖定位到所述计算设备的所述相机取景器19.根据权利要求14所述的非暂态计算机可读存储介质，其中生成所述交互式覆盖还5系统还需要用户在这些web浏览器与其他应用之间导航并与之交互，以查看和模仿(或者，和/或摆姿势的用户处于相对于摆姿势的用户的上6[0011]具体实施方式通过使用附图提供了具有附加特异性和细[0013]图2A至图2G图示了根据一个或多个实施例的经由客户端计算设备的相机取景器[0014]图3A图示了根据一个或多个实施例的确定与客户端计算设备的相机取景器流相关联的上下文并且提供与所确定的上下文相对应的样本姿势图像的AR姿[0015]图3B图示了根据一个或多个实施例的确定样本姿势图像集合的不同子集的AR姿[0016]图4A图示了根据一个或多个实施例的经由客户端计算设备的相机取景器提供姿[0017]图4B图示了根据一个或多个实施例的利用姿势神经网络来从数字图像提取身体[0018]图4C和图4D图示了根据一个或多个实施例的基于客户端计算设备的相机取景器[0019]图4E和图4F图示了根据一个或多个实施例的将所重定向的参考身体框架与目标[0021]图5B图示了根据一个或多个实施例的关于AR姿势系统如何确定所重定向的参考身体框架的一部分与客户端计算设备的相机取景器中所描绘的对象之间的对准的附加细7[0023]图7图示了根据一个或多个实施例的用于生成上下文特制的样本姿势图像的交互[0024]图8图示了根据一个或多个实施例的用于生成增强现实姿势指导的一系列动作的[0025]图9图示了根据一个或多个实施例的用于响应于确定相机取景器流中所描绘的对象与姿势指导之间的完全对准而自动地捕获数字图像的另一系列姿势系统基于从相机取景器流和所选择的样本姿势图像提取的身体框架来生成AR姿势指使用基于与数字图像相关联的一个或多个上下文标签的搜索查询来查询一个或多个样本图像储存库来利用所生成的搜索查询，该一个或多个样本姿势图像储存库包括但不限于：种或多种聚类技术来将来自所标识的样本姿势图像集合的类似样本姿势图像分组在一起。AR姿势系统还通过标识并提供来自每个组或集群的样本姿势图像来提供样本姿势图像的8他方式确定姿势图像集合以提供而无需确定相机取景器的体框架的比例重定向参考身体框架来生成AR姿[0033]AR姿势系统经由客户端计算设备的相机取景器提供所重定向的参考身体框架作[0034]AR姿势系统迭代地确定所重定向的参考身体框架的部分与相机取景器流中所描重定向的参考身体框架两者与相机取景器中所描绘的对象的一个或多个区域(例如，臀部[0036]虽然本文讨论的实施例集中在相机取景器流中的单个对象和所选择的样本姿势9本姿势图像的多个用户搜索中涉及的系统资个或多个样本姿势图像储存库112或(多个)第三方系统116生成样本姿互式覆盖、包括所重定向的参考身体框架的姿势指导和/或与相机取景器流的确定上下文相关联的附加信息。用户与图像捕获应用110交互，以提供用户输入来执行上面提及的操个)服务器106以来自相机取景器流的数字图像的形式从客户端计算设备108接收数据，以备108发送数据，以提供与相机取景器流的上下文和一个或多个姿势指导相对应的样本姿以经由网络114发送和/或接收数据。在一些实施例中，(多个)服务器106包括分布式服务器，其中(多个)服务器106包括分布在网络114上并位于不同物理地点的多个服务器设备。[0055]图像捕获系统104与客户端计算设备108通信，以执行与图像捕获应用110相关联的数字图像的储存库以及包括姿势神经网络的各种神经网络等信息。AR姿势系统102还与(多个)第三方系统116通信以访问附加端计算设备108通过web托管应用或网站来访问AR姿势系统102。更进一步地，AR姿势系统102在客户端计算设备108和(多个)服务器106两者上实施，并且一些功能在客户端计算设108的用户能够容易地看到相机取景器流中所描绘的对象的身体如何与所选择的样本姿势并且更新姿势指导的一个或多个显示特性以向客户端计算设备108的用户指示对象正在正与覆盖到相机取景器上的姿势指导对准，AR姿势系统102从相机取景器流自动地捕获数字系统102响应于对快门按钮的用户选择来[0058]图2A至图2G图示了AR姿势系统102经由客户端计算设备108的相机取景器提供样一个或多个实施例中，相机取景器202显示描绘了场景206内的对象204的数字图像或图像[0059]图2B示出了AR姿势系统102结合相机取景器202的相机取景器流提供与AR姿势系响应于确定对象204在阈值时间量内没有在相机取景器202内移动，AR姿势系统102可选地模型、神经网络和其他算法来生成与来自客户端计算设备108的相机取景器流的数字图像标签。例如，AR姿势系统102利用这些检测器来生成指示数字图像中所描绘的场景的内容[0061]AR姿势系统102还提供与所确定的数字图像的上下文相对应的样本姿势图像集本姿势图像储存库112和(多个)第三方系统116中的一个或多个来利用搜索查询以生成样系统102生成样本姿势图像集合，包括在一系列姿势中穿着婚纱的其他新娘和新郎的图像[0062]在至少一个实施例中，AR姿势系统102还标识样本姿势图像集合的不同子集。例AR姿势系统102还通过从集群中的每个集群中选择样本姿势图像来标识样本姿势图像的不系统102响应于检测到的水平滑动触摸手势而显[0067]在一个或多个实施例中，AR姿势系统102生成并提供与所选择的样本姿势图像相中的人物的比例和姿势的所选择的样本姿势图像214a提取参考身体框架。AR姿势系统102[0068]AR姿势系统102通过基于对象204的一个或多个地标覆盖姿势指导220来将姿势指导220与对象204对准。例如，AR姿势系统102将姿势指导220锚定到对象204的至少一个地[0070]在一个或多个实施例中，AR姿势系统102继续迭代地确定姿势指导220和对象204姿势系统102还修改显示特性，以指示对象204的身体部位不再与姿势指导220的对应区段准，AR姿势系统102从客户端计算设备108的相机取景器202所示的相机取景器流自动地捕姿势系统102响应于确定姿势指导220的预定数量或百分比的部分与对象204的对应数量或[0072]在一个或多个实施例中，AR姿势系统102将所自动捕获的数字图像保存在客户端像作为AR姿势系统102的相同或附加用户的样本姿势图像。附加地或备选地，AR姿势系统102还将所自动捕获的数字图像自动地上传到与客户端计算设备108的用户相关联的一个[0073]图3A图示了AR姿势系统102确定与客户端计算设备108的相机取景器流相关联的统102通过基于所确定的上下文生成搜索查询，并且结合样本姿势图像储存库112和/或经由(多个)第三方系统116可用的附加搜索引擎利用所生成的搜索查询来生成样本姿势图像[0075]在一个或多个实施例中，AR姿势系统102利用物体检测器神经网络来生成与数字一个实施例中，物体检测器神经网络生成物体标签，包括标识信度分数。[0076]更详细地，AR姿势系统102利用训练以检测跨多个种类和范畴的物体的Faster-备选地，AR姿势系统102利用算法方法来检测一个或多个物体，诸如YouOnlyLookOnce (YOLO)算法。在一个或多个实施例中，AR姿势系统102通过在数字图像 多个实施例中，AR姿势系统102利用自动标注神经网络来生成标签，诸如在于2015年6月23日提交的美国专利号9,767,386的“TrainingAClassifierAlgorithmUsedForAutomaticallyGeneratingTagsToBeAppliedToImages(训练用于自动生成要被应用于图像的标签的分类器算法)”；以及于2016年4月8日提交的美国专利号10,235,623的“AccurateTagRelevancePredictionForImageSearch(用于图像搜索的准确标签相AR姿势系统102利用性别神经网络来生成与数字图像相关联的一个或多个性别标签。更具卷第5期发表的FaceDetectionandRecognitionusingOpenCVBasedonFisherFacesAlgorithm(使用基于FisherFaces算法的开放CV进行面部检测和识别)中描述的，为“IdentifyingDigitalAttributesFromMultipleAttributeGroupsWithinTargetDigitalImagesUtilizingADeepCognitiveAttributionNeuralNetwork[0078]AR姿势系统102还可选地利用服装神经网络来生成与数字图像相关联的一个或多系统102利用训练后的卷积神经网络来生成服装标签和其他确定。在一个或多个实施方式神经网络的附加细节在于2019年7月19日提交的标题为“UtilizingObjectAttributeDetectionModelsToAutomaticallySelectInstancesOfDetectedObjectsIn[0079]在一个或多个实施例中，AR姿势系统102基于所生成的标签来确定数字图像的上[0080]AR姿势系统102还执行生成与所确定的上下文相对应的样本姿势图像集合的动作[0081]AR姿势系统102利用所生成的搜索查询从样本姿势图像储存库112和/或(多个)第姿势图像储存库112标识一个或多个对应的样本姿势图像。附加地或备选地，AR姿势系统姿势系统102避免经由客户端计算设备108的相机取景器提供类似或重复的样本姿势图像。[0083]在至少一个实施例中，AR姿势系统102通过基于相似性对样本姿势图像集合中的将视觉上或语义上类似的样本姿势图像分组在一起。AR姿势系统102然后从每个集群中选[0084]AR姿势系统102还经由客户端计算设备108的相机取景器提供样本姿势图像集合如图3B所示，AR姿势系统102执行生成与从相机取景器流获取的数字图像的上下文相对应势图像储存库112和/或(多个)第三方系统116接收样本姿势图像而生成样本姿势图像集[0086]响应于生成样本姿势图像集合，AR姿势系统102执行从来自所生成集合的样本姿统102通过生成表示样本姿势图像的特性和属性的一个或多个数值来从样本姿势图像提取[0087]接下来，AR姿势系统102执行确定在没有对应特征向量的样本姿势图像集合中是否存在更多样本姿势图像的动作310。如果存在附加的样本姿势图像(例如，动作310中为姿势系统102然后结合下一样本姿势图像重复动作310。AR姿势系统102继续从样本姿势图像集合中的样本姿势图像提取特征向量，直到已提取所有特征向量(例如，动作310中为[0088]在提取了所有特征向量之后，AR姿势系统102执行将所提取的特征向量映射到向姿势系统102通过将每个特征向量与其最近的邻居分组来确定特征向量的集群。在一个实势系统102可以使用各种方法来计算特征向量之间的距离。在一个实施例中，AR姿势系统[0091]为了进一步标识样本姿势图像集合的不同子集，AR姿势系统102执行从每个集群系统102通过从集群中随机选择特征向量来标识来自特定集群的特征向量。附加地或备选[0092]AR姿势系统102还执行经由位于客户端计算设备108的相机取景器上的交互式覆包括样本姿势图像集合的所有不同子集的交互式覆盖。AR姿势系统102还将所生成的交互式覆盖定位在客户端计算设备108的相机取景器的一部[0093]图4A图示了经由客户端计算设备108的相机取景器提供姿势指导的AR姿势系统提取并基于对象的比例所重定向的身体框架。利用所重定向的参考身体框架作为姿势指[0095]响应于检测到的对样本姿势图像的选择，AR姿势系统102执行从所选择的样本姿[0096]而且响应于检测到的对样本姿势图像的选择，AR姿势系统102执行从客户端计算端计算设备108的相机取景器流的数字图像利用姿势神经网络，以标识相机取景器流中所描绘的对象的关节和区段的地点。AR姿势系统102还利用姿势神经网络来生成对象身体框[0097]AR姿势系统102还执行基于对象身体框架重定向参考身体框过修改参考身体框架中的关节之间的区段的长度以匹配对象身体框架的对应关节之间的[0098]AR姿势系统102接下来执行提供与相机取景器流中的对象对准的所重定向的参考[0099]在一个或多个实施例中，AR姿势系统102结合相机取景器流和所选择的样本姿势并且所选择的样本姿势图像也描绘了两个姿势对象，则AR姿势系统102为第二对象重复动生成姿势指导利用两个对象中的哪一个的用户输入而执行动作402至[0100]图4B图示了AR姿势系统102利用姿势神经网络412来从数字图像提取身体框架(例取数字图像(例如，来自客户端计算设备108的相机取景器流的数字图像或样本姿势图像)户端计算设备108的相机取景器流接收所提取的数字图像414或者对数字图像414的选择或识数字图像414内描绘的对象416，并且确定对象416的关节和区段的地点。在一些实施例AR姿势系统102利用姿势神经网络412来提取与对应于数字图像414中的对象416的每个关[0102]在一个或多个实施例中，AR姿势系统102利用卷积神经网络形式的姿势神经网络Wei和YaserSeikh于2018年在arXiv:1812.08008发表的OpenPose:RealtimeMulti-Person2DPoseEstimationusingPartAffinityFields(OpenPose：使用部位亲和力[0103]如图4B进一步图示的，AR姿势系统102根据二维身体框架418生成三维身体框架过在特定数量的姿势对象和对应身体框架的数据集上将二维点投影到固定的全局空间上神经网络423，诸如由JulietaMartinez、RayatHossain、JavierRomero和JamesJ.Little于2017年在arXiv:1705.03098发表的ASimpleYetEffectiveBaselinefor3DHumanPoseEstimation(用于3D人体姿势估计的简单而有效的基线)中描述的2D到3D如图4B所示，AR姿势系统102布置覆盖到与数字图像414中所描绘的对象416的关节和区段系统102利用三维身体框架425的可视化[0106]图4C和图4D图示了AR姿势系统102基于客户端计算设备108的相机取景器流中所常描绘专业模型的样本姿势图像和通常不是专业模型的相机取景器流中的对象之间是常由目标对象428表示的人可能难以模拟由参考身体框势系统102确定对象身体框架430中的每个区段的像素长度以及每个区段相对于其相邻关配对象身体框架430的对应关节之间的区段的确定长度来重定向参考身体框架426。例如，AR姿势系统102延长或缩短参考身体框架426的区段，以匹配对象身体框架430中的对应区置，AR姿势系统102确定参考身体框架426中的区段对应于对象身体框架430中的区段。因易模拟由所重定向的参考身体框架426'指示的姿势(例如，如图4D中的目标对象426'指示[0111]在附加或备选实施例中，AR姿势系统102利用运动重定向来生成所重定向的参考[0112]图4E和图4F图示了AR姿势系统102将所重定向的参考身体框架426'与目标对象[0114]图4F图示了AR姿势系统102基于目标对象428的多于一个地标对准所重定向的参部区域和躯干区域)对准所重定向的参考身体框架426a'，以考虑目标对象428朝向或姿势系统102将所重定向的参考身体框架426'锚定到仅一个地标432a时，结果是由目标对象428表示的人将发现无法将他们的肢体与由所重定向的参考身体框架426'表示的肢体正[0116]图5A图示了AR姿势系统102确定姿势指导和相机取景器流中所描绘的对象之间的对准，并且修改姿势指导的显示特性以迭代且连续地向客户端计算设备108的用户提供姿框架的部分与相机取景器中所描绘的对象的对应部分之间的对准。针对每个确定的对准，AR姿势系统102修改所重定向的参考身体的可视化的对应部分或区段的显示特性以指示对取的对象身体框架的比例修改从所选择的样本姿势图像提取的参考身体框架的区段的比[0118]而且如上面讨论的，AR姿势系统102通过将所重定向的参考身体框架的可视化锚定到相机取景器中所描绘的对象来将所重定向的参考身体框架的可视化覆盖到客户端计[0119]AR姿势系统102还执行确定所重定向的参考身体框架的一部分和相机取景器中所与所重定向的参考身体框架相同的一个或多个地标处同时锚定到对象的更新后的对象身区段)与对象的对应部分对准。更具体地，当所重定向的参考身体框架的一个或多个区段体框架在(多个)相同地标处被锚定到对象时，AR姿势系统102确定所重定向的参考身体框[0120]响应于确定所重定向的参考身体框架的部分与对象之间的对准，AR姿势系统102定向的参考身体框架的手臂部分与对象之间的对准，AR姿势系统102修改相机取景器中所[0121]AR姿势系统102还执行确定是否存在所重定向的参考身体框架的可视化的附加未的可视化的至少一个部分而确定存在可视化的附加未对102重复确定可视化的一部分和对象之间的对准并修改该部分的显示特性的动作504和作504和506的下一迭代之前，AR姿势系统102还将更新后的对象身体框架锚定到对象的与AR姿势系统102执行从客户端计算设备108的相机取景器流自动地捕获数字图像的动作[0125]图5B图示了关于AR姿势系统102如何确定所重定向的参考身体框架的一部分与客由AR姿势系统102执行的动作504提及的，AR姿势系统102基于同时锚定到相机取景器中的[0126]更详细地，AR姿势系统102执行生成所重定向的参考身体框架和对象身体框架的对象的关节和区段的相对位置的姿势神经网络412和生成三维身体框架的2D到3D神经网络[0127]针对每次迭代，AR姿势系统102执行通过一个或多个区域将所重定向的参考身体框架和对象身体框架(例如，无论是原始对象身体框架还是后续迭代中更新的对象身体框定向的参考身体框架的可视化，但AR姿势系统102可能不显示在相机取景器内锚定到对象[0128]AR姿势系统102还执行确定所重定向的参考身体框架的至少一部分与对象身体框定所重定向的参考身体框架区段的两端的关节位于与对象身体框架区段的两端的关节相体框架的每个区段的向量。AR姿势系统102还生成表示同一向量空间内的对象身体框架的每个区段的向量。AR姿势系统102然后确定两个身体框架之间的任何向量是否占用向量空[0130]在一个实施例中，AR姿势系统102基于相应部分的总覆盖来确定所重定向的参考结束坐标点，则AR姿势系统102确定相应部分覆盖—这意味着两个部分相对于相机取景器两个区段具有相同的起始坐标并且两个区段的结束点都在阈值距离(例如，十个像素)内，则AR姿势系统102确定所重定向的参考身体框架的区段与对象身体框架姿势神经网络生成身体框架，其输出身体框架的区段和关节以及标识区段和关节的标签部分覆盖，AR姿势系统102执行修改所重定向的参考身体框架的所确定部分的显示特性的102修改覆盖到客户端计算设备108的相机取景器上的所重定向的参考身体框架的可视化的确定部分的显示特性，使得客户端计算设备108的用户理解对象身体的对应部分与所重[0133]图6图示了根据一个或多个实施例的在计算设备600上操作的AR姿势系统102的实算设备600可选地是(多个)服务器106和/或客户端计算设备108。在一个或多个实施例中，端计算设备108的包括用户交互的指示(例如，对样本姿势图像的用户选择)的数据以及来器流生成与数字图像相关联的标签。上下文检测器604还基于所生成的标签来确定数字图一个或多个实施例中，样本姿势图像管理器606利用从相机取景器流提取的数字图像的确取景器流中所描绘的对象生成对象身体框架。身体框架生成器608还基于相机取景器流中相机取景器流中所描绘的对象之间的对准。对准管理器610还响应于所确定的对准来修改不限于ADOBECREATIVECLOUD，诸如ADOBEPHOTOSHOP或ADOBEPHOTOSHOPCAMERA。奥多比系统公司的注册商标或商标。可以彼此并行或与相同或类似的动作的不同实例并[0142]如所提及的，图7图示了根据一个或多个实施例的用于生成上下文特制的样本姿势图像的交互式覆盖的一系列动作700的流程图。虽然图7图示了根据一个实施例的动作，流接收数字图像响应于检测到的对结合计算设备上的相机取景器流显示的入口点选项的涉及基于数字图像内描绘的对象和场景来确定数字图像的上下文。在一个或多个实施例签以及正对在数字图像中所描绘的每个人的一个或多个服装标签来确定数字图像的上下[0146]在一个或多个实施例中，一系列动作700包括通过以下操作确定样本姿势图像集如，动作740涉及经由位于计算设备的相机取景器上的交互式覆盖来提供样本姿势图像集[0148]如所提及的，图8图示了根据一个或多个实施例的用于生成增强现实姿势指导的作810涉及从位于客户端计算设备的相机取景器上的交互式覆盖检测对样本姿势图像的选相对于第一对象的至少一个地标提供与相机取景器流中的第一对象对准的所重定向的第[0153]在至少一个实施例中，一系列动作800包括利用姿势神经网络来进行以下操作的于相对于第二对象的至少一个地标提供与相机取景器流中的第二对象对准的所重定向的[0154]如所提及的，图9图示了根据一个或多个实施例的用于响应于确定相机取景器流中所描绘的对象与姿势指导之间的完全对准而自动地捕获数字图像的一系列动作900的流[0156]如图9所示，一系列动作900包括基于对象身体框架重定向参考身体框架的动作考身体框架锚定到对象包括将所重定向的参考身体框架的至少臀部区域锚定到对象的臀确定所重定