CN115244578B 推测、学习、教学数据制作装置、方法及程序的存储介质 （欧姆龙株式会社）

2022.09.02PCT/JP2021/00870320WO2021/215129JA2021.10.28川东入南不动堂町801番地(邮编:取包含对象者的第一关节且不包含第二关节的2推测部，使用所述第二图像与学习完毕推测模型来推测骨架信息所述空白区域扩展部使所述空白区域邻接于所述第一图像教学数据存储部，存储包含骨架信息以及所述第二图像的教学数据，学习部，使用所述教学数据，根据所述骨架信息以及所述第所述空白区域扩展部使所述空白区域邻接于所述第一图像不足区域修正部，以空白区域对所述第三图像中的、与所述输入部，针对所述第二图像中的所述空白区域而从用户受理所述教学数据制作部，制作将包含所述第一关节以及所述第二关节的关所述空白区域扩展部使所述空白区域邻接于所述第一图像3推测步骤，使用所述第二图像与学习完毕推测模型来推测骨架教学数据获取步骤，获取包含骨架信息以及所述第二图像的教学数学习步骤，使用所述教学数据，根据所述骨架信息以及所输入步骤，针对所述第二图像中的所述空白区域而从用户受理所教学数据制作步骤，制作将包含所述第一关节以及所述第二关节的关4[0001]本发明涉及一种使用对于对象者拍摄的图像来推测对象者的骨架位置的推测装[0007]但是，如上所述的以往技术考虑到隐私保护的观点以及[0008]作为现有的以深层学习为基础的骨架推测，可列举非专利文献1所涉及的5根据所述骨架信息以及所述第二图像来学习骨架信息的[0019]图1是表示本发明的实施方式1的推测装置的学习动作中的构成元件的一例的框[0020]图2是表示本发明的实施方式1的推测装置的推测动作中的构成元件的一例的框[0021]图3是表示本发明的实施方式1的推测装置的学习动作中的构成元件的数据状态[0025]图7是表示本发明的实施方式2的教学数据制作装置的主要部分结构的一例的框[0026]图8是本发明的实施方式2的教学数据制作部中的指定关节位置的用户接口的一67[0081]推测装置是使用对作业者(对象者)进行拍摄的图像来推测所述作业者的骨架信在学习动作中发挥作用的构成元件的一例的框图。图2是表示推测装置1的构成元件中的、8130也可从连接于推测装置1的摄像机、经由网络的外部服务器或者推测装置1内的存储装[0091]图像300(第一图像)是映照有作业者的关节的一部分例如肘或手的关节等，但欠象的位置变化等来作为正在进行作业的状况。从上方拍摄的图像300也不包含作业者的关例如也可为鼠标或触控面板等的指示设备或十字键。输入部130从用户受理针对图像的关[0093]空白区域扩展部101通过附加与所输入的图像300的至少一边邻接的空白区域将空白完毕图像301输出至教学数据制作部102或特征量提取[0096]教学数据制作部102制作将教学骨架信息312关联至空白完毕图像301的含骨架数[0097]含骨架数据302是包含空白完毕图像301与教学骨架信息312的数据。教学骨架信[0100]图像处理完毕数据303是包含对空白完毕图像301适用了图像处理的图像处理完9[0102]过与不足区域修正部104(不足区域修正部)针对所输入的图像处理完毕数据303的图像处理完毕图像303a，将原本的图像尺的空白完毕图像301的空白区域311相同的区域也重新设定为空白区域314。过与不足区域区域修正部104在图像处理完毕图像303a中，以空白区域来对不足像素区域313进行修正[0103]教学数据304包含过与不足修正完毕图像304a(第二图像)、以及实施了与图像处理同样的几何变形的教学骨架信息312。过与不足区域修正部104将教学数据304输出至教变形而从原本的图像区域超出的像素不包含在过与不足修正完毕图像304学数据304输出至特征量提取部112以及推测模型部111将推测模型(的多个参数)输出至特征量提取部112、关节推测部113以及结合度推测[0107]特征量提取部112从构成所输入的教学数据304的过与不足修正完毕图像304a或空白完毕图像301中提取特征量。特征量提取部112将所提取的特征量输出至关节推测部[0108]关节推测部113根据所输入的特征量，来制作表示多个关节的位置的关节推测结[0109]结合度推测部114根据所输入的特征量来求出表示关节间的结合度的结合度推测[0110]骨架推测部121根据所输入的关节推测结果与结合度推测结果来对推测骨架信息[0113]骨架推测部121根据关节的相对位置关系、对每个关节设定的结合的规则以及关[0114]推测模型学习部122对所输入的推测骨架信息与教学数据304内的教学骨架信息关节推测部113与结合度推测部114的参数作为推测模型而存储至推测模型存储部2[0120]基于图5来说明推测装置1的学习处理。图5是表示推测装置1的学习处理的流程扩展部101将空白完毕图像301输出至教学数据制[0122]教学数据制作部102将与图像300对应的教学骨架信息312关联至空白完毕图像[0123]数据扩展部103对含骨架数据302的图像(空白完毕图像301)适用图像处理，由此息312。数据扩展部103将包含图像处理完毕图像303a以及教学骨架信息312的图像处理完原本的图像尺寸(空白完毕图像301的图像尺寸)的区104对于图像处理完毕图像303a，将与原本的空白完毕图像301的空白区域311相同的区域[0125]过与不足区域修正部104制作将经几何变形的教学骨架信息312以及过与不足修正完毕图像304a合起来的教学数据304(S15)。过与不足区域修正部104将所制作的教学数[0126]若保存在教学数据存储部中的教学数据数少于规定数(S17中为否)，则再次重复122从推测模型存储部202中获取包含多个参数的推测模型。推测模型是将图像作为输入，[0130]推测模型学习部122判定推测骨架信息相对于教学数据304内的教学骨架信息312模型学习部122将经修正的参数输出至特征量提取部112、关节推测部113以及结合度推测完毕推测模型存储至推测模型存储部202(S24)。输出部140在显示装置上显示学习已结束进行规定次数的重复学习(S18至S23为止的处理)而[0136]基于图6来说明推测装置1的推测处理。图6是表示推测装置1的推测处理的流程扩展部101将空白完毕图像301输出至特征量提[0138]推测模型获取部111从推测模型存储部202中读取学习完毕推测模型(S33)。推测[0139]特征量提取部112使用特征量提取用参数，从空白完毕图像301中提取特征量合度推测结果来求出推测骨架信息(S37)。随后，输出部140在显示装置上显示骨架信息[0144]这样，推测装置1生成对欠缺了第二关节的图像300(第一图像)附加了空白区域[0146]推测装置1即便图像中不包含脖子(或肩)的关节位置，也能与右臂以及左臂的关113以及结合度推测部114也可在根据特征量来求出关节推测结[0153]基于图7来说明本实施方式的教学数据制作装置2的结构。图7是表示教学数据制[0159]图像显示部501是显示遵循显示控制部150的指示的空白完毕图像301的区域。而[0160]作业者列表511是空白完毕图像301中所含的作业者的列表。若空白完毕图像301[0163]用户在利用输入部130以及坐标显示指示部531来变更编辑关节522的坐标时，也[0165]基于图9来说明本实施方式的教学数据制作装置2的动作。图9是教学数据制作装区域扩展部101将空白完毕图像301输出至教学数据制作部1[0167]显示控制部150使显示装置显示用户接口51。显示控制部150在图像显示部501上上的关节的关节位置的指定，也受理位于空白区域311的关节的关节位置的指定。输入部学数据制作部102生成包含一位以上的作业者、多个关节以及多个关节位置的信息的教学骨架信息312。多个关节包含位于图像300的区域的第一关节与位于空白区域311的第二关[0179]作业者601是作为受到作业分析的对象的作业者。作业者的脸部等与隐私相关的业者移动到左侧(图像中的右侧)的情况或者将手伸向位于图像300a外的空间的作业对象[0185]屏蔽区域604也可在根据摄像机的设置位置以及设置方向而不得不映照出作业者作业者观察的里侧的作业对象时的骨架信息。通过在图像300b的下侧扩展空白区域311g，[0190]推测装置1以及教学数据制作装置2的控制块(尤其是控制部10中的空白区域扩展部122、输入部130、输出部140以及显示控制部150)既可通过形成于集成电路(IC介质”，例如除了只读存储器(ReadOnlyMemory，ROM)等以外，还可使用带(tape)、盘根据所述骨架信息以及所述第二图像来学习骨架信息的所述推测装置所包括的各部(软件要素)来运行而利用计算机来实现所述推测装置的推测程序以及记录有所述推测程序的计算机可读取的记录介质也纳入所述学习装置所包括的各部(软件要素)来运行而利用计算机来实现所述学习装置的学习程序以及记录有所述学习程序的计算机可读取的记录介质也算机作为所述教学数据制作装置所包括的各部(软件要素)来运行而利用计算机来实现所述教学数据制作装置的教学数据制作程序以及记录有所述教学数据制作程序的计算机可[0220]本发明并不限定于所述的各实施方式，可在权利要求所示的范围内进行