CN114722913B 姿态检测方法、装置、电子设备及计算机可读存储介质 （北京奕斯伟计算技术股份有限公司）

司确定图像序列中任一图像中目标部位的各关键申请通过将目标部位的第一三维坐标信息与目2获取目标对象对应的图像序列以及所述目标对象的目标部确定所述图像序列中任一图像中所述目标部位的各关键点根据所述各关键点的第一三维坐标信息，确定表征所述目标部位的根据所述第一单位向量和所述第二单位向量之间的相似度，以及所其中，所述根据所述第一单位向量和所述第二单位向量之间的若所述相似度大于或等于预设阈值，基于所述目标部位对应的若所述相似度小于所述预设阈值，基于所述目标部位对应的所述根据所述各关键点的第一三维坐标信息，确定所述目标部位对应的第一单位向对于每个所述子部位，根据该子部位的各关键点的第一三维坐标对于每个所述子部位，基于该子部位对应的运动数据，确定该子所述根据所述第一单位向量、所述第二单位向量和所述各关键点的第一三维坐标信对于每个所述子部位，根据该子部位对应的第一单位向量和该子对于相似度大于或等于对应的预设阈值的第一子部位，基于对于相似度小于对应的预设阈值的第二子部位，基于该子部位的各3若所述至少两个子部位中包括第一子部位和第二子部位，将与该子的目标第一子部位的各关键点中的第一连接关键点的第一三维坐标信息作为该子部位中接关键点为该子部位与所述目标第一子部位的公若所述至少两个子部位中各子部位均为第二子部位，确定所对于所述第二指定关键点所属的指定第二子部位，将所述第二指定对于所述至少两个子部位中除所述指定第二子部位之外的其他子对于所述任一图像，基于所述图像序列中、至少一帧与该图像相邻获取所述目标对象处于指定姿态下对应的初始图像序对于所述任一初始图像，基于所述初始图像序列中、至少一帧与该初像中各关键点的初始二维坐标信息，以及该初始图像对应的各关键点的初始二维坐标信所述基于所述目标部位对应的各关键点的初始三维坐标信息，确定所确定出所述目标部位的各关键点中处于所述目标部位的端点位置4基于所述两个目标关键点的初始三维坐标信息，确定所述两个目标关键点之间的距三维坐标信息确定模块，用于确定所述图像序列中任一图像中所述第一单位向量确定模块，用于根据所述各关键点的第一第二单位向量确定模块，用于基于所述目标部位的运动姿态确定模块，用于根据所述第一单位向量、所其中，所述姿态确定模块在根据所述第一单位向量和所述第二单位向量之间的相似若所述相似度大于或等于预设阈值，基于所述目标部位对应的若所述相似度小于所述预设阈值，基于所述目标部位对应的处理器执行时实现权利要求1-6任一项所述方56一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件7术中，需要多个摄像头获取深度信息，视觉检测的关键点和惯性测量单元(inertial[0037]步骤S120：确定图像序列中任一图像中目标部位的各关键点的第一三维坐标信8验，避免在目标部位被遮挡或者快速移动等情况下导致无法基于对所获取的图像的处理，9[0056]对于任一图像，可以通过VideoPose算法，选取目标对象的腰部关键点为根关键[0066]考虑到在目标对象处于T字姿态时，目标对象的目标部位并不会出现例如遮挡等包括27帧图像的初始图像序列，该初始图像序列中的各图像为目标对象处于T字姿态的初[0069]对于该初始图像序列中的任一初始图像，可以基于HRNet确定各关键点的初始二标信息k1和k2之间的位移T=ka-ka,将该目标部位的两个关键点的第一三维坐标信息之间的位移与该目标部位的长度L0之间的比值确定为表征该目标部位的方向的[0072]在该实现方式中，可以根据例如基于AHRS(attitudeheadingreference得到被遮挡的关键点的第一三维坐标信息，即在目标部位的部分关键点被遮挡的情况下，改变以及基于目标部位的运动数据确定的表征目标部位的方向第二单位向量的实时性更标信息；基于第一指定关键点的第一三维坐标信息以及其他关键点的第二三维坐标信息，在第一单位向量为i,第二单位向量为的情况下，第二单位向量和第二向量的相似度为像进行处理所得到的各关键点的第一三维坐标信息作为确定该目标部位的姿态所需的该于目标对象的快速移动导致无法通过图像采集设备获取到到的，即基于目标部位的运动数据确定的表征目标部位的方向第二单位向量的实时性更基于对图像进行处理所得到的第一指定关键点的第一三维坐标信息确定为该第一指定关标部位的方向基于小腿的运动数据确定的小腿的单位向量(从膝盖关键点指向脚踝关键点)为若小于预设阈值，则可以确定脚踝关键点的第二三维[0099]如图2和图3所示，以目标部位为目标对象的右手手臂(x轴的负方向对应的手臂)[0100]参见前文所描述的通过图像序列中的图像确定目标部位的各关键点的初始三维l3。向量为右小臂的长度为L2＝|kir3-kir2|，右小臂对应的第一单位向量为单位向量为右小臂对应的第二单位向量为左大臂对应的第二单位向量为左小[0103]参见前文所描述的确定目标部位对应的第一单位向量和目标部位对应的第二单量和该子部位对应的第二单位向量之间的相似度)为右小臂对应的相似度为左大臂对应的相似度为左小臂对应的相似度为对于右小臂较小，可以设置右大臂对应的预设阈值P1大于右小臂对应的预设阈值P2O例[0111]如图3所示，以前文所描述的目标部位为右手手臂为例，右大臂对应的相似度子部位(即第二子部位)的第一单位向量和基于该子部位的运动数据所得到的该子部位的需要进一步确定该子部位的各关键点的第二三维坐标信息，才能准确确定该子部位的姿的目标第一子部位的各关键点中的第一连接关键点的第一三维坐标信息作为该子部位中第二单位向量，确定该子部位中除第二指定关键点之外的其他关键点的第二三维坐标信键点(即两个子部位中有一个关键点相同，且该相同的关键点为各自对应的子部位的一个信息，确定出该第二子部位与该第一子部位的公共关键点的第二三维坐标信息(即用于确一个端点位置的关键点的第二三维坐标信息之后，可以基于该第二子部位的长度(即基于个端点位置的关键点之间的距离)以及该子部位的第二单位向量，确定出该第二子部位的以基于kr1和kr2确定右大臂的姿态，并进一步根据右小臂的长度和右小臂对应的第二单位向量，确定右小臂中与右大臂不连接的关键点的第二三维坐标信息，具体为：kn'=kn-ur-可,并基于kr19和kr2确定右大臂的姿态。[0125]若目标部位中的所有子部位均为第二子部位，即对于目基于图像处理所得到的该子部位对应的第一单位向量和基于该子部位的运动数据所得到可能的减少误差，可以选取各关键点中发生偏移可能较小的关键点作为第二指定关键点，将该第二指定关键点的第一三维坐标信息确定为该第二指定关键点的第二三维坐标信息(即用于确定该第二指定关键点所属的指定第二子部位所需的该第二指定关键点的三维坐位中除第二指定关键点之外的其他关键点的第二三基于第一子部位的各关键点的第一三维坐标信息以及与该第一子部位存在连接关系的第右大臂不连接的另一关键点的第二三维坐标信息为kr3'=kr2'并kr29和[0131]图像及运动数据获取模块401，用于获取目标对象对应的图像序列以及目标对象[0132]三维坐标信息确定模块402，用于确定图像序列中任一图像中目标部位的各关键标信息；基于第一指定关键点的第一三维坐标信息以及其他关键点的第二三维坐标信息，[0140]第一单位向量确定模块403在根据各关键点的第一三维坐标信息，确定目标部位[0142]第二单位向量确定模块404在基于目标部位的运动数据，确定目标部位的第二单[0144]姿态确定模块405在根据第一单位向量和第二单位向量之间的相似度，以及各关息以及该子部位对应的第二单位向量，确定该子部位的各关键点的第二三维坐标信息时，的目标第一子部位的各关键点中的第一连接关键点的第一三维坐标信息作为该子部位中第二单位向量，确定该子部位中除第二指定关键点之外的其他关键点的第二三维坐标信[0163]姿态确定模块405在基于目标部位对应的各关键点的初始三维坐标信息，确定目申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接[0169]处理器4001可以是CPU(CentralProcessingUnit，中央DSP(DigitalSignalProcessor，数据信号处理器)，ASIC(ApplicationSpecific实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器[0170]总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(PeripheralComponentInterconnect，外设部件互连标准)总线或EISA(Extended[0171]存储器4003可以是ROM(ReadOnlyMemory，只读存储器)或可存储静态信息和指信息和指令的其他类型的动态存储设备，也可以是EEPROM(ElectricallyErasableProgrammableReadOn