CN119515958A 一种手势数据的标注优化方法及电子设备 （海信电子科技（深圳）有限公司）

本申请提供一种手势数据的标注优化方法部关节点优化后的世界位置坐标对多个手势样手部关节点的重投影误差对多个手势样本筛选得到的目标手势样本和初始训练数据集对姿态2针对待优化手势数据集中的任意一个手势样本，利用与所任一手部图像中各手部关节点的相机位置坐标是基于所述手势样本中的各手部关节点的针对任意一个手部关节点，将所述手部关节点对应的各目模型中进行手势姿态估计，得到所述各目标手部图像中的所述手部关节点的图像位置坐根据所述手部关节点在所述各目标手部图像的图像位置坐标，得到所述所述手势样本中优化后的世界位置坐标以及所述手部关节点在所述手势样本中与所述各基于所述各手部关节点分别在所述多个手势样本中与各手部图像对应的重投影误差利用所述各手部关节点在多个手势样本中优化后的世界位置坐标对所述多个手势样各手部关节点的相机位置坐标，得到与所述各手部关节点对应的各目标手部图像的步骤，针对所述手势样本中的任意一个手部图像，基于所述各手部关节利用所述各手部关节点在所述手部图像中的针对任意一个手部关节点，将未遮挡所述手部关节点的手部图像根据所述各手部关节点在所述手部图像中的相机位置坐标，得到体根据所述各手部关节点在所述手部图像中的相机位置坐标，得到所述3针对所述各手部关节点中任意两个相邻的手部关节点，对所述任针对所述各手部关节点中的任意一组预设的手部关节点集合，根据标识为第一目标标识或第二目标标识的体素格，得到与所述根据所述手部关节点在所述各目标手部图像的图像位置坐标，基于所述手部关节点的中间世界位置坐标，将所述手部关节点分别利用所述手部关节点分别在所述各手部图像中的重投影位置坐标以及所述各手部图通过所述手部关节点分别与所述各手部图像对应的重投影误差，得若所述置信度大于目标阈值，则将所述手部关节点的中间世界若所述置信度不大于所述目标阈值，则将所述手部关节点的初将大于指定阈值的各重投影误差的数量确定为所述手部关节点的中间世界位置坐标针对所述多个手势样本中的任意一个手势样本，根据所述手势4述手势样本在之前对姿态估计模型进行训练时被确定为目标手势样本的次数确定出的；通过所述手势样本中各目标关节点对应的置信度，得到所述手势样本的第二排序值；基于所述手势样本中各目标关节点在所述手势样本中各手部图像的重投通过各手势样本的目标排序值对所述各手势样本进行排序，并基于各手势样本的将所述手势样本的逆文档概率与所述手势样本的目标手部关节点的所述通过所述手势样本中各目标关节点对应的置信度，得到所述手势样将所述手势样本中各目标关节点对应的置信度的平均值确定为所述手势样本的第二所述基于所述手势样本中各目标关节点在所述手势样本中各手部图像的重投影误差，将所述手势样本中的各目标关节点在所述手势样本中的重投影误差的平均值确定为针对所述多个手势样本中的任意两个手势样本，若所述两个手若所述第一手势样本的第一排序值小于所述第二手势样本的第一若所述第一手势样本的第一排序值小于所述第二手势样本的第一根据所述多个手势样本中任意两个手势样本之间的优先级对所述多个手势样本进行5所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机针对待优化手势数据集中的任意一个手势样本，利用与所任一手部图像中各手部关节点的相机位置坐标是基于所述手势样本中的各手部关节点的针对任意一个手部关节点，将所述手部关节点对应的各目模型中进行手势姿态估计，得到所述各目标手部图像中的所述手部关节点的图像位置坐根据所述手部关节点在所述各目标手部图像的图像位置坐标，得到所述所述手势样本中优化后的世界位置坐标以及所述手部关节点在所述手势样本中与所述各基于所述各手部关节点分别在所述多个手势样本中与各手部图像对应的重投影误差利用所述各手部关节点在多个手势样本中优化后的世界位置坐标对所述多个手势样各手部关节点的相机位置坐标，得到与所述各手部关节点对应的各目标手部图像的步骤，6较大难度，一方面如公开数据集CMUPanoptic和InterHand2.6M等采用多视图设置来保证工业摄像头的便携采集设备能够保证样本多样性，但基于优化的自动/半自动标注方法难图像中各手部关节点的相机位置坐标，得到与所述各手部关节点对应的各目标手部图像，点在所述手势样本中优化后的世界位置坐标以及所述手部关节点在所述手势样本中与所[0009]基于所述各手部关节点分别在所述多个手势样本中与各手部图像对应的重投影[0010]利用所述各手部关节点在多个手势样本中优化后的世界位置坐标对所述多个手7图像中各手部关节点的相机位置坐标，得到与所述各手部关节点对应的各目标手部图像，点在所述手势样本中优化后的世界位置坐标以及所述手部关节点在所述手势样本中与所[0016]基于所述各手部关节点分别在所述多个手势样本中与各手部图像对应的重投影[0017]利用所述各手部关节点在多个手势样本中优化后的世界位置坐标对所述多个手型中进行手势姿态估计，得到所述各目标手部图像中的所述手部关节点的图像位置坐标，然后基于各目标手部图像中的所述手部关节点的图像位置坐标得到的各手部关节点分别指定次数，则将所述待优化手势数据集中的多个手势样本确定为优化后的标注手势数据，8[0022]图2示例性示出了本申请实施例提供的确定各手部关节点对应的各目标手部图像[0024]图4示例性示出了本申请实施例提供的为各手部关节点以及对应的边的示意图之[0025]图5示例性示出了本申请实施例提供的各手部关节点以及对应的边的示意图之有清楚地列出的或对于这些产品或设备固有9基于各目标手部图像中的所述手部关节点的图像位置坐标得到的各手部关节点分别在所手部关节点对应的各目标手部图像的方法进行详部图像对应的相机光心为原点，基于所述各边的长度构建与所述手部图像对应的体素地所述各手部关节点的相机位置坐标中数值最大的相机位置竖坐标得到所述体素地图的高v[0048]本申请实施例中将所述各手部关节点的相机位置坐标中数值最大的相机位置横[0050]步骤202：利用所述各手部关节点在所述手部图像中的相机位置坐标以及所述体素地图中各体素格的位置坐标的确定方式属于现有技术，本申请实施例在此不再进行赘[0058]需要说明的是：本申请实施例中的等距采样的距离是根据实际情况来进行设置关键点的第二目标体素格的方式与前文所述的确定各手部关节点对应的第一目标体素格所述的对所述任意两个相邻的手部关节点对应的边进行等距采样的距离可相同也可不相光线投射算法确定相机光心与所述手部关节点之间的连线经过的目标体素格的标识满足手部关节点在所述手势样本中优化后的世界位置坐标以及所述手部关节点在所述手势样到所述手部关节点分别在所述手部图像中的重投[0078]步骤703：利用所述手部关节点分别在所述各手部图像中的重投影位置坐标以及[0086]步骤707：将所述手部关节点的初始世界位置坐标确定为所述优化后的世界位置[0087]本申请实施例中的目标阈值是将所述手部关节点对应的各目标手部图像的数量[0088]步骤104：基于所述各手部关节点分别在所述多个手势样本中与各手部图像对应文档概率以及所述手势样本的目标手部关节点的数量，得到所述手势样本的第一排序值，档概率是基于所述手势样本在之前对姿态估计模型进行训练时被确定为目标手势样本的本在之前对姿态估计模型进行训练时被确定为目标手势样本的次数得到所述手势样本的所述手势样本在之前对姿态估计模型进行训练时被确定为目标手势[0098]步骤803：基于所述手势样本中各目标关节点在所述手势样本中各手部图像的重手势样本中手部图像的重投影误差确定为所述手势样号较小的手势样本，且所述第二手势样本为所述两个手势样本中样本序号较大的手势样势样本之间的优先级对所述多个手势样本进行[0103]本申请实施例中按照各手势样本的优先级从高到低对所述多个手势样本进行排[0105]步骤105：利用所述各手部关节点在多个手势样本中优化后的世界位置坐标对所[0107]步骤107：将所述待优化手势数据集中的多个手势样本确定为优化后的标注手势[0108]本申请实施例中将各手部关节点在多个手势样本中优化后的世界位置坐标确定中各手部关节点的相机位置坐标是基于所述手势样本中的各手部关节点的初始世界位置[0111]步骤902：利用所述各手部关节点在所述手部图像中的相机位置坐标以及所述体[0117]步骤908：利用所述手部关节点分别在所述各手部图像中的重投影位置坐标以及[0121]步骤912：将所述手部关节点的初始世界位置坐标确定为所述优化后的世界位置文档概率以及所述手势样本的目标手部关节点的数量，得到所述手势样本的第一排序值，档概率是基于所述手势样本在之前对姿态估计模型进行训练时被确定为目标手势样本的[0124]步骤915：基于所述手势样本中各目标关节点在所述手势样本中各手部图像的重[0126]步骤917：利用所述各手部关节点在多个手势样本中优化后的世界位置坐标对所[0128]步骤919：将所述待优化手势数据集中的多个手势样本确定为优化后的标注手势手势数据的标注优化装置实现。该手势数据的标注优化装置的效果与前述方法的效果相[0132]目标手部图像确定模块1010，用于针对待优化手势数据集中的任意一个手势样是基于所述手势样本中的各手部关节点的初始世界位置关节点在所述手势样本中与所述各手部图像对应的重投后的世界位置坐标对所述多个手势样本中的各手部关节点的初始世界位置坐标进行更新，节点对应的各目标手部图像的步骤，直至对所述姿态估计模型的训练次数大于指定次数，则将所述待优化手势数据集中的多个手势样本确定为优化后的键点的相机位置坐标，得到所述多个第二目标关键点在所述体素地图中的第三目标体素[0152]利用所述手部关节点分别在所述各手部图像中的重投影位置坐标以及所述各手[0157]将大于指定阈值的各重投影误差的数量确定为所述手部关节点的中间世界位置于所述手势样本在之前对姿态估计模型进行训练时被确定为目标手势样本的次数确定出[0161]基于所述手势样本中各目标关节点在所述手势样本中各逆文档概率以及所述手势样本的目标手部关节点的数量，得到所述手势样本的第一排序[0165]所述目标手势样本确定模块1040执行所述通过所述手势样本中各目标关节点对[0166]将所述手势样本中各目标关节点对应的置信度的平均值确定为所述手势样本的[0167]所述目标手势样本确定模块1040执行所述基于所述手势样本中各目标关节点在[0168]将所述手势样本中的各目标关节点在所述手势样本中的重投影误差的平均值确号较小的手势样本，且所述第二手势样本为所述两个手势样本中样本序号较大的手势样[0174]根据所述多个手势样本中任意两个手势样本之间的优先级对所述多个手势样本[0177]在一些可能的实施方式中，根据本发明的电子设备可以至少包括至少一个处理[0182]计算机存储介质1102还可以包括具有一组(至少一个)程序模块1124的程序/实用[0183]电子设备1100也可以与一个或多个外部设备1104(例如键还可与一个或者多个使得用户能与电子设备1100交互的设备通信，和/或与使得该电子设[0186]本发明的实施方式的手势数据的标注优化的程序产品可以采用便携式紧凑盘只[0189]可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功[0194]这些计算机程序指令也可存储在能