CN119418413A 一种跳绳动作识别方法、装置、电子设备及存储介质 （杭州海康威视数字技术股份有限公司）

司本申请实施例提供了一种跳绳动作识别方续多个目标视频帧对应的目标关键点输入至第2分别从各所述目标视频帧中提取所述目标人员的人体关键将各所述目标视频帧对应的目标关键点输入至第一图神经响应于从多个所述目标视频帧中检测到满足其中，所述第一图神经网络为预先基于第一样本人员的第一样本关键点训练得到的，将第一样本关键点输入至第一原始图神经网络，得到所述第一原始图神经确定所述第一关键点特征与第一正样本特征之间的第一差异的跳绳动作状态与所述第一样本关键点不同的其他第一样本关根据所述第一差异和所述第二差异构建第一损失函数，其中，所述向着所述第一损失函数梯度下降的方向，调整所述第一原始图神经网络的模型参数，;ts1为第一损失函数；Fcheck1为所述第一关键点特征；Fα1为第一距离参数。将多个第二样本关键点输入至第二原始图神经网络，得到所述第3确定所述第二关键点特征与第二正样本特征之间的第三差异根据所述第三差异和所述第四差异构建第二损失函数，其中，所述向着所述第二损失函数梯度下降的方向，调整所述第二原始图神经网络的模型参数，;ts2为第二损失函数；Fcheck2为所述第二关键点特征；Fα2为第二距离参数。预先通过以下对所述第二样本关键点进行所述第二样本人员的跳绳动作类型的标注，若所述连续多个样本视频帧中的所述第二样本人员出现正常若所述连续多个样本视频帧中的所述第二样本人员出现绊脚样本视频帧标注为绊脚；若所述连续多个样本视频帧中的所述第二样本人员出现垫步若所述连续多个样本视频帧中的所述第二样本人员未出现跳绳若所述连续多个样本视频帧中的所述第二样本人员出现空跳跳绳动作状态得到模块，用于将各所述目标视频帧对应的目标关键点4跳绳动作类型得到模块，用于响应于从多个所述目标视频帧中其中，所述第一图神经网络为预先基于第一样本人员的第一样本关键点训练得到的，将第一样本关键点输入至第一原始图神经网络，得到所述第一原始图神经确定所述第一关键点特征与第一正样本特征之间的第一差异的跳绳动作状态与所述第一样本关键点不同的其他第一样本关根据所述第一差异和所述第二差异构建第一损失函数，其中，所述向着所述第一损失函数梯度下降的方向，调整所述第一原始图神经网络的模型参数，;ts1为第一损失函数；Fcheck1为所述第一关键点特征；Fα1为第一距离参数；将多个第二样本关键点输入至第二原始图神经网络，得到所述第确定所述第二关键点特征与第二正样本特征之间的第三差异根据所述第三差异和所述第四差异构建第二损失函数，其中，所述5向着所述第二损失函数梯度下降的方向，调整所述第二原始图神经网络的模型参数，;ts2为第二损失函数；Fcheck2为所述第二关键点特征；Fα2为第二距离参数；预先通过以下对所述第二样本关键点进行所述第二样本人员的跳绳动作类型的标注，若所述连续多个样本视频帧中的所述第二样本人员出现正常若所述连续多个样本视频帧中的所述第二样本人员出现绊脚样本视频帧标注为绊脚；若所述连续多个样本视频帧中的所述第二样本人员出现垫步若所述连续多个样本视频帧中的所述第二样本人员未出现跳绳若所述连续多个样本视频帧中的所述第二样本人员出现空跳6[0009]响应于从多个所述目标视频帧中检测到满足预设跳绳条件的连续多个目标视频7样本视频帧标注有所述第二样本人员的跳绳动标注的跳绳动作状态与所述第一样本关键点不同的其他第一样本关键Fcheck1为所述第一关键点特征；Fpositive1为所述第一正α1为第一距离参数。视频帧标注有不同跳绳动作类型的多个连续Fcheck2为所述第二关键点特征；Fpositive2为所述第二正α2为第二距离参数。[0028]预先通过以下对所述第二样本关键点进行所述第二样本人员的跳绳动作类型的8样本视频帧标注有所述第二样本人员的跳绳动标注的跳绳动作状态与所述第一样本关键点不同的其他第一样本关键9Fcheck1为所述第一关键点特征；Fpositive1为所述第一正α1为第一距离参数。视频帧标注有不同跳绳动作类型的多个连续Fcheck2为所述第二关键点特征；Fpositive2为所述第二正α2为第二距离参数。[0057]预先通过以下对所述第二样本关键点进行所述第二样本人员的跳绳动作类型的储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的跳绳动作识别方[0067]本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行训练得到的第一图神经网络可以学习到第一样本关键点的特征与第一样本人员的跳绳动连续多个样本视频帧的第二样本关键点的特征与第二样本人员的跳绳动作类型之间的对[0070]当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优[0076]图4为本申请实施例提供的第一图神经网络和第二图神经网络级联得到的第三图[0079]图7a为本申请实施例提供的跳绳动作类型为正常时目标关键点的一种特征示意[0080]图7b为本申请实施例提供的跳绳动作类型为绊脚时目标关键点的一种特征示意[0081]图7c为本申请实施例提供的跳绳动作类型为垫步时目标关键点的一种特征示意[0082]图7d为本申请实施例提供的跳绳动作类型为背景时目标关键点的一种特征示意[0083]图7e为本申请实施例提供的跳绳动作类型为正常时目标关键点的另一种特征示[0084]图7f为本申请实施例提供的跳绳动作类型为空跳时目标关键点的一种特征示意[0086]图9为本申请实施例提供的第二图神经网络输出跳绳动作类型的一种过程示意化情况或者区分人员不同的运动状态，通过上述方式可以检测人员是否进行了跳绳动作，[0103]其中，第一图神经网络为预先基于第一样本人员的第一分别从各目标视频帧中提取目标人员的人体关键点，得到各目标视频帧对应的目标关键[0106]在S101中，目标视频可以是通过视频采集设备对人员的跳绳过程进行拍摄得到视频帧中所处的区域，则与预设图像区域有重叠的区域为人员1在目标视频帧中所处的区器对某一个目标人员进行跟随，确定出该目标人员在所有目标视频帧中各自所处的位置，点在目标视频帧中的坐标。各目标视频帧对应的目标关键点还可以以二维数组的形式存储，二维数组第x行第y列为第x个目标视频帧对应的第y个目标关键点在第x个目标视频帧视频帧对应的时间的先后顺序，将各目标视频帧对应的目标关键点输入至第一图神经网照各目标视频帧输入至第一图神经网络的顺序，输出各目标视频帧对应的跳绳动作状态照各目标视频帧之间的时间顺序排列的各目标视频帧对应正常跳绳动作时一定是先起跳后落地，也即目标人员的人体一定是先处于持续的上升状频帧也即对该完整的跳绳动作进行检测，以判断该完整的跳绳动作是否为正常跳绳动作，频帧，若检测到目标视频帧10_15这6个连续的目标视频帧对应的跳绳动作状态为上升状将所有满足预设跳绳条件的连续多个目标视频帧对应的目标关键点分别输入至第二图神于多个第二样本关键点为分别从拍摄第二样本人员得到的连续多个样本视频帧中提取到以学习到连续多个样本视频帧的第二样本关键点的特征与第二样本人员的跳绳动作类型[0126]可以通过统计第二图神经网络输出的跳绳动作类型中正常的数量，实现跳绳计[0128]第一图神经网络和第二图神经网络级联得到的第三图神经网络的结构可以如图4图网络（即前述第二图神经网络按照各目标视频帧对应的时间的先后顺序，也即按照构从输入到输出依次包括：第一Gconv（GraphConvolutionalNetworks，图卷积神经网卷积神经子网络，第一CNN即为图4中的第一卷积神经子网络，第二Gconv即为图4中的第二认为第一原始图神经网络提取到的第一关键点特征的准确性较低，第一损失函数的值较Fcheck1negative1[0146]沿着第一损失函数梯度下降的方向，对第一原始图神经网络的模型参数进行调[0152]其中，第二正样本特征为分别从多个正样本视频帧中提取到的人体关键点的特本视频帧为与连续多个样本视频帧标注有不同跳绳动作类型的多个连续二负样本特征为分别从多个负样本视频帧中提取到的人体关征为分别从多个负样本视频帧中提取到的人体个连续视频帧，第二负样本特征为分别从多个负样本视频帧中提取到的人体关键点的特Fcheck2negative2的第二图神经网络能够学习到跳绳动作类型相同的各多个第二样本关键点的特征相[0166]沿着第二损失函数梯度下降的方向，对第二原始图神经网络的模型参数进行调连续多个样本视频帧标注为绊脚；若连续多个样本视频帧中的第二样本人员出现垫步行[0179]上文中已对前述S104中的跳绳动作类型进行了示例性的说明。图8为本申请实施分别从各目标视频帧中提取目标人员的人体关键点，作为各目标视频帧对应的目标关键[0185]在异常跳绳动作过滤单元805中，第二图神经网络输出跳绳动作类型的过程可以[0186]对应于前述跳绳动作识别方法，本申请实施例还提供了[0191]其中，第一图神经网络为预先基于第一样本人员的第一Fcheck1negative1Fcheck2negative22为第二距离参数。[0209]预先通过以下对第二样本关键点进行第二样本人员的跳绳动作类型的标注，包[0222]其中，第一图神经网络为预先基于第一样本人员的第一Interconnect，PCI）总线或扩展工业标准结构（ExtendedIndustryStandard