CN114429675B 动作识别方法、模型训练方法、装置及电子设备 （京东方科技集团股份有限公司）

率大于或者等于预设阈值的动作类别为待识别2根据所述多个子采样图像以及预训练好的自注意力模型的自注将所述目标相似性特征输入到所述预训练好的自注意力模型的分基于所述待识别视频与所述多个动作类别相似的概率分布，确定的目标动作类别；所述待识别视频与所述目标动作类别相似的概率大于或者等于预设阈从所述多个子采样图像中确定至少一个时间采样序列；每个时间采样序根据所述每个时间采样序列以及所述自注意力编码层，确定所根据所述至少一个时间采样序列的所述子时间序列特征，确定确定多个第一图像输入特征以及类别输入特征；每个第一将所述多个第一图像输入特征以及所述类别输入特征输入到所述将所述自注意力编码层输出的所述类别输入特征对应的输出特征确定为所述第一时间采从所述多个子采样图像中确定至少一个空间采样序列；每个空间采样序根据所述每个空间采样序列以及所述自注意力编码层，确定所3根据所述至少一个空间采样序列的所述子空间序列特征，确定对于第一图像帧，从所述第一图像帧所包括的所述子采样图像中确定多个第二图像输入特征以及类别输入特征；每个第二将所述多个第二图像输入特征以及所述类别输入特征输入到所述将所述自注意力编码层输出的所述类别输入特征对应的输出特征确定为所述第一空间采基于所述多个样本图像帧以及初始自注意力模型的自注意力将所述样本相似性特征作为样本特征以及将样本动作类别所述确定单元，用于根据所述多个子采样图像以及预训练好的自注意4所述确定单元，还用于将所述目标相似性特征输入到所述预训练好述待识别视频与所述多个动作类别中每个动作类所述确定单元，还用于基于所述待识别视频与所述多个动作类别从所述多个子采样图像中确定至少一个时间采样序列；每个时间采样序根据所述每个时间采样序列以及所述自注意力编码层，确定所根据所述至少一个时间采样序列的所述子时间序列特征，确定从所述多个子采样图像中确定至少一个空间采样序列；每个空间采样序根据所述每个空间采样序列以及所述自注意力编码层，确定所根据所述至少一个空间采样序列的所述子空间序列特征，确定对于第一图像帧，从所述第一图像帧所包括的所述子采样图像中所述获取单元，用于获取样本视频的多个样本图像帧，以及所述所述处理单元，用于将所述多个样本图像帧的每个样本图像帧进行所述训练单元，用于基于所述多个样本图像帧以及初始自注意力模型5所述训练单元，还用于将所述样本相似性特征作为样本特征以及将样子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-7中任一项所述的动作6[0006]同时，由于图像特征序列为基于多个图像帧在时间维度上或者空间维度上得到编码层用于计算多个图像特征组成的序列相对于不同动作类别多个动作类别的相似性特意力模型，确定待识别视频在与不同动作类别多个动作类别中对应相似的概率概率分布，7列特征，这样确定到的目标相似性特征能够反映出待识别视频的时间特征以及空间特征，第一图像输入特征为对第一时间采样序列所包括的子采样图像的图像特征进行位置编码特征对应的输出特征确定为第一时间采样序列的子样序列相对于多个动作类别的子时间序列特征，相较于现有技术可以无需使用卷积操作，8第二图像输入特征为对第一空间采样序列所包括的子采样图像的图像特征进行位置编码特征对应的输出特征确定为第一空间采样序列的子由于在训练过程中只需要基于自注意力机制确定多个样本图像帧与不同样本类别相似的9图像帧以及预训练好的自注意力模型，确定待识别视频与多个动作类别相似的概率分布；不同动作类别多个动作类别相似的概率概率分布，确定待识别视频对应的目标动作类别；待识别视频与目标动作类别相似的概率大于或者等出的类别输入特征对应的输出特征确定为第一时间采样序列的子时出的类别输入特征对应的输出特征确定为第一空间程序指令使计算机执行如上述任一实施例的动作识别方法或别装置或者模型训练装置)上执行时，计算机程序使计算机执行如上述任一实施例的动作[0066]相关技术中电子设备在识别视频中的行为动作时，通常会预先基于CNN训练得到[0069]本公开实施例考虑到CNN的卷积操作需要消耗大量计算，采用自注意力模型计算[0070]本公开实施例提供的一种动作识别方法可以适用于动作识别系统。图1示出了该[0076]动作识别装置11和电子设备12可以为相互独立的设备，也可以集成于同一设备采样率设置为大于在采用CNN卷积神经网同时可以去掉采样帧四周无效的特征信息，能够使得后续的自注意力模型更加容易收敛，自注意力模型在训练过程中采用的样本图像帧的像素大小为256*256，则在动作识别过程[0102]其中，待识别视频的序列特征用于表征待识别视频与多个动作类别之间的相似率分布中确定大于预设阈值的动作类别为目标动作类[0112]同时，由于图像特征序列为基于多个图像帧在时间维度上或者空间维度上得到[0122]在一些情况下，图像帧对应的位置编码特征可以由电子[0133]上述实施例描述了直接将多个视频帧作为自注意力编码层的输入特征的实现方[0137]示例性的，分类层可以为与自注意力编码层连接的多层感知机(multilayer编码器基于自注意力机制对输入的特征进行计算，分别得到每个输入特征对应的输出结[0144]在实际应用中，上述自注意力编码层可以采用多头自注意力机制Multi-headed征与多个图像输入特征的特征权值，并基于类别输入特征和每个图像输入特征的特征权[0151]其中，分割像素大小可以预先由动作识别系统的运维人员预先在电子设备中设列特征，这样确定到的目标相似性特征能够反映出待识别视频的时间特征以及空间特征，[0170]需要说明的，时间采样序列的数量即为每个图像帧分割得到的子采样图像的数力编码层输出的与类别输入特征对应的特征作为该时间采样序列的子时特征进行位置编码合并得到的，第一时间采样序列为至少一个时间采样序列中的任意一样序列相对于多个动作类别的子时间序列特征，相较于现有技术可以无需使用卷积操作，[0196]示例性的，可以将一个图像帧中所包括的子采样图像确定为一个空间采样序以将每个图像帧所包括的所有子采样图像作为一个空间采样以从第一图像帧所包括的子采样图像中确定位于预设位置的预设数量个目标子采样图像，并将目标子采样图像确定为第一图像帧对应的空间采样特征进行位置编码合并得到的，第一空间采样序列为至少一个空间采样序列中的任意一[0232]作为一种可能的实现方式，电子设备基于多个样本图像[0234]在这种情况下，初始自注意力模型包括上述自注意力编码层以及预设的神经网由于在训练过程中只需要基于自注意力机制确定多个样本图像帧与不同样本类别相似的序列特征。样本时间序列特征用于表征样本视频在时间维度上与多个动作类别的相似性，样本空间序列特征用于表征样本视频在空间维度上与多个动作类[0267]S7022、电子设备将多个第一样本图像输入特征以及类别输入特征输入到自注意[0269]S7023、电子设备将自注意力编码层输出的类别输入特征对应的输出特征确定为用于表征多个动作类别。[0287]S7052、电子设备将多个第二样本图像输入特征以及类别输入特征输入到自注意[0289]S7053、电子设备将自注意力编码层输出的类别输入特征对应的输出特征确定为[0291]图17是根据一示例性实施例示出的动作识别装置的结构示[0304]根据至少一个时间采样序列的子时间序列特征，确定待识别视频的时间序列特力编码层输出的类别输入特征对应的输出特征确定为第一时间采样序列的子时间序列特[0311]根据至少一个空间采样序列的子空间序列特征，确定待识别视频的空间序列特力编码层输出的类别输入特征对应的输出特征确定为第一空间采样序列的子空间序列特基于多个样本图像帧在时间维度上或者空间[0327]存储器1003可以是只读存储器(read-onlymemory，ROM)或可存储静态信息和指信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器单元803实现的功能与图19中的处理器的处理器1001和处理器1007。这些处理器中的每一个可以是一个单核(single-CPU)处理和/或用于处理数据(例如计算机程序指令1005可以是液晶显示器(liquidcrystaldisplay，LCD)，发光二级管(lightemittingdiode，LED)显示设备，阴极射线管(cathoderaytube，CRT)显示设备，或投影仪行模型训练装置在上述实施例中执行的预测训练方法[0335]本公开的一些实施例提供了一种计算机可读存储介质(例如，非暂态计算机可读存储介质)，该计算机可读存储介质中存储有计算机程序指令，计算机程序指令在计算机盘、软盘或磁带等)，光盘(例如，CD(CompactDisk，压缩盘)、DVD(DigitalVersatile机可读存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读存储介质。术电子设备)上执行时，该计算机程序使计算机执行如上述实施例中任一实施例的动作识别