CN114926784B 基于联合注意力机制的传感器数据群体行为识别方法 （浙江工业大学）

基于联合注意力机制的传感器数据群体行本发明公开了一种基于联合注意力机制的体中每个个体的局部位置传感器数据进行处理义域网络对群体中每个个体的个体行为标签进2其中，所述数据域网络用于对群体中每个个体的局部位对每个个体，通过滑动窗口对个体局部位置的传感器采集的连续传感器数据进行分基于个体行为特征计算个体行为相关性，基于个体坐标计算所述语义域网络用于对群体中每个个体的个体行为标签进行处理得到语义域网络群将个体行为标签转变为独热编码向量，将独热编码向量和个体位3步骤3、采用训练好的数据域网络对待检测群体中每个个体的局部位置传感器数据进2.根据权利要求1所述的基于联合注意力机制的传感器数据群体行为识别方法，其特3.根据权利要求1所述的基于联合注意力机制的传感器数据群体行为识别方法，其特ij(t)表示个体i和j在t时刻的欧氏距离，和分别表示个体i在t时刻的坐将第k个滑动窗口内个体i和j间欧氏距离的通过如下公式计算第k个滑动窗口内个体i和j间的位置相关性simLocf:4.根据权利要求3所述的基于联合注意力机制的传感器数据群体行为识别方法，其特5.根据权利要求1所述的基于联合注意力机制的传感器数据群体行为识别方法，其特6.根据权利要求1所述的基于联合注意力机制的传感器数据群体行为识别方法，其特征在于，所述将独热编码向量和个体位置相关性输入到语义域图卷积网络提取语义域特4个体行为及个体之间的交互关系进行推断。所以它不仅需要对群体中的个体行为进行识[0005]本申请的目的是提供一种基于联合注意力机制的传感器5[0012]所述语义域网络用于对群体中每个个体的个体行为标签进行处理得到语义域网LXP=llpi-pd⃞d表示数据域网络群体行为识别结果，λ1和λ2是超参数，表示语义域网络注意力权[0020]步骤3、采用训练好的数据域网络对待检测群体中每个个体的局部位置传感器数6[0028]通过如下公式计算第k个滑动窗口内个体i[0039]图3为本申请实施例数据域卷积神经网络和双向长短期记忆神经网络提取个体局78[0057]本步骤将分割后得到的个体局部位置传感器数据通过卷积神经网络CNN进行一维双向长短期记忆网络BLSTM包括前向长短期记忆网络和反向长短期记忆网络以及各自对应的状态信息，通过平均池化层对双向长短期记忆神经网络输出的状态信息进行特征提取，据是在不同网络中进行独立训练，可以得到更加具有代表性的个人局部行为特征Farm=arm和Cbody分别表示经过CNN池化后的个体手腕和身体部位对应的第一特征，Yarm和Ybody分别表示经过BLSTM池化后的个体手腕和身体部位对应的个体局部行为特征(手腕特征)和下肢口袋位置对应的个体局部行为特征(身体特征)。9[0067]其中cov(rf.f)表示的协方差，分别表示的标[0073]第k个滑动窗口内个体i和j间欧氏距离的平均值表示为由于个体的交互程度性simLocf的计算公式如下：[0082]本实施例采用图卷积网络GCN来提取群体交互关系特征，个体行为特征和个体交per,nper,ngg[0100]第k个滑动窗口内个体i和j间欧氏距离的平均值表示为由于个体的交互程度地关注对最终群体行为识别有重要贡献的关键人物行[0108]K"=WXForn行为相关性，并使用softmax进行标准化得到语义域网络注意力权重将注意力加权融d表示数据域网络群体行为识别结果，λ1和λ2是超参数，表示语义域网络注意力权[0127]本申请通过在UT-Data数据集构造的群体行为数据集上，进行了群体行为识别