CN114973411B 一种姿态类运动自适应评测方法、系统、设备及存储介质 （华中师范大学）

本申请公开了一种姿态类运动自适应评测后的所述呼吸心跳回波信号输入到训练后的第所述融合交互特征输出动作评分和呼吸状态预2将预处理后的所述呼吸心跳回波信号输入到训练后的第一网络将所述呼吸心跳特征和所述3D人体姿态特征进行交互融合，获得融所述融合交互特征输出动作评分和呼吸状态预根据所述3D人体姿态特征预测3D人体姿态，计算预测的3D人体姿态与标位置嵌入保留各个关节点的位置信息，输入到Transformer编码器中进征C表示嵌入维度；利用一个可学习的时间位置编码来保留对所述呼吸心跳回波信号与所述毫米波雷达的发射信号进行混频处理后并经过低通对所述中频信号进行快速傅里叶变换获得信号频域能量谱图，通过傅里叶变换将所述呼吸心跳波形图展开为ResNet50骨干卷积神经网络，用于从预处理后的所述呼吸心跳回3首先对每个姿态假设进行层归一化，然后计算自注意力；经将所述3D人体姿态特征和所述呼吸心跳特征先经过全连接层将其转换为d维的向量，7.一种姿态类运动自适应评测系统，所述系统信号采集及预处理模块，用于采集待检测对象的视频序列呼吸心跳特征提取模块，将预处理后的所述呼吸心跳回波信号输入到第一网络模型，4双元特征循环交互模块，用于将所述呼吸心跳特征和所述3D人体姿态评测模块，用于根据所述3D人体姿态特征预测3D人体姿态，计算预测的3D5[0005]利用可见光摄像头和毫米波雷达采集待检测对象的视频序列和呼吸心跳回波信[0008]将所述呼吸心跳特征和所述3D人体姿态特征进行交互融根据所述融合交互特征输出动作评分和呼吸状态[0011]对所述呼吸心跳回波信号与所述毫米波雷达的发射信号进行混频处理后并经过6[0032]将所述3D人体姿态特征和所述呼吸心跳特征先经过全连接层将其转换为d维的向[0038]信号采集及预处理模块，用于采集待检测对象的视频序7[0040]3D人体姿态特征提取模块，用于将所述视频序列输入到训练好的第二网络模型[0047](2)本发明使用神经网络模型提取呼吸心跳信息所具有的内部特征，以时频谱图[0051]图3为本发明实施例提供的第一网络模型、第二网络模型和双元注意力循环交互8[0063]毫米波雷达向目标用户的胸部区域发射线性调频连续波接收的回波的延时会随9使用求导和交叉相乘(DifferentialandCross-Multiply,DACM)的方法来恢复信号的相′[0083]因此，可以发现人体的呼吸心跳波形信息与人体目标所在距离单元的相位有关[0085]特征提取是信号输入到神经网络的必备过程，为了尽可记忆网络可以解决长时间前的有用信息被忽略以及梯度消失的问题。经过长短时记忆网m表示生成的第m个假设姿态，这M个假设姿态经过L1层的编码器处理后的最终表示为表示对Xm进行位置编码嵌入后的结果，表示第m个姿态在第(l-1)层时的特征表示，X"与x""表示Transformer编码器计算过程中产生的临时表示。LN表示层归一化(Layer设在第l层的特征z?"(me[1,…,M])进行如下计算：3]表示CHI层的索引，m1,m2是另外两个姿态假设，表示第m个姿态假设在第(l-1)层的特征表示。MCA(Q,K,V)表示多头跨注意力计算(multi-headcross-attention)，其与第一网络模型中多层感知机的Attention计算过程相同。.[0129]网络以端到端的形式进行训练，所使用的损失函数为平均(每)关节位置误差(MeanPerJointPositionError,MPJPE)。模型训练的目标是最小化预测值与真值之间[0137]为了让投影向量和循环矩阵中的元素充分发挥作用，将循环矩阵和投影向量相[0142]在一个具体的示例中，分类网络可采用softmax分类器，对于呼吸心跳状态的预[0145]在一个具体的示例中，可利用基于3D姿态坐标特征差异的动态时间规整算法设对标准动作的视频帧回归得到的该3D姿态特征向量为?eRIX3。经过一个全连接层，将其展开成一维向量然后进行如下欧式距[0152]信号采集及预处理模块，用于采集待检测对象的视频序[0153]呼吸心跳特征提取模块，将预处理后的呼吸心跳回波信[0155]双元特征循环交互模块，用于将呼吸心跳特征和3D人体[0165]所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体[0166]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可可以包括：闪存盘、只读存储器(Read-OnlyMe