CN118948257B 人体步态预测方法、装置、电子设备及存储介质 （南方科技大学）

WO2022027822A1,2022.02.10WO2023108315A1,2023.06.本发明提供了一种人体步态预测方法、装据当前预测结果和预先存储的多个相邻信号窗2获取人体下肢的当前表面肌电信号，所述当前表面肌电信号包对所述当前表面肌电信号对应的当前信号窗进行多个维度的肌电特征学习与步态模根据所述当前预测结果和预先存储的多个相邻信号窗对应的相邻所述目标步态预测结果包括当前预测步态模式；所述根据所述当前预按照时间顺序对所述当前预测结果和所述多个相邻信号窗对应的相邻预测结果进行将所述当前时序预测结果输入至训练后的自适应投票模型，得到所号对应的当前信号窗进行多个维度的肌电特征学习与步态模式预测，得到当前预测结果，根据所述当前信号窗和训练后的基于多维特征学习的步态预经网络模块用于进行空间域信息的学习，所述时域/频域卷积神经网络模块用于对时序信包括第一空间CNN模块和第二空间CNN模块，所述时域/频域卷积神经网络模块包括第一时所述根据所述当前信号窗和训练后的基于多维特征学习的步态预测模将所述当前信号窗分别输入至所述空一时分支和所述时域分支，习的步态预测模型中所述全连接模块输出的所述当前预3所述时域/频域卷积神经网络模块包括顺次连接的第二卷积层、第二批量归一化层和所述双向长短时记忆网络模块包括顺次连接的双向长短时记忆网络所述全连接模块包括顺次连接的第二全连接层和输出层；在所述全连获取最近预测得到的N+1个历史预测步态模式，并按照预测时间由近到远的顺序进行基于各个所述历史预测步态模式，判断所述当前预测步态模式是否符如果符合，将第N+1个所述历史预测步态模式到所述当前预测步态模式的步态切换模通过设置在所述人体的单侧下肢的多个贴片电极，采集得到所述当前表面肌电信号；获取模块，用于获取人体下肢的当前表面肌电信号，所述当前预测模块，用于对所述当前表面肌电信号对应的当前信号窗进行确定模块，用于根据所述当前预测结果和预先存储的多个相邻4所述目标步态预测结果包括当前预测步态模式；所述确定模块具体用9.一种计算机可读存储介质，所述计算机可读存在于，所述计算机程序被处理器运行时执行权利要求1_6中任一项所述的人体步态预测方5[0002]基于医用机器人和外骨骼技术的持续进步，行走助力型外骨骼逐渐成为研究热种行走助力型外骨骼)的发展潜力和需求主要存在于康复辅助机器的弱人机交互能力。利用下肢外骨骼机器人辅助患者进行康复训练相比于传统人工辅助康复治疗的方案更加的[0008]对当前表面肌电信号对应的当前信号窗进行多个维度的肌电特征学习与步态模6于进行空间域信息的学习，时域/频域卷积神经网络模块用于对时序信息进行时域信息的域/频域卷积神经网络模块包括第一时域/频域CNN模块、第二时域/频域CNN模块、第三时域/频域CNN模块和第四时域/频域CNN模块，双向长短时记忆网络模块包括第一BiLSTM模块的输出端和第四BiLSTM模块的输出端均与全连接模块的输[0016]时域/频域卷积神经网络模块包括顺次连接的第二卷积层、第二批量归一化层和时域/频域卷积神经网络模块中，输入数据通过第二卷积层的卷积操作和第二批量归一化[0020]按照时间顺序对当前预测结果和多个相邻信号窗对应的相7[0024]获取最近预测得到的N+1个历史预测步态模式，并按照预测时间由近到远的顺序[0026]如果符合，将第N+1个历史预测步态模式到当前预测步态模式的步态切换模式确通过对同一肌肉上相邻两个贴片电极的信号进行差分运算，得到一个通道的表面肌电信通道的多个采样时间点对应的二维时序信号，每个通道对应人体下肢的一个信号采集位8[0038]图2为本发明实施例提供的一种基于多维特征学习的步态预测模型的结构示意术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范穿戴外骨骼的多种步态需求，因此外骨骼能实现步态的数量是评估外骨骼性能的重要指电子设备执行，该电子设备可以但不限于为下肢外骨骼机器人的处理器等数据处理设备。参见图1所示的一种人体步态预测方法的流程示意图，该人体步态预测方法主要包括如下对同一肌肉上相邻两个贴片电极的信号进行差分运算，可得到一个通道的表面肌电信号。9道的1200个采样时间点(简称为采样点)对应的二维时序信号，即尺寸为8×1200的二维时特征与步态模式的映射信息。对于时域/频域卷积神经网络模块：当输入数据为时域信号[0057]时域/频域卷积神经网络模块可以包括顺次连接的第二卷积层、第二批量归一化[0058]3、双向长短时记忆网络模块，也即BiLSTM(Bi_directionalLongShort_Term[0064]空间卷积神经网络模块包括第一空间CNN模块和第二空间CNN模块，时域/频域卷模块和第四时域/频域CNN模块，双向长短时记忆网络模块包括第一BiLSTM模块、第二块、第三时域/频域CNN模块和第三BiLSTM模块，频域分支包括顺次连接的第四时域/频域CNN模块和第四BiLSTM模块，第一BiLSTM模块的输出端、第二BiLSTM模块的输出端、第三BiLSTM模块的输出端和第四BiLSTM模块的输出端均与全连接模块的输[0067]步骤S130，根据当前预测结果和预先存储的多个相邻信号窗对应的相邻预测结预测步态模式到当前预测步态模式的步态切换模式确定为预测步态切换模式；如果不符[0072]本发明实施例提供的人体步态预测方法，能够获取人体下肢的当前表面肌电信[0074]本发明实施例提出一种用于下肢步态预测的多维度特征学习算法：Deep_STF[0075]本发明实施例还提出一种自适应投票策略，通过将连续5个时序窗口(即信号窗)Conv)之后通过BN层(如B1中右边的BatchNorm)并使用LeakyReLU进行激活，随后进行最大[0080](3)在BiLSTM模块(C)中，输入数据首先通过双向长短时记忆网络(如C1中的[0087]最后将四分支的输出通过全连接模块D结合起来形成一维向量，形成1×256的整[0091]将采集的历史表面肌电信号数据按照7:1:2分割为训练集、验证集和测试集。在STF模型以及上述四种深度神经网络中均体现了显著的准确率[0094]对应于上述的人体步态预测方法，本发明实施例还提供了一种人体步态预测装[0096]预测模块302，用于对当前表面肌电信号对应的当前信号窗进行多个维度的肌电[0097]确定模块303，用于根据当前预测结果和预先存储的多个相邻信号窗对应的相邻[0098]本发明实施例提供的人体步态预测装置，能够获取人体下肢的当前表面肌电信[0101]进一步地，上述空间卷积神经网络模块包括第一空间CNN模块和第二空间CNN模的第二时域/频域CNN模块和第二BiLSTM模块，空一频分支包括顺次连接的第二空间CNN模块、第三时域/频域CNN模块和第三BiLSTM模块，频域分支包括顺次连接的第四时域/频域CNN模块和第四BiLSTM模块，第一BiLSTM模块的输出端、第二BiLSTM模块的输出端、第三[0103]时域/频域卷积神经网络模块包括顺次连接的第二卷积层、第二批量归一化层和时域/频域卷积神经网络模块中，输入数据通过第二卷积层的卷积操作和第二批量归一化