CN114140816B 帕金森病起立任务的评估方法及系统、存储介质及终端 （上海交通大学）

Guo,R.ASelf-SupervisedMetricLearningFrameworkfortheArisinChairAssessmentofParkinsoni6461-6471.本发明提供一种帕金森病起立任务的评估关节信息和所述骨骼信息训练自监督度量图卷取待评估的帕金森患者起立动作的针对各个类2获取包含帕金森病患者起立动作的视频信息，所述起立动作从所述视频信息提取帕金森患者的骨架序列，基于所述骨架序列提取关基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络；基于训练好的自监督度量图卷积网络获取待评估的帕金森患者起立动作的针对各个基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络基于所述骨架序列对所述关节流网络和所述骨骼流网络进行自监督的视频内四元组将所述自监督的视频内四元组学习获取的参数作为所述关节流网络和所述骨骼流网络的初始参数，基于所述关节信息和所述骨骼信息训练所述关节流网络和所述骨骼流网对所述骨架序列进行自监督的视频内四元组学习包括基于相似变换的数据增强算法，生成与所述骨架序列在时间基于空间全局扰动算法，生成与所述骨架序列具有相同的时间基于时间全局扰动算法，生成与所述骨架序列在时间上混乱、将所述锚样本、所述正样本、所述空间负样本和所述时间计模型OpenPose从所述视频信息提取所述骨架序列，基于所述骨架序列提取所述关节信5.根据权利要求1所述的帕金森病起立任务的评估方法，其特征在于：所述时空单元3所述获取模块用于获取包含帕金森病患者起立动作的视频信息，所所述提取模块用于从所述视频信息提取帕金森患者的骨架序列，基所述训练模块用于基于所述关节信息和所述骨骼信息训练自监督度量述自监督度量图卷积网络用于输出所述视频信息中的起立动作针对各个类别的预测概率，所述评估模块用于基于训练好的自监督度量图卷积网络获取待评估的帕金森患者起评估类别；基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络基于所述骨架序列对所述关节流网络和所述骨骼流网络进行自监督的视频内四元组将所述自监督的视频内四元组学习获取的参数作为所述关节流网络和所述骨骼流网络的初始参数，基于所述关节信息和所述骨骼信息训练所述关节流网络和所述骨骼流网对所述骨架序列进行自监督的视频内四元组学习包括基于相似变换的数据增强算法，生成与所述骨架序列在时间基于空间全局扰动算法，生成与所述骨架序列具有相同的时间基于时间全局扰动算法，生成与所述骨架序列在时间上混乱、将所述锚样本、所述正样本、所述空间负样本和所述时间所述处理器用于执行所述存储器存储的计算机程序，以使所述帕金森估终端执行权利要求1至5中任一项所述的帕金森病4使用世界运动障碍病学会新版帕金森病综合评价量表(MDS-UPDRS)来评估疾病的严重程度[0008]可穿戴传感设备的出现允许通过分析所捕捉的运动信号特征，最后借助机器学习算法进行某一项任务的评分分类或特征相关性分析。例如，人使用放置在患者胸部的单个惯性节点构成的身体传感器网络(bodysensornetwork)来约65％左右。Parisi等人同样使用胸部安装的传感器来分析执行任务期间身体运动的特5[0014]基于深度学习的人体姿态估计算法的最新进展为实现MDS-UPDRS的自动评估开辟动障碍的自动评估模型。此外，Hu等人基于GCN和弱监督学习策略开发了步态冻结行特征提取或微调。个视频片段中预测帧顺序错误的视频片段的前置任务。Jenni等人将区分原始序列和经过视频时间变换的序列作为前置任务。由于动作视频中还包含了重要的人体空间动作信息，6[0019]尽管上述动作识别相关的工作已经在自监督视频表征学习领域进行了丰富的探了常规骨架数据的全局运动信息和使用关节对齐的光流补丁所捕捉的局部运动信息来构[0021]尽管这些研究有效地解决了基于GCN的模型的诸多问题，但常集中于对不同关节[0023]为实现上述目的及其他相关目的，本发明提供一种帕金森病起立任务的评估方[0026]基于所述骨架序列对所述关节流网络和所述骨骼流网络进行自监督的视频内四7[0027]将所述自监督的视频内四元组学习获取的参数作为所述关节流网络和所述骨骼[0039]所述训练模块用于基于所述关节信息和所述骨骼信息训练自监督度量图卷积网[0040]所述评估模块用于基于训练好的自监督度量图卷积网络获取待评估的帕金森患8[0047](1)仅使用普通的摄像头即可搜集患者的运动数据，这种模式易于迁移到所有场[0048](2)数据集来自于临床实践中搜集的患者的评估视频，数据集较大，评估性能出[0049](3)使用的自监督深度学习方案显著地增强了模型对起立视频的自动时空特征提取能力，并且融合了顶点特异的空间图卷积操作(Vertex-specificGraphConvolution[0050](4)利用动作的空间和时间知识构建正负样本对，通过四元组的度量学习来同时[0058]图7显示为本发明的帕金森病起立任务的评估方法的十次重复实验的结果分布示[0062]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构9图卷积网络(self-supervisedmetriclearningschemewithagraphconvolutional内四元组学习策略，将骨架序列的全局空间和时间关系视为视频表示学习的自监督信号，为每个视频的骨架序列构建一个正样本(数据增强)和两个负样本(空间/时间全局扰动)，[0064]如图2所示，于一实施例中，本发明的帕金森病起立任务的评估方法包括以下步网络和所述骨骼流网络均包含了9个时空单元。每个时空单元均由空间图卷积和时间卷积[0076]其中，xeRxcim是有V个节点和Cin个通道的输入特征矩阵，FeRVXCOU是输出特efn每一个顶点的参数矩阵都是wc,因此每个顶点的特征都基于相同的可训练滤波器参数wc[0086]a)基于相似变换的数据增强算法(DataAugmentationBasedonSimilaritysT序的骨架序列。通过最小化公式(13)，可以缩小当前一致性概率矩阵与理想的完美一致性矩阵之间的距受准确率反映了临床中的实际情况，即由于不同神经科医生评分的主观差异性和MDS-[0118]表1展示了本发明的帕金森病起立任务的评估方法对各类别和总体预测性能的评和GRSL之后的网络作为基线网络，报告了在基线网络上分别添加了三个组件的分类结果。[0124]将本发明与先进的基于骨架的动作识别方法在起立评估任务上的表现进行了比[0136]需要说明的是，应理解以上装置的各个模块的划分仅仅软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一[0141]所述处理器91与所述存储器92相连，用于执行所述存储器(Digi