CN115496953B 基于时空图卷积的脑网络分类方法 （河北工业大学）

WO2022041222A1,2022.03本发明为基于时空图卷积的脑网络分类方法，对于静息态功能磁共振影像数据的时间序时空图注意力模块来进一步提取空间特征和时2获取静息态功能磁共振影像数据后，利用基于体素的分析法根据感兴趣区域的时间序列特征和所有样本共享的邻接矩阵A所述分类预测模型的整个网络包含1个通道数为64、时间核和空间核大小均为11的时空图卷积处理并拼接后的特征与S_TGAtten模块直接输出的特征进行求和，再经过获得分类预测模型的输出；所述S_TGAtten模块的通道数与第二个S_TGConv模块的通道数所述S_TGConv模块包括一层空间图卷积层和与之并列的一层时间图积层和时间图卷积层的输出经拼接操作连接LeakyReLU激活函数，获得时空图卷积S_所述的时空图注意力S_TGAtten模块的流程是：对于时空图卷积S_TGConv模块输出的获取静息态功能磁共振影像分类数据集，使用fMRISurface软件对原始图像数据进行应的模板将大脑划分为多个感兴趣区域ROI，计算其血氧浓度依赖对比BOLD信号的标准化时间序列数据xn=[d⃞,…,d,…,d哟ITERM,则一个样本的时间序列特征为X＝[x1,…,使用特征拼接函数concat(·)把所有样本的时间序列特征按照ROI的序号进行拼接，3使用特征拼接函数concat(·)把所有样本的时间序列特征按照ROI的序号进行拼接，将皮尔森相关系数和KNN图相乘获得所有样本共享的邻c(x.o))2)0]TNXM为第u个样本的时间序列特征矩阵，第3.1步，将第二步中构建的图结构脑网络输入到一层通道数为64的S_TGConv模块从2输入到通道数为128的S_TGAtten模块中，随机给定共享的线性变换计算分类结果Pc的预测标签使用带有正则化项的损失函数和加强训练效果的三元组的时间序列特征X和第2.1步的所有样本共享的邻接矩阵A构成图结构43.根据权利要求2所述的基于时空图卷积的脑网对于第r个ROI和第p个ROI，其时间序列特征分别为X,=[df,…,d",…,dyT和定义其特征分布距离D(xr,xp)为时间序列之间的欧式vu)sy,la-tls/2}3)定义节点vti的采样函数p(·)为邻域范围B(vti)的内部，重新定义图卷积操作如公式6.一种计算机可读存储介质，所述存储介质中存用于被计算机加载时执行权利要求1_4任一5感兴趣区域提取模块，用于利用基于体素的分析法通过定位模块，使用时空图注意力模块在时空图卷积模块之后获取重可能与分类任务存在重要差异的时间节点和ROI，时空图注意力模块倾向于赋予更高的权6过大脑成像技术研究表型因素差异在大脑结构和功能上的表现，分析其对大脑疾病的影通过长时间的扫描，记录了一段时间内大脑在静止状态下的血氧浓度依赖对比信号的变7[0008]本发明解决该技术问题所采用的技术方案是：基于时空图卷积的脑网络分类方模态分割图谱(HCP_MMP)提取出多个感兴[0012]所述分类预测模型的整个网络包含1个通道数为64、时间核和空间核大小均为11时空图卷积处理并拼接后的特征与S_TGAtten模块直接输出的特征进行求和，再经过类函数获得分类预测模型的输出；所述S_TGAtten模块的通道数与第二个S_TGConv模块的图卷积层和时间图卷积层的输出经拼接操作连接LeakyReLU激活函数，获得时空图卷积S_[0014]所述的时空图注意力S_TGAtten模块的流程是：对于时空图卷积S_TGConv模块输8[0018]获取静息态功能磁共振影像分类数据集，使用fMRISurface软件对原始图像数据用相应的模板将大脑划分为多个感兴趣区域(ROI)，计算其血氧浓度依赖对比(BOLD)信号一个M维的时间序列数据⃞n=[d,…,d,…,d哟"eRM,因此一个样本的特征可以表示为XKNN图来构建图结构脑网络。对于第r个ROI和第p个ROI，其时间序列特征分别为xr=按照公式(3)计算获得所有样本共享的邻接矩u个样本的时间序列特征矩9[0033]第3.1步，使用一层通道数为64的S_TGC和时间图卷积处理后的特征经拼接后连接一个Lea[0041]通过一层通道数为64、时间卷积核和空间卷积核大小为1卷积核为5的S_TGConv模块，考虑到经过两层S_TGConv模块以后脑网络特征已经开始出现[0054]计算分类结果Pc的预测标签3,使用带有正则化项的损失函数和加强训练效果的样本的时间序列特征X和第2.1步的所有样本共享的邻接矩阵A构成图结构脑网络，输入到述计算机程序适用于被计算机加载时执行上述的基于时空图卷积的脑[0065]图结构那网络构建模块，用于以感兴趣区域的时间序列[0067]定位模块，使用时空图注意力模块在时空图卷积模块之对于可能与分类任务存在重要差异的时间节点和ROI，时空图注意力模块倾向于赋予更高[0070](1)基于时空图卷积的脑网络分类方法是利用基于体素形态学分析方法将大脑划数据的时间动态性(大脑的自发活动和周期变化)和空间结构关系(ROI之间的相关关系及[0071](2)本发明采用窗口随机采样的方法，相比于其他滑动窗口、时间序列截取的方[0072](3)CN114287908A公开了一种多通带图卷积的脑连接分类方法，该方法利用全脑过一种时空图卷积结构来同时提取基于时间序列构造的图网络中的空间特征和时间动态[0073](4)CN114863181A公开了一种基于预测概率知识蒸馏的性别分类方法，该方法利[0074](5)CN110477909A公开了一种基于静息态脑电数据的性别分类方法，该方法在对[0079]图1实施例所示，本发明基于时空图卷积的脑网络分类方法整体的预测分类流程[0080]输入大脑影像数据→静息态功能磁共振影像数据预处理→构建分类预测模型提预测模型使用最优的分类预测模型进行分类预测→输出[0082]输入数据→计算皮尔森相关系数和组共享的邻接矩阵A构建图结构脑网络→使用5、时间核大小为11的时空图卷积处理并拼接后的特征与时空注意力模块直接输出的特征进行求和→使用LeakyReLU激活函数提升非线性能力[0084]所述分类预测模型的整个网络包含1层通道数为64、时间核和空间核大小均为11时空图卷积处理并拼接后的特征与S_TGAtten模块直接输出的特征进行求和，再经过[0088]第四步，使用一个通道数为128的时空图注意力S_TGAtten模块对两个串联的S_[0094]本实施例使用基于时空图卷积的脑网络分类方法的模型结构，进行性别分类任[0097]获取人类基因组计划HCPS1200项目中的静息态功能磁共振影像数据，使用[0101]首先对每个样本的特征进行z_score标准化处理后，计算所有样本共享的皮尔森KNN图来构建图结构脑网络。对于第r个ROI和第p个ROI，其时间序列特征分别为xr=rpu个样本的时间序列特征矩[0112]第3.1步，使用一个通道数为64的S_TGC示邻接矩阵A的第t行第j列元素，BFS(i,j)根据邻接矩阵A计算节点vtj到节点vti的最小跳间核宽度γ和时间核宽度λ,限定了公式(5)中空间卷积和时间卷积的范围，从而同[0122]对每一个样本，输入其特征X和邻接矩阵A构建的图结构脑网络，通过一个S_用共享的线性变换权重矩阵W，然后使用一层参数为Wf的线性变化层，之后将特征进行拆[0132]计算分类结果Pc的预测标签3,使用带有正则化项的损失函数和加强训练效果的y样本的时间序列特征X和第2.1步的所有样本共享的邻接矩阵A构成图结构脑网络，输入到[0142]获取ADNI数据集的静息态功能磁共振影像数据，使用fMRISurface软件对原始图[0147]首先对每个样本的特征进行z_score标准化处理后，计算所有样本共享的皮尔森法计算KNN图来构建图结构脑网络。对于第r个ROI和第p个ROI，其时间序列特征分别为ppu个样本的时间序列特征矩[0156]第3.1步，使用一个通道数为64的S_TGC示邻接矩阵A的第t行第j列元素，BFS(i,j)根据邻接矩阵A计算节点vtj到节点vti的最小跳间核宽度γ和时间核宽度λ,限定了公式(5)中空间卷积和时间卷积的范围，从而同一个样本，输入其特征X和邻接矩阵A，按照公式(4)的规则进行特征提取；通过一个S_特征，并将这两个特征进行拼接操作，通过一层参数为Wt的线性变化层，最后通过[0175]计算分类结果Pc的预测标签3,使用带有正则化项的损失函数和加强训练效果的y1表示M