CN114266924B 一种基于多模态的胺区肿瘤图像分类方法及终端设备 （深圳大学）

一种基于多模态的胺区肿瘤图像分类方法本发明公开了一种基于多模态的胺区肿瘤获取颅内胺区肿瘤患者三个模态的MRI影像；采用加入离散小波变换的3DResnet网络对所述三个模态的MRI影像进行特征提取，获得三个模态频特征和高频特征以及颅内胺区肿瘤患者的临所述低频特征相似性图和高频特征相似性图进提供的基于离散小波的多图卷积网络可实现自2获取颅内胺区肿瘤患者三个模态的MRI影像，所述三个模态的MRI影像分别为T1加权采用加入离散小波变换的3DResnet网络对所述三个模态基于所述三个模态的低频特征和高频特征以及颅内胺区肿瘤患者的临床采用多图卷积网络对所述低频特征相似性图和高频特征相似性图进行特征优利用多头注意力机制对三个模态的优化特征进区肿瘤患者三个模态的MRI影像为采用边采用离散小波变换对三个模态的MRI影像进行分解，得到每个模态的MRI影像对应的8采用3DResnet对所述8个频率信号进行特征提取，得到三个模波变换对三个模态的MRI影像进行分解，得到每个模态的MRI影像对应的8个频率信号的步通过邻接矩阵公式获取颅内胺区肿瘤与临床信3◎代表点成，C()代表非图像信息之间的关系，采用图小波变换卷积网络来实现低频特征相似性图和高频特征相似性图的卷示卷积核，表示对应元素相乘，表示实现信号x从空间域到频谱域的转换，x=所述多头注意力机制由三个自注意力机制构成，通过所述三个自注意力其中，为经过多图卷像的特征，Frx'代表的转置，Fir是多图卷积网络优化后的T2加权MRI影像的特征，其中，多个程序可被一个或者多个处理器执行，以实现如权利要求1_8任意一项所述基于多模态4所述处理器执行所述计算机可读程序时实现如权利要求1_8任意一项所述基于多模态5像分类方法及终端设备，旨在解决现有技术无法实现对胺区肿瘤图像自动准确分类的问[0008]采用加入离散小波变换的3DResnet网络对所述三个模态的MRI影像进行特征提过皮尔森相关系数构建低频特征相似性图和高频特[0010]采用多图卷积网络对所述低频特征相似性图和高频特征态的MRI影像为采用边缘检测方法将头部分割出来[0013]所述基于多模态的胺区肿瘤图像分类方法，其中，采用加入离散小波变换的3DResnet网络对所述三个模态的MRI影像进行特征提取，获得三个模态的低频特征和高频特6[0020]采用图小波变换卷积网络来实现低频特征相似性图和高x=x表示实现信号x从空间域到频谱域的转换，x=ψsx9表示频谱域的信号转换到空间域。7[0029]所述处理器执行所述计算机可读程序时实现如本发明所述基于多模态的胺区肿[0030]有益效果：本发明提出利用加入离散小波变换的3DResnet网络对T1加权MRI影8[0040]S20、采用加入离散小波变换的3DResnet网络对所述三个模态的MRI影像进行特[0041]S30、基于所述三个模态的低频特征和高频特征以及颅内胺区肿瘤患者的临床信[0042]S40、采用多图卷积网络对所述低频特征相似性图和高频特征相似性图进行特征换的3DResnet网络提取高频特征和低频特征，低频特征保留了MRI影像的主要能量信息，特征和7个高频特征构造构建1个低频特征相似性图和7个高频特征相似性图，并且加入临[0046]在一些实施方式中，所述颅内胺区肿瘤患者三个模态的MRI影像为采用边缘检测9过处理之后的影像大小为300×300×slices，其中T1加权影像和增强的T1加权影像的过伸缩因子和平移因子对信号分解，相比于传统的傅里叶变换具有很好的伸缩性和平移颅内胺区肿瘤患者m和n的年龄信息，S代表特征向量之间的相似性度量，计算方式如下：不只是在单个节点进行卷积，虽然图傅里叶变换采用切比雪夫多项式可以解决这个问题，本实施例采用多图卷积网络对所述低频特征相似性图和高频特征相似性图进行特征优化，x=5'x表示实现信号x从空间域到频谱域的转换，x=ψsx9表示频谱域的信号转换到空是按照对应的顺序进行拼接。k代表的是特征的维度；[0059]在一些实施方式中，本发明提供的基于小波变换的多图卷积网络在Linux服务器处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口硬盘、只读存储器(Read_OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，[0066]综上所述，本发明提出