CN119494785A 一种基于多模态数据知识对齐融合的数据处理方法与装置 （中国人民解放军总医院第一医学中心）

心一种基于多模态数据知识对齐融合的数据本发明提供了一种基于多模态数据知识对图像对中的原始MR扫描图像和原始PET扫描图像图像对进行MST分解，得到低频系数矩阵和高频融合高频系数矩阵集进行MST重建以得到目标融2对待融合图像对中的原始MR扫描图像和原始PET扫描图像进行预处理，得到对齐的待原始MR扫描图像和所述目标MR扫描图像均为灰度图像，所述原始PET扫描图像和所述目标将所述目标PET扫描图像转换为目标PET扫描灰度图像，并将所述目标对所述目标MR扫描图像和目标PET扫描灰度图像进行MST分解，得到所述像对应的第一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像对应的第基于所述权重图分别对低频系数矩阵和高频系数矩阵进行融合，并阵和融合高频系数矩阵集进行MST重建以得到所述待融合图像对所述孪生神经网络包括：结构相同的第一输入分支和第二输入分支、全连接层和softmax所述第一输入分支和第二输入分支均包括依次连接的第一卷积层、所述第一输入分支和第二输入分支的第三卷积层均与全连接层连接，所所述第一输入分支和第二输入分支的输入patch图像的尺寸为所述孪生神经网络是基于医学图像样本集及预先确定的样本标签训所述医学图像样本集中包括多个医学图像样本对，任一目标医学图标医学图像样本对中清晰patch图像样本作为第一输入分支的输入patch图像，且模糊所述标准医学图像为标准MR扫描图像或标准PET所述对待融合图像对中的原始MR扫描图像和原始PET扫描图像进行预处理，得到对齐的待基于原始MR扫描图像和原始PET扫描图像的特征点的关联描述符，确定原始MR扫描图基于变换模型对所述原始MR扫描图像或原始PET扫描图像进行变换以得到对齐的待融3将所述目标PET扫描图像从RGB颜色空间转换为IHS颜色空间，并提取所述目标PET扫描图像IHS颜色空间中的强度分量作为目标PE基于所述高频权重矩阵集对所述第一高频系数矩阵集和第二高频系数矩阵集进行融其中，所述第一高频系数矩阵集、所述第二高频系集中的高频系数矩阵数量，所述高频权重矩阵集中的高频权重矩阵数量均为MST分解对应基于所述目标融合图像及所述目标PET扫描图像IHS颜色空间中的色调分量和饱和度权重图获取模块，用于将所述目标PET扫描图像转换为目标PET扫描灰度图述目标MR扫描图像和所述目标PET扫描灰度图像输入训练好的孪生神经网络，得到待融合所述目标MR扫描图像对应的第一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像对应的第二低频系数矩阵和第二高频系数矩融合模块，用于基于所述权重图分别对低频系数矩阵和高频系融合低频系数矩阵和融合高频系数矩阵集进行MST重建以得到所述待融合图像对对应的目9.一种电子设备，包括存储器、处理器及存储在机程序被处理器执行时实现如权利要求1至7任一项所述的基于多模态数据知识对齐融合4影像技术，主要用于恶性肿瘤的诊断以及良恶性病变的鉴别诊断。为了保证大脑疾病诊断的准确性，现有技术通常会通过PET扫描图像获取血液通过大脑动脉和静脉的循环信息，通过MR扫描图像获取大脑的物理解剖或结构信息，并将两种模态的图像进行融合以获得更优质的信息和更好的视觉外观，避免单模态扫描图像中的模糊或不确定区域对后续诊断精度的影响。现有技术对PET扫描图像和MR扫描图像进行融合得到的融合图像对待融合图像对中的原始MR扫描图像和原始PET扫描图像进行预处理，得到对齐所述原始MR扫描图像和所述目标MR扫描图像均为灰度图像，所述原始PET扫描图像和所述和所述目标PET扫描灰度图像输入训练好的孪生神经网络，得到待融合图像对匹配的权重描图像对应的第一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像对应数矩阵和融合高频系数矩阵集进行MST重建以得到所述待融合图像对对应的目标融合图5所述第一输入分支和第二输入分支均包括依次连接的第一卷积层、第二卷积层、所述第一输入分支和第二输入分支的输入patch图像的尺寸为所述标准医学图像为标准MR扫描图像或标准PET分别提取原始MR扫描图像和原始PET扫描图像的特征点，并确定特征点的关联描基于原始MR扫描图像和原始PET扫描图像的特征点的关联描述符，确定原始MR扫基于变换模型对所述原始MR扫描图像或原始PET扫描图像进行变换以得到对齐的将所述目标PET扫描图像从RGB颜色空间转换为IHS颜色空间，并提取所述目标PET扫描图像IHS颜色空间中的强度分量作为目基于所述高频权重矩阵集对所述第一高频系数矩阵集和第二高频系数矩阵集进矩阵集中的高频系数矩阵数量，所述高频权重矩阵集中的高频权重矩阵数量均为MST分解基于所述目标融合图像及所述目标PET扫描图像IHS颜色空间中的色调分量和饱6对齐模块，用于对待融合图像对中的原始MR扫描图像和原始PET扫描图像进行预将所述目标MR扫描图像和所述目标PET扫描灰度图像输入训练好的孪生神经网络，得到待得到所述目标MR扫描图像对应的第一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像对应的第二低频系数矩阵和第二高频系数融合模块，用于基于所述权重图分别对低频系数矩阵和高频系数矩阵进行融合，并对融合低频系数矩阵和融合高频系数矩阵集进行MST重建以得到所述待融合图像对对应待融合图像对中的原始MR扫描图像和原始PET扫描图像进行预处理，得到对齐的待融合图扫描图像和所述目标PET扫描灰度图像输入训练好的孪生神经网络，得到待融合图像对匹MR扫描图像对应的第一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像高频系数矩阵进行融合，并对融合低频系数矩阵和融合高频系数矩阵集进行MST重建以得7[0017]图1为本发明提供的一种基于多模态数据知识对齐融合的数据处理方法的流程示图5为本发明提供的一种基于多模态数据知识对齐融合的数据处理装置的结构框[0019]下面将对本发明实施例中基于多模态数据知识对齐融合的数据处理方法与装置[0020]图1为本发明实施例提供的一种基于多模态数据知识对齐融合的数据处理方法的步骤101，对待融合图像对中的原始MR扫描图像和原始PET扫描图像进行预处理，[0021]具体的，所述待融合图像对中的原始MR扫描图像和原始PET扫描图像是对人体大步骤1013，基于原始MR扫描图像和原始PET扫描图像的匹配特征点，确定变换模步骤1014，基于变换模型对所述原始MR扫描图像或原始PET扫描图像进行变换以8变换模型对所述原始MR扫描图像或原始PET扫描图像进行变换以得到对齐的待融合图像扫描图像和所述目标PET扫描灰度图像输入训练好的孪生神经网络，得到待融合图像对匹将所述目标PET扫描图像从RGB颜色空间转换为HIS（Intensity_Hue_[0025]可以理解的是，所述目标PET扫描图像IHS颜色空间中的强度分量即为目标PET扫所述第一输入分支和第二输入分支均包括依次连接的第一卷积层、第二卷积层、所述第一输入分支和第二输入分支的输入patch图像的尺寸为9值得注意的是，所述权重图的尺寸与所述目标MR扫描图像和所述目标PET扫描灰度图像的所述标准医学图像为标准MR扫描图像或标准PET于目标医学图像样本对中的来自同一个标准医学图像同一区域的模糊patch图像样本，可通过对清晰patch图像样本进行模糊化处理得到。对于模糊化处理的具体方法可采用高斯应的第一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像对应的第二低一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像对应的第二低频系数合低频系数矩阵和融合高频系数矩阵集进行MST重建以得到所述待融合图像对对应的目标通常用于高频域，然而该方式会导致在所述目标MR扫描图像和目标PET扫描灰度图像之间矩阵集中的高频系数矩阵数量，所述高频权重矩阵集中的高频权重矩阵数量均为MST分解第二高频系数矩阵集和所述融合高频系数矩阵集中的高频系数矩阵数量均为MST分解对应于此可以理解的是，所述高频权重矩阵集中的高频权重矩阵数量也为MST分解对应的各层目标MR扫描图像和目标PET扫描灰度图像中的像素值[0036]对于融合高频系数矩阵集中层数l，方向k对应的高频系;的距离；L;(i+mj+n)表示源图像S在位置(i+m,j+n)的像素值，是计算活动水平时所需的;基于所述目标融合图像及所述目标PET扫描图像IHS颜色空间中的色调分量和饱[0040]本发明提供的方案，通过对待融合图像对中的原始MR扫描图像和原始PET扫描图图像进行MST分解，得到所述目标MR扫描图像对应的第一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像对应的第二低频系数矩阵和第二高频系数矩阵集；基于高频系数矩阵集进行MST重建以得到所述待融合图像对对应的目标融合图像，能够利用孪[0041]图5为本发明实施例提供一种基于多模态数据知识对齐融合的数据处理装置的结并将所述目标MR扫描图像和所述目标PET扫描灰度图像输入训练好的孪生神经网络，得到PET扫描灰度图像对应的第二低频系数矩阵和第二高频系数矩阵融合模块204，用于基于所述权重图分别对低频系数矩阵和高频系数矩阵进行融合，并对融合低频系数矩阵和融合高频系数矩阵集进行MST重建以得到所述待融合图像对[0042]本发明提供的方案，通过对齐模块201对待融合图像对中的原始MR扫描图像和原目标MR扫描图像和目标PET扫描图像，所述原始MR扫描图像和所述目标MR扫描图像均为灰解模块203对所述目标MR扫描图像和目标PET扫描灰度图像进行MST分解，得到所述目标MR扫描图像对应的第一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像对应的第二低频系数矩阵和第二高频系数矩阵集；融合模块204基于所述权重图分别对低频系数矩阵和高频系数矩阵进行融合，并对融合低频系数矩阵和融合高频系数矩阵集进行MST重建以得到所述待融合图像对对应的目标融合图像，能够利用孪生神经网络待融合图所述第一输入分支和第二输入分支均包括依次连接的第一卷积层、第二卷积层、所述第一输入分支和第二输入分支的输入patch图像的尺寸为所述标准医学图像为标准MR扫描图像或标准PET分别提取原始MR扫描图像和原始PET扫描图像的特征点，并确定特征点的关联描基于原始MR扫描图像和原始PET扫描图像的特征点的关联描述符，确定原始MR扫基于变换模型对所述原始MR扫描图像或原始PET扫描图像进行变换以得到对齐的将所述目标PET扫描图像从RGB颜色空间转换为IHS颜色空间，并提取所述目标PET扫描图像IHS颜色空间中的强度分量作为目基于所述高频权重矩阵集对所述第一高频系数矩阵集和第二高频系数矩阵集进矩阵集中的高频系数矩阵数量，所述高频权重矩阵集中的高频权重矩阵数量均为MST分解基于所述目标融合图像及所述目标PET扫描图像IHS颜色空间中的色调分量和饱描灰度图像，并将所述目标MR扫描图像和所述目标PET扫描灰度图像输入训练好的孪生神进行MST分解，得到所述目标MR扫描图像对应的第一低频系数矩阵和第一高频系数矩阵集及所述目标PET扫描灰度图像对应的第二低频系数矩阵和第二高频系数矩阵集；基于所述系数矩阵集进行MST重建以得到所述待融合图像对对应的目标[0050]此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以时，计算机能够执行上述各方法所提供的基于多模态数据知识对齐融合的数据处理方法，齐的待融合图像对；所述对齐的待融合图像对中包括：目标MR扫描图像和目标PET扫描图述目标PET扫描图像均为RGB图像；将所述目标PET扫描图像转换为目标PET扫描灰度图像，并将所述目标MR扫描图像和所述目标PET扫描灰度图像输入训练好的孪生神经网络，得到待融合图像对匹配的权重图；对所述目标MR扫描图像和目标PET扫描灰度图像进行MST分PET扫描灰度图像对应的第二低频系数矩阵和第二高频系数矩阵集；基于所述权重图分别进行MST重建以得到所述待融合图像对对应的目图像进行MST分解，得到所述目标MR扫描图像对应的第一低频系数矩阵和第一高频系数矩阵集及所述