CN117237381B 对于缺失模态鲁棒的多模态mri脑瘤图像分割方法及系统 （上海交通大学）

对于缺失模态鲁棒的多模态MRI脑瘤图像分本发明提供了一种对于缺失模态鲁棒的多模态MRI脑瘤图像分割方法及系统，包括：步骤像数据进行预处理得到预处理后的多模态MRI图据分别输入多个不同的编码器_解码器3D_UNet处理后的多模态MRI图像数据在通道维度上进行合表征和各自模态的判别性表征基于注意力机表征和后交互融合表征分别输入不同的一层深2步骤S1：采集多模态MRI图像数据，并对多模态MRI图像步骤S2：将预处理后的多模态MRI图像数据中的单模态MR步骤S3：将预处理后的多模态MRI图像数据中的各单模态M步骤S4：将前交互融合表征和各自模态的判别性表征步骤S5：将各自模态的判别性表征、前交互融合表征和2.根据权利要求1所述的对于缺失模态鲁棒的多模态MR3.根据权利要求1所述的对于缺失模态鲁棒的多模态M所述编码器逐阶段地减少空间分辨率和增加表征通道数构建表征的金4.根据权利要求1所述的对于缺失模态鲁棒的多模态MRI脑瘤图像其中，CAT表示通道维度上连接的操作；δm表示模态m是否存在；xm表示模态m；Ω=将xPre输入至输入通道为4的前交互的编码器_解码器3D_UNet网络，得到5.根据权利要求1所述的对于缺失模态鲁棒的多模态M将第s阶段的编码器表征成s和第s+1阶段解码器表征进行上采样两倍后在通道3使用标准的分割损失函数Lseg进行约束，包含Dice损失Loice以及加权的交叉熵损失就是用于调整每个区域权重的一个值；6.根据权利要求1所述的对于缺失模态鲁棒的多模态MRI脑7.根据权利要求1所述的对于缺失模态鲁棒的多模态M4softmax得到各自的分割图Bnmeo,Jore和Jnos:对分割图进行二值化处理，得到四个区域8.根据权利要求1所述的对于缺失模态鲁棒的多模态MRI模块M1：采集多模态MRI图像数据，并对多模态MRI图像数据进行预处模块M2：将预处理后的多模态MRI图像数据中的单模态MRI图像数据分模块M3：将预处理后的多模态MRI图像数据中的各单模态MRI图像数据模块M4：将前交互融合表征和各自模态的判别性表征基于注意力机模块M5：将各自模态的判别性表征、前交互融合表征和后交互融合表10.根据权利要求9所述的对于缺失模态鲁棒的多模态MRI脑瘤图像分割系统，其特征所述编码器_解码器3D_UNet网络包括：四个阶段的编码器、瓶颈层和所述编码器逐阶段地减少空间分辨率和增加表征通道数构建表征的金其中，CAT表示通道维度上连接的操作；δm表示模态m是否存在；xm表示模态m；Ω=将xPre输入至输入通道为4的前交互的编码器_解码器3D_UNet网络，得到5对编码器_解码器3D_UNet网络不同阶级输出的将第s阶段的编码器表征成s和第s+1阶段解码器表征进行上采样两倍后在通道使用标准的分割损失函数Lseg进行约束，包含Dice损失Lpice以及加权的交叉熵损失就是用于调整每个区域权重的一个值；所述模块M4采用：基于注意力机制将不同的编码器_解码器3D_UNet网67[0003]多模态的脑瘤分割算法可以充分利用不同模态的MRI图像的互补性来提高分割的[0006]针对现有技术中的缺陷，本发明的目的是提供一种对于缺失模态鲁棒的多模态8不同的编码器_解码器3D_UNet网络得到各自层的输出输入到解码器中，解码器将瓶颈层提取的抽象表征映射回原始输入图像的分辨[0023]将第s阶段的编码器表征成s和第s+1阶段解码器表征进行上采样两倍后在通道维度进行融合，输入到一层卷积核大小为1x1x1的带有softmax函数的卷积神经网络，输出第s阶段对于脑瘤分割的预测图Jins:9经过Sigmoid函数得到对于表征的权重{wm}m∈Ω和wPre,基于权重对和Rex进行加[0037]fp"=Avgpool()ieQU{pre}层的输出还要过softmax函数，softmax作用于经过该卷积层和softmax得到各自的分割图和Jros:对分割图进行二值化处[0044]其中，和表示施加在每个模态上m的标准分割损失和多接几的分割损不同的编码器_解码器3D_UNet网络得到各自层的输出输入到解码器中，解码器将瓶颈层提取的抽象表征映射回原始输入图像的分辨[0060]将第s阶段的编码器表征和第s+1阶段解码器表征进行上采样两倍后在通道维度进行融合，输入到一层卷积核大小为1x1x1的带有softmax函数的卷积神经网络，{NCR/NET,ED,KT,Backgeound}是一个不同区域的集合,一共包含四个不同的区域，分别是得到的特征大小为Bx5C，输入到多层感知机中，多层感知机的输出通道数是5，再经过[0074]f"'=Avgpool(8)ie2u(prey出还要过softmax函数，softmax作用[0081]其中，和表示施加在每个模态上m的标准分割损失和多接几的分割损[0084]2、本发明通过单模态特有表征学习步骤充分挖掘和保留每个模态对于当前分割[0085]3、本发明为了促进单模态特有表征学习步骤和前交互表征学习步骤能充分学习[0087]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、[0092]如图1_2所示，本发明提供的一种基于前后交互学习的对于缺失模态鲁棒的多模[0095]前交互表征学习步骤：将经过预处理的可获得的多模态MRI图像在通道维度上进间相关性的表征以及单模态特有的判别性表征基于注意力机制的自适应地进行动态融合，s-3D_UNet模型，得到四个阶段的编码表征以及四个阶段的解码表征段的输出都进行监督，旨在使得学习到的表征对于脑部肿瘤位置和结构信息有充分的表ET,Background}是一个不同区域的集合,一共包含四个不同的区域，分别是坏死和非强化[0111]加权的交叉熵损失是考虑到不同分割区域的面积差异比较大的情况下来提高只[0113]多阶级的分割损失(Hierarchical_StageSegmentationLoss)函数也被定if)))卷积层的输出还要过softmax函数，softmax作用于输出的通道维度上。和fPost经过该卷积层和softmax得到各自的分割图和jposto[0122]标准的分割损失Lseg会对所有输[0125]本发明提供的一种基于前后交互学习的对于缺失模态鲁棒的多模态MRI脑瘤图像[0128]前交互表征学习模块：将经过预处理的可获得的多模态MRI图像在通道维度上进间相关性的表征以及单模态特有的判别性表征基于注意力机制的自适应地进行动态融合，3D_UNet模型，得到四个阶段的编码表征以及四个阶段的解码表征段的输出都进行监督，旨在使得学习到的表征对于脑部肿瘤位置和结构信息有充分的表ET,Background}是一个不同区域的集合,一共包含四个不同的区域，分别是坏死和非强化[0143]加权的交叉熵损失是考虑到不同分割区域的面积差异比较大的情况下来提高只[0145]多阶级的分割损失(Hierarchical_StageSegmentationLoss)函数也被定