CN119379730B 基于图像间关联信息的病灶分割方法、设备、介质及产品 （首都师范大学）

(19)国家知识产权局(12)发明专利地址100048北京市海淀区西三环北路105号(72)发明人丁辉鲁嘉铖尚媛园刘铁邵珠宏赵晓旭霍其润王恺文孙鑫雨(74)专利代理机构北京高沃律师事务所11569GO6N3GO6N3审查员于利娜基于图像间关联信息的病灶分割方法、设本申请公开了一种基于图像间关联信息的序列输入到训练后的Mesh-SSMUNet序列分割模征提取单元采用串联连接的2D选择性扫描模块网状传播可选性扫描模块组用于对输入的图像打乱切片序列待分割切片序列一阶段训练二阶段训练21.一种基于图像间关联信息的病灶分割方法，其特征在于，所述基于图像间关将所述待分割肿瘤切片序列输入到训练后的Mesh-SSMUNet序列分割模型中，得出病所述网状传播可选性扫描模块组包括层注意力机制模块和多个串联连接的Mesh-Cast所述Mesh-CastSSM模块，用于将对应的2D选择性扫描模块输出的图像序列在序列和2.根据权利要求1所述的基于图像间关联信息的病灶分割方法，其特征在于，将每一将其他权重值对应的输出特征确定为辅助的输出特征；其他权重将所述最均衡的输出特征和第一个Mesh-CastSSM模块的输入数据进行相乘后，与所式中，Yfinal表示融合特征；Xinput表示第一个Mesh-CastSSM模块的输入数据；4.根据权利要求1所述的基于图像间关联信息的病灶分割方法，其特征在于，所述所述第一选择性扫描单元，用于对对应的输入图像序列在序3所述第二选择性扫描单元，用于将所述第一重组后的序列在序列和通道维度上进行注5.根据权利要求1所述的基于图像间关联信息的病灶分割方法，其特征在于，所述获取原始模型训练数据集；所述原始模型训练数据集中包括多个肿瘤切片样本序列和对所述原始模型训练数据集中所述肿瘤切片样本序列的肿瘤切片样本进行数据集全以所述打乱后的模型训练数据集中的肿瘤切片样本序列为输入，以对应的病灶当所述第一模型损失误差收敛时，得出第一阶段训练后的Mesh-SSMUNet序列分割模以所述原始模型训练数据集中的肿瘤切片样本序列为输入，以对应的病灶区分割结果当所述第二模型损失误差收敛时，得出第二阶段训练后的Mesh-SSMUNet割模型。失Laice和交叉熵损失Lbce;λ高度；Pij表示病灶区分割结果样本预测图像P中(i,j)处的像素值；Tij表示病灶区分割结4计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-6中任一项所述的基于图像间关联信息的病灶分割方法。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于图像间关联信息的病灶分割方法。9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于图像间关联信息的病灶分割方法。5基于图像间关联信息的病灶分割方法、设备、介质及产品技术领域[0001]本申请涉及图像处理领域，特别是涉及一种基于图像间关联信息的病灶分割方背景技术[0002]医学图像分割技术通过将图像中的关键区域与背景进行分割，为医生提供了重要的视觉信息，有助于精确标注和分析疾病状态。其中脑部肿瘤分割是一项具有挑战性的任务。它的目标是从脑部MRI图像中准确提取和标注出颅内肿瘤区域。由于脑肿瘤的高致死率和难以根治的特征，准确地定位病灶区域对于后续治疗至关重要。计算机辅助诊断技术的快速发展使得医生能够借助计算机的图像分析能力更准确地诊断病情和肿瘤情况。然而，脑肿瘤不规则的边界，多变的位置和复杂的纹理以及MRI中灰度不均匀、类间对比度低、边缘模糊等特点，使得达到稳定和精准的分割性能成为了当前研究中广泛讨论的主题。[0003]随着深度学习技术的发展，尤其是卷积神经网络(CNN)广泛应用，借助卷积神经网络强大的特征提取能力，深度学习算法逐渐成为MRI脑肿瘤图像分割任务的主流，使得基于深度学习的图像分割方法能够利用其自我学习能力在脱离人工干预的同时更好地学习与任务相关的图像特征。UNet及其各种变体在脑肿瘤图像分割领域取得了显著的效果并展现出了强大的潜力。[0004]通常情况下，脑肿瘤图像数据会以三维图像或二维切片的方式进入各类模型完成分割任务。然而由于脑肿瘤MRI切片间存在病灶位置及尺寸等空间特征的连续性，二维模型完全沉溺在单张图像的特征中，三维模型尽管能够通过牺牲大量计算量来获得一定的空间特征提取能力，其也较难完成对序列连续信息的特化处理。从自然语言处理领域移植的序列模型如LSTM、Transformer以及MambaSSM等更多地被应用于由单张图像块或图像窗组成的内部序列，将脑肿瘤MRI切片作为序列输入并设计相关算法的研究仍然较少。发明内容[0005]本申请的目的是提供一种基于图像间关联信息的病灶分割方法、设备、介质及产品，提高了病灶区域分割的精度。[0007]第一方面，本申请提供了一种基于图像间关联信息的病灶分割方法，包括如下步骤。[0008]获取待分割肿瘤切片序列。[0009]将所述待分割肿瘤切片序列输入到训练后的Mesh-SSMUNet序列分割模型中，得出病灶区分割结果序列；所述Mesh-SSMUNet序列分割模型采用改进的UNet网络模型；在所述改进的UNet网络模型中，编码器的各编码层中的视觉特征提取单元采用串联连接的2D选择性扫描模块和网状传播可选性扫描模块组，解码器的各解码层中的视觉特征提取单元采用2D选择性扫描模块；所述网状传播可选性扫描模块组用于对对应的2D选择性扫描模块输6出的图像序列提取图像序列间的关联特征；所述待分割肿瘤切片序列输入至所述编码器的第一个编码层中，所述病灶区分割结果序列由所述解码器的最后一个解码层输出。[0010]第二方面，本申请提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述的基于图像间关联信息的病灶分割方法。[0011]第三方面，本申请提供了一种计算机可读算机程序被处理器执行时实现上述的基于图像间关联信息的病灶分割方法。[0012]第四方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的基于图像间关联信息的病灶分割方法。[0013]根据本申请提供的具体实施例，本申请公开了以下技术效果。[0014]本申请提供了一种基于图像间关联信息的病灶分割方法、设备、介质及产品，其中，方法包括获取肿瘤切片序列；将肿瘤切片序列输入到训练后的Mesh-SSMUNet序列分割模型中，得出病灶区分割结果序列；所述Mesh-SSMUNet序列分割模型采用改进的UNet网络模型；在所述改进的UNet网络模型中，编码器的各编码层中的视觉特征提取单元采用串联连接的2D选择性扫描模块和网状传播可选性扫描模块组，解码器的各解码层中的视觉特征提取单元采用2D选择性扫描模块；所述网状传播可选性扫描模块组用于对对应的2D选择性扫描模块输出的图像序列提取图像序列间的关联特征。本申请中，以肿瘤切片序列为分割模型的输入数据，并设计了一种Mesh-SSMUNet序列分割模型，能够学习来自序列以及特征之间的序列关联特征，提高了病灶区域的分割精度。附图说明[0015]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0016]图1为本申请一实施例中一种基于图像间关联信息的病灶分割方法的应用环境[0017]图2为本申请一实施例提供的一种基于图像间关联信息的病灶分割方法的流程示[0018]图3为本申请一实施例提供的Mesh-SSMUNet序列分割模型的结构示意图。[0019]图4为本申请一实施例提供的网状传播可选性扫描模块组(Mesh-CastSSMGroup)的结构示意图。[0020]图5为本申请一实施例提供的一种计算机设备的结构示意图。具体实施方式[0021]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他7[0022]使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。[0023]本申请实施例提供的基于图像间关联信息的病灶分割方法，具体为基于医学序列图像间关联信息的病灶分割方法，可以应用于如图1所示的应用环境中。其中，终端通过网络与服务器进行通信。数据存储系统可以存储服务器需要处理的数据。数据存储系统可以单独设置，也可以集成在服务器上，也可以放在云上或其他服务器上。终端可以将待分割的肿瘤切片序列向服务器发送，服务器接收到待分割的肿瘤切片序列后，服务器待处理的肿瘤切片序列输入到训练后的Mesh-SSMUNet序列分割模型中，得出病灶区分割结果序列；所述Mesh-SSMUNet序列分割模型采用改进的UNet网络模型；在所述改进的UNet网络模型中，编码器的各编码层中的视觉特征提取单元采用串联连接的2D选择性扫描模块和网状传播可选性扫描模块组，解码器的各解码层中的视觉特征提取单元采用2D选择性扫描模块；所述网状传播可选性扫描模块组用于对对应的2D选择性扫描模块输出的图像序列提取图像序列间的关联特征。服务器可以将得到的病灶区分割结果序列向终端进行反馈。此外，在一些实施例中，基于图像间关联信息的病灶分割方法也可以单独由服务器或者终端实现，如可以由终端直接针对待分割的肿瘤切片序列进行病灶分割处理，也可以由服务器从数据存储系统中获取待分割的肿瘤切片序列并进行病灶分割处理。联网设备和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务[0025]在一个示例性的实施例中，如图2和图3所示，提供了一种基于图像间关联信息的病灶分割方法，该方法由计算机设备执行，具体可以由终端或服务器等计算机设备单独执行，也可以由终端和服务器共同执行，在本申请实施例中，以该方法应用于图1中的服务器为例进行说明，包括以下步骤101至步骤102。[0026]步骤101,获取待分割肿瘤切片序列(即待分割切片序列)。待分割肿瘤切片序列是采用现有的切片手段对三维肿瘤图像进行切片处理得出的二维切片序列。[0027]因为医学图像是一个三维存储表达，目前在脑肿瘤分割算法中，大多数采用的是切片后随机划分，这些切片之间没有一定的顺序关联，本申请中，使用了按顺序切片方式保留图像之间的序列相邻的关联，这样两个切片之间有空间的相似性，如病灶区域连续等。[0028]步骤102,将所述待分割肿瘤切片序列输入到训练后的Mesh-SSMUNet序列分割模[0029]所述Mesh-SSMUNet序列分割模型(MeshSelectiveScanningModuleUNetSequentialSegmentationModel,序列图像网状可选性扫描模块U型分割模型),主要包括视觉序列通道特征状态空间模块组(Mesh-CastSSMGroup)与使用V-Mamba中的2D选择性扫描模块(简称SS2D模块，也称为SS2D视觉特征提取模块)作为传统视觉模块的UNet骨架。其中，视觉序列通道特征状态空间模块组也可称为网状传播可选性扫描模块组。进一步的，Mesh-SSMUNet序列分割模型以编码器-解码器结构为基础框架，使用SS2D模块作为每层中的视觉特征提取单元。在提取二维视觉特征后，在编码器的每层使用Mesh-CastSSMGroup提取序列特征。因此，所述Mesh-SSMUNet序列分割模型采用改进的UNet网络模型；在所述改进的UNet网络模型中，编码器的各编码层中和解码器的各解码层中的视觉特征提取单元8均采用SS2D模块；每一所述编码层的SS2D模块的输出端还连接有网状传播可选性扫描模块组(Mesh-CastSSMGroup)。传统UNet网络模型中，各编码层和解码层中的视觉特征提取单元采用的是卷积模块，本申请中，对于编码层中的视觉特征提取单元，采用SS2D模块+网状传播可选性扫描模块组(Mesh-CastSSMGroup)所构成的结构替换了卷积模块，对于解码层中的视觉特征提取单元采用SS2D模块替换了卷积模块。对于编码器和解码器的其他结构并未做改变，比如编码层和解码层之间的跳跃连接方式等。[0030]所述网状传播可选性扫描模块组(Mesh-CastSSMGroup),具有多通道图像序列的处理能力，其用于对对应的SS2D模块输出的图像序列提取图像序列间的关联特征。这里对应的SS2D模块是指与网状传播可选性扫描模块组连接的SS2D模块。[0031]所述待分割肿瘤切片序列输入至所述编码器的第一个编码层中，所述病灶区分割结果序列由所述解码器的最后一个解码层输出。待分割肿瘤切片序列中的一个肿瘤切片对应一个病灶区分割结果。待分割肿瘤切片序列是一个多模态MRI切片序列或者多模态CT切片序列，可表示为X={x₁,X₂,….,xT},其中xt∈RH×W×C是单个多模态MRI切片或[0032]编码器中的编码层和解码器中的解码层的层数可以根据需求设置。[0033]本申请中，鉴于大部分研究忽视了脑肿瘤切片中的序列关联，现有分割手段在精确分割脑肿瘤病灶任务中仍然存在局限性，本申请，设计出了适用于脑肿瘤数据的序列分割模型，即Mesh-SSMUNet序列分割模型，跳出了二维切片图像或三维图像的处理局限，将脑肿瘤切片序列作为输入。并且在分割模型中，通过网状传播操作将MambaSSM应用于序列和通道维度，设计了网状传播可选性扫描模块组(Mesh-CastSSMGroup),用于对对应的SS2D模块输出的图像序列提取图像序列间的关联特征，使得分割模型能够充分学习来自序列以及特征之间的序列关联特征，提高了病灶区域分割的精度。[0034]本申请另一个示例性的实施例中，网状传播可选性扫描模块组(Mesh-CastSSMGroup)是Mesh-SSMUNet序列分割模型的核心模块，用于在序列和通道维度上增强特征提4个Mesh-CastSSM模块通过层级注意力机制模块(Layer-AttentionModule)组合而成。其择性扫描模块)作为核心运算符。S6模块是最近提出的Mamba算法中的一个核心模块，实现跨序列切片之间的动态特征捕捉。S6模块用于感知图像序列之间的时空特征，通过状态空间模型在序列维度上选择性扫描切片，捕捉病灶在不同切片中的关联特征，此模块能够将序列的时序信息整合到模型的特征表示中，提升对病灶区域的捕捉能力。其中，在网状传播可选性扫描模块组中，将选择性扫描模块称为选择性扫描单元(S6单元),S6单元结合层注意力机制模块逐层增强网络的特征表示能力。[0035]在S6单元中，通过状态空间模型对序列特征关联进行选择性感知，每个元素通过压缩隐藏状态与先前扫描的任何样本进行交互，从而使模型理解序列间的帧间共性关联，其计算过程被定义为如下过程。[0036]首先，输入序列x(t)被映射到一个隐状态空间，通过状态空间模型的形式进行处理。隐状态h(t)初始化为零向量或其他设定的初始状态。9[0037]在状态更新过程中，S6单元利用状态空间模型(SSM)进行计算。基本的状态更新方程如下式。[0040]其中：A是状态转移矩阵，表示隐状态随时间的变化。B是输入影响矩阵，将输入作用于输入x(t)来影响输出y(t)。这些矩阵参数A,B,C,D是通过学习得到的。[0041]为了提高计算效率，S6单元通过选择性扫描机制有效减少了计算复杂度，使其能够在不丧失全局感受野的情况下，实现线性复杂度的计算。[0042]基于上述内容，如图4所示，所述网状传播可选性扫描模块组(Mesh-CastSSMGroup)包括层注意力机制模块和多个串联连接的Mesh-CastSSM模块；每一所述Mesh-CastSSM模块的输出端还连接所述层注意力机制模块的输入端。[0043]所述Mesh-CastSSM模块，用于将对应的SS2D模块输出的图像序列在序列和通道维度上进行选择性感知以感知肿瘤病灶的序列变化。对应的SS2D模块是指与所述Mesh-[0044]所述层注意力机制模块，用于将每—Mesh-CastSSM模块的输出进行融合，得出融合特征。[0045]本申请另一个示例性的实施例中，网状传播可选性扫描模块组(Mesh-CastSSMGroup)用于在序列和通道维度上增强特征提取能力，其主要包含使用Mesh-Cast算法以及应用S6算法的Mesh-CastSSM模块，其目的是针对具有多通道的MRI(或CT)序列在序列和通道维度上进行选择性感知，将模型注意力集中在病灶的序列变化中，如图4所示。以一个Mesh-CastSSM模块为例，首先将其输入图像序列的帧数T作为序列长度，将通道数C作为模型维度，输入第一个选择性扫描单元S6进行注意力感知处理。这里，第一个选择性扫描单元S6的输入图像序列X可以表示为下式。[0047]第一个选择性扫描单元S6产生的输出用下式表示。[0048]X=S6(X),X∈RT×H×W×C。[0049]随后，将X中的输入的通道数C视为序列长度，将帧数T作为模型维度进行重组。重组后的序列表示为下式。[0051]接下来，将重组后的序列输入到第二个选择性扫描单元S6进行注意力感知处理，输出用下式表示。[0052]X=S6(X'),X∈RC×H×W×T。[0053]最终，再将输出X'重组为初始维度(即以帧数T作为序列长度，以通道数C作为模型维度),得到在序列及通道维度均经过选择性扫描的感知输出，输入到串联的下一个[0055]所述第一选择性扫描单元，用于对对应的输入图像序列(即输入到第一选择性扫应X);所述第一选择性扫描单元的输入图[0059]每个Mesh-CastSSM模块中还包含用于维度重组和链接的Mesh-Cast结构(即第[0060]本申请另一个示例性的实施例中，网状传播可选性扫描模块组[0061]设第m个Mesh-CastSSM模块的输入为Xm,其输出为Ym。串联关系可以表示为下Group)的结构允许模型逐渐增强对输入数据中病灶特征的捕捉能力。[0065]对于每一层的Mesh-CastSSM模块的输出特征为Ym(m=1,2,3,4),通过基于SE的接与输入信息Xinput相乘，对各层的输出特征作为辅助信息进行加权相加。以4个Mesh-[0072](1)应用基于SE模块的层级注意力机制计算每一Mesh-CastSSM模块的输出特征[0075](4)将所述最均衡的输出特征和第一个Mesh-CastSSM模块的输入数据进行相乘示Mesh-CastSSM模块的数量。以被视为序列图像的不同频率导致的差异。为此，提出了SOST策略(Shuffled-Ordered为一个样本，每个肿瘤切片样本序列Fg包含t个元素。即初始输入的原始样本数据集F={F₁,F₂…Fg…FG},每个肿瘤切片样本序列Fg表示为下式。[0084]其中，fgt表示原始样本数据集中打乱后的任意序列元素。这些序列的元素将被进行数据集全局范围的完全打乱，即每个新序列的元素可能来自任意其他序列中的任意位本序列和对应的病灶区分割结果样本序列；每一肿瘤切片样本序列包括多个肿瘤切片样[0089](3)以所述打乱后的模型训练数据集中的肿瘤切片样本序列为输入，以对应的病序列分割模型。[0104]其中，Ldicek和Lbcek分别代W和H分别表示图像的宽度和高度；Pij表示病灶区分像T中第i个像素值；T表示最小常数；λ是平衡不同损失的权重值，取值范围是0<λ<1。输出通道k的取值是指三个输出通道，具体是指脑肿瘤的三个关注区域：增强肿瘤区域[0107]考虑到MRI图像中的黑色背景对分割没有帮助，为了消除目标和背景数据之间的[0109]所有的算法将使用DiceScore和Hausdorff95Dictance评估和衡量算法效果。[0113]Haus(A,B)=max(maxsaes[0115]为了分析所提出的Mesh-CastSSMGroup中序练策略对性能的影响，本申请使用VisionMamba作为基础编码模块的U型网络(Mamba列SSM,包含序列和通道信息的Mesh-CastSSMGroup取得了最优的效果。在同样使用Shuffle序列(打乱序列)输入情况下的实验结果也表明在编码器中使用Mesh-CastSSMGroup相比不使用或在编码器和解码器中都使用效果更好。这表明在编码器部分使用带有也将作为Mesh-SSMUNet序列分割模型的最终配置。[0119]如表2所示，示出了在BRATS-2019数据集上与其他医学图像分割方法的对比结果。将所提出的Mesh-SSMUNet序列分割模型与几种先进的方法进行对比测试，包括U-Net、MambaUNet。为了确保公平的比较，每个算法将使用相同的数据集以及损失函数，所有算法的训练轮次均遵循最大300轮的早停策略，早停轮次为30。最优指标以粗体下划线表示，而次优指标仅以粗体表示。表2中的指标表明，所提出的Mesh-SSMUNet序列分割算法(即Mesh-SSMUNet序列分割模型)在每个区域的每个指标上优于以上的所有算法，且具有较大的Dice分数以及1.2869、0.8154以及0.6571的Hausdorff95分数，达到了目前的最高水平。[0120]表2在BRATS-2019数据集上与其他医学图像分割方法的对比结果[0122]在BRATS-2019数据集上的实验结果表明，所提出的方法在分割精度和视觉质量方面相比于已有的算法取得了明显的提升，达到了目前的最高水平。[0123]本申请的有益效果如下。[0124](1)可以从以上的实验结果中看到，本申请提高了病灶分割准确性。[0125](2)本申请的算法能够适应不同类型的医学图像分割需求，对于三维的MRI图像或CT图像都可以用该方法进行更有效的分割。可以为医生提供更精确的图像分析结果，辅助做出更准确的临床决策。尤其是随机原序训练策略还可以单独的应用到其他的序列图像处理中，如自然场景的目标跟踪检测等应用。[0126]本申请还提供一种应用场景，该应用场景应用上述的基于图像间关联信息的病灶分割方法。具体地：本实施例提供的基于图像间关联信息的病灶分割方法，可以应用在肿瘤图像处理场景中。该场景包括图像切片处理环节、图像处理环节和处理结果展示环节；图像切片处理环节用于基于肿瘤三维图像，采用现有切片处理手段得出肿瘤切片序列；图像处理环节用于获取肿瘤切片序列，并将肿瘤切片序列输入到训练后的Mesh-SSMUNet序列分割模型中，得出病灶区分割结果序列；处理结果展示环节用于对病灶区分割结果进行展示。本实施例提供的基于图像间关联信息的病灶分割方法属于图像处理环节。[0127]在一示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器或者终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/0)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储病灶区分割结果。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图像间关联信息的病灶分割方法。[0128]本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行