CN115565671B 基于跨模型相互教学半监督的房颤辅助分析方法 （河北工业大学）

AU2020103715A4,2021基于跨模型相互教学半监督的房颤辅助分本发明为基于跨模型相互教学半监督的房分析。该方法通过跨模型相互教学的半监督机2S1、在训练阶段采用包含随机翻转、对比度增强基于卷积神经网络的编码器包括多个级联的编码器层，每个编码器层均包含卷积层、3D可变形的Transformer编码器由多个3D可变形的Tra基于卷积神经网络的编码器提取的空间特征图输入到3D可变形的Transformer编码器层利用3D可变形的多头自注意力机制使3D可变形的Transformerr编码器只关注空间特征图的部分像素点，3D可变形的自注意力机制是将注意力机制在Z轴方向拓展得到，表达式式中，TDDeforattn(a,,i,,{f'光-2)表示3D可变形的多头注意力机制，zq表示像素点的q坐标，表示z的归一化坐标，表示多尺度空间特征图，m表示多头注意力机制的自q基于卷积神经网络的解码器包括与编码器层数量相同的解码器iCEiiDICEii)分别表示左心房分割预测图pi与真实标签yi之间的交叉对于未标签数据，使用跨模型相互教学的半监督训练，3D心脏核磁3其中，[0]、:[1]分别表示左心房分割预测图的前景和背景，γ和β分别表示前景阈值模型提供的伪标签左心房分割预测图pi包括教师模型和学生模型的预测S4、对同一张3D心脏核磁共振图像生成的多张左2.根据权利要求1所述的基于跨模型相互教学半监督的房颤辅助分析方法，其特征在于，在步骤S4中，从重建后的左心房分割预测图中获取左心房的体积LAv、左心房前后径dsi中的最大值作为左心房3.根据权利要求1或2所述的基于跨模型相4影像来说获取大量的标签数据是一个费时费力的过程，标签结果受到医生主观影像较大。时也会累积参数中的错误知识，这样不能够保证教师模型能够提供更好的伪标签进行监方法对于全局信息和长依赖信息的建模能力有限，而且大多数医学影像都是基于3D结构5[0010]3D可变形的Transformer编码器由多个3D可变形的Transformer编码器层堆叠而[0011]基于卷积神经网络的编码器提取的空间特征图输入到3D可变形的Transformer编意力层利用3D可变形的多头自注意力机制使3D可变形的Transformerr编码器只关注空间q点的坐标，表示z的归一化坐标，表示多尺度空间特征图，m表示多头注意力机制q点的采样偏移量和注意力权重；表示将归一化坐标转换为对应的第l个空间特征6[0020]其中，:[0]、i[1]分别表示左心房分割预测图的前景和背景，γ和β分别表示前为教师模型提供的伪标签左心房分割预测图pi包括教师表示学生模型的预测结果与伪标签的二交叉熵损失；对3D心脏核磁共振图像进行分割，本发明在卷积神经网络中引入可变形的Transformer构建模，以提取空间信息的优势。与传统的Transformer模块相比，本发明的3D可变形的7于卷积神经网络的编码器中进行特征提取，得到多尺度空间特征图，多尺度空间特征图表示为：[0047]S22、3D可变形的Transformer编码器由多个3D可变形的Transformer编码器层堆叠而成(本实施例为8个)，每个3D可变形的Tra83；将基于卷积神经网络的编码器的第二～四个编码器层提取的空间特征图输入到3D可变中，给定一个查询元素(例如分割区域的一个像素点)出与可学习的注意力权重进行线性聚合；本申请在传统Transformer模块的基础上进行改方面为了解决传统Transformer模块计算的是图像所有数据的权重，多头注意力的计算和[0049]因此，3D可变形的Transformer编码器首先通过3D位置编码器对输入的空间特征3D可变形的多头自注意力机制使3D可变形的Transformerr编码器只关注空间特征图的部分像素点；3D可变形的自注意力机制是将注意力机制在Z轴方向(即增加一个通道)拓展得i,if'-2)表示3D可变形的多头注意力机制，zq表示像素q点的坐标，表示z的归一化坐标，表示多尺度空间特征图，m表示多头注意力机制q点的采样偏移量和注意力权重；表示将归一化坐标转换为对应的第l个空间特征9局部信息的处理优势以及Transformer模块在长依赖信息中的优势，将步骤S2构建的左心[0057]为了保证跨模型相互教学中的教师模型和学生模型都可PF=Fr(r⃞)(5)供伪标签，令分别表示教师模型为学生模型提供的伪标签和学生模型为教师模型max(rs(xi))7)max(Fr(xi))(8)[0067]虽然伪标签与图像的模态无关，但是在训练过程中可能会存在大量错误的伪标[0069]其中，:[0]、:[1]分别表示左心房分割预测图的前景和背景，γ和β分别表示前为教师模型提供的伪标签式(9)中的左心房分割预测图pi包括教师模型的预测结果pf表示学生模型的预测结果与伪标签的二交叉熵损失；[0073]跨模型相互教学的策略损失函数结合了教师模型和学生模型对同一个未标签数