CN119517277A 一种基于语义对齐的放射学报告生成方法 （齐鲁工业大学(山东省科学院)）

本申请公开的一种基于语义对齐的放射学本申请构建的放射学报告生成网络包括依次连和Transformer报告生成模块；所述多尺度特征提取模块包括依次连接的卷积神经网络以及多模块包括嵌入层以及与嵌入层相连接的多头注控融合模块的输入端还均与多尺度局部稀疏注2S1、构建放射学报告生成网络，放射学报告生成网模块的输入端还均与多尺度局部稀疏注意力模块的输出端度局部稀疏注意力模块用于增强图像区域特征图vs中每一个patch的特征，获得包含多尺得到包含跨模态信息的单模态融合表征，所述单模态嵌入E为单模态图像嵌入E(I)或者单模态图像嵌入E(R)，所述单模态融合表征为单模态融合图像表学报告样本序列之间的交叉熵损失Lre以及多标签对比损失Lme损失构成放射学报告S3、基于训练集以及放射学报告生成网络的总损S4、将待生成放射学报告的放射学图像输入到放2.根据权利要求1所述的基于语义对齐的放射学报告生成方法，其特征在于：步骤S1窗口操作从kh子向量和vh子向量中选择部分patch用于计算缩放点积注意力，得到加权后图像区域特征在空间维度上进行展平，得到包含丰富多尺度语义信息的单模态图像嵌入。3.根据权利要求2所述的基于语义对齐的放射学报告生成方法，其特征在于：步骤S1的超参数即卷积核大小k和膨胀率r的设置来选择其周围的patch，并得到新的键和新的34.根据权利要求1所述的基于语义对齐的放射学报告生成方法，其特征在于：步骤S1Sigmoid激活层的输出端分别连接第一个逐元素相乘模块和第二个逐元素相乘模块，第一5.根据权利要求1所述的基于语义对齐的放射学报告生成方法，其特征在于：步骤S16.根据权利要求5所述的基于语义对齐的放射学报告生成方法，其特征在于：步骤S1含多头自注意力机制和前馈神经网络，每个Transformer编码器层的参数设置为8个注意7.根据权利要求5所述的基于语义对齐的放射学报告生成方法，其特征在于：步骤S1含多头自注意力机制和前馈神经网络这两个部分，每个Transformer解码器层的参数设置8.根据权利要求1所述的基于语义对齐的放射学报告生成方法，其特征在于：步骤S2当前X光图像样本的标签完全不同的文本样本中选择与锚点余弦相似度最高的样本作为文X光图像样本中选择与锚点余弦相似度最高的样本作为图像负样本；然后基于确定的负样9.根据权利要求1所述的基于语义对齐的放射学报告生成方法，其特征在于：步骤S34据集中的训练集对放射学报告生成网络进行训练时，将IU_Xray数据集的配对图像输入到练集对放射学报告生成网络进行训练时，是将MIMIC_CXR数据集的单张图像输入到放射学5一些基于神经网络生成放射学报告的方法往往侧重于学习单模态特征而忽略了跨模态交和门控融合模块的输入端还均与多尺度特征提取模块中多尺度局部稀疏注意力模块的输多尺度局部稀疏注意力模块用于增强图像区域特征图vs中每一个patch的特征，获得包含多尺度语义信息的单模态图像嵌入E(I)；所述嵌入层用于对放射学报告样本进行所述多头注意力模块基于可学习矩阵M和单模态嵌入E的所有向量计算二者之间的相似度，而后仅选择可学习矩阵中与单模态嵌入E最相似的前个向量用于信息交互，6;本申请将所有预测出来的字符按照获取的先后顺序所构成的字符序列作为放射学报告生成网络模型生成的预测报告序列，与字符序列对应的放射学报告样本序列为，预测报告序列以及与之对应的放射学报告样本序列之间的交叉熵损失子向量；而后通过滑动窗口操作从kh子向量和vh子向量中选择部分patch用于计算缩放点含多尺度语义信息的图像区域特征在空间维度上进行展平，得到包含丰富多尺度语义信于计算缩放点积注意力，具体包括如下步骤：从kh子向量和vh子向量中分别以每个patch7后的图像表示L；解码单元用于对图像表示L以及当前门控融合模块输出的最终文本特征进行解码操作，输出解码表示；预测头用于对解码单[0011]优选地，步骤S1中，编码单元包括三个依次连接的Transformer编码器层，每个[0012]优选地，步骤S1中，解码单元包括三个依次连接的Transformer解码器层，每个Transformer解码器层都包含多头自注意力机制和前馈神经网络这两个部分，每个图像样本作为图像锚点，然后从与当前X光图像样本的标签完全不同的文本样本中选择与的标签完全不同的X光图像样本中选择与锚点余弦相似度最高的样本作为图像负样本；然8本申请中构建的多尺度局部稀疏注意力模块能够有效增强图像区域特征图中每意力模块通过引入一个共享的可学习矩阵M来分别处理来自两种模态的嵌入（即单模态文本嵌入E(R)和单模态图像嵌入E(I)这使得本申请所述的放射学报告生成网络能够利用了文本在短语层面的表达能力；本申请所述放射学报告生成方法在三元组匹配上有所优元组匹配上表现出色，生成的文本在更高层次的短语搭配和语义一致性上具有更强的优9光图像中所有patch的特征；本申请中卷积神经网络可为预训练的DenseNet121网络、DenseNet121网络、DenseNet网络或者ResNet101网络，本实施例中采用的是预训练的DenseNet121网络，该预训练的DenseNet121网络与论文《Denselyconnected图vs中每个patch为查询，且在以每个patch为中心的窗口中通过设置膨胀率r和卷积核大多头注意力模块首先基于可学习矩阵M和单模态图像嵌入E(I)的所有向量计算二阵M中与单模态文本嵌入ec)最相似的前u个向量用于信息交互，而后基于选择的可学习态融合图像表征fe)；本申请中单模态图像嵌入E(I)和单模态文本嵌入E(R)的特征维度相本申请中采用的多头注意力模块与论文《Attentionisallyouneed》中Transformer结构中解码器部分的多头自注意力机制模块结构相同，但是本申请中的多头Transformer结构中解码器部分的多头注意力机制模块输入的是单一模态的序列，通过查序列内的依赖关系；而本申请中的多头注意力模块通过引入一个共享的可学习矩阵M来分别处理来自两种模态的嵌入（即单模态文本嵌入和单模态图像嵌入e(I)这使得本进行注意力计算时，由于本申请中仅选择可学习矩阵M中与单模态文本嵌入ec)中最相似到最终图像特征P(I)；门控融合模块还用于将单模态图像嵌入E(R)和单模态融合文本表征[0022]本申请中，Transformer报告生成模块中的编码单元用于对跨模态对齐模块中门12N个patch的图像表示解码单元用于对编码后的图像表示L以及当前门控融合模块输出的最终文本特征预测头用于对解码单元输出的解码表示进行线性变换并应用Softmax操作，得到的下一个字符的所述嵌入特征输入至多头注意力模块中，利用本申请放射学报告生成网[0025]Q=W,VS,K=WV⃞,V=W,VS（1）整数。个线性层进行特征融合后，得到的图像区域特征即为包含丰富多尺度语义信息的图像区d"表示单模态图像嵌入e(I)的特征维度，d"所表示的特征维度大小与所表示的特征维度区域特征进行展平得到的单模态图像嵌入e(单模态图像嵌入e(I)为包含丰富多尺度语义信息的单模态图像嵌入。操作中的注意力分数AeRX2048；而后，通过注意力分数A找到可学习矩阵M中与单模态嵌入E中每个视觉字符最相似的前个向量，即可得到一个新的注意力分数和一A'=(E·WO)(M·WX)T/a（3）d表示单模态嵌入E的特征维V*=M·WV（4）户=softmax(A*)(v*)征P)。当新的注意力分数A*是基于单模态图像嵌入E(I)计算得到的的输出端以及嵌入层的输出端，第二线性层的输入端与多头注意力模块的输出端相连接，两个线性层的输出端均与第一Add层连接，第一Add层的输出端与Sigmoid激活层连接，Sigmoid激活层的输出端分别连接第一个逐元素相乘模块和第二个逐元素相乘模块，第一线性层的设置能够便于单模态嵌入E和单模态融合表征映射到相同空间，便于第一Add层进行特征相加以实现信息的整合；第一Add层用于对第一线性层输出的特征以及第二线性信息特点的单模态特征；第二Add层用于对单模态融合表征以及单模态嵌入E直接进行特第二个逐元素相乘模块用于对tanh激活层输出的单模态特征以及Sigmoid激活层输出的权一个逐元素相乘模块输出的特征进行特征相加，得到具有丰富跨模态信息的单模态特征；第四Add层用于对第二Add层输出的特征以及第三Add层输出的特征进行特征相加，得到深头注意力模块基于可学习矩阵M和单模态图像嵌入e(I)得到的单模态融合图像表征中就作后再利用第一Add层进行特征相加，得到的单模态特征即为具有融合多模态信息的单模F=GOE+Gotanh(F+E)+户（6）p(I)；当单模态嵌入E为单模态文本嵌入E(R)、单编码器层都包含多头自注意力机制和前馈神经网络，每个Transformer编码器层的参数设每个Transformer解码器层都包含多头自注意力机制和前馈神经网络这两个部分，每个本申请将所有预测出来的字符按照获取的先后顺序所构成的字符序列作为放射学报告生成网络模型生成的预测报告序列，则与之对应的放射学报告样本序列为，预测报告序列以及与之对应的放射学报告样本序列之间的交叉熵损失以及多L=Lre+Lmei（8）i0表示图像锚《Chexpert:Alargechestradiographdatasetwithuncertaintylabelsand全不同的文本样本中选择与锚点余弦相似度最高的样本作为文本负样本，然后，将当前文锚点，然后从与当前文本样本的标签完全不同的X光图像样本中选择与锚点余弦相似度最将IU_Xray数据集的配对图像及其对应的放射学报告样本输入到放射学报告生成请中将IU_Xray数据集的配对图像及其对应的放射学报告样本输入到放射学报告生成网络放射学报告生成网络中除了预训练的DenseNet121网络以外的全部可训练部分的学习率设[0043]S4、将待生成放射学报告的X光图像输入到步骤S3得到的放射学报告生成网络模实施例二与实施例一的不同之处，在于步骤S3中基于MIMIC_CXR数据集的训练集将MIMIC_CXR数据集的单张图像及其对应的放射学报告样本输入到放射学报告生反向传播，更新放射学报告生成网络的权重参数，完成一个epoch的训练过程，迭代30个epoch的训练过程后，即完成对放射学报告生成网络的训练，得到放射学报告生成网络模型。本申请中将MIMIC_CXR数据集的单张图像及其对应的放射学报告样本输入到放射学报放射学报告生成网络中除了预训练的DenseNet121网络以外的全部可训练部分的学习率为了验证本发明所述放射学报告生成方法相较于其他放射学报告生成方法的优异效果，本申请利用IU_Xray数据集中的测试集以及实施例一获取的放射学报告生成网络模型对CoATT方法（出自《Ontheautomaticgenerationofmedicalimagingreports》）、HRGR方法（出自《Hybridretrieval_generationreinforcedagmedicalimagereportgeneration》）、CMAS_RL方法（出自《Show,describeandCMCL方法（出自《Competence_basedmultimodalcurriculumlearningformedicalreportgeneration》）和R2GenCMN方法（出自《Cross_modalmemorynetworksfor[0047]表1不同方法在IU_Xray数据集中的测试集和MIMIC_CXR数据集中的测试集上的测为了验证本发明所述放射学报告生成方法相较于其他放射学报告生成方法的优异效果，本申请利用MIMIC_CXR数据集中的测试集以及实施例二获取的放射学报告生成网络模型对ST方法（出自《Ahierarchicalapproachparagraphs》）、ATT2IN方法（出自《Self_criticalsequencetrainingforimage（出自《Competence_basedmultimodalcurriculumlearningformedicalreportgeneration》）和R2GenCMN方法（出自《Cross_modalmemorynetworksforradiologyreportgeneration》等六种现有的现有放射学报告生成方法进行测试，测试结果如表2所示。[0049]表2不同方法在MIMIC_CXR数据集中的测试集和MIMIC_CXR数据集中的测试集上的[0051]表1和表2中，BLEU指标用于衡量模型生成文本与参考文数值越高表示生成文本在词汇和短语上的一致性越强；BLEU_1至BLEU_4分别表示单个字本申请所述放射学报告生成方法得到的BLEU_1指标相对于R2GENCMN方法得到的BLEU_1指标提