CN115293128B 基于多模态对比学习放射学报告生成模型训练方法及系统 （上海大学）

基于多模态对比学习放射学报告生成模型本发明揭示了一种基于多模态对比学习的将所学的图像编码器和句子编码器嵌入放射学模态对比学习的放射学报告生成模型训练方法2采集放射学影像以及文本数据，并将影像数据和相对应的文本数据传输至样本数据库，其中，每个文本数据包含一个结论性的诊断语句Impression和一段详细的描述段落采用自监督的表征学习方法，基于样本数据库学习得到用于影像图像编码器通过成对的影像数据和文本数据之间的双向对比学习目标来学习图像表通过融合由图像编码器提取到的视觉特征和由句子编码器提取到S301、由Impression生成模块基于编码器一解码器框架，生成单个的诊断语句图像编码器从输入图像中提取视觉特征，然后将其送入Impression部分句子解码器，S302、由Findings生成模块将图像的视觉特征和句在Findings生成模块中，为了使生成的句子专注于描述不同的其中，通过加权的视觉特征将前一个句子的编码和图像的视觉鉴于视觉特征veRQK和前一句的编码，通过一个单一的注意力分配器在图像的K个3w,eRkdv、是注将分别生成的诊断语句Impression和描述段落Findings组合成一段完整的放射学报2.如权利要求1所述的一种基于多模态对比学习放射学报告生成模型训练方法，其特3.如权利要求2所述的一种基于多模态对比学习放射学报告生成模型训练方法，其特对于一个句子的集合中的同一个句子，通过实施不同的数据增强方法，对句子编码器进行训练时，通过最大限度地提高同一样本的不同4.如权利要求3所述的一种基于多模态对比学习放射学报告生成模型训练方法，其特：i)5.如权利要求1所述的一种基于多模态对比学习放射学报告生成模型训练方法，其特4vs和文本-图像的对比损失f"":"--s6.如权利要求1所述的一种基于多模态对比学习放射学报告生成模型训练方法，其特-1是时间t-1的记忆单元向量；7.如权利要求1所述的一种基于多模态对比学习放射学报告生成模型训练方法，其特5个结论性的诊断语句Impression和一段详细的描述段落Fi多模态对比学习模块，采用自监督的表征学习方像数据中的视觉特征的图像编码器和用于提取文本数据中的语义特征的句子编码器，其图像编码器通过成对的影像数据和文本数据之间的双向对比学习目标来学习图像表放射学报告生成模块，通过融合由图像编码器提取到的视觉特征和由Impression生成模块基于编码器一解码器框架，生成单个的诊断语句Impression，图像编码器从输入图像中提取视觉特征，然后将其送入Impression部分句子解码器，在Findings生成模块中，为了使生成的句子专注于描述不同的其中，通过加权的视觉特征将前一个句子的编码和图像的视觉鉴于视觉特征veRdok和前一句的编码，通过一个单一的注意力分配器在图像的K个6结果输出模块，用于将分别生成的诊断语句Impression和描述段落9.如权利要求8所述的一种基于多模态对比学习放射学报告生成模型训练系统，其特7录。其中，Impression部分是一个结论性的诊断，可以看作是报告的结论或主题句，而以前的研究中所使用的基于LSTM或基于BERT的句子编码器得到的句子表示质量不高；(3)8[0012]图像编码器通过成对的影像数据和文本数据之间的双向对比学习目标来学习图[0015]S301、由Impression生成模块基于编码器一解码器框架，生成单个的诊断语句一个全连接层，然后再送入SoftMax层以获得加权的视觉特征，加权的视觉特征被送入个过程不断重复，直到Findings部分句子解码器产生一个空的句子，这表明描述段落[0022]鉴于视觉特征veRQXK和前一句的编码，通过一个单一的注意力分配器在图像9[0032]将分别生成的诊断语句Impression和描述段落Findings组合成一段完整的放射[0037]优选地，步骤S200中，取一个句子的集合xi表示第i句句子，m表示集合)e""和文本-图像的对比损失f"":之前，由一个全连接层将图像编码器输出的视觉特征向量转换为与单词嵌入相同的维度，[0069]本发明的另一个技术方案是提供了一种基于多模态对比学习放射学报告生成模含一个结论性的诊断语句Impression和一段详细的描述段落F于影像数据中的视觉特征的图像编码器和用于提取文本数据中的语义特征的句子编码器，[0073]图像编码器通过成对的影像数据和文本数据之间的双向对比学习目标来学习图[0078]由Findings生成模块将图像的视觉特征和句子的语义特征相融合，循环生成句一个全连接层，然后再送入SoftMax层以获得加权的视觉特征，加权的视觉特征被送入[0083]鉴于视觉特征veRQK和前一句的编码，通过一个单一的注意力分配器在图像[0092]如权利要求8所述的一种基于多模态对比学习放射学报告生成模型训练系统，其模型结合了医学图像的视觉特征和句子的语义特征，通过递归网络分别生成放射学报告Impression和Findings[0096](2)本发明提出了一种基于多模态对比学习的模型预训练方法，以提高视觉表征[0097](3)本发明用成对的医学图像和报告进行双向对比学习，对图像编码器进行预训[0098](4)本发明在基于对比学习的句子级训练目标上来建立句子编码器，使其能够为[0099](5)本发明所提出的一种基于多模态对比学习的放射学报告生成模型训练方法及[0105]如图1所示，本发明实施例提出了一种基于多模态对比学习的放射学报告生成模断语句Impression和一段详细的描述段落Fi[0109]采用自监督的表征学习方法，基于样本数据库学习得到图像编码器和句子编码)hj明采用InfoNCE作为损失函数，这是一种用于自监督学习的对比损失函数。第i对表示对i)的训练目标包括两个损失函数：图像文本对f"":[0135]通过最大限度地提高图像-文本表示对之间的一致性，本发明学习到一个图像编[0141]图像编码器的目的是自动从图像中提取视觉特征，将图像映射成一个上下文向被送入句子解码器以生成Impressio[0145]视觉特征向量被作为LSTM的初始输入，用于预测句子的第一个单词。但在输入于BERT的语言模型中进行微调后得到的模型，而句子的语义表征是通过平均池化层生成[0152]鉴于视觉特征veRdok和前一句的编码，本发明通过一个单一的注意力分配器waeR*、w,eRtr、wseRS[0167]ROUGE是为测量摘要的质量而设计的，它测量自动生成的摘要和参考摘要之间的[0169]CIDEr是一个基于