WO2025137892A1 一种放射学报告生成方法、装置、终端及存储介质 （中国科学院深圳先进技术研究院）

(12)按照专利合作条约所公布的国际申请(43)国际公布日(21)国际申请号：PCT/CN2023/142139(22)国际申请日：2023年12月26日(26.12.2023)西丽深圳大学城学苑大道1068号518055(CN)。(72)发明人：吴丹(WU,Dan);中国广东省深圳市南山区西丽深圳大学城学苑大道1068号518055市南山区西丽深圳大学城学苑大道1068号东省深圳市南山区西丽深圳大学城学苑大道1068号518055(CN)。杨博凯(YANG,Bokai);中国广东省深圳市南山区西丽深圳大学城学苑大道1068号518055(CN)。蔡云鹏(CAI,Yunpeng);中国广东省深圳市南山区西丽深圳大学城学苑大道1068号518055(CN)。(74)代理人：深圳市君胜知识产权代理事务所(普AGENCY(SHENZHEN);中国广东省深圳市南山(57)摘要：本发明所提供的一种放射学报告生成方法、装置、终端及存储介质，方法包括：将待处理的放射学图像输入预先训练的动态先验网络模型中，动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；在动态知识图谱网络中，根据放射学图像得到动态知识图谱，根据动态知识图谱得到视觉表征；获取放射学图像对应的先验知识信息，基于先验知识信息和视觉表征，利用先验知识网络得到先验表示向量；将视觉表征和先验表示向量输入解码器中，生成与放射学图像相对应的放射学报告。本发明通过结合动态知识图谱和先验知识信息生成放射学报告，能够更好地处理由于有限数据可用区粤海街道高新区社区高新南七道20号深圳国家工程实验室大楼A503518000(CN)。(81)指定国(除另有指明，要求每一种可提供的国家保护):AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CCV,CZ,DE,DJ,DK,DM,DO,DZ,EC,EEGB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IR,IS,IT,JM,JO,JP,KE,KG,KH,KN,KP,KLA,LC,LK,LR,LS,LU,LY,MA,MD,MGMU,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SASE,SG,SK,SL,ST,SV,SY,TH,TJ,UA,UG,US,UZ,VC,VN,WS,ZA,ZM(84)指定国(除另有指明，要求每一种可提供的地区NA,RW,SC,SD,SL,ST,SZ,TZ,UG,ZM,ZW),欧亚(AM,AZ,BY,KG,KZ,RU,TJ,TM),欧洲(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GBHU,IE,IS,IT,LT,LU,LV,MC,ME,MK,MT,PL,PT,RO,RS,SE,SI,SK,SM,TR),OAPI(BFCG,CI,CM,GA,GN,GQ,GW,KM,ML本国际公布：一包括国际检索报告(条约第21条(3))。1WO2025/137892用的分层递归神经网络(HRNN)会生成与正常结果相关的重复句子，因此无法有效描述2WO2025/137892发明内容本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种放射学报告生成方法、装置、终端及存储介质，旨在解决现有技术中放射学报告生成时视觉和文本数据之间具有不一致性的问题。本发明解决技术问题所采用的技术方案如下：一种放射学报告生成方法，所述方法包括：将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。在一种实现方式中，在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征，包括：在所述动态知识图谱网络中，基于预先构建的报告数据库得到与所述放射学图像相匹配的若干目标标准报告；获取所有所述目标标准报告中的实体，基于目标标准报告中的实体生成所述放射学图像对应的图像知识图谱；获取预先构建的医学知识图谱，基于图像知识图谱对所述医学知识图谱进行新的路径添加，得到动态知识图谱；利用所述动态知识图谱网络中的动态图编码器对所述动态知识图谱进行编码，得到所述放射学图像对应的视觉表征。在一种实现方式中，获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量，包括：将所有所述目标标准报告和所述医学知识图谱作为先验知识信息；基于报告编码器生成所有所述目标标准报告对应的第一键向量和第一值向量，通过跨注意力机制将所述视觉表征作为查询向量，将所述查询向量、第一键向量和第一值向量进行跨注意力计算，得到第一表示向量；基于报告编码器生成所述医学知识图谱中的实体对应的第二键向量和第二值向量，通WO2025/1378923过跨注意力机制将所述视觉表征作为查询向量，将所述查询向量、第二键向量和第二值向量进行跨注意力计算，得到第二表示向量；将所述第一表示向量和所述第二表示向量合并，得到先验表示向量。在一种实现方式中，所述动态先验网络模型的训练步骤包括：获取训练数据集，所述训练数据集包括：一一对应的放射学训练图像和放射学训练报构建初始动态先验网络模型，将放射学训练图像输入初始动态先验网络模型中，所述初始动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；在所述动态知识图谱网络中，根据所述放射学训练图像得到训练动态知识图谱，根据所述训练动态知识图谱得到训练视觉表征；基于所述训练视觉表征进行对比学习，以对所述动态知识图谱网络进行训练；获取所述放射学训练图像对应的先验知识训练信息，基于所述先验知识训练信息和所述训练视觉表征，利用所述先验知识网络得到先验训练表示向量；将所述训练视觉表征和所述先验训练表示向量输入所述解码器中，对所述先验知识网络和解码器进行训练；完成动态知识图谱网络、先验知识网络和解码器的多任务训练后，得到已训练的动态先验网络模型。在一种实现方式中，在所述动态知识图谱网络中，根据所述放射学训练图像得到训练动态知识图谱，根据所述训练动态知识图谱得到训练视觉表征，包括：在所述动态知识图谱网络中，获取预先构建的报告数据库，所述报告数据库包括若干标准报告，所述标准报告是在所述训练数据集中随机选取得到；获取所述报告数据库中各个标准报告对应的报告表征向量，以及获取所述放射学训练图像对应的图像表征向量，计算各个报告表征向量与所述图像表征向量之间的相似度；根据各个所述相似度得到与所述放射学训练图像相匹配的若干训练标准报告；获取所有所述训练标准报告中的实体，基于训练标准报告中的实体生成所述放射学训练图像对应的训练图像知识图谱；获取预先构建的医学知识图谱，基于训练图像知识图谱对所述医学知识图谱进行新的路径添加，得到训练动态知识图谱；利用所述动态知识图谱网络中的动态图编码器对所述动态知识图谱进行编码，得到所述放射学训练图像对应的训练视觉表征。在一种实现方式中，基于所述训练视觉表征进行对比学习，以对所述动态知识图谱网WO2025/1378924络进行训练，包括：获取预先构建的图像报告对比损失函数和图像报告匹配损失函数，以及所述放射学训练图像对应的放射学训练报告；利用报告编码器得到所述放射学训练报告对应的表征向量，基于放射学训练报告对应的表征向量和所述训练视觉表征，以所述图像报告对比损失函数为训练目标，进行报告图将所述训练视觉表征和放射学训练报告输入多模态编码器中，以所述图像报告匹配损失函数为训练目标，进行报告图像配对；通过报告图像对比学习和报告图像配完成对所述动态知识图谱网络的训练。在一种实现方式中，获取所述放射学训练图像对应的先验知识训练信息，基于所述先验知识训练信息和所述训练视觉表征，利用所述先验知识网络得到先验训练表示向量，包将所有所述训练标准报告和所述医学知识图谱作为先验知识训练信息；基于报告编码器生成所有所述训练标准报告对应的第一训练键向量和第一训练值向量，通过跨注意力机制将所述训练视觉表征作为训练查询向量，将所述训练查询向量、第一训练键向量和第一训练值向量进行跨注意力计算，得到第一训练表示向量；基于报告编码器生成所述医学知识图谱中的实体对应的第二键向量和第二值向量，通过跨注意力机制将所述视觉表征作为训练查询向量，将所述训练查询向量、第二键向量和第二值向量进行跨注意力计算，得到第二训练表示向量；将所述第一训练表示向量和所述第二训练表示向量合并，得到先验训练表示向量。本发明还提供一种放射学报告生成装置，所述装置包括：输入模块，用于将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；动态网络模块，用于在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；先验网络模块，用于获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；生成模块，用于将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。本发明还提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的放射学报告生成程序，所述放射学报告生成程序被所述处理器执行时实现如WO2025/1378925权上所述的放射学报告生成方法的步骤。本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的放射学报告生成方法的步骤。本发明提供的一种放射学报告生成方法、装置、终端及存储介质，所述方法包括：将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。本发明通过在模型中引入动态知识图谱网络和先验知识网络，进而实现结合动态知识图谱和先验知识信息生成放射学报告，使得模型能够更好地处理由于有限数据可用性而引起的视觉和文本偏见，能够减轻文本数据的偏见，从而解决放射学报告生成时视觉和文本数据之间具有不一致性的问题，提高了报告生成质量。附图说明图1是本发明中放射学报告生成方法较佳实施例的流程图。图2是本发明的动态先验网络模型的结构原理示意图。图3是本发明中的医学知识图谱。图4是本发明中放射学报告生成装置较佳实施例的功能原理框图。图5是本发明中终端的较佳实施例的功能原理框图。具体实施方式为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本发明旨在由图像生成放射学报告，与标准的图像描述生成任务不同，放射学报告生成面临更加明显的图像和文本偏差，这是因为受限于可用的数据量少，因此更加依赖先前的知识。本发明引入了动态知识图谱和先验知识，以增强模型的智能性，并引入了图像-文本对比模块和图像-文本匹配模块，以提高生成结果的质量。因此，本发明的主要目标是改进现有放射学报告生成的性能和质量，特别是在关键指标方面。请参见图1,图1是本发明中放射学报告生成方法的流程图。如图1所示，本发明实WO2025/1378926施例所述的放射学报告生成方法包括：步骤S100、将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器。本申请实施例的动态先验网络模型利用了动态知识图谱网络和先验知识网络，使得报告生成方法过程中利用了动态知识图和先验知识，即，利用了图网络和医学领域知识，提升了模型的智能性。如图1所示，本实施例所述的放射学报告生成方法还包括：步骤S200、在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征。在本申请实施例中，所述步骤S200包括：步骤S210、在所述动态知识图谱网络中，基于预先构建的报告数据库得到与所述放射学图像相匹配的若干目标标准报告；步骤S220、获取所有所述目标标准报告中的实体，基于目标标准报告中的实体生成所述放射学图像对应的图像知识图谱；步骤S230、获取预先构建的医学知识图谱，基于图像知识图谱对所述医学知识图谱进行新的路径添加，得到动态知识图谱；步骤S240、利用所述动态知识图谱网络中的动态图编码器对所述动态知识图谱进行编码，得到所述放射学图像对应的视觉表征。具体地，所述报告数据库可以是训练数据集中的标准报告，可以报告队列的方式存储。获取所述报告数据库中各个标准报告对应的报告表征向量，以及获取所述放射学图像对应的图像表征向量，计算各个报告表征向量与所述图像表征向量之间的相似度，根据各个相似度得到与所述放射学图像相匹配的若干目标标准报告。在一种实施例中，将相似度按照由大到小的顺序排列，选取前K个标准报告作为目标标准报告。本申请实施例中利用动态知识图谱，能够更好地捕捉放射学图像中的信息和关联，从而提高放射学报告的生成质量；并且，本申请实施例建立了一个适应性图网络，能够灵活地处理不同的放射学图像，从而提高了模型的泛化能力。如图1所示，本实施例所述的放射学报告生成方法还包括：步骤S300、获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量。在本申请实施例中，所述步骤S300具体包括：步骤S310、将所有所述目标标准报告和所述医学知识图谱作为先验知识信息；WO2025/1378927步骤S320、基于报告编码器生成所有所述目标标准报告对应的第一键向量和第一值向量，通过跨注意力机制将所述视觉表征作为查询向量，将所述查询向量、第一键向量和第一值向量进行跨注意力计算，得到第一表示向量；步骤S330、基于报告编码器生成所述医学知识图谱中的实体对应的第二键向量和第二值向量，通过跨注意力机制将所述视觉表征作为查询向量，将所述查询向量、第二键向量和第二值向量进行跨注意力计算，得到第二表示向量；步骤S340、将所述第一表示向量和所述第二表示向量合并，得到先验表示向量。本申请实施例能够整合先验知识，通过引入先验知识，使得模型能够更好地处理由于有限数据可用性而引起的视觉和文本偏见，提高模型对不同情境的适应能力。并且，通过整合先验知识，能够减轻文本数据的偏见，从而更好地生成与异常区域相关的放射学报告。如图1所示，本实施例所述的放射学报告生成方法还包括：步骤S400、将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。在本申请实施例中，所述动态先验网络模型的训练步骤包括：步骤A100、获取训练数据集，所述训练数据集包括：一一对应的放射学训练图像和放射学训练报告；步骤A200、构建初始动态先验网络模型，将放射学训练图像输入初始动态先验网络模型中，所述初始动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；步骤A300、在所述动态知识图谱网络中，根据所述放射学训练图像得到训练动态知识图谱，根据所述训练动态知识图谱得到训练视觉表征；步骤A400、基于所述训练视觉表征进行对比学习，以对所述动态知识图谱网络进行步骤A500、获取所述放射学训练图像对应的先验知识训练信息，基于所述先验知识训练信息和所述训练视觉表征，利用所述先验知识网络得到先验训练表示向量；步骤A600、将所述训练视觉表征和所述先验训练表示向量输入所述解码器中，对所述先验知识网络和解码器进行训练；步骤A700、完成动态知识图谱网络、先验知识网络和解码器的多任务训练后，得到已训练的动态先验网络模型。具体地，本申请实施例提出了一个统一的模型：动态先验网络模型DPN(DynamicsGraphNetworks)、对比学习(CL,ContrastiveLearning)和先验知识网络(PrKN,Prior8WO2025/137892先前工作经验(PrWE,PriorWorkingExperience)和先前医学知识(PrMK,PriorMedicalKnowledge)。最后，在接收动态图网络和先验知识网络的信息之后，使用解码器生成最本发明提出的方法在语言生成指标(CIDEr)方面优于先前的模型。在两个流行的放射报告数据集上的实验结果表明，DPN在语言生成指标方面优于以前的模型，并产生了包含自印第安纳大学的IUX-RAY数据集，另一个来自BethIsraelDeaconess医学中心的MIMIC-CXR数据集。IUX-RAY数据集相对较小，包含7470张胸部X光图像和3955份张胸部X光图像和206563份报告。本发明专注于生成报告的“findings”部分，并排除了IUX-RAY和MIMIC-CXR中没有此部分的样本。对于IUX-RAY,设定了数据划分(70%用于训练，10%用于验证，20%用于测试)。对于MIMIC-CXR,则使用了其官方数据划分。对于模型架构，生成放射学报告涉及将图像转换为文本的任务。当用I表示的放射学图像时，目标是生成一个描述性的放射学报告，表示为R={y₁,y₂,…,yt}。如图2所示，动态先验网络模型引入了动态知识图谱网络(DGN),对比学习(CL)和先验知识网络(PrKN)。具体而言，引入了动态知识图谱网络来对齐放射学图像的异常区域和医练语料库中提取的先前工作经验(PrWE)和先前医学知识(PrMK)。最后，在接收到动WO2025/1378929DGN:{I,R}→fDecoder:{f₁,PrWE,PrMK本申请实施例利用Transformer作为核心架构来生成平滑且准确的放射学报告。I表示图像表征(向量)。本发明使用ResNet-152来提取大小为7×7的2,048个图像特征图，随后将其转换为大小为7×7的512个特征图。这个转换产生了I={i1,i₂,…iN,}∈R表示放射学报告。患者的每次检查将包括多个放射学图像和一个放射学报告，本发明使用SciBert来获取报告嵌入R₁∈Rd。Rtopic表示医学知识图谱。其主要目的是突出显示疾病关键词并加强它们之间的连接。如图3所示，医学知识图谱包括20个实体：正常、其他发现、异物、心脏肥大、脊柱侧弯、骨折、疝、钙化、渗出、增厚、气胸、肺实质病变、低通气、肺气肿、肺炎、水肿、肺不张、瘢痕、浑浊和病变。本发明使用知识图谱中的的实体，即疾病关键词作为输入。在本申请实施例中，所述步骤A300具体包括：步骤A310、在所述动态知识图谱网络中，获取预先构建的报告数据库，所述报告数据库包括若干标准报告，所述标准报告是在所述训练数据集中随机选取得到；步骤A320、获取所述报告数据库中各个标准报告对应的报告表征向量，以及获取所述放射学训练图像对应的图像表征向量，计算各个报告表征向量与所述图像表征向量之间步骤A330、根据各个所述相似度得到与所述放射学训练图像相匹配的若干训练标准步骤A340、获取所有所述训练标准报告中的实体，基于训练标准报告中的实体生成所述放射学训练图像对应的训练图像知识图谱；步骤A350、获取预先构建的医学知识图谱，基于训练图像知识图谱对所述医学知识图谱进行新的路径添加，得到训练动态知识图谱；步骤A360、利用所述动态知识图谱网络中的动态图编码器对所述动态知识图谱进行编码，得到所述放射学训练图像对应的训练视觉表征。具体地，在动态知识图谱网络中，为了对齐放射学图像I和放射学报告R。首先，通过评估放射学图像特征f₁与放射学报告表示的相似性，从报告数据库中检索前T个报告，报告数据库可以是从训练数据集中随机选取的n个标准报告形成的报告队列。对于检索到WO2025/137892的报告，获取报告中的实体，这些实体生成知识图谱，并以三元组(实体，关系，实体)3所示的原始的医学知识图谱进行修改，这些修改包括将知识图谱未涉及的实体节点添加本发明使用关系自注意力(RSA)对动态图的图结构信息进行建模。加强它们之间的关系。本发明使用经过预训练的SciBert作为报告编码器来获取的实体的单词嵌入，并使用图注意力(跨注意力)将动态知识图谱与视觉特征进行合并。步骤A410、获取预先构建的图像报告对比损失函数和图像报告匹配损失函数，以及步骤A420、利用报告编码器得到所述放射学训练报告对应的表征向量，基于放射学步骤A430、将所述训练视觉表征和放射学训练报告输入多模态编码器中，以所述图步骤A440、通过报告图像对比学习和报告图像配完成对所述动态知识图谱网络的训具体地，对比学习部分包括图像-报告对比损失(IRC)和图像-报告匹配损失(IRM),示。然后，得到的多模态表示向量通过线性层投影到维度为2的向量来执行二分类任务。步骤A520、基于报告编码器生成所有所述训练标准报告对应的第一训练键向量和第WO2025/137892PCT/一训练值向量，通过跨注意力机制将所述训练视觉表征作为训练查询向量，将所述训练查询向量、第一训练键向量和第一训练值向量进行跨注意力计算，得到第一训练表示向量；步骤A530、基于报告编码器生成所述医学知识图谱中的实体对应的第二键向量和第二值向量，通过跨注意力机制将所述视觉表征作为训练查询向量，将所述训练查询向量、第二键向量和第二值向量进行跨注意力计算，得到第二训练表示向量；步骤A540、将所述第一训练表示向量和所述第二训练表示向量合并，得到先验训练表示向量。具体地，先验知识网络包括两个组件：先前工作经验和先前医学知识。对于先前工作经验，通过跨注意力将视觉表征作为查询(Query)向量，然后由训练标准报告(即提取的报告)产生键(Key)向量和值(Value)向量，来计算跨注意力。对于先前医学经验，通过跨注意力将视觉表征作为Query向量，然后由医学知识图谱的20个实体产生Key和Value向量，来计算跨注意力。聚合先前工作经验和先前医学知识的两个表示向量与视觉表征一起加入通过跨注意力加入到解码器中。解码器输入动态知识图和先验知识网络的向量来生成最终的放射学报告。该解码器可以使用标准的Transformer的解码器。表1为DPN与其他最先进方法在MIMIC-CXR和IU-Xray数据集上的性能比较。DPN。rR1234L----本发明--本发明WO2025/137892本申请实施例模型的性能是使用标准的自然语言生成(NLG)指标进行评估的。这些第一、基于一致性的图像描述评估(CIDEr):CIDEr是一种新颖的度量标准，用于评估图像描述，依赖于人类一致性。它量化了两个标题中n-gramTF-IDF表示之间的余弦第二、具有显式排序的翻译评估指标(METEOR):METEOR考虑了基于整个文本语料库的准确性和召回率。它使用词干技术，包括Porter词干提取器和WordNet本体论，来识别文本中的同义词。METEOR与人类对翻译质量的判断之间显示出强烈的相关性，第三、双语评估助手(BLEU):BLEU是机器翻译任务中常用的指标。它测量模型预测和参考文本之间的词n-gram的重叠。值得注意的是，由于放射学报告生成数据集中第四、面向摘要评估的召回导向助手(ROUGE-L):ROUGE-L计算了机器生成文本这些NLG指标通过比较生成的标题和放射科医生提供的描述之间的相似性和差异，备了10核的IntelXeonSilver4210处理器和一块带有48GB内存的NVIDIARTX8000GPU。在一种实施例中，如图4所示，基于上述放射学报告生成方法，本发明还相应提供了输入模块100,用于将待处理的放射学图像输入预先训练的动态先验网络模型中，所WO2025/137892述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；动态网络模块200,用于在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；先验网络模块300,用于获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；生成模块400,用于将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。图5为本申请实施例提供的终端的结构示意图。该终端可以包括：存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。处理器502执行程序时实现上述实施例中提供的放射学报告生成方法。进一步地，终端还包括：通信接口503,用于存储器501和处理器502中的通信。存储器501,用于存放可在处理器502上运行的计算机程序。存储器501可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(IndustryStandardArchitecture,简称为ISA)总线、外部设备互连(Periphera1Component,简称为PCI)总线或扩展工业标准体系结构(ExtendedIndustryStandardArchitecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。可选地，在具体实现上，如果存储器501、处理器502及通信接口503,集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。处理器502可能是一个中央处理器(CentralProcessingUnit,简称为CPU),或者是特定集成电路(ApplicationSpecificIntegratedCircuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的放射学报告生成方法。WO2025/137892或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备读取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻WO2025/137892辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA),现场可编程本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。综上所述，本发明公开的一种放射学报告生成方法、装置、终端及存储介质，所述方法包括：将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。本发明通过在模型中引入动态知识图谱网络和先验知识网络，进而实现结合动态知识图谱和先验知识信息生成放射学报告，使得模型能够更好地处理由于有限数据可用性而引起的视觉和文本偏见，能够减轻文本数据的偏见，从而解决放射学报告生成时视觉和文本数据之间具有不一致性的问题，提高了报告生成质量。应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护WO2025/137892WO2025/1378921.一种放射学报告生成方法，其特征在于，所述方法包括：将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。2.根据权利要求1所述的放射学报告生成方法，其特征在于，在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征，在所述动态知识图谱网络中，基于预先构建的报告数据库得到与所述放射学图像相匹配的若干目标标准报告；获取所有所述目标标准报告中的实体，基于目标标准报告中的实体生成所述放射学图像对应的图像知识图谱；获取预先构建的医学知识图谱，基于图像知识图谱对所述医学知识图谱进行新的路径添加，得到动态知识图谱；利用所述动态知识图谱网络中的动态图编码器对所述动态知识图谱进行编码，得到所述放射学图像对应的视觉表征。3.根据权利要求2所述的放射学报告生成方法，其特征在于，获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量，包括：将所有所述目标标准报告和所述医学知识图谱作为先验知识信息；基于报告编码器生成所有所述目标标准报告对应的第一键向量和第一值向量，通过跨注意力机制将所述视觉表征作为查询向量，将所述查询向量、第一键向量和第一值向量进行跨注意力计算，得到第一表示向量；基于报告编码器生成所述医学知识图谱中的实体对应的第二键向量和第二值向量，通过跨注意力机制将所述视觉表征作为查询向量，将所述查询向量、第二键向量和第二值向量进行跨注意力计算，得到第二表示向量；将所述第一表示向量和所述第二表示向量合并，得到先验表示向量。4.根据权利要求1所述的放射学报告生成方法，其特征在于，所述动态先验网络模WO2025/137892型的训练步骤包括：获取训练数据集，所述训练数据集包括：一一对应的放射学训练图像和放射学训练报构建初始动态先验网络模型，将放射学训练图像输入初始动态先验网络模型中，所述初始动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；在所述动态知识图谱网络中，根据所述放射学训练图像得到训练动态知识图谱，根据所述训练动态知识图谱得到训练视觉表征；基于所述训练视觉表征进行对比学习，以对所述动态知识图谱网络进行训练；获取所述放射学训练图像对应的先验知识训练信息，基于所述先验知识训练信息和所述训练视觉表征，利用所述先验知识网络得到先验训练表示向量；将所述训练视觉表征和所述先验训练表示向量输入所述解码器中，对所述先验知识网络和解码器进行训练；完成动态知识图谱网络、先验知识网络和解码器的多任务训练后，得到已训练的动态先验网络模型。5.根据权利要求4所述的放射学报告生成方法，其特征在于，在所述动态知识图谱网络中，根据所述放射学训练图像得到训练动态知识图谱，根据所述训练动态知识图谱得到训练视觉表征，包括：在所述动态知识图谱网络中，获取预先构建的报告数据库，所述报告数据库包括若干标准报告，所述标准报告是在所述训练数据集中随机选取得到；获取所述报告数据库中各个标准报告对应的报告表征向量，以及获取所述放射学训练图像对应的图像表征向量，计算各个报告表征向量与所述图像表征向量之间的相似度；根据各个所述相似度得到与所述放射学训练图像相匹配的若干训练标准报告；获取所有所述训练标准报告中的实体，基于训练标准报告中的实体生成所述放射学训练图像对应的训练图像知识图谱；获取预先构建的医学知识图谱，基于训练图像知识图谱对所述医学知识图谱进行新的路径添加，得到训练动态知识图谱；利用所述动态知识图谱网络中的动态图编码器对所述动态知识图谱进行编码，得到所述放射学训练图像对应的训练视觉表征。6.根据权利要求4所述的放射学报告生成方法，其特征在于，基于所述训练视觉表征进行对比学习，以对所述动态知识图谱网络进行训练，包括：获取预先构建的图像报告对比损失函数和图像报告匹配损失函数，以及所述放射学训练图像对应的放射学训练报告；WO2025/137892利用报告编码器得到所述放射学训练报告对应的表征向量，基于放射学训练报告对应的表征向量和所述训练视觉表征，以所述图像报告对比损失函数为训练目标，进行报告图将所述训练视觉表征和放射学训练报告输入多模态编码器中，以所述图像报告匹配损失函数为训练目标，进行报告图像配对；通过报告图像对比学习和报告图像配完成对所述动态知识图谱网络的训练。7.根据权利要求5所述的放射学报告生成方法，其特征在于，获取所述放射学训练图像对应的先验知识训练信息，基于所述先验知识训练信息和所述训练视觉表征，利用所述先验知识网络得到先验训练表示向量，包括：将所有所述训练标准报告和所述医学知识图谱作为先验知识训练信息；基于报告编码器生成所有所述训练标准报告对应的第一训练键向量和第一训练值向量，通过跨注意力机制将所述训练视觉表征作为训练查询向量，将所述训练查询向量、第一训练键向量和第一训练值向量进行跨注意力计算，得到第一训练表示向量；基于报告编码器生成所述医学知识图谱中的实体对应的第二键向量和第二值向量，通过跨注意力机制将所述视觉表征作为训练查询向量，将所述训练查询向量、第二键向量和第二值向量进行跨注意力计算，得到第二训练表示向量；将所述第一训练表示向量和所述第二训练表示向量合并，得到先验训练表示向量。8.一种放射学报告生成装置，其特征在于，所述装置包括：输入模块，用于将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；动态网络模块，用于在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；先验网络模块，用于获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；生成模块，用于将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。9.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的放射学报告生成程序，所述放射学报告生成程序被所述处理器执行时实现如权利要求1~7任意一项所述的放射学报告生成方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1~7任意一项所述的放射学报告生成方法的步骤。WO2025/137892将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告动态知识图编码器动态知识图编码器关系自注意力动态知识图谱知识图谱医学知识图谱RadGraph提取的报告实体识别报告队列图像动态知识图谱网络报告图像对比学习报告生成线性层和解码器跨注意力跨注意力报告编码器报告编码器提取的报告报告编码器20个异常主题报告报告对比学习先验知识网络报告图像编码器WO2025/137892正常正常其他发现心脏脊柱胸膜骨胸纵膜异物气腔心脏扩大脊柱侧凸骨折疝钙质沉着症积液增厚气胸气腔疾病肺气胸气肿肺炎肺不张肺部纤维化浑浊病变输入模块WO2025/137892通信接口处理器终端Minimumdocumentationsearched(classificationsystemfollowedbyCNABS;CNTXT;ENTXT;ENTXTC;DWPI;CNKI:放射学，医学影像，报告，生成，知识图谱，向量，模型，动加，图像，视觉，特征，查询，匹配，radiology,medicalimaging,report,generation,knowledgegraph,vector,model,dynamic,modify,add,image,visua