CN119418846A 基于医疗思维链的多模态医疗影像报告生成方法及系统 （复旦大学）

基于医疗思维链的多模态医疗影像报告生本发明涉及一种基于医疗思维链的多模态报告数据集；对数据集中的影像报告进行预处数据对对现有的医学影像报告生成模型进行微的加强了多模态特征的利用率和意图理解的识2基于大语言模型对高质量数据集中的医疗影像报告进行2.根据权利要求1所述的一种基于医疗思维链的多模态医疗影像报告生成方法，其特删除数据集中医学影像图片分辨率低于预设的分辨率删除缺乏预设的部分文本内容或所述部分文本内容长度少于预设长对医学影像报告进行去医患隐私化和去冗余化，删除与医患信息相关的内3.根据权利要求1所述的一种基于医疗思维链的多模态医疗影像报告生成方法，其特4.根据权利要求3所述的一种基于医疗思维链的多模态医疗影像报告生成方法，其特5.根据权利要求3所述的一种基于医疗思维链的多模态医疗影像报告生成方法，其特对于抽取出的问答对中除最低级别之外的每个原始问题，将所有层次化问答对抽取模块：用于基于大语言模型对高质量数链式推理问答对重构模块：用于将层次化医学数学问答对串联重构为链式推理问答模型微调与报告生成模块：用于利用链式推理问答对数据对7.根据权利要求6所述的一种基于医疗思维链的多模态医疗影像报告生成系统，其特3删除数据集中医学影像图片分辨率低于预设的分辨率删除缺乏预设的部分文本内容或所述部分文本内容长度少于预设长对医学影像报告进行去医患隐私化和去冗余化，删除与医患信息相关的内8.根据权利要求6所述的一种基于医疗思维链的多模态医疗影像报告生成系统，其特9.根据权利要求8所述的一种基于医疗思维链的多模态医疗影像报告生成系统，其特对于抽取出的问答对中除最低级别之外的每个原始问题，将所有45[0011]本发明的目的是为了提供一种基于医疗思维链的多模态医疗影像报告生成方法及系统，模拟人类认知过程来构建细粒度指令对的方法，并将“思维链”(Chain_of_6[0021]删除缺乏预设的部分文本内容或所述部分文本内容长度少于预设长度的数据条[0023]所述层次化医学属性问答对划分为6个维度，根据级别由低到高分别为模态、器[0035]删除缺乏预设的部分文本内容或所述部分文本内容长度少于预设长度的数据条[0037]所述层次化医学属性问答对划分为6个维度，根据级别由低到高分别为模态、器7[0041]该系统为医学影像领域量身定制了一种模拟人类医生认知过程来构建细粒度指[0044](1)区别于传统的医学影像报告生成任务需要繁重的图像标签标注工作，本发明像信息由浅至深的处理范式，结合现实医疗场景中人类诊断分析的思维步骤和推理过程，直接借助大语言模型将原始非结构化无序的医疗报告文本内容层次化抽取并重构为链式[0045](2)区别于传统的CNN_RNN框架和现有的基于大语言模型完成医学影像报告生成任务的方法，本发明不但克服了传统的CNN_RNN框架难以实现复杂多样性的自由文本生成8[0046](3)区别于传统思维链的推理阶段应用方法，本发明提出了一种将推理思维链的[0047](4)本发明克服了先前医学影像报告生成任务高质量数据集匮乏的缺陷，新颖的[0053]医疗领域训练数据的有限可用性和隐私问题极大地阻碍了模型的准确性和泛化9认知过程，本发明专门为医疗影像报告生成任务设计了特定的提示词(prompt)，使ChatGPT、Gemini等强大的大语言模型能够将原始人类撰写的非结构化混乱的医学报告文[0061]S22，为了确保报告内容的完整性，在所有医疗包含中，删除缺乏Finding和[0062]S23，对医学影像报告进行去医患隐私化和去冗余化，删除与医患信息相关的句[0064]本实施例将层次化医学属性问答对划分为6个维度，根据级别由低到高分别为模大语言模型对图像报告进行语义分割。如图3所示，借助我们设计的特定的提示词微调后的医学影像报告生成模型生成医疗影[0078]本实施例展示的基于医疗思维链的多模态