CN119294534B 基于医学知识的多模态智能医疗场景动态推理方法及装置 （浙江一山智慧医疗研究有限公司）

基于医学知识的多模态智能医疗场景动态本申请提出了一种基于医学知识的多模态将文本模态特征输入到预设有医学知识图谱的图神经网络中进行特征增强得到医学知识增强化健康档案的记忆网络中进行特征增强得到档案增强文本特征进行拼接得到上下文增强文本将融合特征输入到由多个推理节点以图结构构2获取用户的多模态数据，其中多模态数据包括文本模态数将多模态数据输入到经训练的特征提取模块中提取多模态特征将文本模态特征输入到预设有医学知识图谱的图神经网络中进行特征增强得到医学将上下文增强文本特征以及多模态特征输入到预训练的多模态融合模型中输出融合将融合特征输入到由多个推理节点以图结构构建的动态推理树中确定最高分的推理2.根据权利要求1所述的基于医学知识的多模态智能医疗场景动态推理方法，其特征3.根据权利要求1所述的基于医学知识的多模态智能医疗场景动态推理方法，其特征4.根据权利要求1所述的基于医学知识的多模态智能医疗场景动态推理方法，其特征5.根据权利要求1所述的基于医学知识的多模态智能医疗场景动态推理方法，其特征36.根据权利要求1所述的基于医学知识的多模态智能医疗场景动态推理方法，其特征励函数的奖励对最高分的推理节点的历史质量值7.根据权利要求1所述的基于医学知识的多模态智能医疗场景动态推理方法，其特征模态特征转换单元，用于将多模态数据输入到经训练的特征提取上下文增强文本特征获取单元，用于将文本模态特征输入到预征和档案增强文本特征进行拼接得到上下文融合特征获取单元，用于将上下文增强文本特征以及多模态特意力权重和动态权重对上下文增强文本特征以及多模态特征进推理节点选择单元，用于将融合特征输入到由多个推理节点以图结9.一种电子装置，包括存储器和处理器，其4疗情境动态调整和深度嵌入知识图谱来增强推理能力的解[0009]本申请方案提供一种基于医学知识的多模态智能医疗场5[0013]将文本模态特征输入到预设有医学知识图谱的图神经网络中进行特征增强得到[0014]将上下文增强文本特征以及多模态特征输入到预训练的多模态融合模型中输出[0015]将融合特征输入到由多个推理节点以图结构构建的动态推理树中确定最优推理本特征和档案增强文本特征进行拼接得到上下文增6了一种为智能医疗场景中的多模态数据提供高效而精准的特征提取与融合方法，针对语[0034]图1是本方案提供的基于医学知识的多模态智能医疗场景动态推理方法的逻辑示7中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相[0040]如图1所示，本申请实施例提供了一种基于医学知识的多模态智能医疗场景动态[0043]将文本模态特征输入到预设有医学知识图谱的图神经网络中进行特征增强得到[0044]将上下文增强文本特征以及多模态特征输入到预训练的多模态融合模型中输出[0045]将融合特征输入到由多个推理节点以图结构构建的动态推理树中确定最优推理[0047]本方案提供的基于医学知识的多模态智能医疗场景动态推理方法区别于传统的8动设备、电脑等终端向本方案提供的多模态智能医疗场景动态推理系统输入多模态数据，其中多模态数据中的文本模态数据指的是文本模态的数据，比如健康问卷以及文本病历换得到Mel频率倒谱系数特征作为语音模[0054]P(f,t)=lx(f,t)l"；[0055]其中p(f,t)是功率谱；P(f)表示输入信号在频率fir处的功率谱；中，用于提取文本模态特征的经训练的特征提取模块是医疗场景特化的ClinicalBERT，9方案通过引入医学知识图谱使得系统可以更有效地理解文本输入中的医学术语及其间的；[0072]将文本模态特征输入到预设有医学知识图谱的图神经网络中被提取得到文本模[0074]其中Hr表示为文本模态特征，GAT表示图记录和基因信息等文本内容，该方法能够动态提取与当前医疗场景相关的用户历史信息，[0078]其中MemNet()表示记忆网络，A表示用户个性化健康档案，Hpersonal表示档案[0079]本方案将医学知识增强文本特征和档案增强文本特征进行拼接得到上下文增强文本特征，以得到结合了用户的个体历史信息和医疗信息的特定医疗场景下的特征表示，xi=[HXC,H[0080]其中H.ontext表示上下文增强文本特征。征的权重会显著高于文本特征或语音特征，从而优先考虑影像信息对最终诊断结果的贡重和动态权重对上下文增强文本特征以及多模态特征进行案通过计算每一多模态特征和上下文增强文本特征的余弦相似度来量化每一多模态特征每个多模态特征的重要性被量化为一个归一[0093]T'=wrHr+br,T'eRdr"；本特征的注意力权重，表示多模态特征或上下文增强文本特征在当前融合任务中的贡献Bn=amxm实时需求和系统的资源状况在边缘节点和云端节点之[0120]其中c;表示第i个推理节点的计算能力，R;表示第i个推理节点的资源可用性，[0121]S;=P+WQ:；映该推理节点在历史任务中的表现，在动态推理树的初次部署或针对新加入的推理节点[0126]本方案在得到动态推理树上的每一推理节点的综合评分后可选择最高综合评分于奖励函数的奖励对最高分的推理节点的历史质奖励值。[0133]Q:=Q:+a(Ri-Q)；[0135]另外，本方案根据推理任务的完成程度更新推理节点的[0140]如图2所示，本实施例提供了一种基于医学知识的多模态智能医疗场景动态推理本特征和档案增强文本特征进行拼接得到上下文增医学知识的多模态智能医疗场景动态推理方法的实tionSpecificIntegratedCircuit，简称为ASIC或者可以被配置成实施本申请实施例的例中的任意一种基于医学知识的多模态智能医[0158]传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可[0163]将文本模态特征输入到预设有医学知识图谱的图神经网络中进行特征增强得到[0164]将上下文增强文本特征以及多模态特征输入