CN114064931B 一种基于多模态知识图谱的急救知识问答方法及系统 （新疆大学）

市新疆大学北校区西院24号楼3单元A,2020.09.08A,2020.12.25A,2019.06.25A,2021.03.19一种基于多模态知识图谱的急救知识问答本发明涉及一种基于多模态知识图谱的急实体关系联合抽取模型抽取问句中的实体和关算问句中的实体与匹配实体的所有关系的相似2基于互联网获取急救相关知识，并根据所述急救相关知识构建多模态急救知识图谱；获取用户输入的问句，利用实体关系联合抽取模型抽取所述问述实体关系联合抽取模型的输入是一个二维n*n表格；所述实体关系联合抽取模型包括编所述编码层用于对用户输入的问句进行编码，具体的：使用预训练多层感知机获取句子不同方向上的信息；2)使用双仿射模型计算每个单词对的得分向量；所述约束层用于添加约束；约束包括第一约束和第二约束；所述第根据所述问句中的实体定位所述多模态急救知识图谱中的实体将所述语音形式急救知识、所述图像形式急救知识以及所述视频形将所述语音形式急救知识的实体和文本融入到所述传统急救知对所述图像形式急救知识中的图像信息进行标注，得到图像标注结果将所述图像标注结果融入到所述包含有语音急救知识的急救知3对所述视频形式急救知识中的图像信息进行标注，得到视频标注结果将所述视频标注结果融入到所述包含有语音急救知识以及图像急救知识的急救知识将与所述相似度最高的关系对应的匹配实体作为所述问句的多模态急救知识图谱构建模块，用于基于互联网实体关系抽取模块，用于获取用户输入的问句，所述编码层用于对用户输入的问句进行编码，具体的：使用预训练多层感知机获取句子不同方向上的信息；2)使用双仿射模型计算每个单词对的得分向量；所述约束层用于添加约束；约束包括第一约束和第二约束；所述第匹配实体；所述匹配实体为所述多模态急救知识图谱中与所述问句中的实体相匹配的实相似度计算模块，用于利用深度学习模型计算所述问句中传统急救知识图谱构建单元，用于基于互联网获取文本形4多模态急救知识获取单元，用于基于互联网获取语音形融入单元，用于将所述语音形式急救知识、所述图像形式联合抽取子单元，用于对所述文本信息进行联合抽取，得到语音融入子单元，用于将所述语音形式急救知识的实体和文本融入到视频标注子单元，用于对所述视频形式急救知识中的图像信息进行视频融入子单元，用于将所述视频标注结果融入到所述包含有语答案确定单元，用于将与所述相似度最高的关系对应的匹配实体作为所述问句的答5人必须要能够承担快速借助简单急救设备实施急救的重担。然而因为急救事件在任何时上，德国普及率为80法国和澳大利亚普及率为40而中国急救知识和技能的普及率平砥柱，而事实上参加过急救培训的大学生只有29.90仅16.60％6一急救目击者的认证考试标准，被认证的第一急救目击者是指经过40～60学时的急救培医学研究院针对公众急救知识欠缺的状态提出许多举措，包括:在驾校培训、大中小学考知识普及工作的单位主要是中国各急救医院、中国红十字会以及美国心脏协会(AHA，专业理论知识理解起来有难度，尤其对于语言理解不通顺的少数民族同胞来说很难掌握。而图中的边也由连接网页的超链接(hyperlink)变成了实体间丰富的各种语义关系。知识识图谱包括SNOMED-CT，IBM的WastonHealth以及中国的诸如上海曙光医院的中医药知识建了图像模态伦敦眼图像与文本模态知识图谱实体(DBpedia实体：Londoneye)之间的多模态语义关系(rpo:imageof)，之后还构建了图像模态实体伦敦眼与图像模态实体大本钟7[0007]针对急救领域的知识图谱目前鲜有耳闻，但是医学领域传统知识图谱研究较[0008]急救信息实体识别与传统命名实体识别任务相比，急救信息实体识别有较大不有表示矩阵稀疏性问题。由此，本发明引入一个以BERT(BidirectionalEncoder方法将两个任务整合到一个统一的框架中，使用一个解码模块输出抽取信息。MeishanZhang，JueWang采用了MakotoMiwa中提出的表格填充方法；ArzooKatiyar以及SuncongZheng采用基于序列标记的方法；ChangzhiSun和Tsu-JuiFu提出了基于图的方法基本上构建了两个单独的实体识别和关系提取模型，并通过参数共享将它们一起优化。8计思路，在不改变语义合成操作方式的前提下，通过改变实体和关系的向量表达，提出9的方法存在一下问题:源头上并没有考虑不同模态特征之间的依赖和对应关系，使得最终识图谱。多模态百科图谱Richpedia中首先构建了图像模态伦敦眼图像与文本模态知识图[0017]对语音信息进行结构化处理的常用方法是首先给语音信息定义全局标识符通过[0018]传统知识图谱融入图像信息首先需要获取图像中物体属性和不同物体之间的关在图像识别的基础上,不仅能够识别出图像中的物体还能识别出物体之间的关系。陈师哲等人在做图像描述的研究工作中提出了一种更加细粒度的控制信号，称为抽象场景图视频。这类视频中所包含的物体几乎全部在文本形式的急救培训资源中,所以在对于在知[0022]最早基于知识图谱的智能问答是基于模板的问答方法，模板将自然语言问句转化为知识库查询。Cocco等人提出基于面向对象的问答系统，借助查询转化成逻辑表达式，再利用知识图谱的语义信息将逻辑表达式转换成知识图谱查询，[0025]基于深度学习的答案排序方法是需要将问题以及知识图谱中包含的丰富的语义[0032]获取用户输入的问句，利用实体关系联合抽取模型抽取所述问句中的实体和关[0033]根据所述问句中的实体定位所述多模态急救知识图谱中的实所述匹配实体为所述多模态急救知识图谱中与所述问句中的实体标注结果包括图像中的物体属性以及物体之间的关[0048]将所述视频标注结果融入到所述包含有语音急救知识以及图像急救知识的急救[0055]匹配模块，用于根据所述问句中的实体定位所述多模态[0086]图1为本发明提供的一种基于多模态知识图谱的急救知识问答方法的流程图，如标注结果包括图像中的物体属性以及物体之间的关[0099]将所述视频标注结果融入到所述包含有语音急救知识以及图像急救知识的急救[0102]步骤104：利用深度学习模型计算所述问句中的关系与所有所述匹配实体的关系[0109]图2为本发明提供的一种基于多模态知识图谱的急救知识问答系统的结构图，如[0112]匹配模块203，用于根据所述问句中的实体定位所述多模态急救知识图谱中的实[0113]相似度计算模块204，用于利用深度学习模型计算所述问句中的关系与所有所述距离依赖问题，将句子的上下文进行拼接，即将句子扩展到一个固定长度(默认设置为200)。同时采用深度双仿射注意力机制(deepbiaffineattentionmechanism)更好的编[0139]实体链接的主要作用是利用知识库中的实体对从文本中获取的实体指代进行消像中的物体属性以及物体之间的关系。本发明以人工标注的结果作为图像的资源标识符，[0148]基于深度学习的答案排序方法需要将问题以及知识图谱中包含的丰富的语义信最具代表性的距离平移模型，它将实体和关系表示为同一空间的矢量.三元组中的关系矢查询得到的答案的文本进行翻译。这样可