版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
一种用于知识密集型任务的知识推理方法、本申请提供了一种用于知识密集型任务的将多模态融合特征信息输入预设上下文感知推2将来自用户终端的多模态查询文本输入预置的文本识别融合模型,以确定相基于所述匹配知识源类型及所述多模态查询文本,从相应知识库根据预设模态类型分组,将所述多模态查询数据集中各所述多模基于各所述第一关联评分与第一预设阈值的比较结果,将相应将所述多模态融合特征信息输入预设上下文感知推理引擎,以根据引擎输自用户终端的多模态查询文本输入预置的文本识别融合模型,以确定相应的用户查询意通过所述文本识别融合模型,确定所述多模态查询文本分别在所述BERT模型和所述根据所述第一输出信息确定第一值矩阵、第一键矩阵,根根据预设注意力机制,计算与所述第一输出信息对应的第一融合根据所述第一融合权重与所述第一值矩阵的第一乘积值和所述第二融合权重与所述通过语义解析技术将所述多模态查询文本转换为结构化查将所述结构化查询语句与所述知识库中预定义分类的各知识源匹配,分别计算所述意图向量与所述知识库中所述匹配知识源类型对应的各知识源向量的3根据各所述知识源相关性评分及知识源权重公式,确定各知识源分根据所述结构化查询语句与各所述查询知识源,查询相应的各所述多模态查询数据,并将查询得到的各所述多模态查询数据添加至所述多模态将不同所述预设模态类型分组的所述多模态查询数据,分别输入相应的将各所述查询数据特征集合分别输入预设注意力得分函数,确根据各所述注意力得分及预设权重公式,确定所述查询数据特征组计算所述第一注意力权重与所述第一查询数据特征将各所述第二关联评分输入预设Sigmoid函数,以确定相应所述多模态查询数据之间在所述第一关联评分大于所述第一预设阈值的情况下,将各将预设知识图谱中的实体和关系嵌入低维向量空间,以与预训将整合后的所述预设知识图谱与所述预训练大语言模型,作为所述4第一输入模块,用于将来自用户终端的多模态查询文本输入预置的文本识别融合模由BERT模型和TextCNN模型融合得划分输入模块,用于根据预设模态类型分组,将所融合处理模块,用于基于各所述第一关联评分与第一预设第二输入模块,用于将所述多模态融合特征信息输入预设上所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被理器执行,以使所述至少一个处理器能够执行如上述权利要求1_8任一项所述的一种用于5[0001]本申请涉及计算机技术领域,尤其涉及一种用于知识密集型任务的知识推理方本数据的处理,对于多模态数据的融合与推理仍缺乏有效手段。例如,一些基于BERT或TextCNN等模型的文本处理方法虽然在自然语言处理领域取得了显著成效,但在处理多模[0005]为解决上述问题,本申请实施例提供了一种用于知识密集型任务的知识推理方用户查询意图及其对应的匹配知识源类型;其中,所述文本识别融合模型由BERT模型和6根据所述第一融合权重与所述第一值矩阵的第一乘积值和所述第二融合权重与通过语义解析技术将所述多模态查询文本转换为结构化查[0009]在本申请的一种实现方式中,基于所述匹配知识源类型分别计算所述意图向量与所述知识库中所述匹配知识源类型对应的各知识源向根据各所述知识源相关性评分及知识源权重公式,确定各知识特征集合两两之间的各查询数据特征的注意力得分,并得到相应的若干查询数据特征组;7将各所述第二关联评分输入预设Sigmoid函数,以确定相应所述多模态查询数据设学习率表示所述知识库更新信息对所述原知识库信息的影型由BERT模型和TextCNN模型融合得融合处理模块,用于基于各所述第一关联评分与所述第一预设阈值的比较结果,第二输入模块,用于将所述多模态融合特征信息输入预设上下文感知推理引擎,8储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述所述的一种用于知识密集型任务的知识推理方图1为本申请实施例中一种用于知识密集型任务的知识推理方法的一种流程示意模型已成为实现这一目标的重要工具。尽管这些模型在处理简单数据和任务时表现出色,9S101,服务器将来自用户终端的多模态查询文本输入预置的文本识别融合模型,[0025]也就是说,本申请利用深度学习模型BERT模型和TextCNN模型融合构建文本识别应的多模态查询文本进行识别处理。本申请可根据BERT模型和TextCNN模型分别对多模态通过文本识别融合模型,确定多模态查询文本分别在BERT模型和TextCNN模型的据融合输出信息匹配预设意图列表中的用户同的预设变换权重矩阵及不同预设变换偏置项,分别将第一输出信息转换为第一值矩阵、o为第i个知识源模态查询数据添加至多模态查询数据集。将不同预设模态类型分组的多模态查询数据,分别输入相应的网络结构进行处特征值的第三乘积值,计算第二注意力权重与第二查询数据特征的特征值的第四乘积值,并将第三乘积值与第四乘积值的加和,作为第二关联评分。将各第二关联评分输入预设fr:(Ti,li)=wrr·(Tioli)+br[0041]fr:(li,Ti)=wr·(liog(Ti))+b、fr(li,Ti)分别表示第i组查询数据特征组中文本Ti和图像li对[0058]图2为本申请实施例提供的一种用于知识密集型任务的知识推理系统的结构示意第一输入模块201,用于将来自用户终端的多模态查询文本输入预置的文本识别
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年if考试题库带答案
- 2026年腾讯招聘测评题库及答案
- 2026年保密基础知识考试题库带答案
- 2026年环境空气采样题库及参考答案
- 2026年军队考试题库及参考答案
- 2026年山东省威海市继续教育公需课模拟试卷及答案
- 事业单位宣传岗面试题库及解析
- 河南省驻马店市注册会计公司战略与风险管理模拟题及答案
- 2026年化学模拟考试题库及答案
- 2026年事业单位招聘考试林业基础知识题库及参考答案
- 住院医师规范化培训出科考核标准体系
- 药明康德奖惩制度
- 聚乙二醇课件
- 卫生健康副校长制度规定
- 2026年艺考乐理考试卷及完整答案一套
- 东东电竞制度规范
- 农村本土人才岗位申请书
- DZ/T 0153-2014物化探工程测量规范
- 质量受权人管理制度
- 《欧盟介绍演讲》课件
- 中华民族共同体概论课件第十讲中外会通与中华民族巩固壮大(明朝时期)
评论
0/150
提交评论