CN119537559A 一种基于多头自注意力与层次化增强的多文档问答方法及设备 (山东浪潮科学研究院有限公司)_第1页
CN119537559A 一种基于多头自注意力与层次化增强的多文档问答方法及设备 (山东浪潮科学研究院有限公司)_第2页
CN119537559A 一种基于多头自注意力与层次化增强的多文档问答方法及设备 (山东浪潮科学研究院有限公司)_第3页
CN119537559A 一种基于多头自注意力与层次化增强的多文档问答方法及设备 (山东浪潮科学研究院有限公司)_第4页
CN119537559A 一种基于多头自注意力与层次化增强的多文档问答方法及设备 (山东浪潮科学研究院有限公司)_第5页
已阅读5页,还剩21页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

一种基于多头自注意力与层次化增强的多本发明公开了一种基于多头自注意力与层言理解技术领域,用于解决现有的RAG解决方案查询的需求,限制了RAG方法在多文档问答任务在大语言模型中整理出所述检索信息的问答结2在所述预设格式文档中提取层次结构元数据,并基于所通过多头自注意力嵌入模块,对每条目标检索路径下的文档进行多计算所述相关文档段落与所述检索信息的综合匹基于所述目标文档段落以及对应的上下文关系,在大语言模2.根据权利要求1所述的一种基于多头自注意力与层次化增强的多文档问答方法,其3.根据权利要求2所述的一种基于多头自注意力与层次化增强的多文档问答方法,其对于所述PDF文档数据中的图像数据,使用PDFImageSearcher工具提取图像数据的位通过自然语言处理技术对生成的Markdown格式文档进行可4.根据权利要求1所述的一种基于多头自注意力与层次化增强的多文档问答方法,其在每个预设格式文档中提取层次结构元数据;其中,所述层根据所述标识符,将各个结构元素构建为层级化文档树;所述层遍历所述层级化文档树,并基于每个节点之间的连接关系,增加所述预35.根据权利要求4所述的一种基于多头自注意力与层次化增强的多文档问答方法,其通过深度优先搜索算法遍历所述层级化文档树,并在遍历过程中将所述节点之间的上下文关系以不同的形式标记到所述预设格式文档的数据中;其6.根据权利要求1所述的一种基于多头自注意力与层次化增强的多文档问答方法,其通过预训练的决策路由器对所述检索信息进行路径决策,在所述多7.根据权利要求1所述的一种基于多头自注意力与层次化增强的多文档问答方法,其通过所述多头自注意力嵌入模块,获取所述检索信息的检索信将所述检索信息嵌入表示添加到所述文档嵌入表示的前面,作将所述嵌入组合输入到大语言模型中,按照每条目标检索路径进行8.根据权利要求7所述的一种基于多头自注意力与层次化增强的多文档问答方法,其将所述检索信息以及文档库中的预设格式文档均表示为包含若干个token的文本块,将所述初始嵌入表示分割为多个头数据,在每个头数据中独立进行注意力9.根据权利要求1所述的一种基于多头自注意力与层次化增强的多文档问答方法,其4将检索到的若干个相关文档段落与所述检索信息均转化基于所述向量表示,分别计算每个相关文档段落与所述检索信息的相对所述相关性得分、前例相似性得分、邻居相似性得分以及首例相将综合匹配度大于预设阈值的相关文档段落确定为所所述存储器存储有能够被所述至少一个处理器执行的指令,以使所能够执行根据权利要求1_9任一项所述的一种基于多头自注意力与层次化增强的多文档问5务中,检索增强生成(Retrieval_AugmentedGeneration,RAG)框架近年来取得了显著进[0005]本发明实施例提供了一种基于多头自注意力与层次化增强的多文档问答方法及6通过大语言模型,将纯文本数据、Word文档数据以及PDF文档数据均转换为对于所述PDF文档数据中的图像数据,使用PDFImageSearcher工具提取图像数据通过自然语言处理技术对生成的Markdown格式文档进行可述标识符能够体现于其他结构元素间的层级将所述节点之间的上下文关系以不同的形式标记到所述预设格式文档的数据中;7将所述嵌入组合输入到大语言模型中,按照每条目标检索路径进行多文档检索,将所述检索信息以及文档库中的预设格式文档均表示为包含若干个token的文本将所述初始嵌入表示分割为多个头数据,在每个头数据中独立进行注意力计算,[0014]在一种可行的实施方式中,计算所述相关文档段落与所述检索信息的综合匹配将检索到的若干个相关文档段落与所述检索信息均转化基于所述向量表示,分别计算每个相关文档段落与所述检索信息的相关性得分、将综合匹配度大于预设阈值的相关文档段落确定为所理器能够执行所述的一种基于多头自注意力与层次化增强的多文档8方法的核心在于利用Transformer解码器的多头自注意力层激活来生成向量的嵌入表示,图1为本发明实施例提供的一种基于多头自注意力与层次化增强的多文档问答方图2为本发明实施例提供的一种基于多头自注意力与层次化增强的多文档问答设[0021]具体地,导入文档库中存储的文档数据;其中,文档数据至少包括纯文本数据、通过大语言模型,将纯文本数据、Word文档数据以及PDF文档数据均转换为[0023]对于PDF文档数据中的图像数据,使用PDFImageSearcher工具提取图像数据的位9转换后的文档内容及图像描述、表格语义表示的精确性和可读性。NLP处理可以表示为:不同的检索算法及特征构建,包括但不限于经典的TF_IDF(TermFrequency_Inverse数是最大化检索路径选择的准确性,目标函数可以表示为其i映射到与大语言模型的token嵌入相同的维度空间。这通过一个投影层P实现:D1,ED2,…,EDm}表示检索信息嵌入集合,MultiHead表示多头注意力机制,它允许大语言模型在处理检索信息时同时关注多个相关将检索信息以及文档库中的预设格式文档均表示为包含若干个token的文本块,[0048]作为一种可行的实施方式,本发明引入了多头自注意力机制(Multi_HeadAttention这一机制源自Transformer架构,允许模型在处理输入序列时并行关注不同位置的信息。该模块首先将给定的文档或检索信息表示为包含n个token的文本块,并通过嵌入层映射到固定维度的向量空间形成初始嵌入表示。随后,初始嵌入表示被分割成多个头用点积注意力机制计算注意力权重,对值向量进行加权求和,以及将所有头的输出拼接并通过线性变换得到最终的多头注意力输出。为了适应不同长度和复杂性的文档,该模块还块能够生成一个更全面地表征多源文档和查询语义信息的嵌入表示,在处理复杂多方面查询时提供有力支持。srseance=cosine_similarity(Q,D);其中,Q代表查询向量,D代表检

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论