CN119476458A 一种构建大语音模型知识管理系统及方法 （北京许继电气有限公司）

本公开实施例提出了一种构建大语言模型题在多数据源中进行搜索获取的知识作为背景2步骤2.1、检索前处理是指对用户查询进行预处理的一系列技术和方法，旨在优化查步骤2.1.2、指代消解用于处理用户查询中含有指代词以提高检索系统对用户查询的3模型能够有效地改写用户的查询为了进一步提升查询改写效果，引入一个辅助模型重写并丢弃其他的候选检索结果最终被选中的TopK将作为上下文和用户查询问题一起交给大个大语音模型可以较好地对多个知识图谱进行知识检索，Text2Cypher将用户问题翻译成Graph方式来利用知识图谱中的上下文知识以处理用户查询首先从用户输入的查询内容中服务或功能的过程，主要以函数调用FunctionCalling为主使用API过滤器将用户通过自用户查询一起送给大模型进行处理对于支持FunctionCall功能的大语音模型，它会返回函数调用的名称和参数等信息大模型能够较好地通过API描述发送请求和接收响应，并结等操作目的是为了精炼并整理出一组最终结果这些结果随后将被提交给大语音模型以生4息采用LongLLMLingua的方法进行上下文压缩首先使用一个小型编码器模型将长输入编码音模型解码器能够识别小型编码器编码后的信息，生成最终的输出LongLLMLingua通过使用对齐并训练好的小模型来检测移除上下文中不重要的token，并将其转换为人类难以理配bge_embedding模型进行文档嵌入，取得了良好效果重排环节的优化有助于提高上下文大语言模型知识管理系统答案生产流程，用于在知识库构建完成后基础设施模块，是构建大语言模型知识管理系统的底层基础，大模型能力模块，包括多种预训练的通用大语言模型知识模型知识存储模块，负责存储和管理企业的知识资产，主要提知识检索单元，用于实现根据用户问题获取知识答案的过程检索5知识管理单元用于将系统能力统一封装和管理，对业务应用模块，用于开展基于大语言模型知识管理系统构建的典6可以使用大语音模型通过预设好的Prompt进行实体识别和关系抽取，形成三元组进行存[0008]步骤1.3、数据库知识是存7询检索器该检索器借助大语音模型，从多个维度自动生成针对给定用户输入的多个查询，如图5所示，混合检索通常将用户查询问题进行改写生成一个或多个查询经过查询路由模过一个大语音模型可以较好地对多个知识图谱进行知识检索，Text2Cypher将用户问题翻8(Sub_Graph)方式来利用知识图谱中的上下文知识以处理用户查询首先从用过滤器筛选与用户输入相关的Schema，然后将筛选的Schema列表与问题一并交给大模型，外部服务或功能的过程，主要以函数调用(FunctionCalling)为主使用API过滤器将用户定义和用户查询一起送给大模型进行处理对于支持FunctionCall功能的大语音模型，它会返回函数调用的名称和参数等信息大模型能够较好地通过API描述发送请求和接收响排序等操作目的是为了精炼并整理出一组最终结果这些结果随后将被提交给大语音模型文信息采用LongLLMLingua的方法进行上下文压缩首先使用一个小型编码器模型(通常是BERT等双向编码器)将长输入编码为一个较短的向量表示，然后将编码后的向量连同查询成最终的输出LongLLMLingua通过使用对齐并训练好的小模型来检测移除上下文中不重要的token，并将其转换为人类难以理解但大语音模型易于理解的形式，有效提升了系统性业知识库进行知识检索；知识检索过程将获取与用户问题相关知识内容的上下文信息最[0022]同时，本申请实施例还提出了一种实现前述方法的构建大语言模型知识管理系9功能，RAG向大模型提出问题，并把问题在多数据源中进行搜索获取的知识作为背景上下[0034](3)采取有效的embedding和Rerank组合模型，进一步提升RAG技术的检索效率和的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。[0042]根据本发明实施例，提供一种构建大语言模型知识管理系统及方法；如图1所示使用知识存储模块的存储组件进行存储。常见的知识数据来源包括非结构化的文档数据、[0050]业务应用模块，用于开展基于大语言模型知识管理系统构建的典型场景业务应售前人员或客户的产品咨询助手，面向企业提[0052]1.知识构建步骤；其用[0054]1.2知识图谱通过将知识组索流程常省略检索前处理和后处理环节。通过采取了多种前后处理和混合知识检索的方有助于提高检索系统对用户查询的准确性。采用FewshotPrompt并结合思考_行动_观察(CoT)的策略进行指代消解。通过将一些常见的指代消解场景作为Few_shot例子集成到大5所示，混合检索通常将用户查询问题进行改写生成一个或多个查询。经过查询路由模块个大语音模型可以较好地对多个知识图谱进行知识检索。Text2Cypher将用户问题翻译成得执行结果，并将执行结果通过大语音模型能力生成最终答案。GraphRAG通过构造子图(Sub_Graph)方式来利用知识图谱中的上下文知识以处理用户查询。首先从用户输入的查[0065]2.3检索后处理(Postprocessing)负责高检索系统性能和检索结果质量。这一阶段的核心活动包括但不限于对检索结果进行筛息。采用LongLLMLingua的方法进行上下文压缩。首先使用一个小型编码器模型(通常是BERT等双向编码器)将长输入编码为一个较短的向量表示，然后将编码后的向量连同查询成最终的输出。LongLLMLingua通过使用对齐并训练好的小模型来检测移除上下文中不重参数的取值或表示方式也可以通信装置