CN119396991A 知识库信息处理的方法及装置、存储介质、计算机设备 （同方知网数字出版技术股份有限公司）

司知识库信息处理的方法及装置、存储介质、本发明公开了一种知识库信息处理的方法本数据相对应的混合索引；接收用户的查询文增强生成模型和混合索引从期刊论文知识库中确定与目标查询文本相对应的目标期刊论文数2对所述期刊论文知识库中的所述标准文本数据进行向量表示处理，接收用户的查询文本，基于预设的混合检索策略对所述查询文本进行改基于预训练的检索增强生成模型和所述混合索引从所述期刊论文知识库中确定与所2.根据权利要求1所述的方法，其特征在于，所述对所述期刊论文数据进行标准化处采用预训练的稠密向量模型提取所述标准文本数据中的语义信息，得采用预训练的稀疏向量模型提取所述标准文本数据中的关键词分析及词频统计的信将所述稠密向量表示和所述稀疏向量表示相结合，得到所述知识对所述查询文本进行查询分析处理，得到与所述查询文本相对应的关键词和查询意从同义词扩展处理、查询补全处理、查询增强处理和上下文感知处理中选从所述期刊论文知识库中提取部分所述标准文本数据作为训练数据集；基于所述检索模块的检索结果对所述生成模块进行训练处理，得到训练好的生成模述混合索引从所述期刊论文知识库中确定与所述目标查询文本相对应的目标期刊论文数3将所述目标查询文本转化为查询向量，并基于所述训练好的检索基于所述目标知识向量从所述混合索引中检索出与所述目标查询文本最相关的所述基于所述训练好的生成模块和所述目标期刊论文数据生成与所述目标查询文本相对索引构建模块，用于对所述期刊论文知识库中的所述标准文本数据进行向量表示处接收及改写模块，用于接收用户的查询文本，基于预设的混合检检索及生成模块，用于基于预训练的检索增强生成模型和所述9.一种存储介质，所述存储介质中存储有至少一可权利要求1_7中任一项所述的知识库信息处理的方法对所述存储器用于存放至少一可执行指令，所述可执行指令使所4[0001]本发明涉及信息处理技术领域，特别是涉及一种知识库信息处理的方法及装置、[0008]接收用户的查询文本，基于预设的混合检索策略对所述[0009]基于预训练的检索增强生成模型和所述混合索引从所述期刊论文知识库中确定5[0015]采用预训练的稀疏向量模型提取所述标准文本数据中的关键词分析及词频统计[0025]基于所述目标知识向量从所述混合索引中检索出与所述目标查询文本最相关的[0026]基于所述训练好的生成模块和所述目标期刊论文数据生成与所述目标查询文本[0029]基于所述用户反馈问题类型对所述预训练的检索增强生成模型进行模型优化处6检索模块从所述期刊论文知识库中确定相似度最高的[0054]基于所述用户反馈问题类型对所述预训练的检索增强生成模型进行模型优化处7[0060]上述说明仅是本发明技术方案的概述，为了能够更清楚[0063]图2示出了本发明实施例提供的一种检索增强生成模型的检索及生成结果示意8执行端将经标准化得到的标准文本数据进行整合，构建供用户进行查询的期刊论文知识[0075]本发明实施例中，当前执行端对期刊论文知识库中的标准文本数据进行向量表[0078]104、基于预训练的检索增强生成模型和所述混合索引从所述期刊论文知识库中[0079]本发明实施例中，当前执行端基于预训练的检索增强生成模型(RAG，RetrievalAugmentedGeneration)和步骤102为各个标准文本数据构建的混合索引从期刊论文知识库中确定与目标查询文本相对应的目标期刊论文数据。接着，当前执行端基于上述预训练9发展趋势如下：1、重塑出版业，推动建立新的出版秩序。2、加快知识传播速知识库中提取部分标准文本数据作为训练数据集，可以确保训练数据集的质量和代表性；并采用提取的高质量、具有代表性的训练数据集对检索增强生成模型RAG中的检索模块进[0084]202、对所述期刊论文进行元数据标准化处理，包括统一字段处理和统一格式处[0088]本发明实施例中，当前执行端采用预训练的稠密向量模型提取步骤101中标准文[0089]302、采用预训练的稀疏向量模型提取所述标准文本数据中的关键词分析及词频所述知识向量与所述标准文本数据之间构建混[0092]本发明实施例中，当前执行端将所述稠密向量表示和所上下文感知处理中选择至少一种改写方式，基于步骤401得到的关键词和查询意图对用户增强生成模型和所述混合索引从所述期刊论文知识库中确定与所述目标查询文本相对应[0100]基于所述目标知识向量从所述混合索引中检索出与所述目标查询文本最相关的[0101]基于所述训练好的生成模块和所述目标期刊论文数据生成与所述目标查询文本RAG中训练好的检索模块从期刊论文知识库中确定相似度最高的目标知识向量，即提供端在得到目标期刊论文数据之后，还基于检索增强生成模型RAG中训练好的生成模块和目标期刊论文数据生成与目标查询文本相对应[0105]基于所述用户反馈问题类型对所述预训练的检索增强生成模型进行模型优化处[0109]作为对上述图1所示方法的实现，本发明实施例提供了一种知识库信息处理的装检索模块从所述期刊论文知识库中确定相似度最高的[0133]基于所述用户反馈问题类型对所述预训练的检索增强生成模型进行模型优化处[0136]图7示出了根据本发明一个实施例提供的一种计算机设备的结构示意图，本发明[0137]如图7所示，该计算机设备可以包括：处理器(processor)602、通信接口[0142]处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(Application[0147]接收用户的查询文本，基于预设的混合检索策略对所述[0148