CN120296146A 基于大模型的政务公文引文检索方法、装置、设备及介质 （浪潮云信息技术股份公司）

基于大模型的政务公文引文检索方法、装本申请公开了基于大模型的政务公文引文处理模型对所述政务公文中的专业术语进行识库和所述向量知识库利用目标信息检索算法对选引文文档与所述识别结果进行语义相关性评2获取政务公文，确定所述政务公文对应的文档切片，并基于所述文利用目标预训练自然语言处理模型对所述政务基于所述文档知识库和所述向量知识库利用目标信息检索算法对所述识别结果进行通过reranker模型对各所述候选引文文档与所述识别结果进行语义相利用目标政务公文语料库以及政务公文领域专用词表对初始预训练自然语言处理模所述文档知识库和所述向量知识库利用目标信息检索算法对所述识别结果进行关键词匹对所述文档知识库中的文档切片进行分词、去停用词以及关键词提取操基于各所述第二处理后文档切片构建全局词汇表；所述全局词汇基于所述全局词汇表对所述第二处理后文档切片进行向量化处理，基于目标信息检索算法计算所述识别结果与所述文档知识库中各文档切片对应的关根据各所述相关性评分从所述文档知识库中3基于所述向量知识库以及所述初始文档对所述识别结果进行关键词检索所述向量知识库中与所述目标向量相似的目标确定所述目标文档切片与所述目标向量之间基于所述相似度评分和所述相关性评分确定各所述初始文档的分结果对各所述候选引文文档进行重排序，并根据相应的重排序结果输出目标引文文档，通过reranker模型对各所述候选引文文档与所述识别结果进行语义相关性根据所述评分结果对不符合预设评分阈值条件的目标评分结果对应的候选引文文档根据所述评分结果、各初始引文文档的发布时间和发布机构对所7.根据权利要求1至6任一项所述的基于大模型的政务公文引文检索方法，其特征在在输出目标引文文档时，输出所述目标引文文档的上下文识别模块，用于利用目标预训练自然语言处理模型对所述政关键词匹配模块，用于基于所述文档知识库和所述向量知识库利处理器，用于执行计算机程序以实现如权利要求1至7任意一项所述的410.一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程5[0001]本发明涉及人工智能技术领域，特别涉及基于大模型的政务公文引文检索方法、6[0009]基于所述文档知识库和所述向量知识库利用目标信息检索算法对所述识别结果[0010]通过reranker模型对各所述候选引文文档与所述识别结[0012]使用Langchain框架对政务公文文本进行划分，以确定所述政务公文对应的文档[0017]利用目标政务公文语料库以及政务公文领域专用词表对初始预训练自然语言处[0018]利用外部数据库对所述政务公文领域专用词表中的名词进行补充，获取补充结[0024]基于目标信息检索算法计算所述识别结果与所述文档知识库中各文档切片对应7[0036]根据所述评分结果对不符合预设评分阈值条件的目标评分结果对应的候选引文文档；最后通过reranker模型对各所述候选引文文档与所述识别结果进行语义相关性评89用Langchain框架对政务公文文本进行划分，以确定所述政务公文对应的文档切片；通过全文检索能力能够快速定位与用户查询相关的文档切片，为后续的精确匹配提供基础。使用BGE模型对文档切片进行向量化处理。BGE模型能够有效捕捉文档内容的语义信息，生成高维向量表示。这些向量能够更好地用于语义匹配与检索，从而提升检索的准确性。通过速定位与用户查询相关的文档切片。这一过程能够快速筛选出可能相关的文档片段，为后利用余弦相似度或欧几里得距离计算查询向量与文档向量之间的相似性，衡量两者的语义相关程度。此外，系统采用基于FAISS的向量索引库，通过聚类分片和高效的近似最近邻[0063]步骤S12、利用目标预训练自然语言处理模型对所述政务公文中的专业术语进行[0066]另外，除了政治名词和战略性名词的识别，还结合命名实体识别（NER，Named[0068]步骤S13、基于所述文档知识库和所述向量知识库利用目标信息检索算法对所述[0070]步骤S14、通过reranker模型对各所述候选引文文档与所述识别结果进行语义相和发布机构对所述初始引文文档进行重排序，并根据相应的重排序结果输出目标引文文上下文与查询意图之间的深层语义关联。通过输入查询内容和候选文档的段落文本，型和reranker技术对检索结果进行重评分，并结合语义匹配度和文档权威性进行重排序。文档；最后通过reranker模型对各所述候选引文文档与所述识别结果进行语义相关性评BM25算法通过计算查询语句中关键词与文档关键词的匹配程度，评估两者之间的相关性。是查询中的关键词,TF(t,d)为关键词ti在文档d中的词频，文档；最后通过reranker模型对各所述候选引文文档与所述识别结果进行语义相关性评标信息检索算法计算所述识别结果与所述文档知识库中各文档切片对应的关键词之间的识库以及所述初始文档对所述识别结果进行关键词匹配，以获取相应的多个候选引文文并执行，以实现前述任一实施例公开的基于大模型的政务公文引文检索方法中的相关步取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，[0132]其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序完成前述任一实施例公开的由电子设备20执行的基于大模型的政务公文引文检索方法的中，所述计算机程序被处