CN116628172B 基于知识图谱的政务服务领域多策略融合的对话方法 （北京酷维在线科技有限公司）

KR20220118680A,2022.08.26TW501046B,2002.09.01EP3855320A1,2021.07.28基于知识图谱的政务服务领域多策略融合知识图谱的政务服务领域多策略融合的对话方务图谱多轮问答策略+基于词和语义多阶段召回和排序的FAQ知识库问答策略+多文档检索的抽取式阅读理解问答策略+基于可信知识机制的LLM大语言模型本地知识库策略”的政务服务领2WO2021138163A1,2021.07.08用.2020,全文.3S1.3:通过OCR识别方法和抽取方法进行半结构化和非结构化数据知识抽取并智能填询，提出基于词和语义多阶段召回和排序的知识库策略，针对FAQ知识库场景场景迁移问S9.1:政务服务图谱多轮问答策略,构建政务服务对话服务,把用户标识和留言内容发政务服务细分意图是基于DIET联合抽取模型进行政务细分意图和实体抽取,政务服务对话关系是实施依据,政务事项和服务对象的关系是服务主体,设置每个意图对应的回复模板，4务需要cypher模型的配置可能同时返回多条记录合并的结果,设置全局模板数据，S9.3:基于DIET联合抽取模型做意图和实体联合抽取,针对传统的预训练模型BERT_TEXTCNN意图识别和BERT_CRF模型训练和模型推理速度慢，且在政务细分场景下实体识别和意图提取是有强相关性，二阶段任务有错误累计的问题,提出基于DIET联合抽取模型做政务服务细分场景下的意图和实体联合抽取,在获取意图和槽位情况下，让意图和槽位绑S9.4:政务服务对话管理，基于意图继承和槽位继承完成政务服务多轮对话，槽位继S9.7:召回模块，召回模型分为词力度召回和基于语义召回，针对词力度召回过程中5Word2Vec训练词向量的好处,既用问答对的语料,或者用同行业语料来扩充,计算一个词和现embedding坍塌问题，应用基于对比学习SimCSE模型，进一步提高模型准确率，基于50对里面选择最佳答案或增加多样性随机返回topk返回给用片段，负样本为所有passage都分段后取bm25分数最高的5个片段和任意不包含答案的5个6两个任务的loss权重来使两个任务同时达到收敛，损失函数0.01*MRC_loss+0.99*CLS_低于某个阈值，低于阈值进入基于可信知识机制的LLM大模型的本地政务知识库策略，其S9.16:基于可信知识机制的LLM大语言模型本地知识本审核加工后才能正确对接应用命令，可信知识机制并没有让大语言模型LLM去完整学习2.根据权利要求1所述的基于知识图谱的政务服务领域多策略融合的对话方法，其特S2.2:收集政务概念和数据资源,在构建政务本据和各种政务领域公文和政务服务网半结构化数据和非结构化数据,包括如政务手册、政3.根据权利要求2所述的基于知识图谱的政务服务领域多策略融合的对话方法，其特7S3.2:对政务领域知识本体和政务服务流程知识体系评价和验证，针对政务公文和政4.根据权利要求1所述的基于知识图谱的政务服务领域多策略融合的对话方法，其特再将下载的任务根据partition分配算法均匀地分布到每个服务上面，每个服务的任务通用处理数据。5.根据权利要求4所述的基于知识图谱的政务服务领域多策略融合的对话方法，其特86.根据权利要求1所述的基于知识图谱的政务服务领域多策略融合的对话方法，其特S6.1:从政务领域的结构化的数据源中，依据构建的政务领域本体和政务服务流程知针对传统政务业务数据库，通过本体映射，支S6.3:对半结构化和非结构化数据解析,并进行智能填单，智能填单是通过OCR识别技9S6.4:对半结构化和非结构化数据解析实体识别,首先对非结构化数据联合抽取,针对实体识别数据集构建流程，首先利用知识库的实体名称和实体的别7.根据权利要求6所述的基于知识图谱的政务服务领域多策略融合的对话方法，其特通过构建实体识别模型对匹配的结果进行筛选，政8.根据权利要求6所述的基于知识图谱的政务服务领域多策略融合的对话方法，其特对齐通过同一个实体有不同的提及文本和实体消歧同一个提及针对通过同一个实体有不同的提及文本解决方案如下，利用建立好的实体名和别名，再进行实体链接，针对同一个提及文本对应不同的实9.根据权利要求1所述的基于知识图谱的政务服务领域多策略融合的对话方法，其特词和语义多阶段召回和排序的FAQ知识库问答策略、多文档检索的抽取式阅读理解问答策略和融入基于可信知识机制的LLM大语言模型本地知识库策略。每种问答方法应用场景泛回和排序的FAQ知识库问答策略+多文档检索的抽取式阅读理解问答策略+基于可信知识机知识库政务领域问答语料不足问题，提出基于可信知识机制的LLM大语言模型本地知识库[0008]S1:进行基于政务服务的图谱构建，构建政务领域知识体系和政务服务流程知识据业务需要将多张表信息整合成一张表进行抽取定制，相关操作提供直观便捷的操作界将图像中的文字区域框选出来，而文字识别过程则是将上一步框选出来的文字识别成字实体对齐通过同一个实体有不同的提及文本和实体消歧对应的相关的文档信息也记录mongo数据库一份。一个实体属性的信息，可能存在多篇文[0023]对半结构化和非结构化数据解析实体识别,首先对非结构化数据联合抽取,针对[0024]构建实体别名字典，利用政务知识库的实体名称和实体的别名信息构建别名字统计知识库中实体无法匹配总次数,训练集中实体无法匹配的所有字符串以及该字符串对[0030]S1.3:通过OCR识别方法和抽取方法进行半结构化和非结构化数据知识抽取并智化数据和各种政务领域公文和政务服务网半结构化数据和非结构化数据,包括如政务手[0041]S3.2:对政务领域知识本体和政务服自动化站点爬取入库；优质站点评估模型具体包括质量等级打分算法和活跃等级打分算再将下载的任务根据partition分配算法均匀地分布到每个服务上面，每个服务的任务通用处理数据。FAQ知识库策略进行模糊查询，提出基于词和语义多阶段召回和排序的知识库策略，针对[0050]S9.1:政务服务图谱多轮问答策整体政务服务细分意图是基于DIET联合抽取模型进行政务细分意图和实体抽取,政务服务保证意图和槽位列表信息绑定在一起,以政务事项为核心实体，围绕关联实规的关系是实施依据,政务事项和服务对象的关系是服务主体,设置每个意图对应的回复根据业务需要cypher模型的配置可能同时返回多条记录合并的结果,设置全局模板数据，[0052]S9.3:基于DIET联合抽取模型做意图和实体联合抽取,针对传统的预训练模型识别和意图提取是有强相关性，二阶段任务有错误累计的问题,提出基于DIET联合抽取模型做政务服务细分场景下的意图和实体联合抽取,在获取意图和槽位情况下，让意图和槽[0054]S9.5:对返回结果进行处理。[0055]基于词和语义多阶段召回和排序的FAQ知识库问答策略；基于构建好的政务服务它的权重就很大，非核心词会出现离群，根据语料全量训练Word2Vec,重合并，识别query中的政务相关的实体，计算query里面的实体和召回doc里面每个样做的好处是既能保证重排序也就相当于二分类任务的正负样本平衡，又能保证每个调整两个任务的loss权重来使两个任务同时达到收敛。损失函数0.01*MRC_loss+0.99*[0067]S10.1：构建Prompt引导LLM模型更好理解其所执行的任务，具体包括prefix_LLM模型不是政务领域就不用回答。还要针对每个问题，建立索引号，区分问题本身，LLM大语言模型返回的查询脚本，执行必要的外部查询和调用。最后对结果按照要求的格射数据后，企业知识图谱建立这三个支柱中各个元素间的语义网络，来了解组织中员工与他们所做工作及工作成果之间的上下文背景和关系，从而使和LLM交互的返回结果具有更[0093]S1.3:通过OCR识别方法和抽取方法进行半结构化和非结构化数据知识抽取并智化数据和各种政务领域公文和政务服务网半结构化数据和非结构化数据,包括如政务手[0106]S3.2:对政务领域知识本体和政务服然后再将下载的任务根据partition分配算法均匀地分布到每个服务上面，每个服务的任跃等级打分算法如图6，质量等级打分算法通过对政务网站发布信息的二分类类别预测和[0116]S6.1:从政务领域的结构化的数据据业务需要将多张表信息整合成一张表进行抽取定制，相关操作提供直观便捷的操作界别成字符，采用YOLO系列的one_stage目标检测算法，和基于回归CTPN、EAST和基于分割员和用户搜索的知识或返回的结果进行出处的定位，提高用户对知识的置信度和可解释[0120]S6.4:对半结构化和非结构化数据解析实体识别,首先对非结构化数据联合抽取,知识库信息的问题，提出基于知识库描述文本的信息来增强实体识别的准确性的解决方[0122]构建实体别名字典，利用政务知识库的实体名称和实体的别名信息构建别名字统计知识库中实体无法匹配总次数,训练集中实体无法匹配的所有字符串以及该字符串对实体对齐通过同一个实体有不同的提及文本和实体消歧对应的相关的文档信息也记录mongo数据库一份。一个实体属性的信息，可能存在多篇文[0137]S9.1:政务服务图谱多轮问答策整体政务服务细分意图是基于DIET联合抽取模型进行政务细分意图和实体抽取,政务服务保证意图和槽位列表信息绑定在一起,以政务事项为核心实体，围绕关联实规的关系是实施依据,政务事项和服务对象的关系是服务主体,设置每个意图对应的回复根据业务需要cypher模型的配置可能同时返回多条记录合并的结果,设置全局模板数据，[0139]S9.3:基于DIET联合抽取模型做意图和实体联合抽取,针对传统的预训练模型识别和意图提取是有强相关性，二阶段任务有错误累计的问题,提出基于DIET联合抽取模型做政务服务细分场景下的意图和实体联合抽取,在获取意图和槽位情况下，让意图和槽[0141]S9.5:对返回结果进行处理。[0142]基于词和语义多阶段召回和排序的FAQ知识库问答策略；基于构建好的政务服务它的权重就很大，非核心词会出现离群，根据语料全量训练Word2Vec,匹配的时出现embedding坍塌问题，应用基于对比学习SimCSE模型，进一步提高模型准确率，基于SimCSE对比学习模型，正例构造，利用Bert的随机Dropout，同一文本经过两次重合并，识别query中的政务相关的实体，计算query里面的实体和召回doc里面每个样做的好处是既能保证重排序也就相当于二分类任务的正负样本平衡，又能保证每个调整两个任务的loss权重来使两个任务同时达到收敛。损失函数0.01*MRC_loss+0.99*员工与他们所做工作及工作成果之间的上下文背景和关系，从而使和LLM交互的返回结果[0156]S10.1：构建Prompt引导LLM模型更好理解其所执行的任务，具体包括prefix_LLM模型不是政务领域就不用回答。还要针对每个问题，建立索引号，区分问题本身，