CN117290489B 一种行业问答知识库快速构建方法与系统 （烟台云朵软件有限公司）

WO2023273170A1,2023.01.05US2023106590A1,2023.04.06自然语言处理和文本挖掘算法进行数据预处理用BERT或GPT的上下文感知模型建立动态索引，2KnowledgeGraph-basedMedicalQueAnswerSystem.20227thInternatio3基于领域内文档数据，采用自然语言处理和文本挖掘算法，基于所述向量化的术语库，采用图数据库管理系统和图算法，进所述初步的知识单元库具体为基于主题、关键词为核心的知识单位基于所述向量化的术语库，采用图数据库管理系统和图算法，进基于所述初始的知识图谱，采用凝聚聚类算法对节点进行分类聚基于所述节点分类后的知识图谱，采用Pagerank算法对节点进行基于所述权重评估后的知识图谱，采用Dijkstra并查集算法对节点进行语义关联分所述向量化的术语库具体为将术语通过包括TF_IDF、word2ve的向量化方法转化为可基于所述编码训练模型，采用中文词向量技术进行文字向量化4基于所述向量化文本数据，采用隐式语义索引LSI技术进行上下文感知的词汇关联分所述BERT模型是一种深度学习模型，用于理解词语在文本中的语义基于所述分词及标注结果，采用包括停用词表去除和TF_IDF权重剪枝的数据清洗技所述净化后的文本数据包括去除常见词汇后的文本和词汇的TF_ID基于所述词向量模型，采用向量空间映射技术，执行余弦相似所述领域词汇集合具体为基于关联性筛选的术语及其上下文环境信息，5所述特征工程方法具体为通过对数据集中的原始数据进行分所述强化学习算法具体指使用Q学习或时间差分学习算法，根据模型与环境交互产生所述知识提炼模块基于净化文本数据，运用布尔搜索模型进行主所述知识组织模块基于初步知识单元库，采用领域本体库进行词汇筛6利用凝聚聚类算法分类节点，结合Pagerank算法和Dijkstra并查集算法进行语义关联分所述问答优化模块基于语义关联网络，应用BERT模型进行上下文编码所述问答优化模块包括上下文编码训练子模块、文字向量化处理子模块78[0020]作为本发明的进一步方案，基于所述初步的知识单元库，采用词嵌入模型9[0031]所述向量化的术语库具体为将术语通过包括TF_IDF、word2ve的向量化方法转化本数据转化为向量化后的数据，所述隐式语义索引用于发现词语或文档间的潜在语义关[0049]所述强化学习算法具体指使用Q学习或时间差分学习算法，根据模型与环境交互[0054]所述知识评估模块基于向量化术语库，通过图数据库管理系统Neo4j构建知识图[0062]本发明中，通过自然语言处理和文本挖掘算法进行数据示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限信息动态调整的文档索引集合，多维度评分模型具体为用于标注和排序查询结果的模型，[0101]使用Skip_gram模型对领域词汇集合进行词嵌入训练，并进行语义信息编码。[0109]向量化的术语库具体为将术语通过包括TF_IDF、word2ve的向量化方法转化为可[0112]在得到节点分类后的知识图谱后，采用Pagerank算法对节点进行权重评估。[0122]基于向量化文本数据，使用隐式语义索引LSI技术进行上下文感知的词汇关联分引是一种将关键词与其出现的位置进行关联的索引方法。根据关联表中的词语和位置信标准差为1的分布形式，特征选择算法具体指使用递归特征消除算法或基于模型的特征选[0139]强化学习算法具体指使用Q学习或时间差分学习算法，根据模型与环境交互产生参数。可以使用Q学习或时间差分学习算法等强化学习算法来根据模型与环境交互产生的利用凝聚聚类算法分类节点，结合Pagerank算法和Dijkstra并查集算法进行语义关联分管理系统Neo4j构建知识图谱，并结合凝聚聚类算法分类节点，以及Pagerank算法和[0159]知识评估模块中，图谱创建子模块通过图数据库管理系统Neo4j基于向量化术语本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施