CN115017903B 文档层次结构联合全局局部信息抽取关键短语方法及系统 （安徽大学）

号文档层次结构联合全局局部信息抽取关键本发明提供文档层次结构联合全局局部信体信息挖掘不充分导致关键短语抽取准确率低2S1、利用StandfordCoreNLP工具对输入文档进行分词和词S4、利用主题中心度，以预置逻辑对所述输入ij)-min(eij))S44、获取所述输入文档全文的所述候选关键短语S441、以下述逻辑计算所述候选关键短语在所述输3S6、根据所述关键短语排名数据得到候选关2.根据权利要求1所述的文档层次结构联合全局局部信息抽取关键短语方法，其特征S25将所述输入文档的结论及摘要分别输入到所述BERT模型进行嵌入操作，以得到所3.根据权利要求1所述的文档层次结构联合全局局部信息抽取关键短语方法，其特征4.根据权利要求1所述的文档层次结构联合全局局部信息抽取关键短语方法，其特征S51、利用下述逻辑对所述候选关键短语的所述全局相似度及所述局部相似度进行乘45.根据权利要求1所述的文档层次结构联合全局局部信息抽取关键短语方法，其特征6.文档层次结构联合全局局部信息抽取关键短语系统候选短语生成模块，利用StandfordCoreNLP工具对输入文BERT模型嵌入模块，用以判断所述输入文档的长度是否小于或等于预置文档长度阈全局相似性度量模块，用以处理所述标题向量及所述结尾向量，局部相似度评估模块，用以利用主题中心度滤噪阈值设置模块，用以根据每一所述输入文档的最大值滤噪模块，用以根据所述自适应滤噪阈值更新将所述位置获取模块，用以根据所述新完全无向图获取所述输入文局部相似度计算模块，用以根据所述位置信息计算得后处理模块，用以根据所述关键短语排名数据得到5嵌入的方法，如EmbedRank[Bennani-Smires2018]和SIFRank[Sun2020]取得了很好的效排序。尽管基于嵌入的方法会比传统的基于统计(例如TF-IDF[SaltonG,1975])、基于图和全文之间的相似度并不能捕获到不同类型的上下文。CCRank[Liangetal.,2021]首次提出了联合建模全局信息和局部信息来进行关键词抽取，但是他的方法还存在两个问题。明将关键短语和全文向量进行嵌入之后并可视化展示如下图4所示。五角星是文章的向量关键短语之间的主题信息。此外以前的短语没有考虑到BERT只能编码512个token的限制，结论部分的关键短语，导致没有获得充分的语义信息，使得效果不好。公开号为6将待处理文本数据输入至利用携带集合编码的序列标注样本训练得到的关键词抽取网络键词。该现有专利文献的说明书中还披露了服务器104中部署有基于ERNIE-BiLSTM-CRF三为二级聚类主题类别标签词的主题词，并将得分最高的主题词作为本类别二级主题代表。7充分利用了文档的层次结构。本发明通过多样性操作使得候选短语具有更高的语义多样[0022]S21、以BERT模型在所述输入文档的开始位置插入CLS标记，结束位置插入SEP标[0028]S25将所述输入文档的结论部分及摘要部分分别输入到所述BERT模型进行嵌入操[0030]本发明针对BERT编码长度受限制导致传统的基于嵌入的方法面对长文本只能截[0032]在更具体的技术方案中，步骤S3中，以下述逻辑处理标题向量Htitle和结尾向量89[0058]S51、利用下述逻辑对所述候选关键短语的所述全局相似度及所述局部相似度进[0062]在更具体的技术方案中，文档层次结构联合全局局部信息抽取关键短语系统包[0063]候选短语生成模块，利用StandfordCoreNLP工具对输入文档进行分词和词性标[0075]本发明针对BERT编码长度受限制导致传统的基于嵌入的方法面对长文本只能截[0080]图1为本发明实施例1的文档层次结构联合全局局部信息抽取关键词方法步骤示[0081]图2为本发明实施例1的文档层次结构联合全局与局部信息抽取关键词方法整体据规则生成候选关键短语；在本实施例中，使用标准的自然语言处理工具Stanford[0090]在本实施例中，使用标准的StanfordCoreNLP工具来对文档D进行分词和词性标里文档的向量表示采用标题Htitle和结尾最后一示，其中对于”keyphraseextraction”这种由多个单词组成的候选关键短语，选择MaxPooling方式得到其向量。即候选关键短语向量集合为v=fHXPJ,i=1,2,…,n关键短语进行全局相似度评估，解决因为向量空间对齐造成的对较长候选关键短语的偏[0108]在本实施例中，首先构建一个完全无向图G＝(V,E)，其中点是[0115]对于大多数文档，作者倾向于将关键信息写在文档的一次出现的位置作为他的位置得分，也就是其中p1是候选关键短语i第一次出短语替代粒度粗的关键短语，因此本发明选择使用细粒度关键短语来删除粗粒度的关键短语。例如候选关键短语列表中出现了”governmentpolicies”和”government”,[0130]本发明提供的文档层次结构联合全局与局部信息抽取关键词方法已经在三个公结构联合全局与局部信息的关键短语抽取方法与装置能够有效实现文档[0133]本发明在三个公共数据集上进行实验，数据集分别为Inspec[Hulth,2003],DUC2001[Wan,2008]和SemEval2010[Kim,2010]。Inspec数据集包含来自科学期刊摘要的2000个摘要文档。在我们的实验中使用500个测试文档和读者标注的关键短语版本作为头与结尾，这证明了我们提出的标题+结尾做为全局向量的有效性。从图中我们还可以发[0145]本发明针对BERT编