CN119128143B 一种基于语义理解的技术文献多维度分析方法 （中铁成都科学技术研究院有限公司）_第1页
CN119128143B 一种基于语义理解的技术文献多维度分析方法 （中铁成都科学技术研究院有限公司）_第2页
CN119128143B 一种基于语义理解的技术文献多维度分析方法 （中铁成都科学技术研究院有限公司）_第3页
CN119128143B 一种基于语义理解的技术文献多维度分析方法 （中铁成都科学技术研究院有限公司）_第4页
CN119128143B 一种基于语义理解的技术文献多维度分析方法 （中铁成都科学技术研究院有限公司）_第5页
已阅读5页，还剩13页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

司一种基于语义理解的技术文献多维度分析本发明公开了一种基于语义理解的技术文献多维度分析方法，利用Sentence_BERT模型对2所述Sentence_BERT模型采用孪生网络的结构，对于输入句子的Encoder用t其中，ws*a)表示点a的范围为K的领域，d(a,b)指的是a、b两点之间的距离，3c的计算式为：步骤S2中UMAP进行向量降维为利用局部流形逼近和局部模糊单纯形集表示来构造高维数到专业技术主题聚类结果；其他维度主题聚类利用中文分词库jieba对技术文献的摘要文4展现专利间的相互关系及其在技术进步中的作用。[0003]更为严重的问题是，许多基于自然语言处理(NLP)的高级分析技术需要依赖大规[0014](1)预训练模型的应用：本发明采用了先进的预训练模型，如BERT或Sentence_5[0027]本发明采用Sentence_BERT预训练模型对技术文献摘要文本进行处理，以生成文要采用Mean－pooling策略，计算每个Token输出向量的平均值代表句子向量,从而生成一6[0036]Sentence_BERT语言模型首先采用BERT进行文本预训练，由于BERT的中文模型通常采用512个字符的长度限制，为此预训练后的技术文献将变成N*512(N为技术文献数)的需要对向量矩阵进行数据降维操作。为此，本发明提出了使用UMAP(UniformManifoldApproximationandProjection)进行降[0037]UMAP是一种有效的降维算法，它能够将高维的Sentence_BERT向量投影到低维空[0039]经过UMAP降维后的向量紧接着被输入到HDBSCAN(HierarchicalDensity_BasedSpatialClusteringofApplicationswithNoise)算法中进行聚类。HDBSCAN是一种无[0041](1)数据点的空间变换：传统的单链接聚类方法根据数据点间的最小距离进行聚[0043]其中，表示点a的范围为K的领域，d(a,b)指的是a、b两点之间的距离，7x代表从父簇分离出的λ值。[0058]对聚类后得到的簇进行主题词提取，本发明采用改进TF_IDF(TermFrequency_8[0065]其中c是由属于同一主题簇的所有文档合并而成的单个簇文档，fk,c为关键词k在[0068]除了传统的对技术文献文本内容进行聚类分析，本发明还引入了额外的分析维9[0078](3)识别出技术文献文本在该维度下的关键词之后，采用基于语义理解的技术文[0079](4)采用规则算法从技术文献文本中寻找该维度的关键词，技术文献如果包含一

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论