CN114265935B 一种基于文本挖掘的科技项目立项管理辅助决策方法及系统 （深圳供电局有限公司）

一种基于文本挖掘的科技项目立项管理辅本发明公开一种基于文本挖掘的科技项目得待评审项目与其他项目在所述特征数据的相2步骤S1，使用信息抽取技术对待评审科技项目数据库步骤S2，对所述特征数据进行分层文本相似度步骤S3，获得待评审项目与其他项目在所述所述步骤S2包括采用深度学习中的Doc2vec模型得到长文本向量，并用以计算长文本通过文本主题网络图聚类方法提取长文本关键词w1，w2，......wn，利用训练的从待评审科技项目数据库、历史科技项目数据库中分别抽取出标题、关采用jieba分词+电力行业词典+停用词过滤的组抽取关键词，所述关键词包括研究对象关键词、标题采用textrank方法对待评审项目中的关键词进行提取，所述关键词的词性是普通名3采用公共词语统计的方法进行相似性计算，将长文本1和长文本2按照tex即使用两句句子之间公共的词语个数与两句句子之间所有词语个数的比值作为句子7.根据权利要求6所述的方法，其特征在于，计算段落级别相似度具体包括：利用4信息抽取模块，用于使用信息抽取技术对待评审科技项目相似度挖掘模块，用于对所述特征数据进行分层文本相似度挖掘权重确定模块，用于获得待评审项目与其他项目在所述特征数据的相似度分计算模块，用于根据所述最优权重计算待评审项目与所述相似度挖掘模块具体用于采用深度学习中的Doc2vec模型得到长文本向量，并用通过文本主题网络图聚类方法提取长文本关键词w1，w2，......wn，利用训练的5型对项目申请书进行建模并计算相似度；方延风提出将一种改进的TF—IDF方法用于科技6[0011]步骤S4，根据所述最优权重计算待评审项目与其他项目之间的相似度的综合得值最大的前两个词语作为待评审项目研究对象关[0021]采用人工标注的方式对历史科技项目进行分类，并使用svm模型进行多标签分类[0022]将使用textrank和主题网络图聚类提取的关键词进行1:1的合并，获得综合关键7[0032]通过文本主题网络图聚类方法提取长文本关键词w1，w2，......wn，利用训练的[0042]即使用两句句子之间公共的词语个数与两句句子之间所有词语个数的比值作为8[0054]权重确定模块，用于获得待评审项目与其他项目在所述特征[0056]实施本发明具有如下有益效果：本发明基于科技项目申[0059]图1为本发明实施例一一种基于文本挖掘的科技项目立项管理辅助决策方法的流9[0072]步骤S4，根据所述最优权重计算待评审项目与其他项目之间的相似度的综合得法包括长文本相似性计算与短文本相似性计算，长文本相似性计算包括长文本关键词级该组最优权重计算待评审项目与其他项目之间相似度的综合[0080]考虑到分词效率以及专有名词效果，采用jieba分词+电力行业词典+停用词过滤]]用共现关系(co-occurrence)构造任两点之间的边，两个节点之间存在边仅当它们对应的母这样设计可以遏制较长的句子在相似度计算[0100]通过对抽取的科技项目几部分长文本数据的清洗，获得个词语作为textrank获得在该篇项是说文本主题网络G可以表示文本D的主题，通过这样的语言网络表示整个文本的主题网i的聚集度[0113]利用textrank和使用文本主题图聚类提取重要词语的效果部分对比(如表2所合特征值最大的前两个词语作为本项目研究对象关[0121]主题关键词即是表1中的研究主题一列，我们采用人工标注的方式对历史科技项度计算方法(连续公共子串+编辑距离(ed))来计算项目名称[0129]编辑距离是衡量两个字符串相似性程度的一种度量，表[0132]其中D(str1,str2,i,j)表示字符串str1的前i个字符和字符串str2的前j个字符大数据应用应12334用22343大23344数32345据43234[0143]由于科技项目名称中含有大量的专业名称，它们常常组合到一起成为更长的词提出先去除字符串中所有的最长连续公共子串(如‘源端基地综合能源系统关键技术及发分割成两部分(当ls在字符串首或者尾部的时候)独立的字符串，分别为s1i1、s1i2和s2j1、[0151]随机选择了一些科技项目进行原算法(单一的编辑距离计算)和改进算法(最长公内容小标题上与B项目的项目标题或者主要内容小标题相似，那么A和B就可能存在或多或[0174]其中U,b是softmax计算参数，h是将wt-k,...,wt+k每个单词向量级联或者求平由于算法过程中把每个单词看成是一类，导致类别数非常大，训练效率很低，所以在Word2vec归一化的时候，采用hieraricalsoftmax和NegativeSampling(负采样)加快计[0175]NegativeSampling核心思想是把语料中的一个词串的中心词替换为别的词，构[0185]由于使用SGD,所以只需要知道对词对是有影响的。那么同理，可以使用相同的方法训练Doc2vec，其中Doc2vec有Adistributedmemorymodel和ParagraphVectorwithoutwordordering:Distributed者求平均得到特征，预测句子中的下一个单词。段落向量/句子向量也可以认为是一个单[0193]ParagraphVectorwithoutwordordering:Distributedbagofwords(分布法类似于Word2vec中的skip-gram，称为DistributedBagofWordsversionof进行相似性计算，将长文本1和长文本2按照textrank句子粒度，切分成句子的集合D1=[0206]即使用两句句子之间公共的词语个数与两句句子之间所有词语个数的比值作为上述公式依次对top5,top10,top15,top20的比对结果进行toperatingcharacteristiccurve)为接受者操作特征曲线，是用来会话一组样本预测效[0240]随机抽样128份相似和128份不相似的项目组，标记对应标签为0(不相似),1(相[0242]图8为相似与不相似二分类AUC曲线图，ks曲线对应的是真正正率值，真正率和假正率的最大差值(0.814)和二分类阈值0.385，此时模型的准确率为[0244]相应于前述本发明实施例一提供一种基于文本挖掘的科技项目立项管理辅助决[0247]权重确定模块，用于获得待评审项目与其他项目在所述特征