CN114330338B 融合关联信息的程式语识别系统及方法 （东北电力大学）

本发明公开了融合关联信息的程式语识别向量作为词性特征、GloVe词向量技术训练的特2所述特征选择包括使用Torch中的embedding层生成词嵌入向量作为词性特征、使用根据语料库构建一个共现矩阵X，矩阵中的每一个元素Xij代表单词i和上下文单词j在tttt首先把词性特征和语义特征分别输入到Bi-LSTM中，再将两个模型的结果进行拼接形3依存句法揭示了句子中词与词之间的依存关系以及搭配关系，其通过MI和依存句法分析将单词间的关系用图来表示，所以采用图卷积将每个标签序列的分数进行归一化得到概率，其中概率最大的4基本特征提取模块，用于使用Torch中的embedding层生成词嵌入向量作为词性特征、GloVe词向量技术训练的特征向量作为语义特征，经过晚融合的词性特征和语义特征作为关联信息提取模块，用于采用单词间的互信息和句子的依存句56[0021]其中，上式的wi和wj是我们最终要求解的词向量；而bi和bj则是两个词向量的[0036]首先把词性特征和语义特征分别输入到Bi-LSTM中，再将两个模型的结果进行拼分布函数。如果要衡量某个数据集中任意两个单词x,y的关联程度，可以这样计算：7词频后除以总的词数就可以得到;p(x,y)为x,y同时出现在数据集中的概率，直接统计二[0047]l=D-A(1)8Torch中的embedding层生成词嵌入向量作为词性特征、GloVe词向量技术训练的特征向量融合了能够代表程式语特征的关联信息，使用图卷积神经网络(GCN)获取更深层次的语义9[0092]程式语相较于一般多词表达式最大的不同之处在于程式分配唯一编码，这样就实现了将文本数据转换成向量，最后输入到embedding层中进行训[0096]GloVe的全称叫GlobalVectorsforWordRepresentation，它是一个基于全局[0100]其中，上式的wi和wj是最终要求解的词向量；而bi和bj则是两个词向量的bias[0115]Bi-LSTM模型是由前向的L[0116]图2中的xt表示网络在t时刻的输入，方框中的LSTM为标准LSTM模型，为前向的互信息和句子的依存句法关系作为识别程式语分布函数。如果要衡量某个数据集中任意两个单词x,y的关联程度，可以这样计算：词频后除以总的词数就可以得到;p(x,y)为x,y同时出现在数据集中的概率，直接统计二复杂的依存关系。所以单词间的依存句法分析能够表示两个单词间的依赖关系，关系越密值作为边的表示，其邻接矩阵ARN*N中的元素aij值表示图中第i个节点与第j个节点间的aij值表示图中第i个节点与第j个节点间的依存关系，如果两个节点间存在依存关系，则[0131]l=D-A(1)[0143]程式语识别本质上是一种多分类问题,所以在解码阶段Softmax常用的方法。但由于该方法只是单纯的分类[0144]CRF是给定一组输入序列条件下另一组输出序列大小为16GB。使用深度学习框架PyTorch1.2.0构建所有神经网络模型进行训练和测[0160]其中，Nm表示正确识别出的程式语的个数，Ntotal表示识别的程式语的总数，Ncorrect表示通过人工标注的程式语[0166](1)Before_Bi-LSTM:PyTorch词嵌入生成的词性特征和GloVe词嵌入生成的语义特征通过早融合方式进行特征融合，融合后的特征向量输入到Bi-LSTM中提取上下文语义[0167](2)Before_CNN:PyTorch词嵌入生成的词性特征和GloVe词嵌入生成的语义特征[0168](3)After_Bi-LSTM:PyTorch词嵌入生成的词性特征和GloVe词嵌入生成的语义[0169](4)After_Bi-LSTM_CNN:该模型在After_Bi-LSTM的基础上，在Bi-LSTM和CRF的[0170](5)Bi-LSTM_SD_GCN:PyTorch词嵌入生成的词性特征和GloVe词嵌入生成的语义[0171](6)Bi-LSTM_MI_GCN:与Bi-LSTM_SD_GCN的不同之处在于：将依存句法分析生成[0172](7)Bi-LSTM_PMI_SD_GCN:这是本发明提出的模型，通过晚融合的词性特征和语LSTM比CNN特征提取的效果好很多。因为程式语识别的关键在于分析句子中单词之间的关些文本特征需要较广的感受域来让模型组合更多的特征，所以加了CNN之后一些正确的程[0180]实验6是在实验3的基础上加了基于MI的GCN特征提取，实验结果显示增加了MI特向量矩阵的汇集提取文本的空间特征信息。之后，将结果输入Bi-LSTM进行前向和后向训务是关于自动识别口头的多词表达(VMWE)[0188]上述两种模型以及本发明提出的模型在程式语识别任务上得到的实验结果如表3[0193]同时在和本发明模型的对比中，主要区别就是Bi-LSTM-CRF模型只把依存句法关息特征使用2层图卷积的效果最好，所以在本发明融合关联信息的GCN程式语识别模型中，[0200]本发明提出了一种融合关联信息的GCN程式语识别模型，将经过晚融合方式进行语识别模型仅用较小比例的带标签的文本就能获得强大的识