CN114510569B 基于ChineseBERT模型和注意力机制的化工突发事件新闻分类方法 （淮阴工学院）

三号高新技术产业园A12-2(淮阴工学US2021406706A1,2021.基于ChineseBERT模型和注意力机制的化工本发明公开了一种基于ChineseBERT模型和21.一种基于ChineseBERT模型和注意力机制的化工突发事件新闻分类方法，其特征在WordAttention模型中，得到新的词依赖特征向量H1，再将词依赖特征向量H1输入到(4)将融合特征向量R3与位置特征向量R4进行整合得到特征向量H5，输入H5至Bert预(5)将步骤(2)中的子序列特征向量H2与步骤(4)中的语义特征向量H6进行整合，输入2.根据权利要求1所述的基于ChineseBERT模型和注意力机制的化工突发事件新闻分(11)定义化工突发事件新闻文本数据集为D，定义Text为单个文本数据，定义id，(12)定义处理后的新闻文本数据集为D1，D1＝3.根据权利要求1所述的基于ChineseBERT模型和注意力机制的化工突发事件新闻分(203)通过word2vec模型进行数据分词处理，由word2vec模型进行训练得到文本词特其中表示文本中的第j个词依赖特征向量，满足变量j∈3[1,b]，b为词依赖特征向量的数量，其中的Attention机制的输入与调整方法为，使用k的子序列依赖特征向量其中vf表示文本中的第t个子序列依赖特征向量，满足4.根据权利要求1所述的基于ChineseBERT模型和注意力机制的化工突发事件新闻分中由3个隐藏层，每个隐藏层64个节点数，然后由最大池化层得到拼音向量满足(34)融合拼音向量H3和字符向量H4，得到融合嵌入向量主要使用具有可学习矩阵的全连接层诱导矩阵向量的嵌入，融合特征向量其中表示文本5.根据权利要求1所述的基于ChineseBERT模型和注意力机制的化工突发事件新闻分(42)将融合特征向量R3与positio(43)将特征向量H5输入到Bert模型中训练，得到预训练后的语义特征向量H6，其中H6-[v3,v2…VB…v31,v%为Bert训练后向量第p个特征向量，其中，变量p∈[1,g]，对6.根据权利要求1所述的基于ChineseBERT模型和注意力机制的化工突发事件新闻分4(52)将H2和H6整合得到的特征向量输入到CNN分类模型中的卷积层，将先前层的特征5[0001]本发明属于文本分类和自然语言处理技术领域，具体涉及一种基于ChineseBERT[0002]ChineseBERT模型主要是融合字形与拼音信息的中文预训练模型，模型将字符嵌入(charembedding)、字形嵌入(glyphembedding)和拼音嵌入(pinyinembedding)进行嵌入(positionembedding)、片段嵌入(segmentembedding)相加，形成Transformer-Encoder层的输入。由于预训练时没有使用NSP任务，因此模型结构省略了片段嵌入[0004]Attention机制就是对输入的每个元素考虑不同的权重参数，从而更加关注与输6[0009]技术方案：本发明提出一种基于ChineseBERT模型和注意力机制的化工突发事件[0012](3)通过对文本数据D1进行开源拼音包处理，得到对应的拼音序列，之后输入到[0013](4)将矩阵特征信息R3与位置向量信息R4进行整合得到特征信息H5，输入H5至[0014](5)将步骤(2)中的上下文特征信息H2与步骤(4)中的语义特征信息H6进行整合，[0017](12)定义处理后的化工突发事件文本数据集为D1，D1＝{Text1,Text2,…,[0026](203)通过word2vec模型进行数据分词处理，由word2vec模型进行训练得到文本7k网络中由3个隐藏层，每个隐藏层64个节点数，然后由最大池化层得到拼音向量满足[0039](33)读取预处理数据D1，通过one-hot编码字符向量，得到字符向量满足[0040](34)融合拼音向量H3和字符向量H4，得到融合嵌入向量主要使用具有可学习矩阵的全连接层诱导矩阵向量的嵌入，融合矩阵向量其中表示[0043](42)将融合矩阵向量R3与positionalEmbedding相加，得到整合特征向量矩阵8[0047](52)将H2和H6整合得到的特征向量输入到CNN分类模型中的卷积层，将先前层的[0060]本发明提出一种基于ChineseBERT模型和注意力机制的化工突发事件新闻分类方9k学习矩阵的全连接层诱导矩阵向量的嵌入，融合矩阵向量其中[0097]步骤5.2：将H2和H6整合得到的特征向量输[0102]本发明可与化工突发事件新闻结合，从而完成基于连级的Attention机制的学习得到文本上下文特征提取，