CN113609859B 一种基于预训练模型的特种设备中文命名实体识别方法 （浙江工业大学）

区一种基于预训练模型的特种设备中文命名一种基于预训练模型的特种设备中文命名实体标注策略BIEOS对中文命名实体数据集进行2抽取特种设备领域相关的文本数据，对数据进行清BERT预训练模型通过联合调节所有层中的双向Transformer来预训练深度双向表示，利用BERT的BertModel类构造BERT结构，然后将输入的特种设备中文汉字序列输入到BERT2ct=fict-1十ii⃞t(6)hr=or&tanh(c)(7)3t将得到的隐藏层表示经过一个线性层映射为一个维度为输出标签采用NLLLoss损失函数计算每种标签的概率值与目标结果的差距，NLLLos23…yn)的评分公式为：在训练过程中，采用以下损失函数最大化正确标签的似然4在中文命名实体识别模型训练完成之后，得到了每个汉字的对于一组未知标签的序列x，采用维特比算法获得所有标签序列上预测总得分最高的y*=argmaxs(x,⃞($EYX)(14)5用CNN将单词的字符信息编码为字符级特征然后与wordembedding联合输入BiLSTM构建每个字符的上下文特征，最后由CRF利用上下文标签信息来解码整个句子的标签。Lattice-词汇信息，并且避免了实体分割错误的情况。WC-LSTM(AssociationforComputational以分批训练并适应各种应用场景。Multi-digraphGazetteers(AssociationforCNN(InternationalJointConferenceonArtificialIntelligence)提出一种含有rethinking机制的CNN网络，通过CNN对句子与lexicon中存在的词语进行处理并且通过rethinking机制解决lexicon冲突。CAN-NER(NorthAmericanAssociationfor文实体识别。6CPFA[0029]BERT是一种新型语言模型，它通过联合调节所有层中的双向Transformer来预训7[0034]biLSTM接收来自BERT层输出的中文汉字序列的向量表示x，输入到两个biLSTM单[0040]c=tanh(c)(7)[0044]对输入序列分别采用顺序和逆序的方式计算后得到两种不同的隐藏层表示h前和8…yn)的评分公式为：[0072]在中文命名实体识别模型训练完成之后，得到了每个汉字的所有可能的标签序[0073]对于一组未知标签的序列x，采用维特比算法获得所有标签序列上预测总得分最9不足的问题。BiLSTM对于命名实体识别任务捕捉长距离信息并解决梯度消失问题效果显x91所示；[0090]biLSTM接收来自BERT层输出的中文汉字序列的向量表示x，输入到两个biLSTM单公式(8)进行拼接为最终的隐藏层表示hi，经过一个线性层映射为一个维度为输出标签数0.90.40.40.20.50.80.50.10.10.60.90.3O0.50.20.10.9…0.30.10.10.4w1这个矩阵中的所有随机得分将得到更新，最终得到转移得分矩阵在训练过程中，为了使转移得分矩阵的鲁棒性更好，在数据中额外再加两个标签：“START”和“END”，O00.80.90.0800.40.90.80.10.40.750.780.12