CN115238698B 生物医疗命名实体识别方法及系统 （山东海量信息技术研究院）

biomedicalnamedentityrecognition.本发明公开了生物医疗命名实体识别方法均输入到训练后的生物医疗命名实体识别模型进行自注意力机制处理得到处理后的第一拼接行编码处理和解码处理得到生物医疗命名实体2将生物医疗语句、生物医疗词汇和生物医疗字符，均输入到训练其中，第一条支路为预训练语言模型BioBERT，预训练语言模型Bio言模型BioBERT的输出端与第一拼接单元的其中，第二条支路为卷积神经网络CNN，卷积神经网络CNN的其中，第三条支路为语言模型N_Gram，语言模型N_Gram其中，第四条支路为长短期记忆模型LSTM，长短期记忆出端和第二自注意力机制层的输出端均与第二拼接单第二拼接单元的输出端与Bi_GRU的输入端连接；Bi_GRU的输出端与条件随机场模型将训练集输入到生物医疗命名实体识别模型中，对生物医疗命名实3所述将字符的词嵌入特征、字符的偏旁特征、字符的部首特征、语利用汉字字符特征提取工具char_featurizer，对输入序列的每个字符进行偏旁或部所述将第二拼接特征进行编码处理和解码处理，得45[0003]命名实体识别(NamedEntityRecognition,NER)是自然语言处理中的一个重要[0004]命名实体一般指的是文本中具有特定意义或指代性[0005]生物医疗命名实体识别(BiomedicalNamedEntityRecognition)的主要任务是6序当在一个或多个处理器上运行的时候用于实现上[0028]图2为实施例一的预训练语言模型、自注意力机制(Self_Attention)和Bi_GRU连7备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过的一般标准。循环神经网络(RecurrentNeuralNetwork,RNN)能够捕捉句子的上下文信Memory,LST)和双向长短期记忆模型(BidirectionalLongShort_TermMemory,Bi_8练语言模型BioBERT的输出端与第一拼接注意力机制层的输入端连接，第一自注意力机制层的输出端与第一拼接单元的输入端连的输出端和第二自注意力机制层的输出端均与第二拼接单元的输型CRF的输入端连接；条件随机场模型CRF的输出端用于输出生物医疗命名实体的识别标它比word2vec和glove这种静态的词嵌入表示字符的[0064]利用汉字字符特征提取工具char_featurizer，对输入序列的每个字符进行偏旁9[0068]利用汉字字符特征提取工具char_featurizer对输入序列的每个字符进行偏旁、[0069]ri=f(WBxrtrr-1+b)(1)符所得到的3_gram,4_gram,5_gram知识利用自注意力机制进行处理，如图3(a)_图3(c)所[0086]ht=nr&tancit(8)[0091]自注意力机制通过将输入信息映射到不同空间，得到由查询向量query、键向量[0094]最后再将归一化结果乘以矩阵V，得到自注意力当前节点的向量序列表示ai(i=使用卷积神经网络(CNN)来获取语义表征。第三部分是将生物医疗文本句子进行n_gram分[0119]此处需要说明的是，上述获取模块和识别模块对应于实施例一中的步骤S101至[0128]