CN114742046B 一种融合词根词缀和音标的蒙古语预训练情感分析方法 （内蒙古工业大学）

一种融合词根词缀和音标的蒙古语预训练一种融合词根词缀和音标的蒙古语预训练入与位置嵌入相加，形成模型输入；在蒙古语BERT预训练模型中，将对比学习和MLM的融合任用训练好的融合词根词缀和音标的蒙古语BERT发明采用融合词根词缀和音标对BERT模型进行2步骤5，用训练好的融合词根词缀和音标的蒙古语BERT预训练模型对蒙古语情感语料MLM预训练任务采用随机遮蔽一部分token，在随机掩码的过程中有′其中θ为蒙古语BERT预训练模型中Encoder部分的参数，θ为MLM预训练任务中在32.根据权利要求1所述融合词根词缀和音标的蒙古语预训练情感分析方法，其特征在3.根据权利要求2所述融合词根词缀和音标的蒙古语预训练情感分析方法，其特征在4.根据权利要求1所述融合词根词缀和音标的蒙古语预训练情感分析方法，其特征在5.根据权利要求1所述融合词根词缀和音标的蒙古语预训练情感分析方法，其特征在6.根据权利要求1所述融合词根词缀和音标的蒙古语预训练情感分析方法，其特征在7.根据权利要求1所述融合词根词缀和音标的蒙古语预训练情感分析方法，其特征在8.根据权利要求1所述融合词根词缀和音标的蒙古语预训练情感分析方法，其特征在利用BPE将蒙古语以词根词缀为单位进行分词操作，对于无法切分为词根词缀的词汇保持9.根据权利要求1所述融合词根词缀和音标的蒙古语预训练情感分析方法，其特征在4[0003]由于蒙古语属于小语种语言，这使得有关蒙古语的自然[0004]最新的基于深度学习的情感分析方法大多基于对预训练模型的微调来实现更好对比学习的方法融入到MLM任务中，通过对比学习来实现数据增强，从而提高模型的准确[0013]步骤5，用训练好的融合词根词缀和音标的蒙古语BERT预训练模型对蒙古语情感5"m译为“已按照词根词缀分词的结果如图4所示。6的嵌入层。BERTEncoder结构与传统BERT相同，即由多层的TransformerEncoder堆叠形古语中表示否定的后缀为"N",这对于包含该后缀的句子来说，其情感色彩显而易见。因此构建词根嵌入和词缀嵌入有助于提高下游情感[0037]词根嵌入是将分词后的词根进行嵌入，本发明对该序列采用CNN与最大池化得到[0038]词缀嵌入是将分词后的词缀进行嵌入，本发明对该序列采用CNN与最大池化得到"f"(人们)为例，如图6所示。对于无法进行词根词缀切分的词[0039]音标嵌入是将蒙古语词汇对应的国际音标进行嵌入。本发明对该序列采用CNN与最大池化得到最终的音标序列，以词语"0"(人们)为例，如图7所示。因为蒙古语与汉语习的任务中，以随机丢弃掩码的方法作为数据增强的方式进行对比学习中正样本的构造，7第一比例(例如10％)的词被替换为其他词，第二比例(例如10％)的词不变，剩余的词[0053]其中θ为蒙古语BERT预训练模型中Encoder部分的参数，θ/为MLM预训练任务中在"my"[0059]步骤5，用训练好的融合词根词缀和音标的蒙古语BERT预训练模型对蒙古语情感[0060]将切分好的语料放入模型中进行情感分析，并为模型添加softmax层得到情感分89