CN115630140B 一种基于文本特征融合的英语阅读材料难度判断的方法 （云南师范大学）

WO2018028077A1,2018.02.15一种基于文本特征融合的英语阅读材料难本发明涉及一种基于文本特征融合的英语后经过sigmoid输出一个0到1的数值用来表示难22.根据权利要求1所述的基于文本特征融合的英语阅读材料难度判断的方法，其特征3i表示第i句话；3.根据权利要求1所述的基于文本特征融合的英语阅读材料难度判断的方法，其特征POS表示词性token的嵌入维度；pospospospos4.根据权利要求1所述的基于文本特征融合的英语阅读材料难度判断的方法，其特征4RepresentationfromTransformers)模型，使得自然语言处理领域的发展进入了新的阶者是将两个单向语言模型进行浅层拼接的方式进行训练，而是采用MLM(maskedlanguagemodel)对双向的Transformers进行与训练，生成深层的双向语言表征,并在11种不同的自然语言处理(NaturalLanguageProcessing,NLP)测试中表现优异。许多学者结合BERT进新的模型中进行训练的方式叫做迁移学习(Transferlear[0005]本发明要解决的技术问题是提供一种基于文本特征融合的英语阅读材料难度判[0007]本发明的技术方案是：一种基于文本特征融合的英语阅5过sigmoid层输出得到一个0到1的数[0010]首先针对英语阅读材料数据集(使用Newsela数据集及自行采集的数据集进行实验)，对输入的英文文本进行编码，将编码后的信息输入到已经训练好的预训练语言模型[0020]Bert模型通常在句首添加[CLS]用以表示一个段落的开始，在两个句子的中间添6lER"BE对OBERT进行平均池[0050]由于影响英语阅读材料难度程度的因素除了语义和语法之外，还需考虑句子长词数量嵌入e'eRP。7ra)+b)(2)[0068]该部分将上述三种特征进行拼接后输入神经网络，使用sigmoid函数将输出限制因素进行统计并对其进行嵌入表示，将所有特征进行拼接后输入全连接层，最后经过sigmoid层输出得到一个0到1的数值8[0080]Bert模型通常在句首添加[CLS]用以表示一个段落的开始，在两个句子的中间添[0083]若St的长度大于M，则截断并舍去后续内容，截断操作后的SBERT＝{[CLS],w1,embeddingsegmrntembeddingpositionembeddingembeddingsegmrntembeddingpositionembedding对OBERT进行平均池9pospospospos[0107]由于影响英语阅读材料难度程度的因素除了语义和语法之外，还需考虑句子长词数量嵌入e'eRP。ra)+b)(2)[0124]本实施例选取两个带有难易程度标记的英语阅读材料数据集CEFR和Newsela，以集，Newsela数据集为非公开的分级英语阅读文本数据集(可以在Newsela网站进行申请)。[0134]本发明选取了近几年经典的面向Fill_mask任务的预训练语言模型，例如Bert，