CN114548398B 训练试题评分模型的方法、试题评分方法及装置 （科大讯飞股份有限公司）

NeilHoulsby,etal.ParametEfficientTransferLearningNLP.arxiv.2019,1-13.本申请披露了一种训练试题评分模型的方评分模型是通过在保持第一试题评分模型的参据对嵌入第一试题评分模型的第二神经网络模库外样本试题的评分数据对第一神经网络模型2获取题库内试题对应的学生答卷，所述学生答卷包括所述题库内试题对应的答题结根据所述答题结果，利用第二试题评分模型确定所述学生答卷的评分试题评分模型是利用题库外样本试题的评分数据对第一神经网络模型进行预训练得到的，根据所述题库内样本试题对应的考试标识，通过所述共享参根据所述题库内样本试题对应的考试标识与所述多个编码层对应的编码层位置标识所述题库内样本试题对应的考试标识与所述多个适配器模型对应的适配器位置标识的对根据所述答题结果和所述题库内试题对应的考试标识，利用所述根据题库外样本试题和与所述题库外样本试题对应的考试标识，通对所述题库外样本试题中的预设词汇进行掩模处理和/或替换处理，得到处理后的题根据所述题库外样本试题对应的预测评分结果、所述考试3应的预测评分结果、所述考试标识对应的考试分类预测结果以及所述预设词汇的预测结根据所述预测评分结果和所述题库外样本试题的人工评分结果，确根据所述考试分类预测结果和人工考试分类结果，确定所述第一试题根据所述预设词汇的预测结果和所述预设词汇，确定所述基于所述第一损失函数值、所述第二损失函数值以及所述第试题评分模型中嵌入的第二神经网络模型的参数进行根据所述题库内试题对应的考试标识，通过所述共享参数层动态根据所述题库内样本试题，通过所述至少一个编码层和所述至少一根据所述题库内样本试题的预测评分结果和所述题库内样本试题的人工评分结果之其中，所述根据所述题库内样本试题对应的考试标通过所述共享参数层的嵌入层，将所述题库内样本试题对应的考试标将所述嵌入层向量依次输入所述共享参数层的第一线性层、激活函数层和第二线性4在保持所述第一试题评分模型的参数不变的情况下，利用题库对所述第一试题评分模型中嵌入的第二神经网络模型进行训练，得到第二试题评分模型，获取模块，用于获取题库内试题对应的学生答卷，所述学生答库内样本试题的评分数据对嵌入所述第一试题评分模型的第二神经网络模型进行训练得述确定模块用于根据所述题库内样本试题对应的考试标识与所述多个编码层对应的编码5预训练模块，用于利用试题评分数据对第一神经网络模型进行训练模块，用于在保持所述第一试题评分模型的于根据所述题库内样本试题对应的考试标识与所述多个编码层对应的编码层位置标识的述题库内样本试题对应的考试标识与所述多个适配器模型对应的适配器位置标识的对应码，所述处理器被配置为执行所述可执行代码，以实现如权利要求1至10任一项所述的方6[0003]利用机器进行自动试题评分能够大大减轻教师的负担，因此应用也越来越广卷的评分，其中第二试题评分模型是通过在保持第一试题评分模型的参数不变的情况下，利用题库内样本试题的评分数据对嵌入第一试题评分模型的第二神经网络模型进行训练题评分模型，得到题库外样本试题对应的预测评分结果和考试ID对应的考试分类预测结7[0009]在一些实施例中，第一损失函数值通过基于均方误差的第二损失函数值和第三损失函数值通过交叉熵损失函第一试题评分模型中嵌入的第二神经网络模型的参数进行调8中第二神经网络模型是在第一试题评分模型的预训练完成本试题的评分数据对第一神经网络模型进行预行预训练并通过题库内试题的评分数据进行微调得到的试题评分模型对题库内试题的答而能够提高训练评分模型的效率，并且能够保证评分模型针对特定试题进行评分的有效9[0039]本申请实施例技术方案适用于对试题评分模型进行训练以及利用试题评分模型施例可能涉及的相关术语及神经网络等相关概念进行假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义索引4。即第L-1层的第k个神经元到第L层的第j个神经元的系数定义为需要注意的间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始[0056]Transformer模型是一个利用注意力机制来提高模型训练速度的模型，主要包括[0057]下面结合图1，对本申请实施例提供的训练试题评分模型的框架进行详细的举例利用样本试题122对通用评分模型中嵌入的适配器模型进行训练，得到具有适配器模型的的，换句话说，具有适配器模型的评分模型123可以分为两部分，一部分为通用评分模型113，另一部分为在通用评分模型训练完成后嵌入的适配器模型，并且在训练适配器模型[0063]上文结合图1，对本申请实施例提供的训练试题评分模型的框架进行了详细的举[0069]题库内评分数据是指试题的主题、评分标准和/或评分范围相近的一类试题(例试题评分模型包括第一试题评分模型和嵌入第一试题评分模型的经过训练的第二神经网[0077]为了提升通用评分模型的评分效果，本申请的实施例还可以基于多任务学习算评分任务以及语言建模任务的目标监督通用述第一试题评分模型的第一损失函数值；根据所述考试分类预测结果和人工考试分类结评分数据对第一试题评分模型中嵌入的第二神经网络模型的参数进行调层和前馈神经网络层，而每个前馈神经网络层的下游可以设置一个适配器模型(也可以称可以根据考试ID调用预先存储的训练时生成的层位置嵌入层向量以及适配器位置嵌入层向量拼接后，依次输入共享参数层的第一线性内评分数据对评分模型进行微调阶段，采用多试题适配器(multi-paperadapter)训练方多场考试联合训练但又能够降低相互间影响的目的。模型输入经过嵌入(embedding)层把活函数后最终生成计算适配器模型的参数所需要的权重[0099]应理解的是，共享参数层在生成题库内样本试题所对应训练得到的第一试题评分模型和嵌入第一试题评分模型的利用题库内评分数据经过训练[0105]以上描述了本申请实施例的试题评分模型的训练方法和利用该试题评分模型对[0114]BERT(BidirectionalEncoderRepresentationsfromTransformer，基于在处理一个单词时能够考虑该单词前面的和后面的单词，得到该单词在上下文中的含义，[0117]对于回归损失函数，可以采用如公式1所述的均方误差(MSE，MeanSquaredError)损失函数。对于分类损失函数和掩词损失函数，可以采用如公式2所述的交叉熵[0120]lossce=-[ylogj+(1-y)log(1-]公式2常规编码层的区别在于在前馈(feed-forward)神经网络层后面嵌入了适配器(adapter)模的适配器模型不同的是，本申请实施例的适配器模型的参数是由共享参数层根据考试id[0138]其中适配器模型620的处理过程如下：来自编码层的隐层表示输入至前馈神经网典：layeridembedding∈R12*hid、paperidembedding∈Rpaper_nums*hid、adapterpos终生成共享层网络用于生成适配器模型的参数所需要的权重[0146]预训练模块810用于利用试题评分数据对第一神经网络模型进行预训练，得到第ID对应的考试分类预测结果；对题库外样本试题中的预设词汇进行掩模处理和/或替换处对第一试题评分模型中嵌入的第二神经网络模型的参数进[0161]图9是本申请一实施例提供的试题评分装置的示意性结构图。图9的装置900可以[0162]获取模块910用于获取题库内试题对应的学生答卷，学生答卷包括题库内试题对试题评分模型确定学生答卷的评分，其中试题评分模型是根据第一方面所述的方法得到盘(DigitalVideo