基于钉钉学习圈的线上CET-4作文训练模式研究

1、    基于钉钉学习圈的线上cet-4作文训练模式研究    摘 要：线上教学对大学英语作文训练提出了重大挑战，作文自动评分系统重要性日益突显。本研究聚焦阿里钉钉学习圈中的“英语作业”功能，邀请5名大学英语学生开展小范围的实证研究，尝试回答：1）“英语作业”功能的赋分是否可信;2）如何理解点评内容两个问题。研究结果显示，和人工得分相比，钉钉得分无显著差异。钉钉评语详尽，层次分明，学生可以先关注错误、再关注警示性点评、“学习提示”和“推荐表达”，最后关注“近义词表达学习”和“拓展辨析”，有步骤地提升自己。关键词：钉钉;“英语作业”;作文自动评分1 引言近年

2、来，大学英语线上教学蓬勃发展，也遭遇了诸多挑战。大学英语教学无法回避写作训练，详尽的反馈是学生提高写作能力的根本保证，但教师人工反馈的成本极高，网络授课更加剧了这种情况。作文自动评分（automated essay scoring，aes）系统除自動评分外，还具备了错误分析、维度分析、个性化反馈、写作辅助等功能，十分适合信息化时代大学英语的教学要求。因此，找到可靠的aes系统就成了化解这个突出矛盾的关键。钉钉的“英语作业”功能就具备自动评阅功能，极大方便了师生，但它的可靠性有待检验。2 “英语作业”简介钉钉使用了“分类建群”的思想，不同类型的群配备不同的群应用。“英语学习”程序内置于钉钉培训群

3、中，需手工添加，提供“老师布置作业，学员提交作业，老师点评等功能”。它允许老师设置批改方式、学生修改次数，还能设置批改公式，适应不同考试培训需求，它的主要功能是批阅文字中的词汇和语法，十分适合大学外语教学的需要。教师点击任务，就可以设置作文的标题、字数、具体要求、提交时间等内容并发布到学生群。面对新技术，虽然师生主观上觉得它是好工具，但对评分的信任度以及如何运用它来辅助教学仍不清楚。本文设计了小规模实验，探讨以下两个研究问题：1）“英语作业”功能的赋分是否可信？2）如何理解点评内容？3 实验设计研究随机选取了5名大学英语学生作为被试，外语成绩不做要求但必须自愿。被试均未通过四级考试或渴望刷分，

4、十分愿意接受测试，因此可以排除被试消极应付实验的可能。研究利用四级训练课完成，教师在“英语学习”程序中发布一个模拟测试题，被试在教室当堂线下写作，限时30分钟，写作期间不得使用手机，以排除被试求助线上资源的可能。写作完成后，被试需在钉钉里提交电子版，并上交纸质版，教师核验两个版本完全一致后，实验方可结束。钉钉会自动批阅，显示分数和评语。实验邀请2名教师独自人工判分，按照0-15分给分，允许保留小数点后一位。由于钉钉主要反馈的是学生的语言表述，因此教师人工判分的内容主要也是语言表述。当分差2分时，需第三位教师干预。所有评分人的算术平均分记为该被试的人工得分。使用独立样本t检验检查钉钉得分和人工得

5、分是否存在显著性差异，同时分类统计评语，探究其内在逻辑，分析评语的内在价值。4 讨论4.1 独立样本t检验被试的人工评阅得分分别为12.25，12.5，11.25，12.75和13，均值12.35，方差0.456。钉钉得分为12.2，12.4，11.6，13.1和13.5，均值12.56，方差0.536。使用excel进行f检验-双样本方差，验证方差齐性。当=0.05时，p（ff）=0.422，因此认为两组数据的方差没有明显差异，可以进行t检验。t检验结果显示，当=0.05时，p（tt）=0.327，因此认为两组数据也没有明显差异。t检验的结果不支持两种评分具有显著差异的假设，因此认为钉钉判分

6、是可靠的。当然，任何aes系统都是基于人类评分员训练出来的，因此该结果也在情理之中。4.2 点评内容“英语作业”提供逐句点评功能，点评看似复杂，却均由三部分组成：序号 类型 评语5篇作文共123条点评，以红、黄、绿三色呈现。整理后发现红色代表错误，绿色代表表扬，黄色可以归纳为警告或提示。这种分类刚好和交通规则相匹配，大大提高了评语的辨识度。每种颜色的评语又细分出许多子类型。红色评语共23处，7个子类型，都是明确的语法错误，如“动词错误”、“名词错误”等，显然学习者应优先关注错误的内容。绿色评语共6处，分为“精彩句型”和“闪光短语”，它们类似语文学习中的好词好句，钉钉发现后提出表扬而已。因此对于

7、学生提高语言技能的帮助不是很大，倒不必过多关注。黄色评语最多且看起来都比较雷同，容易导致学生不想看。其中警示性内容最多，这类评语的描述和红色的错误几乎一样，但多了“疑似”、“是否”等表述，这体现了钉钉评语的严谨性，可以当作是疑似错误，学习者可以向教师请教是否存在错误并改正。其余点评都是扩展性内容，意在引导学生开拓视野。“学习提示”侧重汉语和英语表述一对多的情况，提示学生加以辨析，因此可以理解为易错词。比如汉语的学院/大学，对应英语中多个单词，很容易用错。“推荐表达”则提醒学生使用高级表达，暗示原文表述不够好。而“近义词表达学习”则是希望学习者频繁更换表述，增加语言美感。“拓展辨析”聚焦两个词之

8、间的差异，也会频繁提示语料库中的频次，不过这个功能对于学生提高语言能力，帮助不大，可以忽略。5 结语本次小规模实验的结果显示，钉钉判分大致可靠，而且点评及时，评语详尽，能有效化解人工反馈的巨大成本矛盾。钉钉评语类型划分合理，逻辑清晰，在提高学生英语语言表述方面具有重要的参考意义。学生可以按照重要性逐一消化，首先关注错误、其次关注警示性点评、“学习提示”和“推荐表达”，最后可以关注“近义词表达学习”和“拓展辨析”。参考文献1翰宁.几个英语作文自动评分系统的原理与评述j.中国考试，1994：38-44.2宋毅宁.自动作文评分系统对大学生英语写作能力的影响实证研究j.大学教育，2019：132-134.3唐锦兰，吴一安.写作自动评价系统在大学英语教学中的应用研究j.外语与外语教学，2012（4）：53-59.4王勃然，金檀，赵雯.自动写作评价研究与实践五十年从单一、