基于G-DINA 模型的大学生英语听力的认知诊断研究

一、引言2020年中共中央国务院印发的《深化新时代教育评价改革总体方案》明确要求“充分利用信息技术，提高教育评价的科学性、专业性和客观性”。传统的语言测试往往只提供一个笼统的考试分数或语言能力估值，对“具有相同分数或相同语言能力的学生具有不同的知识状态及不同的认知结构”这一现象无法做出解释，相同分数的个体间差异无法区分，是什么因素导致学生试题做错，学生掌握了什么语言技能、未掌握什么语言技能等信息无法获取。语言测试研究的发展已不满足于研究侧重整体语言能力的水平测试和成就测试，语言测试专家们更希望语言测试能够提供诊断信息，能够报告学生的认知结构[1]。认知诊断通过分析学生内部的心理加工过程，不仅能够得到宏观的分数，还能评估学生的认知结构以挖掘其不足之处，并提供给师生具有诊断功能的反馈报告和补救性的学习建议，突破了以“分数”为维度的评价方式，能够达到“诊断—反馈—补救”为一体的目标，与国家正需要的教育评价方式不谋而合。二、概念界定(一)认知诊断广义的认知诊断指测验所得的分数与内部认知结构之间的关系，包括了在心理学、医学和教育学中的应用。而狭义的认知诊断仅指在教育教学中的应用，通过实施测验来检查学生是否掌握了本次测验所要求的技能、知识以及掌握的程度，并根据测试的结果给予教师反馈，从而帮助教师调整教学方式。本研究中采用狭义的认知诊断概念。(二)认知属性及属性层级关系认知属性是被试正确完成任务所需要的知识、技能、策略等，它是对被试问题解决心理内部加工过程的一种描述。认知属性之间是相互关联的，它们可能存在一定的逻辑顺序、心理顺序和层级关系[2]，雷顿由此总结提出了属性层级关系模型，并将属性层级关系划分为5种基本类型，分别是线性型、收缩型、分支型、无结构型和独立型。(三)G-DINA模型G-DINA模型的假设是试题所考查的各属性的掌握与否都会对回答正确的概率产生影响，即该模型考虑到了属性之间相互作用对正确率的影响。该模型有两个特征:第一是补偿性，即某个属性的掌握过剩能够弥补其他属性的掌握不足；第二是饱和性，即不仅包含所有单一属性参数，还包含多属性间的交互参数[3]。其数学表达式为:即正确回答试题的概率是在不同属性掌握情况下的答对概率的累加。P(Xij＝1｜a*lk)是指被试对项目j的答对概率；＆j0是指被试未掌握项目测量的所有属性而答对项目的概率，即猜测答对的概率，＆j0≥0；＆jk是指被试掌握单一属性alk时，对答对项目j的概率的贡献；＆jkk′代表被试掌握属性alk和alk′对项目j作答正确率的交互作用；＆j12…k*j是指被试掌握项目j所测量的全部属性对作答正确率的交互作用。进行认知诊断分析需要借助认知诊断模型，不同的模型有不同的假设和适用条件，所以要根据实际情况选择恰当的模型。语言能力的各组成部分之间不是简单的线性关系，而是一种互动关系，即交际活动中的各种知识、技能、心理活动以及场景因素相互作用、相互影响且不可分割[4]。听力技能具有抽象、综合的特征，对认知诊断模型要求高，补偿型模型契合了听力技能的综合性和多元性，饱和型模型比较理想地对应听力能力的抽象性和难区分性[5]，因此文章选择补偿饱和模型——G-DINA模型进行诊断分析。三、文献综述(一)国外研究Buck和Tatsuoka曾经利用规则空间模型诊断了TOEFL的听力部分[6]，但是该套试题的题型极其单一，只有简答题，且规则空间模型对认知属性的划分及属性层级关系合理性的要求非常高，并不适合诊断抽象、多元和复杂的语言技能。Lee和Sawaki开展了对TOEFLIBT听力部分的研究。在该研究中，听力认知属性被划分为理解主旨大义、理解文本结构、理解说话者的意图、连接信息[7]，但是认知属性的划分过于粗暴简单，没有考虑到听力的认知加工特征。Farchad对目前应用最广泛的6种认知诊断模型做了比较，分析听力技能的交互关系。从拟合度来看，G-DINA模型对听力测试能够生成最佳拟合度[8]。随后，研究者利用G-DINA模型诊断被试听力认知属性掌握情况，发现词汇和句法理解这两个认知属性对学生的听力技能掌握程度影响最大。(二)国内研究孟亚茹将听力认知属性按照语言语篇能力和策略能力两个维度划分出7个认知属性:辨音语调和重音、词汇和口语表达、语法结构、细节捕获、主旨的抓取、上下文和文化背景推测、记忆和记笔记能力[9]。肖云南和罗娟利用G-DINA模型诊断了湖南大学2017级新生的听力能力。研究者从语言学与认知心理学的角度划分了7个认知属性，与其他听力认知属性划分不同的是，该研究的听力认知属性在组成成分上更加具体明确[10]，且能准确理解听力的认知过程，有助于认知诊断分析。赵亮在其博士论文里，对比分析了常用的认知诊断模型(G-DINA、DINA、DINO、ACDM、RRUM和LLM)哪一个对听力测试的诊断拟合度更高，结果表明G-DINA模型的各项指标优于其他模型[11]。四、研究设计(一)研究问题本研究利用G-DINA模型分析非英语专业大一学生的听力认知属性掌握情况，重点探究以下两个问题:1.被试的听力认知属性掌握概率如何?2.被试的听力认知属性掌握模式如何?(二)研究对象本研究选取东北D大学1109名非英语专业大一学生作为被试，参与大学英语听力认知诊断测试。(三)研究方法作者在《中国英语能力等级量表》的基础上，参考《大学英语教学指南(2020版)》、《大学英语》教学大纲、《大学英语四六级》考试大纲和已有文献，利用专家确定法和口语报告法确定了7个影响非英语专业大一学生的听力认知属性，分别是:辨音(A1)、词汇知识(A2)、语法知识(A3)、概括主旨大意(A4)、上下文推理(A5)、捕捉细节(A6)和短时记忆(A7)。A1、A2、A3和A4属于基础听力认知属性，而A5、A6、A7属于高阶认知属性，这7个认知属性的层级关系属于独立型。(四)研究工具本研究的研究工具是由作者自主编制的大学英语听力认知诊断测试卷。作者通过上文所确定的听力认知属性和属性层级关系，构建了Q矩阵。在Q矩阵的指导下广泛搜索听力真题，组合形成了大学英语听力认知诊断测验卷，共计19道题，全部为选择题。经过量化检验，该试卷信度、效度良好，可用于施测。五、分析与讨论(一)听力认知属性掌握概率分析通过分析听力认知属性掌握概率我们能够清楚地获知被试对每一个认知属性的掌握情况，如果被试答对的考查了某一属性的测验题目越多，则说明被试对这一属性的掌握情况越好。利用G-DINA模型对1109名被试的作答数据进行分析，可以得到被试整体的听力认知属性掌握概率。通过表1发现，被试整体对A1、A2属性掌握情况比较好，这说明被试在平时的学习中注重做辨音的练习，对词汇的掌握也比较熟练。但是对A3和A4属性掌握情况比不上A1和A2属性，这可能是因为被试平时多在阅读或者写作中比较注重语法概念，但是在听力练习中更多关注了是否听懂大义的问题，而没有精听语法细节。被试的推理能力需要在综合所听到的所有信息基础上才能做出正确的选择，所以难度较大，导致A5掌握概率较低。A6与其他属性综合考查的次数多，被试需要更加复杂的心理加工技能，因此该属性的掌握概率不高。被试对A7属性的掌握概率只有32%，有很大的提升空间，平时可以做一些note-taking的练习。表1被试整体听力认知属性掌握概率(二)听力认知属性掌握模式分析通过分析听力认知属性掌握模式，可以精准地获得被试对听力认知属性的掌握类型、被试当前知识状态处于什么位置以及下一步努力的方向。这些信息有利于帮助教师针对被试的知识漏洞精准地开展补救教学。通过极大后验估计法能够得到每一个被试的听力认知属性掌握模式，将G-DINA模型测算出的被试的听力认知属性掌握模式归入到理想属性掌握模式，获得被试整体的听力认知属性掌握模式比例分布。标识听力认知属性掌握模式的7位数字分别代表A1到A7这7个属性，用“1”表示掌握了该属性，用“0”表示未掌握该属性，由此能够形成27＝128种理想属性掌握模式。在此只列举占比较大的7种理想属性掌握模式。从表2可知，有72.75%的被试认知属性掌握模式可以归入到理想属性掌握模式里，归入率较高。一方面，说明G-DINA模型与听力测试的拟合度较高；另一方面，验证了属性划分较为合理。此外，被试的听力认知属性掌握模式进一步证明了被试对A5、A6和A7这三个高阶认知属性掌握的情况较差。因此，教师应该着重补救这三个属性，提高被试的高阶听力能力。值得注意的是，还有将近三成的被试属性掌握模式无法归入到理想属性掌握模式中，这部分被试应该是重点需要补救的对象。表2被试整体的理想属性掌握模式比例分布六、结语本研究利用G-DINA模型分析非英语专业大一学生的听力认知属性掌握情况。首先确定了影响非英语专业大一学生听力的认知属性和属性层级关系，而后建立Q矩阵，并在Q矩阵