基于评语反向优化课堂教学评价量表的文本分析

/基于评语反向优化课堂教学评价量表的文本分析【摘要】传统的课堂教学评价，多依据专家预设或基于经验的前置量表。使用者观摩课例后，根据量表给出评价。随着学习分析技术的发展，基于教学评语逆向优化评价量表成为可能。本研究从全国某信息化课堂教学大赛案例中，选取120份评语作为研究样本，采用因子分析法和主成分分析法，计算出新的信息化课堂教学评价量表。研究发现，基于评语文本反向优化评价量表的方法能够对量表进行修订，并且可以发现课堂教学评价中隐含的信息，验证了自下而上的研究思路的可行性。期待逆向设计的新量表能够为课堂教学改进和质量提升提供参考。【关键词】课堂教学评价；文本分析；评语分析；教师专业发展

一、引言 课堂教学评价是课堂教学质量的必要保障，是促进教师专业发展、保障育人目标顺利实现的重要手段。[1]在课堂教学评价实践中，评价者运用一定的评价标准和工具，对评价对象的行为和活动过程进行评价。[2]评价标准是教学评价体系的核心，是价值判断的依据，其合理性、科学性直接影响教学活动，并且课堂教学评价能否对教师专业发展起到促进作用，也与课堂教学评价标准有很大关系。[3-4]如果评价系统里缺乏清晰而合理的标准，那么这种评价系统就是不全面的。[5] 随着教育信息化2.0时代的到来，信息化课堂教学环境已越来越多地出现在各级各类校园之中，信息技术在教学中发挥着不可替代的作用。[6]让信息技术有效地促进教学，是新世纪赋予教育工作者的新使命，深化信息技术与教学的融合，强化信息技术对教学的服务与支撑，成为教育改革的关键点。[7]如何提出适应信息化2.0时代的课堂教学评价标准，成为促进教师专业能力发展，以及评价课堂教学质量的重要研究议题。本文以此为切入点，结合真实教学案例，运用文本分析法，探索信息化课堂教学评价量表的优化路径。 二、理论基础 (一)课堂教学评价量表 当前课堂教学评价，常见方式是先确定评价指标体系，制定对应的评价量表，由特定的人或群体对某教师的课进行打分和记录，形成评价结果。[8]课堂评价量表多通过文献法、经验法、问卷法、行动研究法等，由专家和教师协同开发，预先编制，在实践中不断检验优化。如崔允漷[9]提出LICC听评课框架，从4要素20个视角68个观察点解构课堂；宋秋前等提出生本化课堂教学有效性的评价标准[10]；还有多位学者从不同角度来建立课堂教学评价维度、开发评价量表。[11-13]已有研究为课堂教学评价从经验走向科学、从主观走向量化，做了大量卓有成效的工作。有学者认为，部分评价量表属于“自上而下”的开发思路，在真实、合理、可行性等方面会受到一定的制约。[14～15]加大实证研究的比例，已成为课堂教学评价转型的必然诉求。[16-17] (二)评语分析 课堂教学评价量表的编制与优化是多维动态的研究过程。除了采用“专家预设、自上而下”的编制方式外，还可以采用“评语提取、自下而上”的方式。事实上，基于评语的反向评价方法，已成为国际教学评价分析的新兴视角。 如Bruno等人探究了教师对学生作业的评语，发现评语可以使学生意识到自己学习能力的不足，从评语中提取相应的策略，从而提高学习效率[18]；Akpe等人分析学生对课程的评语据此改进课程[19]；Alhija等人统计并分析了学生评语中最常被提及的教学维度和学生给予的正、负向内容的评语，以改善教学质量[20]；马志强等人以网络同伴互评的反馈评语文本作为分析对象，综合运用内容分析、回归分析等方法，得出学生对情感、认知与元认知三类评语的反馈方式，给出了教师引导同伴互评评语的策略[21]；刘智通过情感倾向识别与话题挖掘技术，探寻在线课程评语中体现出来的学生情感信息，利用学习者的反馈信息为教学决策提供支持。[22] 由此可见，通过评语，反向审视课堂教学评价标准，优化课堂教学效果，已成为学习分析技术为课堂教学研究带来的新思路。课堂教学评语里，不仅包含着量化教学评价背后的原因，也蕴含着教学改进的思路和建议。因此，本文采用基于评语的文本分析法，结合因子分析法、主成分分析法，对现有课堂评价量表逆向分析，以期为课堂教学评价提供改进思路。 三、研究设计 (一)研究对象及数据来源 本研究以全国某信息化课堂教学创新大赛的参赛案例为研究来源。该赛事组委会从全国范围内选择评审专家团队，包括学科专家、教育技术领域专家、特级教师等多个专家群体，根据研究特长组成不同学科和学段的评审专家组。大赛预先提供统一的信息化课堂教学评价量表，包括“教学文案”“教学过程”“技术运用”“教师素养”“教学效果”“创新应用”6个一级指标和14个二级指标，并对一级指标赋以权重。评审专家据此提出案例获奖等级建议、量化分数和评语。组委会根据案例的最终得分，评出一、二、三等奖，分别占总作品数的5％，15％和30％。 在以量化打分为依据的评审结果确定后，专家给出的评语成为从质性角度了解案例质量的参考指标。那么，评语中反映出来的专家评审关注点，是否会与量表中的指标和权重一致呢?如果不一致，专家更关注哪些评价指标?为了有针对性地分析评语文本，去除因学段、学科不同，而导致的评语侧重点不同的问题，本研究仅选取小学数学四年级案例，从一、二、三等奖和未获奖的课例中各选取30个案例，共计120份评语文本作为研究对象。 (二)初始量表的再编码 本研究采用的初始量表由大赛组委会组织专家提前编制，6个一级指标分别为“教学文案”“教学过程”“技术运用”“教师素养”“教学效果”“创新应用”，权重分别为20、30、30、10、10、5，其中“创新应用”为加分项。为便于统计和表达，对初始课堂教学评价量表的6个一级指标下的14个二级指标逐一编码，将14个二级指标编码为A1～A3、B1～B3、C1～C3、D1～D2、E1～E2、F1。 (三)分析方法 因子分析法是一种将多个变量减少为少数变量因子的技术。[23]在因子分析中，最常用的是主成分分析。[24]在评价指标的相关性比较高时，该方法能消除指标间信息的重叠，而且根据指标所提供的原始信息，生成非人为的权重系数[25]，从而解决评价指标权重主观性太强的问题。 本研究首先将14个二级指标通过因子分析法进行降维，找出综合因子，与初始一级指标进行对比；之后，根据上一步的结果，利用主成分分析法计算权重，根据权重对一级指标和二级指标的重要性进行排序。权重的结果完全根据评语文本的数据得出，以此解决前置评价指标可能存在的主观性过强、维度偏多或分散等问题。 四、研究过程 本研究首先将120条评语内容根据初始量表中的关键词及评语的语意进行手工分类，使用Excel将评语内容填入对应的14个二级指标的编码下，统计评语类别出现的频次。如“教学设计的每个要素都分析到位、表述详细。教学目标明确，学习者分析准确，突出学生已有学习基础和学习困难。突出技术作用作为突破教学重难点的解决措施”分别对应到上表“教学文案”后的A1和A2，以及“技术运用”后的C2；“教学设计未按模板完成，缺少学习者分析和重难点解决措施，教学反思未按规定项目完成”分别对应“教学文案”后的A1、A2和A3；“教师的教态亲切自然，语言清晰准确。课堂调控能力强，能够建立积极的师生交往”分别对应到上表“教师素养”后的D1和“教学效果”后的E2。利用此方法对120条评语的内容进行逐一统计，最终在Excel中呈现出在不同的奖项中，14个二级指标下的评语数量。然后，使用SPSS19.0软件进行因子分析，对多个指标进行降维。最后利用主成分分析法，计算出所有指标的权重，以此结果作为课堂教学评价量表中的维度重要性的依据。 (一)KMO及Bartlett's检验 运用SPSS19.0软件分析，得到样本数据的KMO度量值为0.734＞0.7，符合Kaiser对于KMO值的判别标准。Bartlett球形检验统计量观测值等于477.816，通过了显著性sig=0.000＜0.01的检验，说明此相关矩阵并非单位矩阵，所获取的样本数据取自于多元正态分布总体，能够进一步作因子分析。 (二)确定权重 主因子的提取按照Kaiser提出的准则确定，选取特征根结果值大于1的因子。根据因子分析的结果显示，初始的14个指标最终可化为4个指标，即4个主成分。这4个主成分代表众多的初始变量，这些综合因子可以最大限度地反映原来变量的信息量，且彼此之间互不相关。对于4个主因子，分别将其记作F1、F2、F3、F4。主因子确定之后，运用最大四次方值法对因子载荷矩阵旋转23次得到旋转后的因子载荷矩阵，将成分值最为接近1的成分划分至一类主因子之中。第一个因子：B3、B2、E1、B1；第二个因子：C1、C3、C2；第三个因子：D1、E2、F1、D2；第四个因子：A2、A1、A3。之后，需要利用主成分分析法，分别计算四个主因子以及各个二级指标的权重。 1.主因子权重计算 方差贡献反映了提取因子解释原始变量方差贡献的总体程度，可作为评价主因子相对重要性的关键统计量。主因子的方差贡献率越大，其重要程度越强。据此，本文通过主因子方差贡献来计算主因子权重，具体公式为： 上式中，是主因子的权重，是方差贡献，m是主因子的个数。分别将4个主因子的方差贡献带入公式，可得到4个主因子的权重分别为0.286、0.270、0.238、0.204。4个主因子对应的一级指标是“教学过程”“技术运用”“教师素养”“教学文案”。 2.二级指标权重计算 二级指标的权重值计算与主因子权重值的计算稍有不同。首先，二级指标的权重值需要计算出14个二级指标的因子得分系数矩阵，因子得分系数矩阵的确定，需要通过旋转后各因子的载荷值和其对应主因子的特征根进行计算，计算得出的因子得分系数矩阵与旋转后的因子载荷矩阵具有一致性。其次，以主因子的方差贡献率为权重对各因子得分进行加权计算得到各因子的综合得分。再次，利用上述提及的公式计算二级指标在一级指标中的权重，需通过组内变量综合得分系数作归一化得到。其中，是二级指标的权重，是其因子综合得分系数，m是组内指标个数。最后，利用主因子的权重与组内二级指标权重，可得到最终所有二级指标的权重值。 3.二级指标权重 根据以上分析，得到二级指标的权重(见表1)。 五、研究结果 根据计算结果，得到新的课堂教学评价量表(见表2)。主要变化可以概括为三点：新量表中的一级指标数量减少，二级指标数量稳定，但出现了新的组合；新量表中一级指标权重基本稳定，只有个别指标权重变化较大；新量表给出所有二级指标的具体权重。 (一)新量表中的一级指标数量减少 初始量表有6个一级指标，新量表中缩减为4个，“教学效果”“创新应用”被移除。新旧量表中的二级指标均为14个，没有减少。“教学效果”里的两个二级指标，分别被并入到“教学过程”和“教师素养”；创新应用的一个二级指标被并入到“教师素养”。可见，初始量表中的一级指标，并非不重要或不科学，而是在分类上可以重新组合。 (二)新量表中各级指标的权重变化 没有变化的一级指标是“教学文案”，权重值为20，与初始量表一致。二级指标的数量和内容均没有变化。新量表将二级指标A1、A2、A3的权重值细化为8、5、7。 基本没有变化的一级指标有两个。“教学过程”，整体权重值由30降为29。二级指标数量从原来的3个增加为4个。新添加初始量表“教学效果”中的E1“完成教学目标，不同层次的学生都得到相应提高、获得发展”。新量表给出了四个二级指标B1、B2、B3、E1的权重值分别为8、8、6、7。“技术运用”，整体权重值由30降为27。二级指标数量没有变化，新量表给出了C1、C2、C3具体权重值分别为8、9、10。 变化最大的一级指标是“教师素养”，权重值由10增加到24。二级指标由原来的2个增加为4个，新添加初始量表中“教学效果”中的E2和“创新应用”的F1，分别为“课堂教学氛围和谐、民主、向上，学生的情感、行动和思维参与积极、活跃”“具有有价值的实践创新行为，体现出信息技术在教与学过程中的独特优势”。新的四个二级指标D1、D2、E2、F1权重值分别为7、5、10、2。 (三)新量表明确了14个二维指标的权重值 初始量表中，只是对二级指标进行排序，没有赋值。新量表根据计算结果，得到了全部二级指标的权重结果。占比最高的是E2和C3，都是10分，可见评审专家的关注焦点是教师课堂的调控力，以及巧妙运用信息技术的教学智慧。除这两项之外，其余二级指标按照分值从高到低排列依次为：“技术运用”中的C2(9分)；“教学文案”中的A1、“教学过程”中的B1和B2、“技术运用”中的C1(8分)；“教学文案”中的A3、“教学过程”中的E1、“教师素养”中的D1(7分)；“教学过程”中的B3(6分)；“教学文案”中的A2、“教师素养”中的D2(5分)；“教师素养”中的F1(2分)。通过结果可知，二级指标的权重值从10分到2分不等，差异较大。 六、结论 (一)自下而上的实证研究方法能为评价量表中的指标维度变化提供证据支持 通过本研究发现，对比新旧量表，新量表的一级指标从原有的6个一级指标聚焦为4个，初始量表中的一级指标“教学效果”与“创新应用”表面上被删除，实际是融入到其他的一级指标中。从分析结果可以看出，评审的专家普遍认为，一级指标“教学效果”和“创新应用”合并到一级指标“教学过程”和“教师素养”中更为合适。初始量表中的“教学过程”，转入了初始量表“教学效果”中的E1分层教学。依据结果可知，在教师的教学过程中，需要有对学生分层教学的体现；初始量表中的“教师素养”，转入了初始量表中“教学效果”和“创新应用”的两个二级指标，分别是E2创设教学氛围，F1信息技术实践创新。依据结果可知，对于课堂的调控能力以及教学创新能力应在教师素养中有所体现。 因此，利用自下而上的思路进行探究，一方面能发现评价量表中指标维度可能发生的变化