绩效导向的大学本科教学质量评估模式探析-基于英国卓越教学框架的技术性分析_2

1、    绩效导向的大学本科教学质量评估模式探析基于英国“卓越教学框架”的技术性分析    表4大学毕业生就业或继续深造活动类别非常重要的活动如果包括以下任何其他活动活动类别全职工作参加全日制学习深造、培训或研究；或者参加兼职型学习深造、培训或研究03主要是工作，但也参加学习深造其他01全职工作兼职工作参加全日制学习深造、培训或研究；或者参加兼职型学习深造、培训或研究03在工作并同时学习深造其他02兼职工作没有就业，在找工作08没有就业将在下个月参加工作全职工作01全职工作参加全日制学习深造，培训或研究，且前提是没有选择全职工作05全日制学习兼职工作，前提

2、是没有选择全职工作，且没有参加全日制学习深造、培训或研究02兼职工作其他07即将开始工作参加全日制学习深造、培训或研究全职工作或兼职工作04主要是学习深造，但也参加工作其他05全日制学习参加兼职型学习深造、培训或研究全职工作或兼职工作04主要是学习深造，但也参加工作其他06非全日制学习抽出时间去旅行09其他其他09其他资料来源：department for education. teaching excellence framework：year two specification （2016）eb/ol. 4.高技能岗位就业率或继续深造的比例该指标同样基于大学毕业生去向调查，以统计毕业6个月

3、后的英国籍大学毕业生高技能岗位就业率或继续深造的比例。大学毕业生需要根据自己的现状在给定的有关就业或继续深造状态的8个类别中进行选择，并标示出最重要的活动（详见表5）。已经就业的大学毕业生需要提供关于就业的具体信息，如职位类别等。职位类别需根据英国标准职业分类（standard occupational classification，简称soc）进行填写。标准职业分类中编码为1、2、3的职位被视为高技能岗位。故此，该指标值的计算方法为：第1类至第6类中职位类型属于标准职业分类编码13的英国籍大学毕业生数除以第1类至第8类英国籍大学毕业生数。10表5大学毕业生高技能岗位就业活动类别非常重要的活动

4、如果包括以下任何其他活动活动类别标准职业编码全职工作参加全日制学习深造、培训或研究；参加兼职型学习深造、培训或研究03主要是工作，但也参加学习深造l3其他其他01全职工作l3其他兼职工作参加全日制学习深造、培训或研究；参加兼职型学习深造、培训或研究03在工作并同时学习深造l3其他其他02兼职工作l3其他没有就业，在找工作08没有就业将在下个月参加工作全职工作01全职1作13其他参加全日制学习深造、培训或研究，且前提是没有选择全职工作05全日制学习兼职工作，前提是没有选择全职工作，且没有参加全日制学习深造、培训或研究。02兼职工作l3其他其他07即将开始工作参加全日制学习深造、培训或研究全职工作

5、或兼职工作04主要是学习深造，但也参加工作其他05全日制学习参加兼职型学习深造、培训或研究全职工作或兼职工作04主要是学习深造，但也参加工作其他06非全日制学习抽出时间去旅行09其他其他09其他资料来源：同表4。二、基准计算步骤及方法为了使具有不同学生规模和结构特点（如年龄、学科专业、性别和种族等）的高校之间能够进行有意义的比较，“卓越教学框架”设计了针对每一所高校的核心指标及其次级拆分指标的基准（benchmark），这意味着高校之间不以原始数据进行直接比较。实际上，基准是基于高校学生结构特点的英国整体高校（不管其是否参加“卓越教学框架”评估）每一个核心指标及次级拆分指标的加权平均值，也是判

6、断某一高校在某一具体指标表现优劣的起始尺度。此外，设置基准的方法也是为了确保选择对评估结果影响最大的因素进行分析，并且使得比较组别分类尽可能宽泛。选择和组合基准因素时应尽量减少“自基准”（self-benchmarking）的水平，避免比较组别分类中的大部分学生来自同一所高校的情况。基准因素也即次级拆分指标，包括所学专业、入学成绩、入学年龄、种族、性别、是否残疾、是否为处于社会弱势地位的青年等（详见表6）。11这些次级拆分指标数据需要参评高校提供，它们也是对高校获得最终评级的重要参考。“卓越教学框架”在确定基准因素的基础上，详细说明了每一个基准因素的分组类别依据，以及每一个指标所涉及的基准因素

7、。表6“卓越教学框架”的基准因素及组别分类基准因素组别分类依据（个数）教学质量学习环境学习结果课程教学评价与反馈学术支持辍学率就业率或继续深造比例高技能岗位就业率或继续深造的比例所学专业高等教育统计署“联合学术编码系统”（jacs）（18）入学成绩高等教育统计箸划分的28类入学成绩（28）入学年龄青年、成年、未知（3）。除非有特殊说明，青年指21岁以下，成年指21岁及以上（仅限全日制，青年指31岁以下，成年指31岁及以上）种族亚洲人、黑人、白人、其他、未知（5）性别男女、其他（3）是否残疾残疾、非残疾（2）处于社会弱势地位的青年（polar，仅限英格兰高校）社会弱势地位1或2；其他（2）资料来

8、源：department for education. teaching excellence and student outcomes framework specification （2017）eb/ol. 假设某一核心指标（如辍学率）有c个分类组别（1，2，3，c），全英国高校中涉及到该指标的共有u所高校（1，2，3，u）。令，j高校该指标k组别的学生数为njk，则j高校的学生总数为：全英国高校在该指标k组别的学生数为：另有，涉及到该指标的全英国高校学生总人数为：再令，全英国高校在该指标k组别具有给定特点的学生比例（如全英国高校辍学率指标中，数学专业组别的青年辍学率）为pk，j高校在该指

9、标k组别具备同样特点的学生比例为pjk，则j高校该指标c个组别具备给定特点的学生数之和除以j高校学生总数所得学校层面各组别指标的加权平均数，即为j高校在该指标的评估值，计算公式为：另，全英国高校层面在该指标k组别具有给定特点的学生比例为：又，j高校在该指标k组别的学生占比与全英国高校在该指标k组别具有给定特点的学生比例（pk）之乘积，即为j高校在该指标k组剧的基准，计算公式为：则j高校在该指标的c个组别基准之和，即为j高校在该指标的整体基准，计算公式为：12为了便于说明基准值的计算步骤和方法，下文将以虚构案例为依托，对辍学率指标的2个基准因素年龄（年轻和非年轻）、所学专业（农业、数学和历史）进

10、行计算。故此，对该案例中的辍学率指标来说有6种（2´3=6）不同的基准组别（详见表7）。1.步骤一：计算高校层面的指标值假设该高校有1 090名全日制学生就读于农学和数学专业，并已知6个基准组别学生的辍学率（详见表7）。根据6个基准组别的辍学率可以通过加权平均的方式计算出该校整体的辍学率。即该校整体辍学率等于6个基准组别学生数分别乘以相对应的辍学率，在求和之后除以学校全日制总人数。具体为：表7高校层面数据年龄专业学生数辍学率年轻农学5005.0%年轻历史0n/a年轻数学1508.0%非年轻农学4006.0%非年轻历史0n/a非年轻数学402.0%合计1090学校层面指标值5.7%资料

11、来源：同表4。2.步骤二：计算全英国层面的指标值假设全英国高校注册为农学、历史和数学专业的全日制英籍学生数为210500人，根据已知的分6个基准组别的学生数及相对应的辍学率（详见表8），通过加权平均的方法计算出英国高等教育整体层面在以上三个专业的辍学率。通过加权平均的计算方法可得出该三个专业在英国整体层面的辍学率为3.4%。表8英国高校整体层面数据年龄专业学生数辍学率年轻农学200005.0%年轻历史800001.0%年轻数学950005.0%非年轻农学50006.0%非年轻历史65002.0%非年轻数学40002.0%合计210500全英国层面指标值3.4%资料来源：同表4。表9高校辍学率基

12、准值年龄专业学校数据国家层面数据加权数据学生比例结构（a1）辍学率（b1）a1´b1年轻农学45.9%5.0%2.3%年轻历史0.0%1.0%0.0%年轻数学13.8%5.0%0.7%非年轻农学36.7%6.0%2.2%非年轻历史0.0%2.0%0.0%非年轻数学3.7%2.0%0.1%合计100%全英国层面指标值基准值3.4%5.3%资料来源：同表4。3.步骤三：计算该高校辍学率的基准值根据已知的该高校在6个基准组别的学生分布比例（a），以及全英国层面6个基准组别学生的辍学率（b），通过加权的方式（即a´b）计算出各个基准组别学生的加权辍学率，最后计算获得的6个加权辍学率

13、之和，即为该高校辍学率的基准值（5.3%）。4.第四步：重要性标记在考虑年龄和所学专业两个基准因素的基础上，学校的辍学率5.7%可以和加权平均数（即基准）5.3%进行比较。尽管该校的辍学率仍然比全英国高校的整体辍学率高，但还要通过对学校的指标值与全英国层面的基准值之差异进行实质性和显著性检验，并根据差异的实质性和显著性检验结果，对该校的辍学率指标值进行重要性标记。“卓越教学框架”中规定，高校具体指标值距离相对应基准的标准差个数用z分数（z-score）表示。通常情况下，当指标值的z分数达到正负1.96时被认为具有显著性差异，即达到95%的置信区间，在“卓越教学框架”实际计算中采用|z|=2。为

14、了确保评估指标值与基准之间存在显著且实质性的差异，“卓越教学框架”同时规定，如果二者的差异小于2%，则被视为不存在实质性差异。但当基准大于97%（或者辍学率的基准小于3%），只要高校的评估指标值大于基准，实质性差异不再要求被检验，只需检验二者之间的差异显著性即可。因为高校指标值不可能超过100%（或者辍学率不可能低于0%），从而不能获得“+”的标记。三、结果标识及使用方法为了使社会公众对英国高等教育的本科教学质量有更直观的认识，“卓越教学框架”使用正面标示“+”和负面标示“-”的个数标记每所高校在6个核心指标及次级分拆指标的优劣表现，并主要依据高校在6个核心指标的具体标示类别和数量多少，给予高

15、校金牌、银牌、铜牌三者之一的级别评定来表示高校本科教学质量的整体成效。获得任何一个评估等级的大学最多可以在3年内保留该等级。（一）结果的标识方法对评估指标结果的标示涉及到三个变量：一是具体指标值，二是基准，三是z分数。上文已对前两者做了详细说明，现仅对z分数的计算方法进行说明。在统计学中，z分数的一般计算公式为：其中为总体平均值，x-为离均差，表示总体标准差。在“卓越教学框架”中，假设高校的某一指标值（即学校层面的加权平均数，如上文示例中的学校层面的辍学率）用表示，其相对应的基准用表示，则指标值与其对应基准之差计为：，进而可计算得出n所高校的该评估指标与其对应基准之差的方差为：标准差（标准误）

16、为：由此，“卓越教学框架”中z分数的具体计算公式为：13“卓越教学框架”规定：（1）如果某一高校的某一评估指标值高于相对应的基准2个标准差（即z分数等于2），且同时评估指标值大于基准线2个百分点，则被标示为“+”；（2）如果评估值低于相对应的基准2个标准差（即z分数等于-2），且小于基准线2个百分点，则被标示为“-”；（3）如果评估值高于相对应的基准3个标准差（即z分数等于3），且高于基准线3个百分点，则被标示为“+”若基准值大于97%（或辍学率基准小于3）时，只要求z分数等于3；（4）如果评估值低于相对应的基准3个标准差（即z分数等于-3），且低于基准线3个百分点，则被标示为“-”（详见表1

17、0）。表10“卓越教学框架”结果标示示例指标值（a）%基准（b）%差异（a-b）*z分数标示全日制学生数：10000课程教学87.285.71.51.2评价与反馈73.371.12.23.6+学术支持82.080.81.2-2.8辍学率5.36.10.82.4就业率或继续深造比例92.286.85.48.4+高技能岗位就业率或继续深造的比例74.169.84.38.1+非全日制学生数：1000课程教学90.187.52.61.1评价与反馈78.480.1-1.7-0.4学术支持84.281.23.00.8辍学率19.026.67.61.4就业率或继续深造比例84.187.8-3.7-1.6高技

18、能岗位就业率或继续深造的比例73.272.80.40.2注：辍学率指标值（a）和基准（b）的差异为b-a，因为辍学率低于基准时会被给予正面标示。资料来源：本表由笔者根据英国教育部“卓越教学框架”相关报告、指标附件等文献绘制而成。根据高校在每一项核心指标的表现是高于或者低于基准，高校会相应地获得一个正面标示（positive flag，用“+”表示）或负面标示（negative flag，用“-”表示）。高校获得的标示类别及总数是其获得初始评级的依据：获得三个及以上正面标示，且同时没有负面标示的高校可获得“金牌”评级；只要获得两个及以上负面标示（不管其他结果），高校将获得“铜牌”评级；其余的情况则是银牌评级。由专家、学生和雇主代表组成的独立评审小组根据高校在6个核心指标获得的标示类别及