北京市全国普通高校统一招生考试公平性的实证分析.pdf

No 10 2010 General No 369EDUCATIONALRESEARCH 北京市全国普通高校统一 招生考试公平性的实证分析 周军丁秀涛张青华温红博 摘要 高考的公平性包括对考生报考条件限制的公平性 命题的公平性 试卷印 制 运输 保管及使用过程中的保密性 考试实施过程的公平性 评卷的公平性 考试分数 结果 的公平性等方面 实证性分析表明 北京市全国普通高校统一招生考试的各科试 题 考试准备及实施过程 考试分数 各项相关政策对全体考生 对各亚群体考生都是公平 的 为了使高考更具公平性 今后还需要建立 高考公平性标准 和 高考公平性检测评估 报告 制度 加强高考试题质量公平性研究 关键词 普通高校 招生考试 公平性 作者简介 周军 北京教育考试院研究员 北京100083 全国普通高校统一招生考试 以下简称高 考 是为不同类别高校选拔新生而设计的考试 是典型意义上的选拔性考试 高考的公平性是 考试成绩能否为考生认可接受 能否为高校使 用 能否为社会承认的基本前提和核心问题 一 高考公平性的内容及其判定标准 一般而言 在考试的整个过程中 从考试设 计开发 组织实施直到通知考生成绩各个环节 对不同群体考生或是对所有考生个人都能够一 视同仁 公平对待 考试各个环节不存在只对部 分考生产生影响的其他相关因素 考试结果只反 映考生个人在该项考试中知识与能力达到的相 对水准 就认为这项考试是公平的 一 对考生报考条件限制的公平性 高考是为高校选拔新生设立的考试 是国家 考试 对考生报考条件进行限定性要求 包括对 考生性别 年龄 民族 教育背景 户籍所在地等 的限定性要求 是在一定历史条件下对生源选拔 范围的规定 是当时国家教育政策的一个方面 当前 高考对考生报考条件的限定 是在现实社 会背景条件下 依从于相关国家政策而产生的 随着我国经济社会和教育的改革发展 对考 生报考条件的限定也在不断进行调整 因此其公 平性是一个 过程 无法也不可能提出一个不变 的 标准 在我国 高考的社会属性往往决定着 对考生报考条件的限制 1 因此 只能将考生报 考条件一一列出 描述其限定性规定 并将这些 限定性规定放在高考的整个背景条件下考察 对 政策制定的出发点 操作过程 实际效果进行分 析 只要符合国家相关的现行法律 政策规定 一 般就可认为是公平的 二 命题的公平性 本文系北京市哲学社会科学规划2007年度重点项目 教育考试公平性及其评价标准研究 项目编号 07AaJY038 的研究成果之一 46 1 考试内容不 超纲 考试大纲 考试说明 是高考命题的内容标 准 应提前公布 高考各科试题所涉及的考试内 容不应超出考试大纲 2 题目素材的公平性 题目素材不能违背国家法律法规 不能使部 分考生群体对其产生无关考试的过激反应 3 题目表达的规范性 考试题目的表达须符合学术技术规范 符合 语言规范 试卷的版面设计须符合出版印刷规范 4 题目命制过程中的保密性 在整个命题过程中须有对命题教师 工作人 员等所有涉密人员的保密规定 须有对题目载体 的保密管理规定 一旦发生或发现失密 根据发生 失密的时间 过程及影响范围 须有要求尽快提交 对考试公平性影响分析报告的规定 三 试卷印制 运输 保管及使用过程中的保 密性 试卷印制须在完全封闭的工作环境中进行 对所有工作人员须有不得与工作环境外进行任何 形式的信息交换的相关规定 试卷的运输 保管必 须符合国家保密法中的相应规定 从考试开始直 至考试结束前 在任何情况下试卷及试卷内容不 得以任何方式传输至考场外 并应有相应规定 这些保密规定 都是为在这一环节保证高考 的公平性而设的 这一环节一旦出现问题 应有 规定要求尽快提交关于失密行为的发生时间 过 程 波及范围 程度以及对高考公平性影响的评估 报告 四 考试实施过程的公平性 所有考生在统一规定的时间 空间按照统一 规定的要求顺利参加了考试 考试的实施过程就 是公平的 考试实施过程的公平与否 一是看相 关管理规定是否完整严密 二是看是否发生影响 考试顺利实施的事件 考试实施过程中相关管理规定一般分为三 类 一是对考试工作人员的约束 二是对考生在考 场行为的约束 三是各种关于考试操作过程的技 术规范 考点 或考场 发生影响考试正常进行的事 件 根据其原因一般可分为四类 一是考生的个人 行为 二是考试工作人员失误 三是考试工作人员 有预谋 有组织的舞弊 四是考生参与的有组织的 舞弊 对考试公平性影响的判定 主要视上述四 类事件涉及考生人数的多少 确定如何对个别考 生或对局部考点 或考场 考生做出相应处理 以 维护考试的公平性 但就高考的社会影响而言 考试工作人员有预谋 有组织的舞弊行为 无论涉 及考生人数多少 性质都涉嫌刑事犯罪 须通过司 法程序处理 以维护考试的公平性 对于因考试 工作人员失误造成考试不能正常实施的 应按照 突发事件应急处理预案 在最快时间内明确补救 措施 防止事态扩大 并视情况在一定范围公开有 关信息 以维护考试的公平性 五 评卷的公平性 考试的评分误差实际上是不可完全避免的 在评卷过程中维护考试的公平性主要在于控制阅 卷的随机误差和系统误差 对随机误差的控制主要通过遴选阅卷教师 强化阅卷教师的责任心以及加强分数登统环节的 逻辑校验来实现 对阅卷过程中系统误差的控制 目前主要有 三点 一是加强对评卷系统的操作数据进行逻辑 校验 二是组织阅卷教师认真研究评分标准并通 过试评把握评分细则 三是通过网上阅卷 对不同 阅卷教师及同一阅卷教师时常随机发放 测评 卷 监测教师阅卷过程中对评分细则的把握情 况 相对于原来的人工组织阅卷 网上阅卷已经 形成一套严密的管理办法 阅卷教师主观误差也 在相当程度上得到了控制 但对于无法事先给出 标准答案的主观题目 例如作文 目前还需进一 步研究提出考生分数离散程度的合理范围 研究 确定科学合理的双评控制差值阈限 六 考试分数 结果 的公平性 考试的目的是为了给被试特定的心理特征一 个客观合理的判断 对一次高考而言 就是给每 名考生一个分数 但这个分数是否客观合理 要从 整体 局部 个体三个层面来判定 1 考试分数的抽样检验和逻辑校验 高考成绩公布前应专门组织人力抽取若干考 生答卷 包括网上阅卷的电子档案 进行成绩复 核 同时应进行各种组合的逻辑校验 防止发生系 统操作和设置失误 导致较大面积的成绩失实 47 2 部分 亚群体 考生与考生整体考试成绩的 差异 不同性别 民族 地区的亚群体考生的考试成 绩 在与其他亚群体考生或考生整体的成绩进行 对比分析时 有时会呈现出较显著的差异 对于 这种差异 应该有合理具体的解释 并判定其对考 生公平性的影响 3 考试题目的公平性 对考试题目公平性的判定 主要是对同一道 试题不同亚群体考生的得分差异进行检验 如果 差异显著 应给出合理解释 并判定是否影响考试 的公平性 4 考生个人成绩 考生对本人高考成绩的真实性有怀疑 有权 向有关部门提出复查 这也是高考公平性的具体 体现 二 北京市全国统一高考公平性的实证分析 一 考生报考条件的公平性分析 2009年 北京市共有8 8万名考生参加高考 按照教育部的统一规定 北京市高考对考生的性 别 年龄 民族 教育背景均无限定性要求 对报 名条件的限定性要求有两项 第一项是考生当前 身份 限制具有高等学历教育资格的高校在校生 和高级中等教育学校非应届毕业的在校生报考 这主要是为了维护正常的教学考试秩序 并以考 试机会的均等体现公平 2 限制既往以弄虚作假 手段报名并违规参加高考以及有严重考试作弊行 为的人员报考 其本身就是为了更好地营造诚信 公平的考试环境 限制因触犯刑法已被有关部门 采取强制措施或正在服刑者报考 这是维护国家 法律的尊严 第二项就是只限北京市正式户口考 生报考 这是多年来国家高考政策及北京市地方 户籍政策使然 至于北京户籍考生与外地户籍考 生参加高考的公平性主要是国家招生计划分配体 制的公平性问题 而非报考的公平 不在本分析范 围之内 二 试题命制过程的公平性分析 试题命制的依据为 普通高等学校招生全国 统一考试北京卷考试说明 其发布时间为2009 年3月 考试时间为2009年6月 试题命制的规范性 符合各相关学科的技术 规范 符合语言规范 试卷的印刷板式 符合考试说明中的相关要 求 符合印刷规范 试题命制过程中的保密性 所有命题教师及 工作人员均签有保密书 集中命题直至考试结束 北京市2009年全国统一高考命题期间没有 发生试题泄密事件 三 试卷印制 运输 保管及使用过程中的保 密性 试卷在命题入闱地点初步形成印刷版式后直 至考试结束 整个过程按照国家保密法绝密级要 求进行保密管理 印制 印刷场所 设备 材料 印刷工作人员均 处于封闭环境中 试卷运输 专车专人 并配备公安人员押车 由印刷厂直接运到各区县考试中心保密室 试卷保管 各区县建有已通过验收符合存放 国家绝密级文件要求的专用保密室 24小时专人 值守 试卷进出保密室按管理规定交接 试卷在 开考前两天专车运至各区县保密室 沿途由公安 民警押运 试卷使用过程 考试当天相关科目试卷开考 前两小时由区县保密室运至各考点 考点设有临 时专用保密室 当天考试结束后各区县考试中心 将答卷直接运至各相关阅卷点 试卷在考点及考 场使用过程中始终处于考点工作人员或考场监考 人员的视线之内 北京市2009年高考试卷在印制 运输 保管 及使用过程中未发生任何失密 四 考试过程的公平性分析 有关考试的各项管理规定齐备 明确 可操作 性强 对考试工作人员 考生及考试实施的操作过 程均有相应的管理规定 基本做到了考点所有人 员 工作人员及考生 的行为都在规定范围之内 考试过程中没有发生因工作人员失误造成的 考试延误 少数考生重考等事件 没有发现考试工 作人员舞弊行为 没有发现考生参与的有组织的 群体舞弊事件 没有发现替考 利用通讯工具作 弊 雷同试卷等作弊考生 发现考生个人作弊行 为 夹带纸条 4人 发现考生违纪带有手机15人 未形成作弊事实 均按相关规定予以处理 48 北京市2009年高考考试过程对所有考生都 是公平的 五 评卷过程的公平性分析 在评卷过程中 评卷管理规定严密 评卷教师 遴选严格 试评阶段重复2次 并进行测试以判定 阅卷教师对评分细则的掌握情况 评卷方式除数 学外均采用网上阅卷 加大 测试卷 的发放密度 监测教师的评卷质量 合理确定教师阅卷的数量 及工作时间 利用人工样卷校验网上阅卷的系统 设置 2009年高考成绩公布后 对于一些认为考试 成绩有疑问的考生 各区县考试中心应考生要求 提供了查询相应科目各小题得分的服务 对查询 结果没有考生持有异议 北京市2009年高考评卷过程及结果对所有 考生都是公平的 六 考试分数的抽样检验和逻辑校验 评卷结束后考试成绩公布前 对数据库记录 的考试分数与卷面成绩的吻合程度进行了复核 重在防止出现系统操作数据误差导致大面积或局 部考生成绩失实 人工抽样检验 每科随机间隔抽出50份试 卷 由人工对卷面每个题目记载的成绩或电子档 案中已录的每个题目的成绩复检 与成绩数据库 的记录核对 逻辑校验 主观题 客观题各自得分比例相差 悬殊考生的数量及分布情况是否合理 各科目得 分比例相差悬殊考生的数量及分布情况是否合 理 各科目总分分布及难度值与命题预计有较大 偏差时 是否有合理解释 经过抽样检验和逻辑校验 北京市2009年公 布的高考成绩与实际评分结果完全吻合 七 考试题目的公平性分析 考试题目的公平性主要是判断每道考试题目 的背景材料或题目素材是否使不同亚群体考生产 生与考试无关的过激反应 使他们受到与考试无 关的一些因素的影响 不能公平应试 这类问题 一般多发生在人文学科试题 判定是否影响公平 性主要基于两点 一是在某亚群体考生中是否有 一定数量的考生专门对某一题目提出质疑 二是 对题目进行统计学分析检验 用数据实证 对于 前者 北京市2009年高考后没有考生就某道试题 提出诉求 对于后者 基于高考数据的保密性 本 文下面仅以北京市某年高考英语科目的试题为 例 进行不同亚群体的公平性实证分析 八 北京市某年高考英语科目试题不同亚群 体的公平性分析 试题的亚群体公平性通常从性别 民族 地区 等维度分析 由于北京市历史上没有明显的少数 民族聚集地区 不同民族考生基本上都是在北京 市统一的大环境下成长的 所以本研究只选取性 别 城乡两个维度 从测验内部一致性信度 试题 功能差异两方面进行试题的亚群体公平性验证 本研究使用的是北京市某年英语高考数据 试卷满分为150分 试卷共有四种题型 分别是 听力 英语知识 阅读和写作 可以将其看成试卷 的四个内容维度 具体的题型分布以及不同题型 的加权情况如表1所示 1 内部一致性信度分析 信度是指测量结果的稳定性程度 它能够反 映考试的随机误差大小 3 本研究采用同质性信 度 homogeneity reliability 也被称为内部一致性 信度 它可以用来说明考试内部所有题目之间的 一致性程度 同质性信度高说明考试所测的内容 或特质的相似性高 研究中选取了某年北京市理科生的英语高考 数据 其中男 女生分别为 37 802名和30 886名 城区考生38 344名 郊区考生39 326名 分别作为 性别 城乡的研究样本 研究中使用SPSS 17 0对 样本的总体和各个亚群体的考试内部一致性信度 系数 进行分析 总体 男生组 女生组 城区 和郊区的内部一致性信度系数如表2所示 从表2可以看出 在考试的总卷角度 不论是 表1英语考试题型分布 题型 听力 英语知 识 阅读 写作 题号 1 20 21 35 36 55 56 75 76 77 题目 1 5 1 1 5 2 权重 30 15 30 40 20 15 49 考试样本总体还是某个亚群体内部一致性均较 高 基本达到了0 900的较高信度 郊区的内部一 致性系数最低 但也达到了0 866 这说明对于 不同亚群体而言 该考试的测试内容都有较高的 一致性 考试各个维度的内部一致性信度系数在男生 组 女生组 以及样本总体考生组之间的差异不 大 说明不同性别在考试四个维度内的一致性较 高 内部一致性没有大的差异 城区和郊区在4 个维度上的差异要比男女生亚群体之间的差异 大 城区考生的测验内部一致性更好 但是这种 差异对于郊区的考生来说不是一个公平问题 这 很可能是由于郊区学生的差异小于城区的学生所 致 因为北京市中考后学生形成分流 郊区优秀 初中生考入城区的重点高中 而成绩较差的郊区 考生高考时又选取了单考单招的入学方式 这样 参加高考的郊区考生的差异性较小 从而导致其 测验的内部一致性信度系数低于城区考生 性别 城郊亚群体的测验内部一致性信度较 高说明了对于不同亚群体而言测量的特质都具有 较高的一致性 因此考试从总体上来说 对性别 城郊亚群体是公平的 2 试题功能差异分析 试题功能差异 Differential Item Functioning DIF 是试图通过统计方法识别题目偏差的一种 方法 通常 试题功能差异结果可作为测验开发 者进行题目公平性判断的一个重要的标准 本研究从男 女 城 郊亚群体中各随机抽取 了1 500名左右考生作为各组的代表性样本进行 DIF 分析 其中男生和女生分别为 1 540 名和 1 504名 城区和郊区考生分别为1 472名和1 484 名 DIF分析采用IRT双参数的面积法和似然比 检测法 IRT Likelihood Ratio Test IRT LR DIF 使用IRTLRDIF v 2 0b 软件进行DIF分析 最终 得到不同亚群体中存在的试题功能差异一致性 的题目如表3 表4所示 从表3可以看出 总体上 本次英语试卷中检 测出的性别间存在DIF的题目共13道 其中 有6 道题目有利于男生 7道题目有利于女生 从各 知识结构部分看 知识部分有利于男生的题目较 多 而阅读部分有利于女生的题目较多 从表4可以看出 总体上 本次英语试卷中检 测出城郊间存在DIF的题目共21道 其中 有11 道题目有利于城区 10道题目有利于郊区 从各 知识结构部分看 听力部分和知识部分有利于城 区考生的题目较多 而阅读部分有利于郊区考生 的题目较多 通过上述分析可以看出 本次英语试卷中 在 不同亚群体之间整个考试的题目存在一定程度的 试题功能差异 在性别 城郊之间 总体上说 其 有利于不同群体的题目数基本上相当 最后 虽然本次分析检测出一定比例的存在 DIF的题目 但还不能说明本次英语考试在考试 内容上不公平 而是仅仅在统计上检验出了一些 试题与其他试题存在差异 针对检测出存在DIF 的题目 有研究者已经指出 如果能够断定一个 表2各群体内部一致性信度系数 样本群体 男生组 女生组 城区 郊区 总体 听力 0 734 0 722 0 765 0 665 0 733 知识 0 806 0 800 0 832 0 744 0 807 阅读 0 759 0 760 0 794 0 689 0 764 写作 0 754 0 705 0 755 0 704 0 747 总卷 0 900 0 899 0 913 0 866 0 901 表3存在性别DIF的题目的项目参数及DIF属性 内容 听力 部分 知识 部分 阅读 部分 题号 T10 T14 T23 T24 T28 T29 T30 T44 T49 T56 T63 T68 T71 男生 a 1 25 1 06 1 29 1 12 0 60 0 76 1 49 1 11 0 99 1 85 0 62 0 29 1 49 b 1 74 1 01 2 16 1 44 0 24 0 08 0 72 1 24 1 49 1 69 1 21 1 05 0 48 女生 a 1 25 1 06 1 29 1 12 0 60 0 76 1 49 1 11 0 99 1 85 0 62 0 29 1 49 b 1 52 1 17 2 43 1 21 0 62 0 71 0 50 1 01 1 78 1 87 0 80 0 51 0 34 有利于 的组别 男生 女生 男生 女生 男生 女生 男生 女生 男生 女生 男生 女生 男生 当被试的能力水平与其组别不存在交互作用时 表现为一致性DIF 即在所有能力水平上 一组被试回答 某一问题的正确率都大于另一组 文中所提到的DIF都指一致性DIF 50 试题实际所测的内容正是考试所希望测到的内 容 即便该试题具有较高的DIF 也应该保留 4 进一步的公平性分析还需要相关学科领域的专 家 结合自己的相关知识和经验 分析存在DIF的 题目所测的内容是否与考试所要测试的内容一 致 分析存在DIF的题目所测量的内容是否可能 对某一群体不利 并判断其在整体上是否达到了 平衡等 综上所述 北京市高考的试题 考试准备 实 施过程 考试成绩及各项相关政策对全体考生 对 各亚群体考生都是公平的 三 建议 一 研究建立 高考公平性标准 高考的公平性 主要通过一系列相关的法律 法规做基本保障 但一次高考的公平性到底如何 应该通过公平性标准进行检测评估 目前 我国 尚无 高考公平性标准 也很少见到这方面的研 究 因此 当前急需对高考公平性的内容及标准 进行研究 系统总结恢复高考30多年来的经验 提出一套关于高考公平性的规范性标准 高考公 平性标准 或规范 应该按照国家标准的要求进 行研制 内容应该包括从考试设计 考试组织到阅 卷 成绩公布 成绩复查等考试实施的各个环节 并提出相应判定方法及公平性标准 指标 二 建立 高考公平性检测评估报告 制度 高考公平性虽然备受社会关注 但我国一直 没有建立关于高考公平性检测评估的公开报告制 度 随着社会发展 这个问题应提上日程 笔者建 议 在研究制定 高考公平性标准 的同时 应相应 着手建立 高考公平性检测评估报告 制度 每年 高考结束后 以省市为单位 在规定时间内 根据 高考公平性标准 对本省市高考公平性进行检测 评估 向社会公开报告 这一制度的建立和实施 必将极大地促进和保证高考的公平性 并将高考 的公平性建立在科学性基础之上 三 加强高考试题质量公平性研究 目前 高校对人才的选拔主要还是依据高考 的成绩 高考试卷作为高校选拔人才的工具 其自 身质量的科学性和公平性不容忽视 国内一些相 关研究虽然也有对高考试题考核的能力 内容等 方面的分析 但从教育和心理测量学角度对高考 试题质量进行分析的还很少 今后应加强对高考 试题质量的专业分析 提高试题质量 从而提高考 试的公平性 参考文献 1 樊本富 社会学视角下的 高考移民 问题 J 教育 与考试 2007 3 2 覃红霞 高考政策30年 J 东南学术 2007 4 3 戴海崎 等 心理与教育测量 M 广州 暨南大学出 版社 1999 69 4 Gregory Camilli Rutgers Test Fairness In Brennan Ed Educational Measurement 4th Edition M New York Praeger Publishers 2006 221 252 表4存在城郊DIF的题目的项目参数及DIF属性 内容 听力 部分 知识 部分 阅读 部分 题号 T3 T6 T9 T12 T15 T26 T29 T30 T34 T35 T41 T43 T46 T48 T49 T61 T62 T68 T72 T73 T75 城区 a 0 77 1 45 1 0 44 0 75 0 41 0 58 1 26 0 95 0 45 0 56 0 44 0 74 0 78 0 96 1 23 0 57 0 58 0 85 0 78 0 62 b 3 14 1 22 0 31 0 10 1 55 0 17 0 48 0 32 0 82 0 05 13 38 0 66 0 08 0 38 1 44 0 41 0 63 1 15 0 25 1 56 0 27 郊区 a 0 77 1 45 1 0 44 0 75 0 41 0 58 1 26 0 95 0 45 0 56 0 44 0 74 0 78 0 96 1 23 0 57 0 58 0 85 0 78 0 62 b 3 03 1 44 0 05 0 50 0 92 0 24 0 81 0 06 1 0 45 0 95 0 02 0 22 0 11 1 23 0 60 1 21 0 76 0 08 1 29 0 64 有利于 的组别 城区 郊区 城区 城区 郊区 城区 城区 城区 郊区 郊区 郊区 城区 城区 城区 城区 郊区 郊区 郊区 郊区 郊区 城区 51 上接第40页 Respecting and Guaranteeing Citizens Learning Rights An Institutional Foundation for the Overall Implementation of Quality oriented Education Chen Enlun Abstract Quality oriented education not only involves innovations in ideas and reforms in curriculum but also demands the establishment of educational system in accordance with itself The core of educational system is to organize and establish educational relation To respect and guarantee the human right and to be human based are the core ideas in modern society In education it will be reflected as respecting and guaranteeing the right to learn To guarantee the right to education is the direction of educational system reform Hence constructing a guarantee system which will support citizens learning rights as right to learning liberty right to education and right to individual development will prove to be an institutional foundation for the overall implementation of quality oriented education Key words educational system learning right right to education quality oriented education Author Chen Enlun Deputy Dean professor and Ph D of College of Education Southwest University Chongqing 400715 责任编辑 杨雅文 Empirical Analysis on the Fairness in National Uniformed Entrance Examination in General Colleges and Univ