论英语客观试题猜测的是与非及衡量方法_陈晓扣.pdf

论英语客观试题猜测的是与非及衡量方法 陈晓扣 摘 要 客观试题的猜测是一个颇有争议的话题 有人赞成 有人反对 至今还没有达成一个共识 从试题的难度入手 研究产生猜测的因素 论证猜测的是与非 可以提出一个发现和衡量猜测行为的方法 关键词 客观试题 猜测 试题难度 答题时间 分类号 H319144 一 引言 在当今大规模的考试中 客观性试题 本文指多项选择题 越来越为人们所重视和采用 相对于主观性试题而 言 其优点是不言而喻的 首先就评分的客观性 可靠性而言 客观性试题具有无可比拟的优点 其次 客观性试题 的覆盖面广 题量大 信度高 再者 由于光学扫描器的运用 客观性试题的评阅要快捷得多 这不仅可以节省大量 人力和物力 而且准确无误 然而 客观性试题也暴露出了一些问题 其中最为大家所关注的是客观性试题中猜测的 问题 即考生可能靠猜的办法得到正确答案 尽管事实上他对该题所考内容可能一无所知或只是部分理解 而且猜测 行为很难被准确地反映出来 这一点使其更为复杂化 令人困惑的是我们无法弄清哪些题的正确答案是学生猜对的 而哪些又是他的真正能力的反映 本文试图从猜测的定义出发 研究产生猜测的因素 并探索一个能较可靠 准确地 反映猜测现象的手段或方法 二 猜测的概念及种类 语言学家桑戴克 Thorndike 将猜测定义如下 Guessing is a loose general term for an array of behaviors that occur when an examinee responds to an alternate choice question to which he does not know the answer 0 Thorndike 1975 59 显而易见 据此定义 猜测的行为是形形色色的 桑戴克将这些猜测行为进一步概括为如下 5 种 1 使用完全随机的办法瞎猜 2 排除那些被认为是错误的选择项 3 利用题干或选择项所提供的语义或语法提示 4 由于考生受干扰项中某些吸引性的因素影响而进行猜测 5 受命题者所出的那些读起来似乎合情合理而实际却非正确答案的误导 根据此划分 我们发现如果考生想得到正确答案 那么对不理解的选择题予以猜测是不可避免的 与此同时 猜 测也与考生的心理状况 性格 综合知识等休戚相关 为方便起见 本文将上述 5 种猜测重新分为两大类 第一种猜 测行为构成第一类 其余构成第二类 猜测是一个有争议的问题 对于如何看待猜测 现在有两种不同的意见 反对猜测者认为 从教育的角度看 不 应鼓励学生去猜测 因此 他们建议用下面的公式来校正完全随机猜测因素 R W n 1 R 答对题目数 W 答错题目数 n 选择项目数 赞成派却认为 完全利用随机的方法进行瞎猜的学生毕竟是少数 绝大多数是利用部分知识 利用题目或选择项 来 推理0 从而进行猜测 因此 他们认为这种猜测也是一种能力的反映 应该加以鼓励 而不应该采用校正公式 进行校正 我们不妨从下面几点来看待猜测因素 1 根据数学二项分布原理和概率论知识 我们知道在一份有 100道 4选 1 试题的试卷中 完全靠随机猜测而取 得的分数有 95 的可能是在 15 34 分之间 但是如果选择项为 2 则猜测的分数有 95 的可能落在 40 5918 之间 因此为了尽量减少猜测因素的影响 我们必须选择适宜的选择项个数 2 为了公平起见 必须在答题要求里明确说明是否对分数进行校对 3 考生完全不懂 仅靠盲目猜测得分者为数不多 因此一般情况下没有必要应用校正公式来校正分数 4 校正公式只适用于盲目猜测 但我们却无法判断学生的猜测是盲目猜测还是其它的猜测 因此 校正公式的 实际运用很难把握 第 22 卷 第 1 期 1999 年 1 月 解放军外国语学院学报 Journal of PLA Foreign Languages University Vol 22 No 1 Jan 1999 基于上述考虑 笔者认为如果试题选择项的个数适宜 答题要求明确 那么对猜测的 惩罚0 就没有太大必要 但是通过猜测确实能得分 如何判断哪部分分数是学生真正能力的体现 而哪些又是猜测的结果呢 在探讨衡量猜测 行为的手段之前 我们先来研究一下猜测与难度的关系 三 猜测与难度 1 实验 及其设计 众所周知 如果我们告诉学生 答错的试题并不扣分 那么学生对于不理解或不完全理解的题目进行猜测将是不 可避免的 因为猜总比不做要好 比如说 在 1 份 4 选 1 的试卷中 完全依靠瞎猜答对的概率是 25 而不做则为 零 至于学生采取何种猜测 恐怕只有学生本人知道 那么 是什么因素在决定猜测行为呢 笔者为此设计了 100 道 4 选 1 英语同义词辨析试题 同时随机抽取了 48 名解放军外国语学院英语专业二年级的学生进行测试 试卷要求 在 4个选择项中选取 1 个最佳答案 如果不懂或没有把握 请进行试猜 猜错不扣分 同时 请选取如下 5 个数 字中的 1 个 来表明你对每题正确答案的把握度 10 表示 4个选择项都不理解 20 表示知道其中 1 个选择项不是正确答案 30 表示知道其中 2 个选择项不是正确答案 40 表示知道其中 3 个选择项不是正确答案 50 表示知道何选择项为正确答案 2 实验结果 测试后我们对题目进行了项目分析 结果如下 表一 R p0 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 12743312201 1 21354333120 2 31424541200 3 40001523310 4 50022002301 5 60011000100 6 70000000000 7 80000000000 8 90000000000 9 10000000000 total 414415169111232 VD 5 5 VD5 15 D 15 60 E 15 15 VE 5 5 total42851152 R 信度 P 难度 表二 difficultytotalNo 3 items VD4415 52 82 88 D2825 1 4 9 16 17 21 25 34 36 37 40 41 54 58 59 60 66 71 72 75 77 94 96 98 I5135 2 3 5 6 10 18 19 20 23 24 26 27 30 31 38 41 42 43 46 49 51 57 64 67 69 70 73 74 79 81 91 97 100 E1578 12 22 28 32 78 92 VE2155 71 1999 年解放军外国语学院学报 表三 item 52 A12345 B1128242110 C8410 item 82 A12345 B252030166 C916 item 4 A12345 B318203229 C7129 item 66 A12345 B812243122 C7522 item 2 A12345 B46204030 C7030 item 6 A12345 B37212841 C5941 item 8 A12345 B04131865 C3565 item 12 A12345 B48142054 C4654 item 55 A12345 B0002080 C20 item 99 A12345 B0001585 C1585 3 数据分析与讨论 表一显示的是处于各个难度值和信度值之间的题目数 结果表明 此试卷并不理想 理想的试卷应包含 5 道容易 题 15 道较容易题 60 道中等难度题 15 道较难题和 5 道难题 我们这样设计的目的主要是为了揭示难度与猜测的 关系 表二显示的是从难到易的题目序号 从该表中我们抽取难 较难 中等难度 较易 易各 2 道题 和学生的把握 度组成了表三 从表三中我们发现 题目的难度系数与学生的把握度之间存在着这么一种关系 难题的把握度远低于较难题的把 握度 较难题的把握度又远低于中等难度题目的把握度 中等难度题目的把握度又低于较易题目的把握度 较易题目 的把握度低于容易题目的把握度 测试学原理告诉我们 难度系数越低 题目越难 而表三显示 题目越难 学生的 把握就越小 联想一下猜测的概念及其行为 以及此次实验中学生把握度的意义 我们发现把握度 1 4 所反映的学生答题行 为实际上就是各种猜测行为 不管学生是进行盲目猜测还是利用部分知识进行猜测 因此我们归纳此实验的结论如 下 题目越难 学生越易进行猜测 此发现对研究猜测有着重大意义 但难度本身却无法解释如下问题 1 命题者 72 陈晓扣 论英语客观试题猜测的是非及衡量方法第 1 期 无法知道哪些答案是考生真正能力的反映 哪些答案是猜测的结果 2 即使在大规模考试中要求学生写出把握度 实际不太可能 那么把握度也仅仅是考生的一种主观行为 其真实性也无法测试 尽管如此 猜测与难度关系的揭 示都为我们研究 检验猜测行为提供了理论依据 四 猜测与答题时间 1 实验 如上所述 题目越难 考生猜测的可能性就越大 那么难度 猜测及考生答题时间之间是否有着一定的联系呢 如有 该是什么样的联系 笔者为此做了第二次实验 来探讨考生答题时间与题目难度之间的关系 并且在此基础上 试图提出一个较能准确反映猜测现象的手段或方法 2 实验设计 基于实验的目的 我们根据教学经验首先挑选了 50道非常容易的题目 然后在实验 的试卷中挑选了难度系数 介于 011 014 之间的 10道题 如此设计的目的在于能够分别记录考生对难题与容易题的答题时间 在实验开始前 我们随机抽取了 60 名学生进行预测 来获取学生阅读题干和选择项各自所需时间数据 在此基础上 笔者设计了一 个计算机程序 其主要内容如下 1 第一道题首先出现在屏幕上 10秒钟后 第一选择项出现 同时题干保留在屏幕上 直到考生给出答案 即 按 A B C D 中的任何一键 2 每个选择项出现在屏幕上的时间间隔为 2秒 并且所有的选择项都将保留在屏幕上 直到考生给出答案 3 在最后一个选择项出现后的 2 秒钟 计算机开始记录考生答题时间 4 在考生给出答案以后 屏幕上的题干及选择项消失 下一道题的题干出现 然后依次重复 1 3 的程 序 我们这样设计程序旨在保证学生能够有时间阅读完题干及每个选择项 当然 时间的间隔必须依据题目的长短而 定 尤其必须参照反复预测的结果 为了确保所获数据的可靠性 我们对学生进行了计算机操作训练 力争将机器操作误差降到最低点 3 实验数据及分析 实验后 计算机输出每个学生做每道题的时间 然后我们统计出每个学生做 50 道容易题的平均时间及做 10 道难 题的平均时间 其结果如下 表四 NBART EIARTDINBART EIARTDI 11 529 9161 389 7 21 2612 5171 5610 4 31 4211 5181 2411 5 41 369 6191 2811 6 51 4610 1201 329 9 61 3410 5211 3410 4 71 2611 1221 229 8 81 249 5231 3210 7 91 329241 2611 101 2210 3251 310 7 111 210 5261 3611 121 210 8271 229 5 131 2811281 3210 141 3610 4291 310 1 151 310 5301 249 4 NB 学生序号 ARTEI 容易题答题时间 ARTDI 难题答题时间 表四显示考生在答题时间上有较大差距 具体讲 考生在 15 20 21 29 38 49 50 53 55 和 59 题上所用 时间明显长于其它题目 参考实验 的结果 我们知道这些题对于英语二年级的学生来说是非常难的 另一方面 依 据我们的教学经验 我们知道另外 50 题对于英语二年级学生来说是非常容易的 几乎每个考生都能迅速地给出正确 73 1999 年解放军外国语学院学报 答案 因此 我们认为考生的答题时间与题目难度之间有着一种极为重要的关系 仔细分析一下第一次实验和本次实验的结果 我们发现猜测 题目难度与答题时间三者之间的关系是 答题时间 越长 题目越难 题目越难 学生就越可能猜测 反之也成立 在讨论衡量猜测行为的方法之前 我们先讨论一下此次实验中所用计算机程序的功能 如果一名考生对题干及选择项完全理解 那么他是否需要再花很长时间来思考或推敲呢 答案显然是否定的 请 看下面的例子 There isapple on the table a the b an c a d many 此题对于英语专业二年级学生来说非常简单 一眼就能看出正确答案 因此答题的时间极短 这说明学生完全掌 握了所考知识 但是 倘若学生对该题不是完全理解 或者只对其中部分知识理解 并且他又想给出正确答案 那么 他该怎么办 唯一的选择几乎只有通过上下文 对 4 个选择项逐一进行思考 他也许会尽力来发现题干中可能的提 示 也许会利用他所掌握的部分知识排除他认为不正确的选择项 或者最后近于无奈地选择一个有吸引力的选择项 无论采用哪种方式 都会不可避免地涉及到思考 回想一下猜测的定义 这些答题方式所涉及到的思考实质上就是各 种猜测行为的反映 当然 如果考生对 4 个选择项都不理解 那么考生就可能进行盲目猜测 在这种情况下 猜测的时间与我们所讨 论的考生一眼就能发现正确答案的时间没有什么区别 为了防止该情况的发生 我们在材料的选择和难度把握方面就 必须谨慎 以便确保答题时间的可靠性 综合实验 和实验 的数据及分析 我们得出如下结论 题目越难 考生越易进行猜测 考生越可能猜测 盲目 猜测除外 他的答题时间就会越长 因此考生答题时间可以用来衡量猜测行为 五 教学意义 猜测与答题时间关系的发现对英语教学有着积极的意义 我们可以通过计算机上所显示的学生答题时间的长短来 提高试卷难度分析的可靠性 从而发现学生已完全掌握的知识和没有掌握或只是部分掌握的知识 为教学重点的调整 提供依据 另一方面 也为教师分析考生分数的实质意义提供了帮助 哪些分数是学生真正能力的反映 哪些分数可 能是靠猜测而获得的 当然 此结果是否能被广泛推广及运用 还有待于进一步的实践证明 参考文献 1 桂诗春 标准化考试 理论 原则与方法 广东