论多项选择试题的心理语言学基础与命题原则_薛荣.pdf

词 典 研 究 78 Crazy English Teachers 语 言 测 试 论多项选择试题的心理语言学基础 与命题原则 收稿日期 2008 9 20 修改稿 2008 10 23 薛 荣 江苏工业学院外国语学院 江苏 常州 213164 摘 要 多项选择题源于心理测试 其理论依据是心理测量学 结构主义语言学 MCQ multiple choice questions 是离散考点 分散技能客观测试的典型题型 在目前许多类型的语言 测试中都有广泛的运用 多项选择题有许多优点 如客观性强 信度高 容量大 批阅 快捷等 但这种题型也存在许多不足之处 如不能真实反映学生语言能力 易于猜测 命题困难 对教学有不良反拨作用等 编写高质量的多项选择试题是一项很专业的工 作 应该遵循许多命题的基本原则 本文将探讨多项选择试题的发展历史和心理语言学 基础 客观分析多项选择题的优缺点 并讨论多项选择题的命题原则与方法 关键词 多项选择题 心理测试 单一能力假说 后效作用 中图分类号 H319 6 文献标识码 A 文章编号 1006 2831 2009 02 0078 5 Abstract Originated from mental testing MCQ is based on the theory of psychometric structural linguistics According to structural linguistics language is a system of signs made up of sounds vocabulary and grammar which can be divided into different units Measurement of these units can reveal the learner s language ability MCQ is a typi cal test format of discrete point separate skill objective testing At present MCQ is widely adopted in various language tests MCQ testing has several merits such as high objectivity and reliability wide coverage and ease of scoring etc But MCQ has many demerits as well e g the successful completion of MCQ does not show a learners real language ability guessing is an inevitable factor writing good items is especially difficult What s more this test format has a harmful backwash effect on teaching This paper discusses the historical development of MCQ testing its psycholinguistic basis and advantages and disadvantages of MCQ Finally the paper deals with the principles and techniques of MCQ design Key words multiple choice questions mental testing Unitary Competence Hypothesis back wash effect 1 引言 多 项 选 择 题 型 m u l t i p l e c h o i c e questions 简称MCQ 是近几十年来在语言 测试中广泛使用的题型 如果说科学前 pre scientific 或传统测试代表的是人文 怀疑主 义描写法 humanistic skeptical descriptive approach 那么MCQ题型代表的则是理性 实 证主义测量法 rational empirical measurement a p p r o a c h 其通过数据计算得到的明确 的信度反映了自然科学所崇尚的绝对确定性 Spolsky 1995 5 经过几十年的发展和完善 多项选择题已成 为检验外语教学成果的一种重要手段 而且是决 定测试信度的重要因素 同时它也影响了学生外 教师版55期 论文 indd 782009 1 4 11 28 20 79 Crazy English Teachers 语学习的方法 态度和外语教学的质量 多项选 择题有许多优点 但命题难度很大 对普通的外 语教师来说 要自己编写一道质量较高的多项选 择式试题并非易事 本文将从从历史 理论和实 践的角度 客观地分析多项选择题的优缺点 并 对多项选择题的设计方法与原则做一些探讨 2 多项选择题的发展历史和 心理语言学基础 MCQ题型创立之初主要用于心理测试 心 理测试是心理学中用来测量人类认知能力的手 段 于1904年由法国医生Binet在确认智力发育 迟缓 需接受特殊教育的儿童时最先使用 在 20年代初 以MCQ题型和是非题型为代表的客 观测试开始在美国教育界使用 并迅速获得社会 承认 在英国 该运动虽不如美国成功 但情形 也大致相同 30年代 心理计量学的发展进一 步促进了客观测试手段的应用 到1954年 客 观语言测试已经在美国教育性语言测试中占主导 地位 MCQ题型成为美国大学入学考试委员会 主办的所有语言测试的唯一使用题型 其发展在 1965年达到顶峰 最突出的代表就是TOEFL考 试 Spolsky 1995 10 在60年代 许多结构主义语言学家开始研究 语言测试的模式 并采用测量学的方法来衡量测 试的信度和效率 Lado和其他结构主义语言学 家认为 语言是一个独立的体系 因而每一次测 试只能测量语言的一个部分 语音 词汇 语法 和搭配等 而且只能测量一种语言能力 听 说 读 写 在这种背景下 多项选择题应运 而生并被用在分立式考试中 Bernard Spolsky 把这一个阶段叫做心理结构语言学时期 后来 通过对分立式测试和综合考试的热烈讨论 测 试学家们意识到 在单纯的考试题目中很难把 语言的各项技能孤立起来 于是综合测试产生 了 综合测试把语言的各项技能综合起来 完形 填空 听写和翻译都属于这一类的测试题目 Bernard Spolsky把这一阶段称为心理社会语言 时期 Spolsky 1995 5 在这一阶段 多项 选择题经常出现在听力理解 阅读理解 完形填 空以及其它的传统测试中 60年代 出现了以单一能力假说 Unitary Competence Hypothesis 为基础的综合测试 integrative test 测试内容依然是语言形 式系统 但由于该系统被认为是不可分的 完 形填空 成段篇章听写等综合题型取代了离散 考点测试 而其中的完形填空与MCQ题型的 结合形式是使用最普遍的题型之一 70年代 随着Halliday语言功能学说 Hymes交际能力 communicative competence 概念的提出 交际测试开始崛起 测试内容转变为交际能力 即在具体交际情景中使用语言形式系统的能力 在测试方法上则采用反映现实生活中实际交际需 要的各种交际任务 在我国 开始于1986年的大学英语考试是 一项大规模的成绩测试 1996年改革之前 整 个四级考试中只有作文是主观题 客观题占到 了85 1996年之后 间或出现题型的变化 如复合式听写 简短回答及英汉翻译 基本上 占到10 但这几种题型从来没有同时出现 过 也就是说 就算采用了这几种中的任何一 个 多选题的比例也占到75 处于绝对控制 地位 牛强 2001 从1996年起 大学英语 四 六级考试试题开始逐步更新 逐渐加入了 复合式听写 听写填空 句子翻译和简短回答 等主观试题 从2005年起 新的大学英语四 六级考试进一步减少了多项选择题的比重 金 艳 2005 49 53 3 多项选择题的各种形式与 基本构成 MCQ题型具有许多不同的形式 一道标 准的多项选择式试题由两个部分构成 一是题 干 stem 二是选择项 alternatives 选 择 项 又 由 正 确 答 案 k e y 和 干 扰 项 distracters 组成 例如 Students or teachers can participate in excursions to lovely beaches around the island at regular 题干 A gaps 选择项 B rate 选择项 C length 选择项 D intervals 正确答案 MCQ题型并不是一种独立的题型 题型是 用来引发受试测试表现 以便从中推断受试语 言能力的方法 全面地讲 题型包括考场环境 setting 考试规则 test rubrics 输入 input 期望反应 expected response 馈入与期望反应的关系等五个方面 本质上 MCQ题型仅仅确立了试题的期望反应类型为选 教师版55期 论文 indd 792009 1 4 11 28 21 词 典 研 究 80 Crazy English Teachers 语 言 测 试 择型 而对题型所包括的其它内容未作规定 因此它必须与规定其它内容 但对反应类型无 具体要求的其它题型相结合 才能用于测试各 种不同能力 Bachman Bachman 1990 116 152 4 多项选择式试题的优缺点 4 1 多项选择式试题的优点 一 评分信度高 易于阅卷 由于多项选 择式试题都预定了统一的正确答案 测试后评卷 十分方便 可以用机器评分 能迅速准确地得出 测试结果 因而最适合大规模 大范围的语言测 试 Heaton 1988 25 Hughes 1989 59 二 抽样量大 覆盖面广 由于每一题都 配有多个选择项 一道题就起到了多道题的测试 作用 加上做题时受试者只须做出选择 不需太 多时间 这样在较短的测试时间内就能使用大量 有代表性的试题 这不仅提高效度 而且提高信 度 因为考试中试题越多 抽样量越大 考试信 度就越高 Hughes 1989 60 这也是MCQ 考试信度高的另一主要原因 三 可用于测试多种语言能力 MCQ题 型不仅可用于以语言形式为目标的语音 词汇 句法测试 还可用于听力和阅读测试 MCQ题 型还可以探查理解过程中需要运用的各种语言能 力之外的技能和策略 如借助关于世界的知识 从上下文猜测意义 分析信息 运用逻辑推理等 李筱菊 1997 463 四 排除了写作能力的影响 在阅读和听 力理解测试中 若采用开放式短答案问答 补全 句子等题型 则要求受试写出答案 这就造成部 分受试虽完全理解材料 但却因表达能力差写不 出或写错答案 从而影响了对所考接受能力的测 量准确性 而采用MCQ题型 受试只需选择正 确答案 不涉及表达能力 杜绝了这种现象的产 生 保证了考试的效度 Weir 1990 43 五 便于统计分析 有利于改进试题 质量 因为多项选择式试题可以用计算机进 行阅卷 用统计分析软件进行项目分析 item analysis 可以算出每道试题 每个选择项及 全卷的答对率 难易度 区分度 各大题和全卷 的信度 各大题之间的相关系数等质量指标 可 以进行考试分析 test analysis 试题库建设 item banking 等一系列统计分析处理 为修 改 去除不良试题提供依据 从而保证试卷质量 潘之欣 2001 4 2 多项选择式试题的缺点 多项选择题弊端也很多 很多学者都对这种 题型提出了批评 测试专家Alderson说 有 证据表明 参加多项选择考试的学生能够学习 一些应试技巧使自己的分数 人工地 提高许 多 Alderson et al 2000 45 另一位测试 专家Hughes 2000 60 62 给多项选择列了六 大弊端 1 只考识别能力 所以不能准确测量 应试者的水平 2 分数中的猜测成分可以很大 而且不好确定 3 严重限制了什么能考 什么 不容易考 4 设计出好的项目极为困难 5 反拨作用往往不好 准备这种考试不是提高语 言水平的最佳途径 6 考生作弊容易 下面对 这种题型的弊端做一些具体的分析 一 无法直接测试语言表达能力 MCQ 是一种消极接受型试题 它测试出的只不过是受 试者识别接受语言的能力 即使受试者依靠自己 的语言能力选出了正确答案 也未必就能说明他 对这一语言形式已掌握并能运用了 换言之 多 项选择式试题所测出的结果并不能完全反映出受 试者的实际语言水平 Hughes 1989 60 二 测试手段和样本语料缺乏真实性 MCQ题型测量语言能力的效度一直受到怀疑 因为回答MCQ题完全不是真实的语言使用活 动 在现实生活中 在使用词汇 句法结构等语 言形式时 人们很少会从四或五个同类形式中 选择一个 Hughes 1989 62 与此相反 真 实的语言使用通常运用发散性思维 divergent thinking 一般表达一个思想都有多种合适的 语言形式 命题人所确定的正确语言形式并不 一定是受试在正常语言使用情况下采用的形式 Weir 1990 44 三 猜测因素会对测试成绩产生较大的 影响 且容易作弊 MCQ题型有利于受试猜测 答题 单纯凭猜测答对一道四个选择项的MCQ 试题的概率是25 如果受试凭借自己所掌 握语言知识进行猜测 则答对概率相对小得多 Weir 1990 44 Heaton 1988 26 Hughes 1989 60 四 考试的后效作用差 对教学有不良影 响 从理论上讲 外语测试的一个重要功能是检 验外语教学进程的一种手段 它必须服务于外语 教学 然而 就目前的情况来看 各个层次的外 教师版55期 论文 indd 802009 1 4 11 28 21 81 Crazy English Teachers 语教学活动常常受到外语测试的左右 所谓考前 的 强化训练 模拟测试 等 正是测试的 指挥棒 效应的体现 多项选择式试题在外语 测试中的广泛使用不可避免地会导致课堂教学的 重点偏向于外语知识的讲解和学生死记硬背语言 规则 牛强 2001 五 编写试题难度大 设计选项困难 对 普通的外语教师来说 要自己编写一道质量较高 又适用于测试对象的多项选择式试题并不是一件 容易的事 编写MCQ考试要比编写开放式考试 耗时长 花费高 难度大 首先 受过专业培训 的写题人员必须经过定考点 写题干和答案项 写干扰项 修整选择项和题干 排列选择项等多 重步骤才能编写出合格的试题 然后经过初审 预测和试题项目分析 从中挑选出可用的试题 Hughes 1989 61 5 多项选择式试题的命题原 则与方法 5 1 多项选择式试题的命题原则 李筱菊教授在她的 语言测试科学与艺术 1997 202 272 一书中指出 设计多项选 择式试题必须遵循以下原则 1 语言正确 地道 简洁 理解测试中试题语言难度应小于 阅读 听力材料 且不能照搬原文中的字眼 2 避免由文化背景 专业知识等因素造成的 偏颇性 3 考点明确 并于题干中点明 立足每题一个考点 4 每题只有一个毫无争 议的正确答案 5 选择项不应互相牵连 6 选择项尽可能在长度 结构 类属 难度 上相互一致 7 避免无意中透露答案的线 索 8 每个干扰项都应该具有可能性 在形 式 搭配 意义上与题干相容 在理解测试中选 择项还应与常识或材料中的假线索相容 9 避免出诡题 5 2 题干的设计 邹申 2005 55 71 雷新勇 2006 175 180 等学者对多项选择试题的命题方法进行了详细的 讨论 下文将结合他们的论述 对多项选择试题 的命题方法做一些探讨 一般来说 题干通常有 以下三种类型 第一种类型 题干采用非完整的陈述句 例 如 I saw Professor Davis in the library last night A working B to work C worked D works 这种题干类型的多项选择试题常用于测试 语法结构 阅读理解 词汇搭配等方面的语言 能力 第二种类型 题干采用完整的陈述句 但在 测试的项目下面做了画线标记 例如 Our petrol ran out A was sold out B leaked out C flowed out D was used out 这种类型的多项选择式试题要求受试者根据 语言中的 释义 或称 换说法 的原理 从选择项中挑选出正确答案 此类试题多用于测 试句法结构和词汇 第三种类型 题干采用问句的形式 而选择 项则构成对问句的不同的回答 这种类型的多项 选择式试题常用来测试阅读理解和听力理解 例 如 Why did Susan come to Smith s house one night This was because she A lost her way in the snow B wanted to have some rice and hot soup C liked to talk with Smith D was grateful to the young man 第四种类型 题干由一个单词或词组构成 选择项通常也是由单个的单词或词组组成 例 如 1 nap A a brief sleep B a happy song C a sharp rock D a short meeting 这种类型主要是用于词汇方面的测试 题干 要提供足够的信息 明确题意 题干中所用的语 言不应太难 也就是说 题干本身不包含比所测 试项目更难的词汇或结构 否则受试者看不懂题 干 该题便失去了测试的意义 例如 As long as learning is made continually repugnant so long will be a predisposition to it when one is free from the authority of parents and teachers A master B reject C reduce D enjoy 上例想测试的是辨析四个动词的意义和用 法 而题干显然在词汇和结构上偏难 使受试者 一时难以读懂题干所表达的意思 此外 在设计 教师版55期 论文 indd 812009 1 4 11 28 21 词 典 研 究 82 Crazy English Teachers 语 言 测 试 题干时应注意将选择项中重复使用的同一个词或 短语编入题干内 这样做既经济又便于考生将注 意力集中在要测试的项目上 如下面一例的设计 就忽视了这一点 When Henry arrived home after a hard day at work A his wife was sleeping B his wife slept C his wife has slept D his wife has been sleeping 题干可改为 When Henry arrived home after a hard day at work his wife 5 3 选择项的设计 1 关于选择项的数目 大多数语言测试专 家都认为 每一道多项选择式试题由A B C D四个选择项组成最为适合 在规模较大的测试 中 为增加试题的区分度 有时也采用五个选择 项 但就大多数测试而言 通常四项式选择项就 足够了 若需增加试题的难度 可采用 none of the above 来作为第五个选择项 例如 Fish cannot live in the Dead Sea because it is A cold B salty C deep D rough E none of the above 2 关于正确答案 每一道多项选择式试题 中应只能有一个正确答案 这一点看起来似乎比 较容易 但在具体试题的设计中 却往往会因为 强调了某一个方面 而忽视了另一个方面 从而 造成两个答案都成立的情况 例如 I stayed there until John come A had B will C would D has 在没有说明语境的情况下 上例中的A和D 都是正确的 如果说话时John已经离开了 A是 正确的 如果说话时John仍然在 D是正确的 此外就一份试卷中的所有多项选择试题而言 其 正确答案应均匀地分布在四个选择项中 换言 之 如果一份试卷有100道多项选择式试题 那 么从总体上来说其中的25个正确答案应分布在A 上 25个分布在B上 依此类推 3 关于干扰项 干扰项应精心设计和挑 选 才能起到干扰的作用 对那些不易找到正确 答案的受试者来说 干扰项不应给他们任何暗示 或提示 例如 The boy s hobbies were A camping and fishing B tennis and golf C cycling long distances D collecting stamps 上例中的C 和D 很容易让受试者看出它们是 随便加进去的干扰项 因为它们是单数 而动词 和主语要求复数 6 结语 MCQ在目前许多类型的语言测试中都有广 泛的运用 是离散考点 分散技能客观测试的典 型题型 多项选择题有很多的优点同时也存在着 很多的弊病 谨慎地使用多项选择式试题 不仅 对外语测试本身 而且对整个外语教学都有十分 重要的意义 对多项选择题的充分合理利用仍值 得探索 语言测试工作者应该具体情况具体分 析 扬长避短 努力避免MCQ题型的缺点 从 而更加科学 有效地测试语言能力 该文同时发表在 雅信达英语互动网 www EnglishV和 认真企业网站 www TopE 参考文献 Alderson et al Language Test Cons