从测试学角度看语言测试题的信度和效度.pdf

2007年 12月 第 4期 外语艺术教育研究 EducationalR esearch on Foreign LanguagesSPSS gitest 信度 效度 作者简介 魏红梅 1967 女 广东外语艺术职业学院外语系讲师 主要研究方向为二语习得 语言学 英语语言教学与教法 一 引 言 语言测试 作为对语言教学进行测量和评估 的一个重要手段 愈来愈受到广大外语教学工作 者的重视 Bachman 1990 54 曾说 在教育 程序中 语言测试的基本运用是给教学评估提供 重要的信息 0 通过对这些信息的分析和研究 大家能更科学 更有效地进行将来的教学 为了 能从测试中准确而客观地评估教与学的效果 试 题就要求命题者能科学地 有效地设计 一份好 的试题应具有信度高 效度好的质量 李筱菊 1997 下面本研究将运用统计软件 SPSS gitest 对试题的信度和效度进行检测分析 二 语言测试 一 语言测试的种类 从测试目的来看 语言测试主要可分为水平 测试 等级测试 成就测试以及诊断性测试 无 论我们采用哪一种类型 测试都必须是客观的 有目的 有意义的 换言之 其信度和效度都必 须得到高度的重视 正如 Bach man所示 信度和 效度是对语言能力测量的使用和说明的重要质 素 假如我们将对所给测试的分数进行说明 作为个人能力的标记的话 那么 该分数就必须 是可信且有效的 0 1990 24 二 语言测试的信度和效度 信度是指一份试卷的测试结果在多大程度上 具有一致性 即考试结果不受考试时间 监考人 员 考场等外在因素的影响 效度是指一份试卷能在多大程度上满足考察 的目的 它是针对某一目的来正确解释和使用分 数的问题 假如一份试卷同时考查数种语言技能 或考查内容超出了考查目的 那么其效度就大大 降低 信度和效度息息相关 密不可分 它们关涉 的是考试的根本目的 即如何准确 一致地检测 我们想要测试的语言能力 两者必须相互制约 相对平衡 为测试的基本目的共同服务 三 实 验 一 研究问题 本文想从测试学角度对一份精读课程毕业试 题的信度和效度进行检测 目的在于帮助教师在 测试后对试题的总结 归纳 并在将来的设计和 发展测试过程中 尽量减少测量错误的影响 加 大想要检测的语言能力的测试力度 提高测试效 果 二 实验对象 本研究的实验对象是笔者任教单位的 54名 英语教育专业毕业生 他们是笔者从 476位毕业 生中通过随机抽样方法选择出来的 他们的分数 将被本研究采样来检测这次毕业考英语试题的信 11 度和效度 三 实验方法和过程 本研究将运用统计分析软件 SPSS gitest来 收集本次测试所需的数据 首先 每位实验对象 的分数将被输入 SPSS软件 以检测整份试题的 信度及内容效度 主要通过对 Alpha的分析来检 测试题的信度 并通过检测平均数 Mean 标 准差 StandardDeviation 和方差 Variance 来 分析试题的离散度和考试分数的分布情况 接着 将对相关系数 Correlation Coefficient 和因素分 析 Factor Analysis 进行检测 最后用 gitest分 析客观题部分 进一步了解本试题的效度 四 结果和讨论 一 信度分析 此次试卷有 11大题 共 99小题 达到了测 试的数量要求 分 A B卷 但试题内容完全一 样 只是顺序不同 测试的主题普通 适合应试 者 主要测试学生的综合语言能力 每题都附有 清楚 明确的指令说明 评卷工作统一由毕业班 任课英语教师负责 统一标准 专项负责 密封 考生姓名 学号 尽量做到客观 可信 但 只 有用统计分析的科学方法才能得到全面 真实 准确和可信的统计分析数据 0 Li 5 III F ill in the blankswith proper prepositions or adverbs 10 items 5 I V F ill in the blanks with the proper for ms of the given verbs 8 items 10 V Rewrite or co mbine the follo wing sentences according to the requirements 8 items 8 VI Co mplete the following sentences with the words and phrases given belo w using the proper for ms 10 items 10 VII Letterwriting 5 VIII Multiple choices 24 items 12 I X Cloze tes t 10 ite ms 10 X Reading co mprehension 13 items 13 XI Translation 4 items 12 从卷面内容分析可知本次考试主要检测了学 生的语言能力 如 语言知识和语言运用 命题 侧重教学大纲要求考生对词汇 语法知识的掌握 及篇章结构的理解等 题型多样 知识覆盖面较 广 时间为 120分钟 整份试题 11大题中有 8大 题测试词汇和语法知识 3大题测试听写 阅读 和写作能力 检测语言知识和语言运用能力的分 值比例约 72 28 测试内容预先得到专家系 统的评审 A lderson 1995 整份试题考前经过 了本学院英语试题评审小组的严密审核 2 各题相关分析 检测各题间的相关系数也 是测试分析的重要一环 对试卷信度和效度的研 究有很大的作用 相关系数值介于 1和 1之间 如果值为 1 说明两题完全相关 如果值为 1 说明两题完全不相关 经 SPSS软件测试结果表 明 数据显示各题的相关系数都比较显著 其中 相关系数最显著的是第 11题 它与各大题都显 著相关 相关系数高达 679 显著水平 为 0 01 双尾 居整份卷最高位 第 6题居第 二 与其它八题相关显著而与另外两题相关没那 么显著 接着的顺序是第 2 5 8大题 分别与其它八题或七题有显著相关系数 而第 3 4 10大题则分别与其它六题有显著相关系数 12 外语艺术教育研究 总第 20期 第 1题只和第 11题有显著相关 与其它各题的 相关系数最底的是第 7题 从数据上分析 各题 间的相关系数比较显著 说明本试题有良好的效 度 3 因素分析 因素分析是另一种测量试卷结 构效度的有效方法 为了更准确评估试卷的结构 效度 我们将对本卷测试的因素进行分析 表 3说明本试卷主要测试了两个因素 第 2 3 4 5 6 8 10和 11题测试了因素 1 而第 7和 11题测试了因素 2 第 1和 9题无显著值表 明其所测试的因素 通过对试卷内容进一步的分 析和探讨 本文得出结论 因素 1 Factor 1 主 要测试词汇和语法等语言知识 而因素 2 Factor 2 则主要测试需要学生想象力和创造力的写作 技巧与能力 整份卷侧重语言知识多于语言技 能 第 1题 Dictation 和第 9题 Cloze test 似乎是听力技巧 词汇和语法知识及读写技能的 结合 符合大学英语综合课程的教学要求 Extraction Method Principal Component Analysis Rotation Method Vari max with Kaiser Nor malization a Rotation converged in 3 iterations 4 对客观选择题的分析 为了更详细分析 下面将对试卷中客观题进行检测 全卷有 3种类 型的客观题 共 47小题 其中 Multiple choice 24 个 Cloze test 10 个 Reading co mprehension 18 个 请看下表 表中选择题的平均数为 35 67 正确答案占 76 说明这部分测试比较简单 标准差为 5 26 预期标准差应为 6 03 全距 range 为 24 说明分数分布较集中 p 值是 0 76 说明多半 考生的答案是正确的 Pd值是 10 18 低于平均 数 13 表明客观题对于考生来说相对简单 R11 为 0 76 aVAL UE为 0 59 这两者则说明客观的 信度不够 总体来看 选择题分数成非正态分 布 偏态值为 0 58 这部分的信度较低 13 2007年第 4期 从测试学角度看语言测试题的信度和效度 表 5的分析表明 47个 MC题中 0个非常难 VD 2个难 D 13个中等 I 22个简单 E 10个非常简单 VE 因此显示出本测试 题的 MC部分相当容易 47题中考生通过了 39 题 以上所有数据表明 本次测试目的性强 总 体达到了良好的信度和效度 尽管 MC部分偏简 单 信度不够 但整体检测了教学大纲所要求学 生掌握的词汇 语法等语言知识和听 读 写等 语言技巧 54位考生中有 50位通过 通过率为 92 6 最高分 97 最低分 45 90分以上 5人 9 2 70至 89分 36人 67 60至 69分 9人 17 4人 7 4 不及格 考试分数 显示 这些能掌握教学大纲所要求知识的学生都 能通过本次考试并得以毕业 本次测试达到了对 学生学习成就测试的目的 五 结束语 根据测试结果和分析 从语言测试的要求来 看 本次毕业测试总体具有较好的信度和效度 考生成绩分布广 绝大部分学生通过 然而 本 测试仍有需改进之处 命题时应注意避免太简单 的题目 知识和运用间的内容分配需调整 需对 听 说 读 写 等更 多 因素 进行 测 试 正 如 Bachman所说 在设计和发展测试过程中 我 们必须考虑两点 一是减少测量错误的影响 二 是加大对我们想要检测的语言能力的测试力度 使考试更完整 0 1990 161 测试的效果更好 参考文献 1 ALDERSON J C Language Test Construction and Evaluation M Cambridge Cambridge University Press 1995 2 BACHMAN L F Fundamental Considerations in Language Testing M Oxf ord OxfordUniversity Press 1990 3 HENNI NG G A Guide to Language Testing Develop ment Evaluation and Research M Beijing Foreign Language Teaching andR esearch Press 2001 4 LI Y P S HAO Y Z Th