大学专业英语的测试信度与效度研究.doc

大学专业英语的测试信度与效度研究Reliability & Validation Study of College Specialized English重庆大学外语学院 黄 萍 副 教 授Huang Ping College of Foreign Languages, Chongqing University 400044摘要 全国大学英语四、六级考委会立项的科研项目“大学英语专业阅读阶段完成之后的测试方式及构卷研究”是对大学专业英语能否进行统一测试的研究。本文从一套诊断性大学专业英语试题入手，从333个学生的答题分数与其四级考试分数、专业英语期末考试成绩相对比，对该套大学专业英语测试题的信度与效度进行了分析与研究，并从学生的反馈中得出结论：大学专业英语统一测试是必要的，也是可行的。Abstract The research project “The Testing Method and Structure of College Specialized English after Reading Period” sponsored by the National College English CET 4&6 Committee is to study the feasibility of the College Specialized English Test in China. This thesis analyzed the results from 333 students who had a diagnosed test and studied the reliability and validation through comparing with the students CET 4 test scores and the specialized English achievement test scores. From the students feedback we can conclude that the College Specialized English is feasible and essential. 关键词 可行性，信度，效度，方差，统计学Key Words feasibility, reliability, validation, SD, statistics1998年6月，由全国大学英语四、六级考委会立项，重庆大学外语学院承接了科研项目“大学英语专业阅读阶段完成之后的测试方式及构卷研究”。项目研究的目的是对大学专业英语进行统一测试的可行性进行研究，其具体过程是通过对西南地区各高校大学专业英语的现状调查，对专业英语测试的内容、方式及构卷进行诊断性测试，为大学英语能进行统一地专业英语测试提出可行性方案，并为大学专业英语测试最终能进行全国统一测试奠定基础，对统一考试可能出现的问题和困难提出意见及可能解决的办法，以进一步推动大学专业英语测试的尽快实施，并对提高专业英语考试的效度与信度，使考试更具有合理性和科学性提出建设性的意见。一 大学专业英语测试研究目的 本研究由大学英语考委会立项，在重庆大学外语学院以及国家级专家韩其顺教授的指导下进行的。目的在于探讨专业英语统一测试是否可行，会存在哪些问题，是否有解决办法，其效度与信度怎样，测试的内容与方法与效度和信度的关系，构卷的方法与研究等。研究是基于大学英语教学大纲中对专业英语阶段的要求来进行的，因此，专业英语测试的内容与构卷也严格围绕着大纲的要求制定。鉴于大学专业英语测试的目的是为了检查对教学大纲的执行情况，因此，测试内容力求反映大纲的要求。我们认为，大学英语专业英语测试与大学四、六级考试的测试重点是截然不同的，大学英语专业英语测试应着眼于语言的运用(use)，而不是在于语言的习惯(usage)。语言学家认为语言内容的测试是从语言的交际需要中分离出来的。本考试的目的是为了促进培养既懂专业又懂英语的技术人才，使他们进入社会后能用英语作为工具和手段，满足自己工作的需要。因此，与CET-BAND4不同，它强调的不是学习者语言习惯的形式的准确性，而是通过具有意义的语言实践掌握语言习惯的模式，即它所强调的是语言的适切性(appropriacy)。 二大学专业英语测试信度与效度课题小组在国家级专家韩其顺教授的指导下，设计了专业英语诊断性（Diagnose）试题。2000年4月16日，我们在重庆大学对400多个学生（有效试卷333份）近十个专业的学生进行了试测。为了有效地对该试题进行分析，我们让被试学生在答题纸上写上了四级通过分数，并在考试完成后对学生就本次考试进行了问卷回答。以下是我们对受试者答卷进行的统计分析。从考试结果来看，受试者成绩频数分布曲线图如下:图1 专业英语测试成绩分布曲线图所有受试总分分布情况是否呈正态分布呢？检验其偏态值SK, 结果为-0.27; 检验其峰值Kurt, 结果为-0.001。从成绩分布曲线图上来看，虽然出现一个小双峰形态，但双峰紧邻平均数大致呈对称分布。由此可以认为，本次专业英语测试总分基本呈正态分布。根据测试结果，进行了内部一致性信度计算。我们采取了较为实用的信度计算方法，没有采用再测信度、等值测试信度。本测试包含了若干客观和半客观性命题，不能采用分半信度计算方法和库德-理查逊公式法进行计算，因而采用克龙巴赫所创造的a 系数公式。该公式为：a = ）其中，为信度系数；K为题目数；为各题各被试得分的方差；为各被试所得总分的方差。表1 专业英语测试信度与效度分析（对专业混合班的测试分析） 项目被试学生专业四级成绩与本次考试相关性期末考试与本次考试的相关性口语考试与本次考试的相关性听力与本次考试的相关性阅读与本次考试的相关性翻译与本次考试的相关性写作本次考试的相关性科技英语班（全校任选课，多专业,49人）r=0.389*p 0.05r=0.63*p 0.001r=0.691*p 0.001r=0.765*p0.2r=0.619*p 0.001商务英语班（全校任选课，多专业66人）r=0.463*p0.001r=0.465*p 0.001r=0.56*p 0.001r=0.539*p0.001r=0.747*p0.001r=0.501*p0.001r=0.345*p0.05（注：*表示在0。05水平上相关，*表示在0.01水平上相关）由表1可知，从学生本次考试与国家四级成绩来比较，科技英语班r=0.389*，P 0. 05；商务英语班r=0.463*，P0.001；说明本次考试是有效的，有很大的信度与效度。从学生本次考试与科技英语班学生期末考试成绩相比较（期末考试题采用由东南大学新科技英语教材项目组的试题），r=0.63*，P 0.001; 学生本次考试与商务英语班期末考试成绩相比较(试题采用剑桥商务英语等级证书考试题), r=0.465*，P 0.001，也说明本次考试是有效的，有很大的信度与效度。从单项比较来看，我们对商务英语班用大学英语四、六级口语考试判分（两个口语测试员为大学英语考委会正式聘用的口语测试员），所得的相关系数也很高，r=0.56*，P 0.001。除科技英语班翻译与本次考试的相关性不大外，其他各单项都与本次考试是相关的，且相关性很大。而就其科技英语班翻译与本次考试的相关性不大的原因在于，该翻译试题在一次练习中学生已做过，因此，其成绩与本次考试不相关，从另一方面可以看出，我们所研究的相关性与试题的效度与信度是很有关的。表2. 专业英语测试信度与效度分析（对单个专业班的测试分析） 项目被试学生专业四级成绩与本次考试的相关性听力与本次考试的相关性阅读与本次考试的相关性翻译与本次考试的相关性写作与本次考试的相关性计算机(52人)r=0.583*p0.001r=0.538*p0.001r=0.785*p0.001r=0.547*p0.001r=0.55*p0.1r=0.713*p0.001r=0.9*p0.001r=0.819*p0.001r=0.832*p0.001电机85人r=0.471*p0.001r=0.433*p0.001r=0.88*p0.001r=0.636*p0.001r=0.64*p0.001工业设计23人r=0.431*p0.05r=0.345*p0.05r=0.694*p0.001r=0.849*p0.001r=0.631*p0.001金压24人r=0.448*p0.2r=0.778*p0.001r=0.827*p0.001r=0.838*p0.001总评r=0.417*p0.001r=0.485*p0.001r=0.793*p0.001r=0.618*p0.001r=0.637*p0.001（*表示相关，*表极其相关）由表2可知，从学生本次考试与国家四级成绩来比较,总的来讲,相关性是很大的, r=0.417*，P0.2 与本次考试不太相关，我们发现，金压专业的四级成绩与本次考试也刚好相关，r=0.448*，P0.05就其原因，学生大多数来自农村，其听力本来就不太好，而本次考试的听力又以主观性试题为主，所以，学生考试听力与本次考试不太相关，这从听力与本次考试的难度值也可以看出，听力的难度是最大的。对以上五个专业的相关性研究发现，专业好的学生，不管是四级成绩，还是单项测试与本次考试的相关性都很大，反之亦然。三. 大学专业英语测试的可行性专业英语测试是属于专门用途英语领域的一门测试。人们通常认为要使它具有较高的效度，就必须为每一个专业单独设计一套试题，这种看法虽然有一定道理，但如要为每一个专业都设计一套题的话，专业英语就很难有一个较为统一的标准，就不可能做到较大规模的专业英语测试，也就难以真正推动和促进专业英语教学。本测试的目的就是试图在一套题中测试出各专业英语的共同性，我们这样设计的理由是，第一，专业英语的领域太广，如果要把各专业领域在测试中都能涵盖，那么，一次考试就可能包含许多专业的测试题，这样不仅仅要花太多的人力、物力，而且很难保证各专业在同一次考试中的难易度；第二，各专业英语在语言风格上有很大的不同，如法律英语与科技英语，专业术语也不同，但是，各专业在文体上是有关系的，如文摘的格式、绪论、定义、结束语的格式等，此外，语法也有其共同性，如无人称、陈述客观、准确、语言规范、文体质朴、逻辑性强等都是专业英语的共同特点；第三，教育部通过专业目录的调整后，专业划分过细的现象不存在了，大学英语教学大纲虽然要求学生通过专业英语的学习，能听、读懂本专业文献，能说、写、翻译本专业有关文献，但是，正如以上所说，各专业英语的文体都有其相同之处，我们设计出的专业英语测试题主要是检验各高校是否完成了大学英语教学大纲所要求的任务，而不是测试学生是否懂得本专业英语内容；第四，现代科学发展的一个显著特点是跨专业跨学科研究，大学毕业生毕业后也有可能从事其他专业的工作，如学文的改行学计算机，从时代发展的角度来看，专业英语测试内容完全可以测试专业英语的共同性，加强其使用性。我们正是基于以上理由，大胆地尝试了用一套专业英语试题来测试各专业英语，以达到标准一致、评分一致以及实用性强、针对性强。为了更好地说明我们的这套试题的可行性，请看我们对商务英语、材料、电力、工业设计、计算机、金属锻压等几个不同专业学生的测试结果来看其显著性差异：表3.专业英语测试组各对平均数之间q值与临界值比较97材料班98计算机班97科技英语班97商务英语班97电力班97金压班98计算机12397科技英语1680597商务英语2010，90597电力29018130997金压2902017140897工设556*49*45*44*39*25（*表示两组平均数差异比较明显，*表示差异极为明显）通过方差分析，我们发现至少有一对平均数差异显著，因而进一步进行了q检验，来确定哪些对平均数的差异达到显著水平。结果发现，97工设组与其他五组（97金压组除外）的平均数q值超过了0.05水平的临界值，其中有两对超过了0.01水平的临界值，即差异极为显著。97工业设计专业受试组的平均数仅为37.3，与其他受试组的表面差异也比较大，检验结果也说明这一组的平均数异常，差异显著，其他各组间的平均数均无显著差异。究竟什么原因导致97工设组与其他组平均数的差异都比较显著甚至极为显著呢？对此我们将进一步探讨，但是，我们的检验表明，在对测试的各组中，文理科都占了一定比例，（如科技英语班与商务英语班均有如贸易、法律、金融等专业和理工科如计算机等专业），对他们进行同一套题的测试，其各组间的平均数无显著差异，这说明本套试题对不同专业的测试是公平的。用同一套题测试不同专业的学生是可行的。四学生的反馈与结论我们在本次考试完成后，对学生进行了问卷调查，调查结果表明，73.2% 的学生认为专业英语测试是必要的，但象四、六级一样实行全国统考只有48.8%的学生认为可行，这说明，学生对专业英语测试还很陌生。而且，由于学校对专业英语的重视不够，学生对专业英语测试是很陌生的，对这样以实用型考试方式不太适应，从听力与阅读测试结果可以看出来，（听力测试为填空题，阅读测试前两篇为客观题，后三篇为主观题）实用型越强的试题，学生越觉得难，这表明目前专业英语现状不容乐观，要让学生适应社会的需求，专业英语测试应加强。通过对本次测试的信度、效度、项目分析和效率的探讨，我们认为本套诊断性测试题是可信的，具有较高的效度。题目的难易度把握较好，区分度总的来说尚可，但部分多项选择题的区分度不理想，个别题