TEM4改革前后阅读任务内容效度的对比分析

1、    tem4改革前后阅读任务内容效度的对比分析    刘敏 崔婷婷【摘 要】 本研究以2013-2018年6套tem4阅读试题为研究对象，从语篇输入及预期回答两个角度对2016年改革前后的阅读任务进行对比分析，以期为tem4阅读试题的编写提供建议，进一步促进tem4对教学积极的反拨效应。【关键词】 tem4阅读任务;语篇输入;预期回答;对比分析;反拨效应一、研究背景英语专业四级考试（tem4），作为一项标准参照性教学检查类考试，从上世纪90年代初面向全国英语专业二年级学生推出，至今已实施近30年。随着考试人数的逐年递增与考试题型的优化改革，tem4已

2、被公认为是一项大规模标准化的考试。2015年8月，外语专业教学测试委员会出台了关于英语专业四级考试（tem4）题型调整的说明（以下简称调整说明）。2016年3月，改革后的tem4正式实施。此次改革对阅读任务做了以下调整：在考试时间上，阅读和答题时长从25分钟增加到35分钟;在考试内容上，阅读文章从4篇减少为3篇;在考题形式上，由传统的20道选择题调整为10道选择题加5道简答题。改革前后阅读任务部分的分值与其总权重均保持不变。1作为效度整体观的重要组成部分，内容效度旨在评估考试内容与考试大纲的吻合程度。考试内容是否具有覆盖性和 代表性是评价内容效度的两项重要指标。hughes认为内容效度越高，考

3、试越可能准确地测量要考查的能力。反之，如果考试规范或大纲中所规定的内容没有在试题中得到充分体现，这个考试则不能作为准确的测量工具。另外，内容效度低的考试还会产生消极的反拨效应，因为考试没有考查的内容，在教学活动中往往会被刻意忽略。2因此，内容效度既是收集考试效度证据的一个重要途径，也是决定考试能否产生积极的反拨效应的一个重要因素。国内学者对tem4阅读任务的研究多集中在2016年tem4改革之前，同时，对于改革后的试题研究也多以单一年份的试题为对象。刘宝权分析了2015年调整说明附件中的专四样题。3何锡梗对比了改革前五年的考题和2016当年的阅读考题。4关于tem4阅读任务的内容效度研究虽取得

4、一定成果，但对改革后的题型分析多集中于2016年考题，分析样本单一，针对新旧题型的对比分析也较为空缺。鉴于tem4的影响力，以及这次改革在阅读任务的题型、题量、和考试时间上的多方面调整，从内容效度视角对2016年改革前后的阅读任务进行对比分析十分必要。二、研究设计1、研究目的本文旨在探讨改革后的阅读试题是否具备更好的内容效度、是否改进了之前试题中存在的不足，以期为阅读试题的完善与改进提供有价值的参考。2、研究对象本文以近6年tem4阅读理解任务为研究对象，其中2013-2015年为改革前的3套试题;2016-2018年为改革后的3套试题。总计文章21篇，考题105道。3、研究框架本文以bach

5、man和palmer提出的任务特性框架为理论依据，5结合调整说明所规定的选材原则、测试要求、目的，制定 tem4阅读测试内容效度的分析框架。其中，语篇输入任务特征主要包括体裁、题材与语言难度（易读度）;预期回答任务特征主要包括回答类型和技能考察。三、研究结果与分析1、语篇输入任务特征（1）2004版大纲和2016年的调整说明均规定tem4阅读材料的体裁应多样化，包括记叙文、描写文、说明文、议论文、广告、说明书、图表等体裁。16表1统计了近6年tem4阅读任务的体裁。可以看出，改革前后阅读任务在体裁上的相同点是：议论文与记叙文占比最大，说明文与描写文占比较小。不同点是：调整后议论文的比例由59%

6、降为45%;说明文与描写文的占比由8%上升为11%。而广告、说明书、图表这三种应用文体在近6年中從未被考察过。议论文着重考察考生的批判性思维与思辨能力，确实是国内标准化考试中占比较大的体裁。但应用类文本具有真实性和实用性的特点，不应被忽略，改革后阅读材料的选取虽然更加注意体裁分布的合理化，但仍旧未对应用文这一体裁的考察空缺进行填补。（2）调整说明规定tem4阅读材料的题材应广泛化，涵盖社会、科技、文化、学习、常识、人物传记等方面。 1 调整说明在选材上用学习取代了2004版大纲中的经济题材。表2中用“教育”涵盖“学习”这一新增题材和改革前的相关文章。总体来说，改革前后近六年的选材中社会题材占比

7、最大，21篇文章中有9篇文本是和社会话题相关的。改革前的阅读材料仅次于社会话题（50%）的是科技和教育，占比分别为17%，文化和人物传记各有一篇，占比均为8%。改革后的阅读材料则是社会、科技和文化三种话题平分秋色，对人物传记和教育话题的考察尚未体现，近六年的考题从未涵盖常识类文章。从反拨效应角度来讲，题材不够广泛会导致考生选择性地进行“应试阅读”，即只重视频繁考察的话题，不能积极主动地拓宽阅读面。由此可见，在题材选择上，改革后的阅读任务内容效度有所下降，命题人应进一步拓宽话题的涵盖面 保持题材的合理均衡。（3）tem4阅读材料的语言难度应接近英美国家出版的语言难度中等的文字材料。1易读度是用于

8、衡量文字材料易于阅读理解的程度的一个重要概念，与文字材料的句子长度、语法复杂程度等因素密切相关。7本研究采用flesh易读度计算公式对近6年阅读试题的难易度进行计算。易读度数值越高，文字材料越易于阅读。表3统计了每年阅读材料的总字数、年平均易读度、改革前后字数和易读度的总平均值。2004版大纲和2016年的调整说明均规定tem4阅读材料的长度在1800个单词左右。16改革前每年的阅读总字数均少于1800字，而改革后总字数则多于1800字。改革前三年阅读材料的平均难度为61.99，语言难度介于中等（standard）与偏难（fairly difficult）之间，稍微偏难;改革后的平均易读度为6

9、3.73，难度有所下降，位于中等难度（standard）的中间范围内。可以看出，近六年的试题在阅读量上呈现递增趋势。文章数量由改革前的4篇缩减为3篇，但总字数逐年递增;改革后每篇文章的信息输入增多，但考试时间也增加了10分钟;阅读材料的难度略微降低。阅读试题的命制在调整的基础上兼顾各方面的均衡。2、预期回答（1）从回答类型来看，新增的5道简答题力图降低应试技巧和猜测因素对考察学生阅读能力的干扰。在改革后的15道简答题中，推断题占比最高（53%）;细节题居于次位（27%），释义题和大意题分别占13%和7%。简答题通过对学生语言输出能力的考察，不仅有助于提高试题效度，而且能促进对教学积极的反拨效应

10、。（2）根据2004版大纲和2016年的调整说明，本文将阅读技能划分为大意类、细节类、释义类和推断类。如表4所示，改革前的tem4阅读任务中，细节类的题目占比最高，达到55%;推断类、释义类、大意类技能占比差距较小。由此可见，调整前的tem4阅读试题注重对考生检索细节并整合信息能力的考察。改革后的阅读任务中，细节类题目依旧占比最高，但比例由55%下降为38%;同时，推断类题目比例由18%上升为36%，大意类题目的考察比例也有所上升。由此可见，改革后的阅读任务考察的技能侧重点有所变化，在延续对细节检索能力考察的同时，加大了对考生推理判断能力的考察，旨在检验考生对文本深层次的理解。因此，改革后的t

11、em4阅读试题在阅读技能考察方面有更高的内容效度。四、总结与建议研究结果表明，改革后tem4阅读任务中体裁分布更为合理，简答题的设计提高了试题效度，对阅读技能的考察比例分布更加均衡，内容效度总体上有明显进步。但阅读任务的题材涵盖略为集中，各题材的考察比例分布明显不均，内容效度仍有提升空间。命题人可适当增大应用文在体裁中的占比，并提高对教育、常识等题材的涵盖度，促进试题对教学积极的反拨效应。【参考文献】1 高校外语专业教学测试办公室.关于英语专业四级考试（tem4）题型调整的说明r. 2016.2 hughes， a. testing for language teachers. cambrid

12、ge： cambridge university press，1989.3 劉宝权，胡芳芳.英语专业四级阅读测试效度研究以tem4（2016）新大纲样题阅读任务为例j.外语电化教学，2018（1）70-75.4 何锡梗.新考纲下2016年英语专业四级考试阅读理解题的延续与创新j.宁德师范学院学报（哲学社会科学版），2016（3）90-94.5 bachman， l. f. & a. s. palmer. language testing in practice m. oxford： oxford university press， 1996.6 高等学校英语专业四级考试大纲修订小组.高校英语四级考试