（外国语言学及应用语言学专业论文）20082009年三省高考英语试卷效度研究.pdf

2 0 0 8 2 0 0 9 年三省高考英语试卷放度研究 摘要 我国的高考是大规模、高风险考试。高考英语科是全国高考的重要组成部分， 也是中国最大的常模参照的标准化英语能力测试。从2 0 0 4 年开始，继北京、上海 自主命题后，各省陆续实施高中新课程改革，并进一步实行高考分省命题。截至 2 0 0 7 年，全国共1 8 个省市进行自主命题，高考英语科考试试卷已达1 9 份之多， 包括2 份全国卷和1 7 份分省命题卷( 海南、宁夏共一套试卷) 。分省命题后试卷 的质量及各省市每年试题的一致性一直受到社会的广泛关注，也成为各界尤其是 教育界的重点研究对象。但对于高考英语效度的研究不外乎内容效度，题目分析 等定性分析，偶有定量研究出现，如试题的难度，区分度。各考试院考虑到高考 的特殊性，考生数据一直作为机密保存，也极少有相关高考的数据分析对外公布， 造成了高考考试效度研究极大的不足。 本研究基于2 0 0 8 年国家社科课题“全国高考分省命题的英语分数等值模型， 研究”所收集的高考数据，从中挑选了代表高中英语教学高、中、低水平的三个 省份，抽取2 0 0 8 、2 0 0 9 年的6 份试卷，并收集到了参加该三省两年高考的考生 考试作答的详细数据资料，结合定性和定量分析方法，对数据进行纵向和横向的 对比分析。得出以下结论：1 试卷的信度方面，采用c r o n b a c h 的内部一致性系数 分析，三省两年的试卷均有较好的内部一致性，信度比较高。2 试卷的构念效度 方面，采取了相关分析和因子分析两种方法进行考察，发现试卷各部分题目的相 关性比较高，而且只有一个主要因子可以解释试卷大部分的方差。按照考试大 纲及高中英语课程标准要求，高考英语科考试应强调英语的综合应用能力， 因此可以说6 份高考试卷有比较好的构念效度。3 在内容效度方面，将6 份试 卷与考试大纲及高中英语课程标准进行了对比，发现试卷考点覆盖面比 较广，总体的内容效度比较好。4 题目质量方面，分别对6 份试卷试题进行了难 度和区分度分析，结果发现除了高水平省份之外，其他两省的试卷两年的难度并 不稳定，出现了一年偏难，一年偏易的情况。一些题目的过难和过易也造成了试 题的区分度不够理想。本文对有问题的多项选择题进行分析后，总结了出题不理 想的主要原因。 本研究希望能弥补高考英语科效度研究领域的不足，并对今后的高考英语科 命题工作以启示。然而，鉴于本研究仅仅涉及到三个省市两年的数据，研究结论 难免以偏概全。从某种意义上来说，为确保高考英语的科学性和一致性，今后还 有待做大量的研究工作，以提高高考命题水平和促进中国基础英语教学的发展。 关键词：高考英语科试卷；信度；内容效度；构念效度；题目质量 l i 硕十学位论文 a b s t r a c t n a t i o n a lm a t r i c u l a t i o n1 1 e s t ( n m t ) i no u fc o u n t r yi sal a r g e - s c a l eh i g h - s t a k e e x a m i n a t i o n n a t i o n a lm a t r i c u l a t i o ne n g l i s h1 e s ti sa ni m p o r t a n tp a r to fn m t i ti st h e l a r g e s tn o r m r e f e r e n c e ds t a n d a r d i z e de n 9 1 i s hp r o f i c i e n c yt e s t i nc h i n a s i n c e2 0 0 4 ， a p a r tf t o mb e i j i n g ，s h a n g h a i ，a l lp r o v i n c e sh a v es t e p p e dt o w a r di m p l e m e n t i n gh i g h m i d d l es c h o o ln e wc u r r i c u l u mr e f o r ma n da u t o n o m o u sd e s i g n s0 fn m tp a p e r sa m o n g p r o v i n c e sh a v eb e g u n u pt o2 0 0 7 ，a l t o g e t h e r 18p r o v i n c e so rc i t i e sh a v ed e s i g n e d t h e i ro w nn m t p a p e r sw i t ht h en u m b e ro fe n g l i s ht e s tp a p e r su pt o1 9s e t s ，i n c l u d i n g 2n a t i o n a la n d1 7p r o v i n c i a le n g l i s ht e s tp a p e r s ( h a i n a na n dn i n g x i ah a v es h a r e do n e s e to fn m e tp a p e r ) t h eq u a l i t yo fn m e tp a p e f sa n dt h ec o n s i s t e n c yo ft e s ti ne a c h p r o v i n c eo fc i t yo v e rt h ey e a r sh a v ec a u g h tg r e a ta t t e n t i o na m o n gt h ep u b l i c a n dh a v c b e c o m et h ek e yr e s e a r c ht o p i c si na l lf i e l d s ，e s p e c i a l l yt h ee d u c a t i o nc i r c l e h o w e v e r t h ev a l i d i i ys t u d i e so nn m e ta r em e r e l ys o m eq u a l i t a t i v ea n a l y s i so fc o n t e n tv a l i d i t y i t e ma n a l y s i s ，e t c a n do c c a s i o n a l l y ，t h e r ei ss o m eq u a n t i t a t i v ei n f o r m a t i o ns u c ha s i t e md i f f i c u l t ya n dd i s c r i m i n a t i o n i nl i g h to ft h ep a r t i c u l a r i t yo fn m t ，t h et e s tt a k e r s p e r f b r m a n c ed a t aa r ek e p tc o n f i d e n t i a l l yi ne x a m i n a t i o ni n s t i t u t e so fe a c hp r o v i n c eo r c i t y r a r e l yh a st h en m t d a t aa n a l y s i sb e e np u b l i s h e dt ot h ep u b l i c ，w h i c ha c c o u n t s f o rah u g el i m i t a t i o no fn m tv a l i d a t i o ns t u d i e s t h i ss t u d vi sb a s e do nt h en m e td a t ac o n e c t e df r o m2 0 0 8c h i n an a t i o n a l p h j l o s o p h ys o c i a ls c i e n c ep l a n n j n gp r o j e c t d e v e l o p i n g a ne n g l i s hs c o r ee q u i v a l e n t m o d e lf b ra l lp r o v i n c i a lc o l le g ee n t f a n c ee x a m i n a t i o n t h r e ep r o v i n c e sh a v eb e e n s e l e c t e d ，r e p r e s e n t i n gr e g i o n so fh i g h ，m e d i u ma n dl o wl e v e lo fs e n i o rm i d d l es c h o o l e n g l i s ht e a c h i n gr e s p e c t i v e ly 2 0 0 8a n d2 0 0 9n m e tp a p e r so ft h e s el h r e ep f o v i n c e s h a v eb e e nc h o s e n ，s p e c i f i cd a t ai n f o r m a t i o no ft e s tt a k e r s r e s p o n s e so nt h es i xp a p e r s a r ec o l l e c t e d ，a n dv e r t i c a la n dh o r i z o n t a lc o m p a r i s o na n da n a l y s i s0 ft h e s e l e c t e d p a p e r sa r ec o n d u c t e db yu s i n gb o t hq u a l i t a t i v ea n dq u a n t i t a t i v ea n a l y s i s t h ef b l l o w i n g c o n c l u s i o n sa r ed r a w n ：1 i nt e r m so fr e l i a b i l i t y ，c r o n b a c hi n t e r n a ic o n s i s t e n c y c o e f f i c i e n th a sb e e nu s e d t h er e s u l t ss h o wg o o di n t e r n a lc o n s i s t e n c yo ft h e t e s tp a p e r s 0 ft h r e ep r o v i n c e so v e rt h e s et w oy e a r s t h er e l i a b i l i t yo ft h e s es i xp a p e r si sv e r yh i g h ； 2 i nt e r m so fc o n s t r u c tv a l i d i t y ，c o r r e l a t i o na n a l y s i sa n df a c t o ra n a l y s i sh a v eb e e n c o n d u c t e d i ti sf o u n dt h a te a c hc o m p o n e n to ft h et e s th a sh i g hc o r r e l a t i o nw i t he a c h o t h e ra n do n l yo n ef a c t o ri sg e n e r a t e dt oe x p l a i nt h em a j o r i t yv a r i a n c e b a s e do nt h e r e s ts v l l a b u sa n ds e n i o rm i d d l es c h o o le n g l i s hc u r r i c u l u ms t a n d a r d s ，n m e ts h o u l d i i i 2 0 0 8 2 0 0 9 年三省高考英语试卷效厦研j z f o c u s0 nt h ei n t e g r a t e da b i l i t yo fu s i n ge n g l i s h h e n c et h e s es i x t e s tp a p e r sh a v e r e l a t i v e l yg o o dc o n s t r u c tv a l i d i t y ；3 i nt e r mo fc o n t e n tv a l i d i t y ，t h e t e s ti t e m sa r e c o m p a r e dw i t ht h e r e s ts y l l a b u sa n ds e n i o r m i d d l es c h o o le n g l i s hc u r r i c u l u m s t a n d a r d s e v i d e n c eh a sb e e nf o u n dt os u p p o r tt h eg e n e r a l l yg o o dc o n t e n tv a l i d i t yo f t h et e s tp a p e r sf o rt h e i rw i d ec o v e r a g eo ft e s tp o i n t s ；4 i nt e r m so ft h ei t e mq u a l i t y ，t h e i t e md i f f i c u l t ya n dd i s c r i m i n a t i o na n a l y s i sh a v eb e e nc o n d u c t e d e x c e p tt h ep r o v i n c e o fh i g he n g l i s ht e a c h i n gl e v e l ，t h ed i f 行c u l t yi n d i c e so ft h eo t h e rt w op r o v i n c e so v e r t w oy e a r sa r en o ts t a b l e o n ey e a r si t e m sa r ef e l a t i v e l yd i f f i c u l ta n dt h e0 t h e ry e a r p r e t t ye a s y t h ee x t r e m e l yd i f f i c u l to re a s yi t e m sa r ea l s 0t h e m a i nr e a s o n sf b r1 0 w i t e md i s c r i m i n a t i o n w i t ht h ed e t a i l e da n a l y s i s0 ft h ep f o b l e m a t i cm u l t i p l e c h o i c e i t e m s ，f a c t o r sl e a d i n gt ot h e s ep r o b l e m sa f ee x p l o r e d i ti sh o p e dt h a tt h i sp a p e rw o u l dc o n t r i b u t et 0m a k eu pf o rt h el i m i t a t i o n so ft h e n m e tr e s e a r c h e sa n ds h e ds o m ei i 曲t so nf u r t h e rn m e tp a p e rd e s i g n i n g h o w e v e r c o n s i d e r i n gt h a tt h el i m i t e dd a t a0 n l yc 0 v e r st h f e ep r o v i n c e so rc i t i e so v e ft h e s et w o v e a r s ，t h er e s u l t sm a yn o tb ec o m p f e h e n s i v e ji nc e n a i ns e n s e ，f u r t h e rw o r kn e e dt ob e d o n ei no f d e rt oe n s u r et h es c i e n t i f i ca n dc o n s i s t e n tn m e tp a p e r s ，h e n c et oi m p r o v e t h eq u a l i t y0 fn m e ti t e mw r i t i n ga n dt op r o m o t et h ed e v e l o p m e n to fb a s i ce n g l i s h t e a c h i n gi nc h i n a k e yw o r d s ：n m e tp a p e r s ；r e h a b i h t y ；c o n t e n tv a h d i t y ；c o n s t r u c tv a l i d i t y ；i t e m q u a l i t y i v 硕1 j 学位论文 t a b l el i s t s t a b l e3 1s e n i o rm i d d l es c h o o lg r a d u a t e s e n g l i s hp r o f i c i e n c yr e q u i r e m e n t si nt h en e w c u r r i c u l u ms t a n d a r d s 7 1 a b l e3 21 e s tf o r m a t so fn m e ti nt h es e l e c t e dt h r e ep r o v i n c e s 1 2 i a b l e4 1a 0 8r e l i a b i l i l vs t a t i s t i c s 。1 4 t 曲i e4 2s t a t i s t i c sf o ra 0 8s c a l e 1 5 t a b l e4 3a 0 8l t e m t b t a ls t a t i s t i c s 1 6 t a b l e4 4a 0 9r e l i a b i l i t vs t a t i s t i c s 1 7 t 如l e4 5s t a t i s t i c sf o ra 0 9s c a l e 1 7 t a b l e4 6a 0 9l t e m t b t a ls t a t i s t i c s 1 8 1 a b l e4 7b 0 8r e l i a b i l i l ys t a t i s “c s 。1 8 t a b l e4 8s t a t i s t i c sf o rb 0 8s c a l e 1 8 t a b l e4 9b 0 8i t e m t o t a ls t a t i s t i c s 1 9 1 a b l e4 1 0b 0 9r e l i a b i l i t vs t a t i s t i c s 1 9 2 0 t 拍l e4 1 1s t a t i s t i c sf o rb 0 9s c a l e 2 0 t a b l e4 1 2b 0 9i t e m t b t a ls t a t i s t i c s 2 l t i a b l e4 1 3c 0 8r e l i a b i l i t vs t a t i s t i c s 2 1 7 r a b l e4 1 4s t a t i s t i c sf o rc 0 8s c a l e 2 1 t 曲l e4 1 5c 0 8i t e m t b t a ls t a t i s t i c s 2 2 1 a b l e4 1 6c 0 9r e l i a b i l i t ys t a t i s t i c s 2 3 1 阻b l e4 1 7s t a t i s t i c sf o rc 0 9s c a l e 2 3 t a b l e4 1 8c 0 9i t e m t b t a ls t a t i s t i c s 2 3 t a b l e5 1c o r r e l a c i o n s0 fa 0 8 19 2 8 t a b l e5 2c o 盯e l a l i o n so fa 0 9 2 8 r a b l e5 3a 0 8t b l a lv a r i a n c ee x p l a i n e d 1 9 2 9 t a b l e5 4a 0 9t b c a lv a f i a n c ee x p l a i n e d 1 9 3 0 t a b l e5 5a 0 8c o m p o n e n tm a t r i x 1 9 3 0 1 a b l e5 6a 0 9c o m d o n e n tm a t r i x 1 9 3 0 t a b i e5 7c o r r e l a t i o n so fb 0 8 。1 9 3 1 1 阻b l e5 8c o r r l a t i o n so fb 0 9 1 9 3 1 t a b 】e5 9b 0 81 o t a lv a r i a n c ee x p l a j n e d 1 9 3 2 t a b l e5 1 0b 0 9t b t a lv a r i a n c ee x p i a i n e d 1 9 3 2 t a b l e5 1 1b 0 8c o m p o n e n tm a t r i x 1 9 3 3 i 1 i a b i e5 1 2b 0 9c o m p o n e n tm a t r i x 1 9 3 3 t a b l e5 1 3c o r i e l a t i o n so fc 0 8 1 9 3 3 t a b l e5 1 4c o r f e l a t i o n so fc 0 9 1 9 3 4 1 a b l e5 1 5c 0 8t b t a lv a r i a n c ee x p l a i n e d ：1 9 3 4 t a b l e5 1 6c 0 9t o t a lv a r i a n c ee x p l a i n e d 1 9 3 5 1 a b l e5 1 7c 0 8c 。m p 。n e n tm a t r i x 1 9 3 5 t a b l e5 1 8c 0 8c o m p o n e n tm a t r i x 1 9 3 5 1 a b l e5 1 9d i s t r i b u t i o n0 fi t e m si nl i s t e n i n gc o m p r e h e n s i o n o ft h es i xp a p e r s 3 墨 t a b l e5 2 0r e s p o n s et y p eo fl i s t e n i n gc o m p i e h e n s i o no ft h e s i xp a p e r s j 芍 t a b l e5 2 1d i s t r i b u t i o n0 fi t e m si ng f a m m a ra n dv o c a b u l a r yo ft h es i xp a p e r s r j ， r i 自l b l e5 2 2d i s t r i b u t i o no fi t e m si nc l o z eo ft h es i xp a p e r s 4 0 0 ，i a b l e5 2 3d i s t r i b u t i o n so ft e s tp o i n tf b c u sa n d l e v e lo ft h es i xp a p e r s 4 l l r i 曲l e5 2 4r e a d a b i l i t yi n d e xo fc l o z e 。ft h es i xp a p e f s ”4 2 2 t a b l e5 2 5d i s t “b u t i o no fi t e m si nr e a d i n gc o m p r e h e n s i o f t h es i xp a p e r s 4 3 3 t a b l e5 2 6r e s p o n s et y p eo fr e a d i n gc o m p r e h e n s i o n o ft h es i xp a p e r s 4 4 4 r r a b l e5 2 7r e a d a b i l i t yi n d e xo fr e a d i n gc o m p r e h e n s i o n o ft h es i xp a p e r s 4 5 5 t a b l e5 2 8t 0 p i c sa n dr e q u i r e m e n t so f t h ew r i t i n gt a s k s i nt h es i xp a p e r s 4 0 ，i h b l e6 1d i s t r i b u t i o no fi t e md i f f i c u l t yo ft h es i xp a p e r s j u t 曲l e6 2d i s t r i b u t i o no fi t e md i s c r i m i n a t i o no fo b j e c t i v ei t e m s 5 1 u ，i a b l e6 3d i s t f i b u t i o no fi t e md i s c r i m i n a t i o no fs u b j e c t i v ei t e m s 5 l u 硕l j 学位论文 f i g u r e “s t s f i g u r e4 1a 0 8d i s t r i b u t i o no fs c o r e s 1 5 f j g u r e4 2a 0 9 d j s l r i b u t i o no fs c o r e s 1 7 f i g u r e4 3b 0 8d i s t r i b u t i o no fs c o r e s 1 9 f i g u r e4 4b 0 9d i s t r i b u t i o no fs c o r e s 2 0 f i g u r c4 5c 0 8d i s t r i b u t i o no fs c o r c s 2 2 f i g u r e4 6c 0 9d i s t r i b u “o no fs c o r e s 。2 3 f i g u r e5 1a 0 8s c f e ep l o t 4 5 f i g u r e5 2a 0 9s c f e ep i o t 4 5 f i g u r e5 3b 0 8s c r e ep l o t 。4 8 f i g u r e5 4b 0 9s c r e ep l o t 4 8 f i g u r e5 5c 0 8s c r e ep l o t 。5 2 f i g u r e5 6c 0 9s c r e ep l o t 5 2 a b b r e v i a t i o n n m t ：n a t i o n a lm a t r i c u l a t i o nt e s t n m e t ：n a t i o n a lm a t r i c u l a t i o ne n g l i s ht e s t c t t ： c l a s s i c a lt c s tt h e o r y i r t ：i t e mr e s p o n s et h e o r y f r e ：f l e s c hr e a d i n ge a s es c o r e c l t c ： c o r r e l a t e di t e m - t b t a lc o r r e l a t i o n a i l d ： c r o n b a c h sa l p h ai fi t e md e l e t e d l i s ： l i s t e n i n gc o n l p r e h e n s i o n l i s l ： m u l t i p l e c h o i c eq u e s t i o n s i nl i s t e n i n gc o m p r e h e n s i o n l i s t 2 ： b l a n k - f i l l i n gi nl i s t e n i n g g a n d v ：g r a m m a ra n dv r o c a b u l a r y m a t l ：w o r d m a t c h i n g r e a d ： r e a d i n gc o m p r e h e n s i o n m a t 2 ： h e a d i n g m a t c h i n g s h o r t a n ：s h o r t a n s w e rq u e s t i o n si nr e a d i n gc o m p r e h e n s i o n i n t r a n s ：i n f o r m a t i o nt r a n s f e r t r a n s ：1 r a n s l a t i o n w r i t ： w r i t i n g 1 o t s c o ：1 t a ls c o r e x 硕 j 学位论文 c h a p t e r 1i n t r o d u c t i o n 1 1g e n e r a lr e s e a r c hb a c k g r o u n d t h ec o l l e g ee n t r a n c ee x a m i n a t i o ni st h em a i nc o n c e r nf o rm o s tp a f e n t sa n dt h e s o c i e t yb e c a u s ec o l l e g ee n f o l l m e n ti sc o n s i d e r e da st h em o s tp r o m i s i n gc h a n n e lf 6 rt h e s t u d e n t s f u t u r ee m p l o y m e n t s i n c et h et e s ts c o r ei st a k e na st h eo n l yc r i t e r i o nt ob e e n r o l l e di n t oc o l l e g e ，b o t hs t u d e n t sa n dt h e i rp a f e n t ss p a r en oe 舶r t st 0p r e p a r ef 6 rt h e t e s t d u et ot h ee x t r e m e l yh i g hs t a k e so ft h i se x a m i n a t i o ni nc h i n a ，t h ed e v e l o p m e n to f n a t i o n a lm a t r i c u l a t i o nt e s t ( n m t ) p l a y sp a r a m o u n tr o l ei nd e t e m i n i n gt h ed i s t r i b u t i o n o ft h et e r t i a r ye d u c a t i o no p p o n u n i t i e s n m ti sn o to n l yan a t i o n a lt e s tb u ta l s oa h i g h l ys e n s i t i v es o c i a li s s u e t h en a t i o n a lm a t r i c u l a t i o ne n g l i s ht e s t ( n m e t ) ，o n eo f t h em o s ti m p o r t a n tp a no fn m t ，i st h ec o l l e g ee n t r a n c ce x a m i n a t i o no fe n g l i s h ，o n eo f t h el a r g e s ts t a n d a r d i z e dn o r m r e f c r e n c e dp r o f i c i e n c ye f lt e s tu s e dt om a k ei n f e r e n c e s a b o u tc a n d i d a t e s e n g l i s hl a n g u a g ea b i l i t yi nc o l l e g ea d m i s s i o nd e c i s i o 玎sa n dt ob r j n g p o s i t i v ew a s h b a c kt oe n g l i s ht e a c h i n ga n dl e a r n i n ga tt h es e c o n d a r ys c h o o l ( q il u x i a ， 2 0 0 4 ) f r o m2 0 0 4 ，t h em i n i s t r yo fe d u c a t i o no fc h i n as t e p p e dt o w a r d d e c e n t r a l i z i n gt h e n a t i o n a lm a t r i c u l a t i o nt e s ta d m i n i s t r a t i o n t h e r ew e r ea l t o g e t h e r1 6 p r o v i n c e so r m u n j c i p a l i t i e sb e i n ga u t h o r i z e dt od e s i g nt h et e s tp a p e r sa u t o n o m o u s l y 1 n2 0 0 6t h e r e a p p e a r e d1 8m a t r i c u l a t i o ne n g l i s ht e s tp a p e r sa n du pt o2 0 0 7 ，2n a t i o n a la n d1 7 p r o v i n c i a le n g l i s ht e s t sc o n s t i t u t e dt h en a t i o n a lm a t r i c u l a t i o ne n g l i s h1 e s tp a p e r s u n d o u b t e d l y ，t h ew o r k l o a do fp a p e rd e s i g ni n c r e a s e de n o 珊o u s l ya n dt h eq u a l i t i e so f t h e s ep a p e r si so fp r i m a r yc o n c e m h e a v yp r e s s u r eh a sb e e np u to nt e s ti t e mw r i t e r st o e n s u r et h ea p p r o p r i a t e n e s so ft e s ti t e m s s i n c en m e t b r i n g sw a s h b a c kt ot e a c h i n ga n dl e a r n i n gi ns e n i o rm i d d l es c h o o la s m e n t i o n e da b o v e ，i ti sv i t a lt h a tt h et e s t sh a v eap o s i t i v ei n s t r u c l i o n h o w e y e f w h a t t h eq u a l i t i e so ft h et e s ti t e m sa r e ，t ow h a te x t e n tt h et e s t sa r er e l i a b i ea n dv a l i da n d w h e t h e rt h et e s t sa d e q u a t e l ym e a s u f et h ee x a m i n e e s l a n g u a g ea b i l i t ya r eo fm u c h c o n c e m at h o r o u g ha n di n - d e p t he v a l u a t i o ni su r g e n t l yn e e d e d i na d d i t i o n ，w i t ht h e a u t o n o