（外国语言学及应用语言学专业论文）用统计手段分析英语试卷质量.pdf

中文摘要 摘要 语言测试伴随语言教学而出现，两者有着密不可分的关系。以往教师对测试 质量的评估多采用定性的方法，这样不够全面，客观，深刻。本研究采用定性和 定量相结合的方法，对试卷质量进行全面分析。 本研究以一份大学第二学期期末英语试卷为研究对象，运用统计方法对其质 量进行了综合评估并深入分析了导致低质量项目的因素。研究者随机抽取了包括 3 0 0 名受试者的样本，分别从测试效度，信度，项目难度和区别度等方面进行综 合分析。 研究结果表明虽然该测试具有较好的表面和内容效度，但其结构效度不是很 好。测试信度相对较高。项目难度水平偏低，分布不均匀。项目区别度受到项目 难度的影响，也未取得非常理想的效果。 导致低质量项目的因素有两类：选择题设计违反命题的基本原则；造成听力 和阅读理解试题低质的特定因素。前者包括选项难度、结构不一致，包含无用选 项等。后者包括对话中对一个观点提供的语境过多或不充分，阅读理解中设计干 扰项时对读者的心理反应做了不恰当的预测，在阅读理解中考常识等。 本研究是将统计方法应用于语言测试质量评估的一次尝试，在应用上还存在 一定的局限和不足，希望能够在以后的研究中得到改进。 关键词：效度；信度；项目难度；项目区别度；统计方法 英文摘要 s t a t i s t i c a la n a l y s e sf o rq u a l i t yo f e n g l i s ht e s tp a p e r a b s t r a c t l a n g u a g et e s t i n ge m e r g e sw i t ht h ed e v e l o p m e n to fl a n g u a g et e a c h i n ga n dt h e ya l e c l o s e l yi n t e r r e l a t e dw i t l le a c ho t h e r t e a c h e r sa l w a y sm a k eq u a l i t a t i v ea n a l y s e st ot e s t p a p e rq u a l i t yb e f o r e ，b u tt h i sa p p r o a c hi sn o tv e r yd e e pa n dc o m p r e h e n s i v e t h i s s t u d yc o m b i n e sq u a l i t a t i v ea n a l y s e sa n dq u a n t i t a t i v ea n a l y s e st oa n a l y z et h es e l e c t e d t e s tp a p e r e v a l u a t i n gt e s tq u a l i t yw i 血s t a t i s t i c a lm e t h o d si ss y s t e m a t i c i n - d e p t h , o b j e c t i v ea n ds c i e n t i f i ca n d i tw i l lp r o v i d em o r ec o n v i n c i n gr e s u l t s t a k i n gac o l l e g ee n g l i s ht e s tp a p e rf o rs e c o n ds e m e s t e rf i n a le x a m i n a t i o na st h e o b j e c t ，t h i ss t u d ya d o p t s s t a t i s t i c a lm e t h o d st om a k eac o m p r e h e n s i v eq u a l i t y e v a l u a t i o na n dc o n d u c t sa l li n - d e p t ha n a l y s i so ft h ef a c t o r sl e a d i n gt op o o rq u a l i t y i t e m s as a m p l ec o n s i s t i n go f3 0 0e x a m i n e e si sd r a w nr a n d o m l yf r o mt h ep o p u l a t i o n a n da n a l y z e df r o ma s p e c t so ft e s tv a l i d i t y , r e l i a b i l i t y , i t e md i f f i c u l t y , a n di t e m d i s c r i m i n a t i t h er e s u l t so fd a t aa n a l y s e si n d i c a t et h a tt h et e s tr e l i a b i l i t yi sr e l a t i v e l yh i g h t h o u g ht h et e s th a sg o o df a c ev a l i d i t ya n dc o n t e n tv a l i d i t y , i t sc o n s t r u c tv a l i d i t yi sn o t v e r yg o o d i t e md i f f i c u l t yi sn o td i s t r i b u t e da d e q u a t e l ya n dm o f ce a s yi t e m se x i s t i t e md i s c r i m i n a t i o ni sa f f e c t e db yi t e md i f f i c u l t y , n o t s h o w i n gv e r ys a t i s f a c t o r y r e s u l t s t h ef a c t o r sl e a d i n gt op o o rq u a l i t yi t e m sf a l li n t ot w oc a t e g o r i e s ，v i o l a t i o no ft h e b a s i cm u l t i p l e - - c h o i c e - i t e mw r i t i n gp r i n c i p l e sa n dt h eu n i q u ef a c t o r sl e a d i n gt op o o r q u a l i t yi t e m si nl i s t e n i n ga n dr e a d i n gc o m p r e h e n s i o nt e s t s 融s t u d yi sa ne f f o r tt o a p p l ys t a t i s t i c a la p p r o a c h e si nl a n g u a g et e s t i n g , i nw h i c hl i m i t a t i o n se x i s ta n dh o p e d t ob ei m p r o v e d , i nt h ef u t u r er e s c a r e h k e yw o r d s ：v a l i d i t y , r e l i a b i l i t y , i t e md i f f i c u l t y , i t e md i s c r i m i n a t i o n , s t a t i s t i c a l m e t h o d s l i s to f l 曲l e s t a b l e3 1 ： t 抽l e4 1 ： m l b l e4 2 ： t h b l e4 3 ： t l b l e4 4 ： t a b l e5 1 ： t a b l e5 2 ： t a b l e5 3 ： m 出l e 6 1 ： t h b l e6 2 ： t ，出l e 6 3 ： 1 a b l e6 4 ： m 山i e 7 1 ： t ，l b l e7 2 ： t a b l e 7 3 ： t a b l e7 4 ： l i s to ft a b l e s f e a t u r e so f t h et e s t g e n e r a lr u l e sf o re o r r e l a t i o nc o e f f i c i e n t s c o r r e l a t i o n sf o ro b j e c t i v ei t e m s c o r r e l a t i o n sf o rt r a n s l a t i o n c o r r e l a t i o n sf o rg u i d e dw r i t i n g t o t a lv a r i a n c ee x p l a i n e d c o m p o n e n tm a t r i x ( a ) r o t a t e dc o m p o n e n tm a t r i x ( a ) i t e md i f f i c u l t ya sp r o p o r t i o nc o r r e c ta n dp r o p o r t i o n i n c o r r e c tf o r7 5m u l t i i p i e - c h o i c ei t e m s 倒2 3 0 0e x a m i n e e s ) d i s t r i b u t i o no f o b j e c t i v ei t e m s d i f f i c u l t yv a l u e s i t e md i s c r i m i n a t i o nf o r7 5m u l t i l e - e h o i c ei t e m s d i s t r i b u t i o no f o b j e c t i v ei t e m s d i s c r i m i n a t i o ni n d i c e s m e a n i n gb e i n gc o m m u n i c a t e d m e a n i n gb e i n gc o m m u n i c a t e di ni t e m s2 3 ，2 5 ，2 6 ，a n d2 7 l a n g u a g ea b i l i t yb e i n g t e s t e d r a t i n gs c a l e sf o rg u i d e dw r i t i n g 3 5 3 7 3 8 4 0 4 4 4 8 5 2 n加加虬砣如孔舛 l i s to f a b b r e v i a t i o n s l i s to f a b b r e v i a t i o n 8 t o e f l ：t e s to f e n g l i s ha saf o r e i g nl a n g u a g e s p s s ：s t a f f s t i c a lp r o d u c ta n ds e r v i c es o l u t i o n s u e s t c ：u n i v q s i t yo f e l e c t r o n i cs c i e n c ea n dt e c h n o l o g yo f c h i n a s i d ：s t u d e n ti d e n t i f i c a t i o n c t t ：c l a s s i c a lt e s tt h e o r y g t h e o r y ：g e n e r a l i z a b i l i t yt h e o r y i r t ：i t e mr e s p o n s et h e o r y e f l ：e n g l i s ha saf o r e i g nl a n g u a g e 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成硕士学位论文：厦统让壬基盆扭墓蚤达鲞厦量：。除论文中已经注明 引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公开发表或未 公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名：咱璐2 叼年3 月习日 学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连海事大学研究生学位论文提交、 版权使用管理办法”，同意大连海事大学保留并向国家有关部门或机构送交学位 论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将 本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或 扫描等复制手段保存和汇编学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于：保密口 不保密嘶请在以上方框内打“4 一) 论文作者签名：自弼裔导师签名：霉侈所 日期：彻7 年j 月司i t 1 1 l a n g u a g et e s t c h a p t e r 1i n t r o d u c t i o n 1 1 1d e f i n i t i o na n dd e v e l o p m e n to f l a n g u a g et e s t i n g t h e mc o u l db en os c i e n c ew i t h o u tm e a s u r e m e n t t e s t i n g ，i n c l u d i n ga l lf o r m so f l a n g u a g et e s t i n g , i so n ef o r mo fm e a s u r e m e n t j u s ta sw ew e i g ht o m a t o e s ，c o u n t a p p l e so rc h e c k t h ev o l u m eo fac o n t a i n e ro fw a t e r , w et e s tr e a d i n gc o m p r e h e n s i o no r l i s t e n i n gt od e t e r m i n et ow h a td e g r e et h e s ea b i l i t i e sa r ep r e s e n ti nl e a r n e r s c a r r o l l ( 1 9 6 8 ) p r o v i d e st h ef o l l o w i n gd e f i n i t i o no f a t e s t ： ap s y c h o o g j c a o fe d u c a t i o n a t e s ti sap r o c e d u r ed e s i g n e dt oe l i c it c e r t a i nb e h a v i o rf r o mw h i c ho n ec a nm a k ei n f e r e n c e sa b o u tc e r t a i n c b a r a c t e r i s t i c so fa ni n d i v i d u a l ( c a r r o l l1 9 6 8 ：4 6 ) f r o mt h i sd e f i n i t i o n , w ec a ns e et h a tat e s ti sam e a s u r e m e n ti n s t r u m e n td e s i g n e dt o e l i c i ta s p e c i f i cs a m p l eo f a n i n d i v i d u a l sb e h a v i o r s p o l s k y ( 1 9 7 8 ；1 9 8 1 ) d i v i d e dt h ed e v e l o p m e n to fl a n g u a g et e s t i n gi n t o3p e r i o d s ： t h e p r e - s c i e n t i t i c p e r i o d , t h e p s y c h o m e t r i c - s t r u c t u r a l i s t p e r i o d , a n d t h e “i n t e g r a t i v e - s o e i o l i n g u i s t i c ”p e r i o d t e s t i n gd u r i n gt h e1 9 mc e n t u r ya n dt h ee a r l yd e c a d e so f2 0 曲c e n t u r yw a ss u b j e c t i v e a n dd e p e n d e n to nt h ep e r s o n a li m p r e s s i o n so ft e a c h e r s s p o l s k y ( 1 9 7 8 ：2 1 7 ；1 9 8 1 ：1 钔 c a l l e dt h i sp e r i o da s p r e - s c i e n t i f i c ”p e r i o di nw h i c hi td e v o t e dn oa t t e n t i o nt os u c h m a t t e ma sr e l i a b i l i t ya n do b j e c t i v i t ya n dd i dn o tu s es t a t i s t i c a lm e t h o d s t h em o s t f r e q u e n t l yu s e dt y p e so ft e s tw i t h i nt h i sp e r i o dw e f ct r a n s l a t i o n , e s s a y w r i t i n g , d i c t a t i o n ，t e s t i n gk n o w l e d g eo f g r a m m a r , a n ds o m e t i m e so r a lt e s t s t h e p s y c h o m e t r i c - s t r u c t u r a l i s tp e r i o d f o l l o w e d t h e w e - s c i e n t i f i c ”p e r i o d o b j e c t i v et e s t sc a m ei n t ob e i n gs u c ha sm u l t i p l e - c h o i c eq u e s t i o n s s u b j e c t i v ew r i t t e n t e s t sb e g a nt ob es u p e r s e d e db yo b j e c t i v et e s t sb e c a u s et h el a t t e rc o u l db es c o r e d c o n s i s t e n t l ye v e nb yu n t r a i n e dp e o p l e t e s t i n gs p e c i a l i s t ss t a r t e dt oe v a l u a t et e s t s s t a t i s t i c a l l y , m e a s u r i n ge x a m i n a t i o n s r e l i a b i l i t ya n dv a l i d i t y i nt h i sp e r i o d , t e s t i n g c a nb eo b j e c t i v e ，p r e c i s e ，r e l i a b l e ，a n ds c i e n t i f i c ( s p o l s k y1 9 7 8 ：2 1 8 ) t h e i n t e g r a t i v e - s o c i o l i n g u i s t i c p e r i o ds t a r t e df r o mt h em i d d l e1 9 8 0 s i nt h i s 曼! 型! ! ! ! ! ! 翌! 竺! ! ! ! p e r i o d ，l a n g u a g ew a st e s t e di n c o n t e x ta n dt e s t sw e r ec o n c e r n e dp r i m a r i l yw i t h m e a n i n ga n dt h ec o m m u n i c a t i v ee f f e c t c o n s e q u e n t l y , i n t e g r a t i v et e s t gd i dn o ts e e kt o s e p a r a t el a n g u a g es k i l l si n t on e a td i v i s i o n s ；i n s t e a d , t h e yw e r eo f t e nd e s i g n e dt o a s s e s s l e a r n e r s a b i l i t y t o n s e t w o o r m o r es k i l l ss i m u l t a n e o u s l y ( h e a t o n 2 0 0 0 ：1 6 、 1 1 2 耐p e so fl a n g u a g et e s t s j u s ta st h e r ea r em a n yp u r p o s e sf o rw h i c hl a n g u a g et e s t sa r ed e v e l o p e d ，t h e r ea r e m a n yt y p e so fl a n g u a g et e a t s - - a c h i e v e m e n tt e s t s ，p r o f i c i e n c yt e s t s ，a p t i t u d et e s t sa n d d i a g n o s t i ct e s t s a c h i e v e m e n tt e s t sa r et h o s et h a tm e a s u r eh o wm u c ho fal a n g u a g e s o m e o n eh a sl e a r n e dc o n c e r n i n ga p a r t i c u l a rc o u r s eo fs t u d yo rp r o g r a mo f i n s t r u c t i o n ( d a v i e s1 9 9 0 ：1 1 ) a c h i e v e m e n tt e s t sa r et y p i c a l l yu s e da tt h ee n do fap e r i o do f l e a r n i n g ，as c h o o ly e a ro ra w h o l es c h o o lo rc o l l e g ec a r e e r t h ec o n t e n to ft h e s et e s t s i sas a m p l eo fw h a th a sb e e ni nt h es y l l a b u sd u r i n gt h et i m eu n d e rs c r u t i n y a v i e s 1 9 9 0 ：1 2 ) t h er e s u l t so fa c h i e v e m e n tt e s t sm a yb eu s e df o r ( 1 ) s t u d e n tg r a d i n ga n d p l a c e m e n ti nc o u r s c so ri ng r o u p sw i t h i nc o n r s e s ，a n d ( 2 ) t h ei d e n t i f i c a t i o no fa n y a r e a so fw e a k n e s s ( f i n o e c h i a r oa n ds a k o1 9 8 3 ：9 ) p r o f i c i e n c yt e s t sa l ed e s i g n e dt o m e a s u r eh o wm u c ho fal a n g u a g es o m e o n eh a sl e a r n e d t h ed i f f e r e n c eb e t w e e n p r o f i c i e n c yt e s t sa n da c h i e v e m e n tt e s t si st h a tt h el a t t e ro n e sa r eu s u a l l yd e s i g n e dt o m e a s u r eh o wm u c has t u d e n th a sl e a r n e df r o map a r t i c u l a rc o u r s eo rs y l l a b u s p r o f i c i e n c yt e s t sa r en o tr e l a t e dt oap a r t i c u l a rc o u r s eo fi n s t r u c t i o n , b u tm e a s u r e l e a r n e r s c o m m a n do ft h el a n g u a g e ( h e n n i n g2 0 0 1 ：6 、m a n yp r o f i c i e n c yt e s t sa r e s t a n d a r do n e s f o re x a m p l e ，t o e f lt e s t s ，t h ec a m b r i d g ee n g l i s he x a m i n a t i o n s ，a n d t h ec o l l e g ee n g l i s ht e s tb a n d4 ( c e t - 4 ) i nc h i n aa r ea l lp r o f i c i e n c yt e s t s a p t i t u d e t e s t sa l ei n t e n d e dt op r e d i c tf u t u r el a n g u a g el e a r n i n g u n l i k ep r o f i c i e n c yt e s t s a p t i t u d et e s t sh a v en oc o n t e n t ( n ot y p i c a ls y l l a b u s e sf o rt e a c h i n ga p t i t u d e lt od r a wo n b u tl i k et h ep r o f i c i e n c yt e s ti ti sc o n c u r r e dt op r e d i c tf u t u r ea c h i e v e m e n t ( h e n n i n g 2 0 0 1 ：们d i a g n o s t i ct e s t sa r eu s e dt oi d e n t i f ys t u d e n t s s t r e n g t h sa n dw e a k n e s s e s f o r e x a m p l e ，ad i a g n o s t i cp r o n u n c i a t i o n t e s tm a yb e u s e di om e a s u r et h el e a r n e r s p r o n u n c i a t i o no fe n g i i s hs o u n d s i tw o u l ds h o ww h i c hs o u n d sas t u d e n ti sa n di sn o t a b l et op r o n o u n c e i no r d e rt od e v e l o pr e m e d i e s d i a g n o s t i ct e s t sm a yb eu s e d 协f i n d o u th o wm u c hal e a r n e rk n o w sb e f o r eb e g i n n i n ga l a n g u a g ec o u r s e l a n g u a g et e s t sa r cg e n e r a l l yc l a s s i f i e di n t ov a r i o u sc a t e g o r i e si nt e r m so fu s e ， s c o r i n gm e t h o d s ，t e s t i n gm e t h o d s ，m o d e s ，p u r p o s e s ，e r e a n dt h e yc a nb em a d ea - 2 垒! 型：! 箜鱼! 旦型! 垒! ! 曼! g ! 虫曼型! ：! 塑! n u m b e ro fd i s t i n c t i o n s ：b e t w e e ns u b j e c t i v ea n do b j e c t i v et e s t s ，b e t w e e nd i r e c ta n d i n d i r e c t t e s t s ， b e t w e e n d i s c r e t e - p o i n t a n d i n t e g r a t i v et e s t s , b c o , t w e e n c r i t e r i o n - r e f e r e n c e dt e s t sa n dn o r m - r e f e r e n c e dt e s t s ( h e n n i n g2 0 0 1 ：4 ) s u b j e c t i v e v e r s u s0 b j e c t i v et e s t s u s u a l l yt h e s et y p e so ft e s t sa r ed i s t i n g u i s h e db e t w e e nm e t h o d so fs c o r i n g s u b j e c t i v et e s t sa r eo n e st h a ta r es c o r e da c c o r d i n gt ot h ep e r s o n a lj u d g e m e n to ft h e m a r k e r l i k et r a n s l a t i o na n de s s a y - w r i t i n g s u b j e c t i v et e s t sh a v et h ea d v a n t a g eo f m e a s u r i n gl a n g u a g es k i l l sn a t u r a l l y h o w e v e r , s u c ht e s t sa r en o ta b l et ob es c o r e d v e r yq u i c k l ya n dc o n s i s t e n t l y b yc o n t r a s t , o b j e c t i v et e s t sc a nb em a r k e dw i t h o u tt h e u s eo ft h ee x a l u l n e r sp e r s o n a lj u d g e m e n ts u c ha sm u l t i p l e - c h o i c eo rm a t c h i n gt e s t s ， a n dc a nb es c o r e dq u i c k l ya n d c o n s i s t e n t l y 一d i r e e tv e r s u si n d i r e c t1 b t s t e s t i n go rat e s ti ss a i dt o b ed i r e c tw h e ni tr e q u i r e sc a n d i d a t e so rs t u d e n t st o p e r f o r mp r e c i s e l yt h es k i l lt ob em e a s u r e d ( h u g h e s1 9 8 9 ：1 5 ) i f t e s t e r sw a n tt ok n o w h o ww e l lc a n d i d a t e sc a nw r i t ec o m p o s i t i o n s ，t h e yg e tt h e mt ow r i t ec o m p o s i t i o n s d i r e c tt e s t i n gi se a s i e rt oc a r r yo u tw h e nhi si n t e n d e dt om e a s u r et h ep r o d u c t i v es k i l l s o f s p e a k i n ga n dw r i t i n g i n d i r e c tt e s t i n ga t t e m p t st om e a s u r et h ea b i l i t i e sw h i c hu n d e r l i et h es k i l l si nw h i c h t e s t e r sa r ei n t e r e s t e d ( h u g h e s1 9 8 9 ：1 5 ) o n es e c t i o no ft h et o e f l ，f o re x a m p l e ，i s d e v e l o p e da sa ni n d i r e c tt e s ti no r d e rt om e a s u r et h ec a n d i d a t e s w r i t i n ga b i l i t i e s h o w e v e r , h e n n i n g ( 2 0 0 1 ) d e f i n e sd i r e c ta n di n d i r e c tt e s t s 舔f o l l o w s i th a sb e e n s a i dt h a tc e r t a i nt e s t s s u c ha sr a t i n g so fl a n g u a g ei 】s ci nr e a la n du n c o n t r i v e d c o m m u n i c a t i o ns i t u a t i o n s ，a r et e s t i n gl a n g u a g ep e r f o r m a n c ed i r e c t l y , w h e r e a so t h e r t e s t s ，s u c ha sm u l t i p l e - c h o i c er e c o g n i t i o nt e s t s ，a r eo b l i q u e l yo ri n d i r e c t l yt a p p i n gt r u e l a n g u a g ep e r f o r m a n c e a n dt h e r e f o r ea r el e s sv a l i df o r m e a s u r i n gl a n g u a g e p r o f i c i e n c y a ni n t e r v i e wm a yb et h o u g h to fa s m o r ed i r e c tt h a nat e s tf o r m e a s u r i n go v e r a l ll a n g u a g ep r o f i c i e n c y ac o m e x t u a l i z e dv o c a b u l a r yt e s tm a yb e t h o u g h tm o r en a t u r a la n dd i r e c tt h a nas y n o n y m - m a t c ht e s t ( h e n n i n g2 0 0 1 ：5 ) - d i s c r e t e - p o i n tv e r s u si n t e g r a t i v et e s t s d i s c r e t e - p o i mt e s t sa r eb a s e do nt h et h e o r yt h a tl a n g u a g ec o n s i s t so fd i f f e r e n tp a r t s ( e g g r a m m a r , s o u n d s ，a n dv o c a b u l a r y ) a n dd i f f e r e n ts k i l l s ( c g 1 i s t e n i n g , s p e a k i n g ， r e a d i n g , a n d w r i t i n g ) a n dt h e s ec o n s i s to fe l e m e n t st h a t啪b et e s t e d s e p a r a t e l y ( h e n n i n g2 0 0 1 ：5 ) t e s t st h a ta f em a d eu po fm u l t i p l e - c h o i c ei t e m sa r e d i s e r e t e - p o i n tt e s t s i n t e g r a t i v et e s t sr e q u i r ec a n d i d a t e so rs t u d e n t st ou s eag r e a t e r 3 竺! ! 堕! ! ! ! ! 塑! ! ! ! ! ! ! v a r i e t yo fl a n g u a g ea b i l i t i e sc o n c u r r e n t l y , s u c ha sad i c t a t i o nt e s t ，b e c a u s ei tr e q u i r e s c a n d i d a t e so rl e a r n e r st ou s ek n o w l e d g eo fg r a m m a r , v o c a b u l a r y , a n dl i s t e n i n g c o m p r e h e n s i o r lb e s i d e sd i c t a t i o nt e s t ，i n t e g r a t i v et e s t sa l s oi n c l u d er a n d o mc l o z e ， o r a li n t e r v i e w sa n do r a li m i t a t i o nt a s k s 一 c r i t e r l o n r e f e r e n e ev e r s u sn o r m - r e f e r e n c e dt e s t s a n o t h e rs e to fc o n t r a s t i n gt e s t si st h a to fc r i t e r i o n - r e f e f e n c e da n dn o r m - r e f e r e