（外国语言学及应用语言学专业论文）大学英语分级测试命题细则研究.pdf

火学英语分级测试命题细则研究 摘要 随着各种考试的普及，考试开发受到了前所未有的重视。命题细则一考试开发、 设计的第一步一即考试的设计蓝图，也吸引了越来越多的注意力。命题细则在考 试开发过程中起着至关重要的作用，其健全性和科学性是确保考试合理使用和基 于考试分数推断有意义的必要前提。 本篇硕士论文以现代语言测试理论为指导，全面考察湖南大学大学英语分级 测试( c e p t ) 命题细则的合理性。通过对命题细则内容和结构、测试构念效度及 命题人员和考生问卷调查结果等分析，检验c e p t 命题细则的制定是否全面、科 学、合理。所有的数据都使用统计软件s p s s 分析。整个命题细则研究分两部分。 第一部分研究命题细则主要内容和结构；第二部分根据构念效度检测结果、命题人 员和考尘反馈对命题细则做出评价并提出修改意见。两部分均采用定性与定量相 结合的研究方法。 研究结果表明：大学英语分级测试命题细则内容和结构大体兼顾了考试的信 度、效度、考试任务的交互性、真实性，在构念效度方面表现出合理性，出题人 员和考生基本认同，但还有一些不足需要改进。根据测试构念效度检测和问卷调 查结果，命题细则制定小组对命题细则进行了修改，修改内容涉及考试结构、考 试输入材料、考试程序等。此外，一些由于时间、人力、物力限制不能马上实施 的修改意见也已纳入考虑范围，如：听力录音材料中应包括不同国别的口音，以 提高测试任务的真实性；写作部分可考虑增加一篇便条写作，以提高测试信度等 等。 以b a c h m a n 提出的交际语吉能力和交际语言测试理论为依据，以效验理论为 基础，本研究对以测试大学生交际语言能力为目标的湖南大学大学英语分级测试 命题细则进行了全面分析、评价和完善。作为湖南大学本科英语分级测试的重要 文件，命题细则将为丌发设计出更有效地测试大学生交际语吉能力的测试服务。 同时，该研究涉及的考试命题细则评价方式也将对其它考试命题细则的编写及研 究提供实际借鉴意义。 关键词：考试命题细则；交际语言能力；交际语言测试 a b s t r a c t w i t ht h ep o p u l a r i z a t i o no fv a r i o u sk i n d so ft e s t s ，u n p r e c e d e n t e di m p o r t a n c eh a s b e e na t t a c h e dt ot e s td e v e l o p m e n t t e s ts p e c i f i c a t i o n s ，t h ev e r y f i r s ts t e po ft e s t d e v e l o p m e n ta n dt e s td e s i g na n da l s ot h eb l u ep r i n t h a v er e c e i v e dm o r ea n dm o r e a t t e n t i o n ，t o o t e s ts p e c i f i c a t i o n sp l a ya ni m p o r t a n tr o l ei nt e s td e v e l o p m e n tw h o s e s o u n d n e s sa n ds c i e n t i f i c n e s sa r et h ep r e r e q u i s i t et oe n s u r i n gt h ea p p r o p r i a t eu s ea n n m e a n i n g f u l n e s so ft h ei n f e r e n c ed r a w n f r o mt h et e s tr e s u l t b a s e do nm o d e r nl a n g u a g et e s t i n gt h e o r i e s ，t h i st h e s i st r i e st oi n v e s t i g a t ei na n a i t - a r o u n dw a yc o l l e g ee n g l i s hp l a c e m e n tt e s ts p e c i f i c a t i o n so fh u n a nu n i v e r s i t y t h r o u g ha n a l y s i so ft h ek e yc o n t e n t sa n df o r m a to fc e p ts p e c i f i c a t i o n s ，c o n s t r u c t v a l i d a t i o na sw e l la si t e mw r i t e r s a n ds a m p l ee x a m i n e e s q u e s t i o n n a i r er e s u l t s ，t h e c o m p r e h e n s i v e n e s s ，s c i e n t i f i c n e s s a n d r e a s o n a b i l i t y o fc e p ts p e c i f i c a t i o n s a r e c h e c k e d a l ls t a t i s t i c a la n a l y s e sa r ep e r f o r m e du s i n gs p s s13 0 t h ew h o l es t u d y 1 s d i v i d e di n t ot w op a r t s t h ef i r s tp a r tf o c u s e so nt h ea n a l y s i so ft h ek e yc o n t e n t sa n d f o r m a t w h i l et h es e c o n dp a r tl a y s s t r e s so nt h ea p p l i c a t i o n ，e v a l u a t i o n a n d m o d i f i c a t i o no fc e p ts p e c i f i c a t i o n s ，w i t ht h ec o m b i n a t i o no fb o t hq u a l i t a t i v e a n d q u a n t i t a t i v es t u d ym e t h o d s t h er e s u l t ss h o wt h a tc e p ts p e c i f i c a t i o n sb a s i c a l l yb a l a n c ew e l la m o n gt e s t r e l i a b i l i t y ，v a l i d i t ya n dt h ei n t e r a c t i v e n e s sa sw e l la sa u t h e n t i c i t yo ft e s tt a s k s ，w h i c h i s d e m o n s t r a t e di nt h er e a s o n a b i l i t yo fc o n t e n t s ，f o r m a ta n dc o n s t r u c tv a l i d i t y h o w e v e r ， t h e r ea r es t i l ls o m ea s p e c t st ob ei m p r o v e d r e v i s i o n sh a v e b e e nm a d et o c e p t s p e c i f i c a t i o n s i nt e r m so ft e s ts t r u c t u r e ，t e s tj n p u ta n dt e s tp r o c e d u r e s i n t h e m e a n w h i l e ，s o m es u g g e s t i o n sf o rr e v i s i o nh a v e b e e nt a k e ni n t o c o n s i d e r a t i o nw h i c h c a n n o tb ec a r r i e do u ti m m e d i a t e l yd u et ot h el i m i to ft i m e ，m a t e r i a lo rh u m a nr e s o u r c e s ， s u c ha s ：t oi n c l u d em o r ea c c e n t si nt h el i s t e n i n gi n p u t ，s oa st oe n h a n c e t h ea u t h e n t i c i t y o ft e s tt a s k s ；t oi n c l u d ean o t e - w r i t i n gs e c t i o ni nt h ew r i t i n gt e s t t oe n h a n c et h e r e l i a b i l i t y ，e t c b a s e do nb a c h m a n ，s t h e o r i e s o fc o m m u n i c a t i v el a n g u a g ea b i l i t y a n d c o r n m u n i c a t i v el a n g u a g et e s t i n g ，w i t hr e f e r e n c et oc o n s t r u c tv a l i d a t i o nt h e o r i e s ，t h i s s t u d va n a l y z e s ，e v a l u a t e sa n dp e r f e c t sc e p ts p e c i f i c a t i o n sa i m i n gt oa s s e s sc o l l e g e s t u d e n t s ，c o m m u n i c a t i v el a n g u a g ea b i l i t y a si m p o r t a n td o c u m e n t so fc e p t o fh u n a n u n i v e r s i t v ，t h e yw i l l b e t t e rs e r v et h ep u r p o s eo fd e v e l o p i n ga n dd e s i g n i n gl a n g u a g e t e s t sa s s e s s i n gm o r ee f f e c t i v e l yc o l l e g es t u d e n t s c o m m u n i c a t i v el a n g u a g ea b i l i t y a t 人学英语分级测试命题细则研究 t h es a m et i m e ，t h es p e c i f i c a t i o ne v a l u a t i o np r o c e s si n v o l v e dm u s tb eo fe m p i r i c a l r e f e r e n c em e a n i n gt ot h o s ew r i t i n ga n dr e s e a r c h i n go nt e s ts p e c i f i c a t i o n s k e yw o r d s ：t e s ts p e c i f i c a t i o n s ；c o m m u n i c a t i v el a n g u a g ea b i l i t y ；c o m m u n i c a t i v e l a n g u a g et e s t i n g l v 硕l j 学化论义 l i s t so ft a b l e s t a b l e3 1c h a r a c t e r i s t i c so fi t e mw r i t e r s 2 1 t a b l e3 2c h a r a c t e r i s t i c so fs a m p l et e s te x a m i n e e s 2 1 t a b l e4 1t h ei n t e r a c t i v e n e s so fc e p t 2 5 t a b l e4 2t h ed i s t r i b u t i o no fc e p t l i s t e n i n gs k i l l si nt a p e s t r ye n g l i s h 2 6 t a b l e4 - 3f o r m a to fl t ( s e c t i o n l ) 2 7 t a b l e4 4f o r m a to fl t ( s e c t i o nb 1 2 7 t a b l e4 5f o r m a to fl t ( s e c t i o nc 1 2 7 t a b l e4 6f o r m a to fl t ( s e c t i o nd 1 2 8 t a b l e4 7t h ed i s t r i b u t i o no fr e a d i n gs k i l l si nt a p e s t r ye n g l i s h 3 0 t a b l e4 8f o r m a to fr t ( s e c t i o n 1 3 0 t a b l e4 9f o r m a to fr t ( s e c t i o ni ；1 3 1 t a b l e4 1 0f o r m a to fr t ( s e c t i o n ( ：1 3 1 t a b l e4 11f o r m a to fr t ( s e c t i o nd 1 3 1 t a b l e4 1 2c o m p a r i s o nb e t w e e nc e p tb e n c h m a r k sa n dc l bb e n c h m a r k s 3 3 t a b l e4 1 3s c o r i n gc r i t e r i af o rw r i t i n g 3 7 t a b l e4 1 4i n t e r n a lc o r r e l a t i o na n a l y s i so fc e p t2 0 0 7 4 1 t a b l e4 1 5k m o & b a r t l e t t st e s t 4 3 t a b l e4 1 6t 0 t a lv a r i a n c ee x p l a i n e d 4 4 t a b l e4 1 7f a c t o rm a t r i xa f t e rr o t a t i o n 4 4 t a b l e4 1 8i t e mw r i t e r s e v a l u a t i o no fr e l a t e dc o n t e n t so nt e s td e s i g ni n c e p ts p e c i f i c a t i o n s 4 6 t a b l e4 1 9i t e mw r i t e r s e v a l u a t i o nc o n c e r n i n gt e s ti n p u t 4 7 t a b l e4 2 0i t e mw r i t e r s e v a l u a t i o no ft h ei t e m s ( 1 ) 4 8 t a b l e4 2 1i t e mw r i t e r s e v a l u a t i o no ft h ei t e m s ( 2 ) 4 9 t a b l e4 2 2i t e mw r i t e r s e v a l u a t i o no fu s e f u l n e s so fc e p ts p e c i f i c a t i o n s 4 9 t a b l e4 2 3i t e mw r i t e r s a n ds t u d e n t s c o m m e n t so nc e p ts p e c i f i c a t i o n s 5 2 v l l 人学英语分级测试命题细则研究 l i s to ff i g u r e s f i g u r e2 1c o m p o n e n t so fc o m m u n i c a t i v el a n g u a g ea b i l i t yi n c o m m u n i c a t i v el a n g u a g eu s e ( b a c h m a n ，1 9 9 0 ：8 5 ) 1 0 v 1 1 1 t e m c e t c e p t c l b c l a c l t n r m c r m e s l e a p l e l t s l c m c m c q r c l i s to fa b b r e v i a t i o n s t e s tf o re n g l i s hm a j o r s c o l l e g ee n g l i s ht e s t c o l l e g ee n g l i s hp l a c e m e n tt e s t c a n a d i a nl a n g u a g eb e n c h m a r k s c o m m u n i c a t i v el a n g u a g ea b i l i t y c o m m u n i c a t i v el a n g u a g et e s t i n g n o r m r e f e r e n c e dm e a s u r e m e n t c r i t e r i o n r e f e r e n c e dm e a s u r e m e n t e n g l i s ha sas e c o n dl a n g u a g e e n g l i s hf o ra c a d e m i cp u r p o s e s i n t e r n a t i o n a le n g l i s hl a n g u a g et e s t i n gs y s t e m l i s t e n i n gc o m p r e h e n s i o n m u l t i p l ec h o i c e m u l t i p l ec h o i c eq u e s t i o n r e a d i n gc o m p r e h e n s i o n i x 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果 由本人承担。 辄译小豸 吼7 妇n 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位 沦文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密囤。 作者签名： 导帅签名： ( 请在以上相应方框内打“4 ”) 月且 月r 日 j 吟6 1 1 一 年年 0 1 1 ， 矽1 tj 1 1 】期期 中 r ， 协莆 c h a p t e r 1i n t r o d u c t i o n 1 1b a c k g r o u n do ft h es t u d y n o w a d a y s ，t e s t sa r ep a r to fm o d e r nl i f e t h e ya r ec l o s e l yt i e d t oa n dc a ne v e n d e c i d eap e r s o n sf u t u r es t u d y ，c a r e e r ，i n c o m e ，s o c i a ls t a t u s ，s om u c h a se v e r ya s p e c to t o n e ，sw h o l el i f e a 1 0 n gw i t ht h ei n c r e a s i n gg r o w t ho ft h e i r ! m p o r t 卸，t e s t s h 8 垤 d r a w nm o r e a n dm o r ea t t e n t i o n a n dm a n yq u e s t i o n s h a v e b e e n p u t t o 刑a r d c o n s e q u e n t l y a m o n gw h i c hw h e t h e r t h et e s ti s a l li m p a r t i a l ，f a i r , o p e ns y s t e mt ot h e e x a m i n e e sh a sb e c o m e ac r u c i a lo n e f o rt e s td e v e l o p e r s ， 。oe n s u r et e s t s ? r e c o n s t r u c t e dr a t i o n a l ly s c i e n t i f i c a l l y a n dt om a k es u r ei n f e r e n c e sd r a w nf r o mt e s l r e s u l t sa r er e l i a b l e ，v a l i dh a v ea l w a y sb e e nc h a l l e n g e sa n dt h e i rd u t y a tt h es a m et l m e a sat e s ti sn o tat h i n gi na n do fi t s e l f ，i ti sat h i n gd e f i n e db yi t si m p a c t o nt h ep e o p l e w h ou s ei t ( d a v i d s o n l y n c h2 0 0 2 ：1 ) ，g r e a ti m p o r t a n c e h a sb e e na t t a c h e d ot h e c o n s e q u e n c eo ft e s t s ，n a m e l y ，w a s h b a c k i no r d e rt o i n t r o d u c ep o s i t i v ew a s h b a c kf o r t e s td e v e l o p e r s ，c o m p r e h e n s i v et e s ts p e c i f i c a t i o n sa r ei n d i s p e n s a b i e p r e r e q u l s i t e s at e s ts p e c i f i c a t i o ni saf o r m a ld o c u m e n ta b o u t w h a tw i l lb et e s t e da n dh o w t ot e s t l ti sag e n e r a t i v eb l u e p r i n tf o rt e s td e s i g na n df r o mw h i c h t e s ti t e m so rt a s k sc a 鼍b e p r o d u c e d aw e l l - w r i t t e n t e s ts p e c i f i c a t i o nc a ng e n e r a t em a n ye q u i v a i e n t t e s tt a s k s f d j v i d s o n & l y n c h2 0 0 2 ：1 2 ) ，a n dg o o dt e s ts p e c i f i c a t i o n sc a n e n h a n c et h e1 m p a c o t t e s t i n gi nap o s i t i v ew a y at e s ts p e c i f i c a t i o ni s t h ew r i t t e ne x p r e s s l o n o ft h e u n d e r p i n n i n gr a t i o n a l eo fat e s t ，t h a ti s ，t h ec o n s t r u c t ，w h i c h r e f l e c t st h et h e o r yt h et e s t c o n t e n ti sb a s e do n a st h eb l u e p r i n t ，at e s ts p e c i f i c a t i o ni st h ee o r n m e n c e m e n t l nt e s t d e v e l o p m e n ta n d p l a y sa ni r r e p l a c e a b l er o l ei ng u a r a n t e e i n gt h e u s e f u l n e s so fa t e s t g r a d u a l l vr e a l i z i n gt h ei m p o r t a n c eo ft e s ts p e c i f i c a t i o n s ，l a n g u a g e d e v e l o p e r so t t e m 4a n dt e m 8i nc h i n ah a v eb e g u n t od r a wu pa n dc a r r yo u tt e s ts p e c l f l c a t l o n s1 n t h e1 9 9 0 ，s ，a n ds o m ea c h i e v e m e n t sh a v eb e e na t t a i n e d h o w e v e r ，w h e n i tc o m e st ot h e w r i t i n ga n de v a l u a t i o no fs p e c i f i c a t i o n s ，t h e r ei sa s e r i o u sl a c ko fa t t e n t i o n ，l ns p l t eo f t h e i rv i t a ls i g n i f i c a n c e ，e s p e c i a l l yi nc h i n a + c o l l e g ee n g l i s hp l a c e m e n tt e s t o fh u n a nu n i v e r s i t y ( h e r e a f t e rc e p t ) i s a n e w l v d e v e l o p e do n e - y e a r r o u n dc r i t e r i o n r e f e r e n c e dp l a c e m e n t t e s tw h i c hl sa d o p t e d a n da d m i n i s t e r e di nh u n a nu n i v e r s i t y t oe v a l u a t e t h ef r e s h m e n s c o m m u n i c a t i v e 1 a n g u a g ea b i l i t yi ne n g l i s ha n do n ey e a rl a t e r a st h e f r e s h m e nw i t hd i v e r s ee x p e 。1 e n c e a sw e l la se d u c a t i o n a la n dc u l t u r a lb a c k g r o u n d c o m ef r o md i f f e r e n tp 。o v l n c e sa n d a r e a sw h e r ee d u c a t i o n a ld e v e l o p m e n t s a r ed i s t i n c ta n dd i s s i m i l a rc o l i e g e e n t r a n c e 1 一 。 一型i i 丝i 鳖垫墅些塑二一 ! ! g l = ! 自= 自_ 鲁自 e = ! 自! g # 目目目_ = ! = = = 自= | ! ! = = = = = = = j 目。一 e n g l i s hp a p e r s t h a ta r en o te q u a t e do n t o ac o m m o ns c a l e a r e a d o p t e d ln e l r d e r f o r m a n c er e s u l t sa r ea l s od i v e r s ew i t hal a r g es c o r er a n g e s t i l l ，n od e c i s i o n sa b o u t t h e i rl a n g u a g ea b i l i t yi ne n g l i s hc a nb em a d ea c c o r d i n g t ot h e i rp e r f o r m a n c er e s u l t s t h ev a r i o u sd e v e l o p m e n t so fe n g l i s ha b i l i t yl e v e l si nn a t u r a lc l a s s e s w h e nt h e yo b t a i n a d m i s s i o ni n t ou n i v e r s i t i e sa n dc o l l e g e sr e m a i nam a j o rh u r d l et oe n g l i s ht e a c h i n ga n d t e s t i n g i nv i e wo ft h i s ，p l a c e m e n tt e s t i so fv i t a li m p o r t a n c ea n da b s o l u t en e c e s s i t y c e p ti ss u c hap l a c e m e n tt e s tt h a t i su s e db yt h eu n i v e r s i t ya sat o o lt od e c i d et h e l e v e lo ft h et e s tt a k e r s l a n g u a g ea b i l i t yi ne n g l i s ha n dt oc l a s s i f yt h e mi n t ot h e b e s t a v a i l a b l 邑c l a s s e st h a t s u i tt h e i rl e a r n i n gn e e d sa n dt h a t a r em o s tl i k e l yt of a c i l i t a t e l e a r n i n g o n ey e a rl a t e lt h es t u d e n t sw i l l t a k ep a r ti nc e p ta g a i n ，t h e i re n g l i s h p r o f i c i e n c y w i l lb er e a s s e s s e da n dt h e ym a yc h a n g ec l a s s e sa c c o r d i n gt o t n e l r p e r f o r m a n c e r e s u l t s i ti sc r y s t a lc l e a rt h a tc e p ti sat e s tw h i c hw i l lh a v eag r e a ti m p a c to nt h ew h o l e c 0 1 1 e g ee n g l i s hs t u d yo ft h ef r e s h m e n t oe n s u r et h ea p p r o p r i a t e u s eo ft h et e s ta n dt h e m e a n i n g f u l n e s so fi n f e r e n c e sm a d ef r o mt h et e s ts c o r e s ，t e s td e v e l o p e r ss h o u i dm a k e s u r eo ft h es o u n d n e s sa n ds c i e n t i f i c n e s so ft h es p e c i f i c a t i o n si n t h ev e r yf i r s ts t e p t h ec e p ts p e c i f i c a t i o nw r i t i n gg r o u pi sm a d eu po f19m e m b e r s ，w i t h8e n g l i s h t e a c h e r si nf o r e i g nl a n g u a g ec o l l e g eo fh u n a nu n i v e r s i t y a n d1 1p o s t g r a d u a t e s ， i n c l u d i n g2i ng r a d et h r e e ，2i ng r a d et w o a n d7i ng r a d eo n e t h eg r o u pi sf u r t h e r d i v i d e di n t of o u rs u b g r o u p s ：l i s t e n i n g ，r e a d i n g ，w r i t i n ga n dt h eo v e r a l ls p e c i f i c a t l o n w r i t i n gs u b g r o u p s ，w i t ht w ot e a c h e r sa n dt w ot of o u rp o s t g r a d u a t e s t u d e n t s1 ne a c n s u b g r o u p ( p r o f e s s o rx i a o ，l e a d e ro ft h ew h o l ep r o j e c ta n ds p e c i f i c a t i o nw r i t i n gg r o u p t a k e sp a r ti ne a c hs u b g r o u pa n ds u p e r v i s e st h ew h o l es p e c i f i c a t i o nw r i t i n gp r o c e s s ) t h es u b g r o u p sa r ed i v i d e da c c o r d i n gt op e r s o n a le x p e r i e n c ea n d r e s e a r c hi n t e r e s t w l t n e x p e r i e n t i a lt e a c h e r sp l a y i n g t h el e a d i n gr o l e ，g u i d i n gm e m b e r si ne a c hs u b g r o u p t h ep i l o tt e s td e r i v e df r o mc e p ts p e c i f i c a t i o n sw a ss u c c e s s f u l l yc a r r i e d o u ti n m a r c h 2 0 0 7 a n dc e p tw a sf o r m a l l ya d m i n i s t r a t e di ns e p t e m b e rt h a ty e a r t h et e s t i n c l u d e sf o u rs u b t e s t s ：l i s t e n i n g ，r e a d i n g ，w r i t i n ga n ds p e a k i n gt e s t s t h el a n g u a g e p r o f i c i e n c yl e v e l si n c e p ta r cs p e c i f i e di n t o0 1 0 - 0 5 0l e v e l s a c t u a l l y ， c e p t s p e c i f i c a t i o n sa n da l lt h e s el e v e l sa r ee s t a b l i s h e dw i t hr e f e r e n c e t oc a n a d i a nl a n g u a g e b e n c h m a r k s2 0 0 0 d u et ol i m i to fr e s o u r c e s ，t h eo r a lt e s t c a nn o tb ea d m i n i s t r a t e di n 1 a r g es c a l et oa 1 1t h es t u d e n t sa si sp l a n e dt o o n l yt h o s ew h o a c h i e v e0 5 0o ra b o v ew i l l t a k ep a r ti nt h eo r a lt e s t ，w h i c ht u r n so u tt ob eam i s f o r t u n e 2 1 2o b je c t i v ea n dr e s e a r c hq u e s t i o n s t h i ss t u d ya n a l y z e sa n de v a l u a t e sc o l l e g ee n g l i s hp l a c e m e n tt e s ts p e c i f i c a t i o n s o fh u n a nu n i v e r s i t yi na na l l a r o u n dw a y , t r y i n gt of i n do u tt h ea d v a n t a g