（英语语言文学专业论文）关于交际任务型民航英语测试的效度研究.pdf

签名荔件双导师躲 幺浚日期：加知、歹、i7 西南科技大学硕士研究生学位论文第1 页 a b s t r a c t a c c o r d i n gt o t h es t a t i s t i c sc a r r i e d b yi c a o ( i n t e r n a t i o n a l c i v i la v i a t i o n o r g a n i z a t i o n ) ，i n s u f f i c i e n te n g l i s hl a n g u a g ep r o f i c i e n c yo ff l i g h tc l e wo rc o n t r o l l e r s p l a y s ac o n t r i b u t i n gr o l ei ns o m es e v e n t yp e r c e n to fc i v i la v i a t i o na c c i d e n t sa n d i n c i d e n t s f o rt h es a k eo ff l i g h ts a f e t y , t h ei m p o r t a n c eo fe n g l i s ha sr a d i o t e l e p h o n y c o m m u n i c a t i o nl a n g u a g ei si n c r e a s i n g l yh i g h l i g h t e d t h ei n t r o d u c t i o no fi c a ol p r s ( l a n g u a g ep r o f i c i e n c yr e q u i r e m e n t s ) i n2 0 0 3h a sp o s e dag r e a tc h a l l e n g ef o rc i v i l a v i a t i o ne n g l i s ht r a i n i n ga n dt e s t i n g i no r d e rt oc a r r yo u t “i c a ol a n g u a g ep r o f i c i e n c y r e q u i r e m e n t s ”，c a a c ( c i v i la v i a t i o na d m i n i s t r a t i o no fc h i n a ) a s s i g n e dc a f u c ( c i v i l a v i a t i o nf l i g h tu n i v e r s i t yo fc h i n a ) t od e v e l o pa n dc o n d u c tc i v i la v i a t i o ne n g l i s ht e s t i ne a r l y2 0 0 7 c u r r e n t l y , a e t s ( a v i a t i o ne n g l i s ht e s t i n gs y s t e m ) h a sc o m ei n t of o r m o nt h ew h o l e ，a n dh o w e v e r , t h e r ea r es o m ea s p e c t sf a l l i n gs h o r to fb e i n gf u l l y s a t i s f a c t o r y j u d g i n gf r o mt e s t i n gn a t u r e ，c i v ，i la v i a t i o ne n g l i s ht e s t f a l l si n t ot h e c a t e g o r yo fc o m m u n i c a t i v ea n dt a s k - b a s e de n g l i s ht e s ta n di t sv a l i d i t yf r a m e w o r k d i f f e r s g r e a t l y f r o mt h eg e t ( g e n e r a le n g l i s h t e s t ) ，a n dt h e r e f o r e ，i n d u s t r y c h a r a c t e r i s t i c sa n dh i g hs t a k e sn a t u r eo fr a d i o - t e l e p h o n yc o m m u n i c a t i o nm e r i tc l o s e i n v e s t i g a t i o ns ot h a ts i t u a t i o n a la n di n t e r a c t i o n a la u t h e n t i c i t yc o u l db em a i n t a i n e d b y t h eu s eo fs a m p l ea n a l y s i sa n dq u e s t i o n n a i r es u r v e y , t h i st h e s i sa i m st oe s t a b l i s ha n d a n a l y z et h ev a l i d i t yf r a m e w o r ku n d e r l y i n gc i v i la v i a t i o ne n g l i s ht e s ta n df u r t h e r m o r e p u tf o r w a r ds o m ev i a b l em e a s u r e sw i t hav i e wt op r o d u c i n gs o m ep o s i t i v ew a s h b a c k e f f e c to ni n t e r e s t e dp a r t i e s t h em a i ni s s u e sa d d r e s s e di n t h i st h e s i sa lea sf o l l o w s ：c i v i l a v i a t i o ne n g l i s ht e s t ，t e s tt a k e rc h a r a c t e r i s t i c s ，c o n t e x tv a l i d i t y , t h e o r y - b a s e dv a l i d i t y , s c o r i n gv a l i d i t y ,a n de x t e r n a lv a l i d i t y ( c r i t e r i o n r e l a t e dv a l i d i t ya n dc o n s e q u e n t i a l v a l i d i t y ) k e yw o r d s ：c i v i la v i a t i o ne n g l i s ht e s t ；t e s tt a k e rc h a r a c t e r i s t i c s ；c o n t e x tv a l i d i t y ； t h e o r y - b a s e dv a l i d i t y ；s c o r i n gv a l i d i t y ；e x t e r n a lv a l i d i t y 西南科技大学硕士研究生学位论文第1 i 页 摘要 根据i c a o ( i n t e r n a t i o n a lc i v i la v i a t i o no r g a n i z a t i o n ，国际民航组织) 统计， 在世界民航所有的飞行事故和事件中，有7 0 是由于飞行员和空中交通管制员的通 话语言障碍造成的，因此，为了保证飞行安全，英语作为陆空通话语言的重要地位 日渐凸显。2 0 0 3 年“i c a 0 语言能力要求 标准的出台对民航英语培训和测试提出 了新要求。为了执行“i c a o 语言能力要求”标准，中国民航总局于2 0 0 7 年初在中 国民航飞行学院建立了民航英语测试中心，目前民航英语测试系统已基本开发完 成，但尚有需要改进的地方。从测试类型来讲，民航英语测试属于一种交际任务 型语言测试，其效度框架异于普通英语测试，因此在民航英语测试系统开发过程 中要充分考虑到陆空通信语言的行业特征与高干性特点，从而保证测试任务的情 景交际真实性。通过例证分析和问卷调查，本论文旨在对民航英语测试的效度框 架进行构建分析进而提出一些可行性的建议以期促进其积极反拨作用，其中研究 重点包括受试者特征、情景效度、理论效度、评分效度、外部效度( 标准参照效 度以及后续效度) 。 关键词：民航英语测试受试者特征情景效度理论效度评分效度外部效度 i c a e a i c a o i e i t s i i 玎 l p r s m c q o e t o p i p r i c e s a q t l u t s e i n t e r n a t i o n a lc i v i la v i a t i o ne n g l i s ha s s o c i a t i o n i n t e m a t i o n a lc i v i la v i a t i o no r g a n i z a t i o n i n t e m a t i o n a le n g l i s hl a n g u a g e t e s t i n gs y s t e m i t e mr e s p o n s e t h e o r y l a n g u a g ep r o f i c i e n c yr e q u i r e m e n t s m u l t i p l e - c h o i c eq u e s t i o n s o c c u p a t i o n a lt e s t o r a lp r o f i c i e n c yi n t e r v i e w p r o f i c i e n c yr e q u i r e m e n t si nc o m m o ne n g l i s h s h o r t - a n s w e rq u e s t i o n s t a r g e tl a n g u a g eu s e t e s to fs p o k e ne n g l i s h co n t e n t s c h a p t e r o n ei n t r o d u c t i o n l 1 1r e s e a r c hb a c k g r o u n d 1 1 2r e s e a r c ho r i e n t a t i o na n dc e n t r a lr e s e a r c hq u e s t i o n s 2 1 3t h e s l so r g a n i z a t i o n 3 c h a p t e r t w ol i t e r a t u r er e v i e wa n dt h e o r i e sa p p l i e d 4 2 1t h eb r i e f r e v i e wo f l a n g u a g e t e s td e v e l o p m e n t 4 2 1 1p r e - s c ：i e n t i f i cp e r i o d 4 2 1 2p s y c h o m e t r i c s t r u c t u r a l i s tp e r i o d 5 2 1 3i n t e g r a t i v e s o c i o l i n g u i s t i cp e r i o d 一5 2 1 4c o m m u n i c a t i v ep e r i o d 6 2 2c o m m u i l i c a t i v et e s t i n g 8 2 3d i 行e r e n c e sb e t w e e nc o m m u n i c a t i v el a n g u a g et e s t i n ga n d o t h e rf o r m so f t e s t i n g 9 2 4b a c h m a n ，sv i e wo nc o m m u n i c a t i v el a n g u a g et e s t i n g ”1 1 2 5d i f f e r e n te l e m e n t si n h e r e n ti no v e r a l lv a l i d i t y 1 2 2 5 1c o n t e x tv a l i d i t y 1 2 2 5 2t h e o r y b a s e dv a l i d i t y ”1 3 2 5 3s c o 血gv 乱i d 时1 3 2 5 4c r i t e d o n - r e l a t e dv a l i d i t y 1 4 2 5 5c o n s e q u e n t i a lv a l i d i t y 1 5 c h a p t e rt h r e en e wf r a m e w o r k s f o rd e v e l o p i n ga n dv a l i d a t i n gt e s t s o f l i s t e n i n ga n ds p e a k i n g i nc i v i la v i a t i o ne n g l i s ht e s t l7 3 1t e s tt a l ( e r so f c i v i la v i a t i o ne n g l i s h t e s t 2 0 3 2c o n t e x tv a l i d i t yo fc i v i la v i a t i o ne n g l i s h t e s t 2 2 3 2 1 t a s ks e t t i n g 2 2 3 2 21 弧kd e m a n d s 一j ”2 5 3 2 3s e t t i n ga n dt e s ta d m i n i s t r a t i o n 2 7 3 3t h e o r y - b a s e dv a l i d i t yo fc i v i la v i a t i o ne n g l i s ht e s t 2 8 3 3 11 n h e o 珂- b a s e dv a l i d i t yo fl i s t e n i n gt e s t 2 9 西南科技大学硕士研究生学位论文第v 页 3 3 2t h e o r y - b a s e dv a l i d i t yo fo p i 3 0 3 4s c o r i n gv a l i d i t yo fc i v i la v i a t i o ne n g l i s ht e s t 31 3 4 1s t a n d a r d i z a t i o n 3 4 3 4 2m o d e r a t i o no fs c o r e s 3 5 3 4 3i n t e r n a lr e l i a b i l i t y 3 5 3 5e x t e r n a lv a l i d i t i e so fc i v i la v i a t i o ne n g l i s ht e s t 3 6 3 5 1c r i t e r i o n r e l a t e dv a l i d i t y 3 6 3 5 2c o n s e q u e n t i a lv a l i d i t y 3 7 3 6t e c h n i q u e sf o rt e s t i n gl i s t e n i n gc o m p r e h e n s i o ni nc i v i la v i a t i o ne n g l i s h t e s t 3 8 3 7t e c h n i q u e sf o rt e s t i n gs p e a k i n gi nc i v i la v i a t i o ne n g l i s ht e s t 4 0 c h a p t e r f o u rg e n e r a t i n gv a l i d i t ye v i d e n c e 4 7 4 1c o n t e x tv a l i d i t ye v i d e n c e 4 7 4 2t h e o r y - b a s e dv a l i d i t ye v i d e n c e 4 8 4 3s c o r i n g v r a l i d i t ye v i d e n c e 4 8 4 4e v i d e n c eo ne x t e m a lv a l i d i t i e s 51 c h a p t e rf i v ec o n c l u s i o n 5 4 a c k n o w l e d g e m e n t s 5 9 b i b l i o g r a p h y 6 0 a p p e n d i x e s 6 4 t h ea u t h o r sr e c e n tp u b l i c a t i o n sa n dr e s e a r c hi n v o l v e d 7 0 c h a p t e ro n e i n t r o d u c t i o n 1 1r e s e a r c hb a c k g r o u n d t ot h ed a yi n s u f f i c i e n te n g l i s hl a n g u a g e o rc o n t r o l l e r sp l a y sac o n t r i b u t i n g r o l ei n p r o f i c i e n c yo nt h ep a r to f t h ef l i g h tc r e w s o m ea v i a t i o na c c i d e n t sa n di n c i d e n t s m a t h e w s ( 2 0 0 4 ：4 ) h a s s t a t e dt h a t “b e t w e e n19 7 6a n d2 0 0 0 ，m o r et h a n1 ，10 0p a s s e n g e r s a n d 凹e wm e m b e r sl o s tt h e i rl i v e si na c c i d e n t si nw h i c hi n v e s t i g a t o r sd e t e r m i n e d t h a t l a n g u a g eh a dp l a y e d ac o n t r i b u t o r yr o l e m o r e o v e r , n u m e r o u si n c i d e n t s1 n v o l v l n g l a n g u a g ei s s u e s ，i n c l u d i n g an u m b e ro fr u n w a yi n c u r s i o n s ，a r er e p o r t e da n n u a l l y c o n e e l l aa b o u tt h er o l eo fl a n g u a g ep r o f i c i e n c yw i t ha v i e wt oe n s u r i n gc i v i la v i a t l o n s a f e t vh a sl e di c a ot o r e v i s et h ep r o v i s i o n sr e l a t e dt o t h eu s eo fl a n g u a g et o r r a d i o t e l e p h o n yc o m m u n i c a t i o n s a n dt h ea m e n d e dl p r s a r el i k e l yt ob r i n gf o n v a r d s i g n i f i c a n ti m p a c to ni n t e r e s t e dp a r t i e s t h ed e v e l o p m e n to fl p r s d a t e sb a c kt ol9 7 7 ， w h e ni c a oc a l l r i e do u tac o m p r e h e n s i v er e v i e wo ft h ep r o v i s i o n sf o rr a d i o t e l e p h o n y c o m m u n i c a t i o n t h eo b j e c t i v e so f t h er e v i e ww e r et o ： 1 i d e n t i f yt h ed e f t c i e n c i e so rs h o r t c o m i n g so fe x i s t i n gp r o v i s i o n s f o ra i r - g r o u n da n d 田o u n d g r o u n dv o i c ec o m m u n i c a t i o n si ni n t e r n a t i o n a lc i v i la v i a t i o n ； d e v e l o pm i n i m a ms k i l l l e v e lr e q u i r e m e n t si nt h ec o m m o nu s a g eo ft h ee n g l i s h l a n g u a g e ；a n d d e v e l o pp r o v i s i o n sc o n c e r n i n gs t a n d a r d i z e de n g l i s hl a n g u a g et e s t i n gr e q u i r e m e n t s a n dp r o c e d u r e s ( m a t h e w s ，2 0 0 3 ：8 ) i ni c a oa s s e m b l yo f19 9 8u r g e dt h eo r g a n i z a t i o nt os t r e n g t h e ne x i s t i n gl a n g u a g e p r o v i s i o n ss ot h a tc a a sw o u l dt a k es t e p st o e n s u r et h ec o m p l i a n c ew i t hd e m a n d i n g l a n g u a g ep r o f i c i e n c y i n2 0 0 0 ，t h ei c a oa i rn a v i g a t i o n c o m m i s s i o nf o m l e dt h e p r o f i c i e n c yr e q u i r e i i l 饥t si nc o m m o ne n g l i s h ( p r i c e ) s t u d yg r o u p t oa s s l s tt h e s e c r e t a r i a tw i t ht h i st a s k f o l l o w i n gas e r i e s o fm e e t i n g s ，t h ep r i c es t u d yg r o u p ， c o m p r i s i n go p e r a t i o n a la n dl i n g u i s t i ce x p e r t s ，p r o d u c e d as e to fr e c o m m e n d a t i o n sm l a t e2 0 01 s o o na f t e r , t h ei c a os e c r e t a r i a tp r o p o s e da m e n d m e n t s t os e v e r a la n n e x e st o 西南科技大学硕士研究生学位论文第2 页 c o n v e n t i o no ni n t e r n a t i o n a lc i v i la v i a t i o n ，i e a n n e x e s1 ，6 ，10 ( v o l u m ei i ) a n d11 a m e n d m e n t sh a v ea l s ob e e np r o p o s e df o rp r o c e d u r e s f o ra i rn a v i g a t i o ns e r v i c e s a i r 乃r a f f i cm a n a g e m e n t ( i c a od o c u m e n t4 4 4 4 ) i nm a r c h2 0 0 3 ，t h ea n n e xa m e n d m e n t s w e r ea d o p t e da n da l s oe s t a b l i s h e dm i n i m u ms k i l ll e v e lr e q u i r e m e n t sf o rl a n g u a g e p r o f i c i e n c yf o rf l i g h t c r e w sa n da i rt r a f f i c c o n t r o l l e r s ， a n da ni c a ol a n g u a g e p r o f i c i e n c yr a t i n gs c a l ew a si n t r o d u c e d i c a op l a y sa ni m p o r t a n tr o l ei nh e l p i n gc a a s d e v e l o pa p p r o p r i a t el a n g u a g et e s t i n gp r o g r a m m e s ，t e s t i n gr e g i m e s ，a n dl a n g u a g e p r o f i c i e n c yr e q u i r e m e n t s t h en e e df o rc a a s t oa s s e s st h el a n g u a g ep r o f i c i e n c yo fc i v i l a v i a t i o np e r s o n n e lp o s e sac h a l l e n g et h a tc a l l sf o rv a l i da n de f f e c t i v ec i v i la v i a t i o n e n g l i s ht e s t h e r e ，e n o u g ha t t e n t i o ns h o u l db eg i v e nt ot h ei n t e r r e l a t i o nl y i n gb e t w e e n c i v i la v i a t i o ne n g l i s ht e s ta n do t h e rt e s tt y p e sw i t hav i e wt od i g g i n go u ta p p r o p r i a t e t e s t i n gs c h e m a t af o rc i v i la v i a t i o ne n g l i s ht e s t 1 2r e s e a r c ho r i e n t a t i o na n dc e n t r a lr e s e a r c hq u e s t i o n s t h eh i g h - s t a k e sn a t u r eo fc i v i la v i a t i o ne n g l i s ht e s th a sp o s e dag r e a tc h a l l e n g ef o r t h eg e n e r a la d m i n i s t r a t i o no fc i v i la v i a t i o no fc h i n a ( c a c c ) a n dr e l a t e dc i v i la v i a t i o n e n g l i s ht r a i n i n ga n dt e s t i n gc o m m u n i t y t h em o s tk n o t t yi s s u ew i t h i nt h i sb u r g e o n i n g t a s k b a s e da n dc o m m u n i c a t i v et e s ti st h es h o r t a g eo fr e l e v a n tt e s t i n gk n o w l e d g ea n d e x p e r i e n c eo f t h i sc a t e g o r y t ot h ed a yt h ev a l i d a t i o nc o n d u c t e do na n ys o r to fl a n g u a g e t e s tt e n d st ot a k ef u l la d v a n t a g eo fq u a n t i t a t i v ea n dq u a l i t a t i v em e t h o d o l o g ys ot h a t e n o u g he v i d e n c ec o u l db eg e n e r a t e dt os u p p o r tt h ei n f e r e n c ef r o mt e s ts c o r e s i nt h i s t h e s i s ，as y s t e m a t i ci n v e s t i g a t i o ni sc a r r i e do nd i f f e r e n ts t a g e so fc i v i la v i a t i o ne n g l i s h t e s tw i t hr e f e r e n c et os o m eo t h e re s pt e s tf o r m s t h er e s e a r c hq u e s t i o n sb e a r i n go nt h i st h e s i sr a n g eo v e rav a r i e t yo fv a l i d i t yf a c e t s i nc i v i la v i a t i o ne n g l i s ht e s t ：h o wt om a i n t a i nt h ec o n t e x tv a l i d i t yo fc i v i la v i a t i o n e n g l i s ht e s ts ot h a tav a r i e t yo ft e s tc i r c u m s t a n c e sc a n d i d a t e sf i n dt h e m s e l v e si nc o u l d m a t c ht a r g e tl a n g u a g eu s et oag r e a td e g r e ea n dt h e r e f o r es i t u a t i o n a la n di n t e r a c t i o n a l a u t h e n t i c i t y c o u l db es u s t a i n e d ，h o wt op r o p e r l yi l l i c i tt h eu n d e r l y i n ge n g l i s h c o m m u n i c a t i v ec o m p e t e n c eo fc a n d i d a t e si nc i v i la v i a t i o nc o n t e x tw i t hr e s p e c tt oc l a m o d e ld e v i s e db yb a c h m a n ，h o wt os t a n d a r d i z es c o r i n gp r o c e d u r e sa n ds c h e m e si na n a g r e e dm a n n e rs ot h a ts c o r i n gv a l i d i t yc o u l d n o tb ea d v e r s e l ya f f e c t e dt o om u c h ，a n d h o wt oi m p r o v ee x t e r n a lv a l i d i t yw h i c hi s c o n s i d e r e da sa ni m p o r t a n c em o d e r a t o r v 撕a b l eo fo v e r a l lv a l i d i t y i nt h i st h e s i s ，a l lt h e s ee l e m e n t si n h e r e n ti nt h eo v e r a l l v a l i d i t yo fc i v i la v i a t i o ne n g l i s ht e s ta r ea d d r e s s e dt oag r e a te x t e n t ，a n df u r t h e r m o r e ， s o m er e c o m m e n d a t i o n s a lee x p a t i a t e da c c o r d i n g l yi nh o p e s o ff a c i l i t a t i n gt h e d e v e l o p m e n to f c i v i la v i a t i o ne n g l i s ht e s t 1 3t h e s i so r g a n i z a t i o n 0 nt h ew h o l e ，t h et h e s i sf a l l si n t of i v ec h a p t e r s ，e a c ho fw h i c hw i l lb ed e s c r i b e da s f o l l o w s c h a p t e ro n ei n t r o d u c e s r e s e a r c hb a c k g r o u n d ，r e s e a r c ho r i e n t a t i o na n dc e n t r a l q u e s t i o n sb e a t i n go n t h eo v e r m lv a l i d i t yo fc i v i la v i a t i o ne n g l i s ht e s ta n dt h ew a yh o w t h er e m a i n i n gc h a p t e r sa r eo r g a n i z e d t h e nf o l l o w i n gt h i si n t r o d u c t o r yc h a p t e ri sc h a p t e rt w o ，w h i c h e l a b o r a t e s l a n g u a g et e s td e v e l o p m e n ta n dt h es t a t u sq u oo fc o m m u n i c a t i v et e s t a n df u r t h e r m o r e c o v e r sm em a i nt h e o r i e sa p p l i e di n t h i st h e s i s ，i e ，c o n t e x tv a l i d i t y , t h e o r y - b a s e d v a l i d i t y , s c o r i n gv a l i d i t y , c r i t e r i o n r e l a t e dv a l i d i t ya n dc o n s e q u e n t i a lv a l i d i t y c h a p t e rt h r e ei n t r o d u c e sn e wf r a m e w o r k sf o rd e v e l o p i n ga n dv a l i d a t i n gt e s t so f l i s t e n i n ga n ds p e a k i n gi nc i v i la v i a t i o ne n g l i s ht e s t ，a n dh e r e i na h o s to ff a c t o r sw i t h p o t e n t i a le f f e c to nv a l i d i t ya l ed i s c e m e da n da n a l y z e dt oa g r e a td e g r e e i nc h a p t e rf o u r , av a r i e t yo fe v i d e n c ei se x p l o r e di nd e t a i l st od e m o n s t r a t ew h a ti t i sw ea r em e a s