（英语语言文学专业论文）机助大学英语口语测试的信度和效度个案研究.pdf

f i i ii ii iii i iri l l lt ilti 18 017 6 4 ac a s es t u d yo nt h er e l i a b i l i t ya n d v a l i d i t yo ft h e c o m p u t e r - a s s i s t e dc o l l e g ee n g l i s ho r a lt e s t s u b m i t t e dt ot h es c h o o lo f f o r e i g nl a n g u a g e s i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o rm a a tl i a o n i n gn o r m a lu n i v e r s i t y s c h o o lo f f o r e i g nl a n g u a g e s l i a o n i n gn o r m a lu n i v e r s l t y n o v e m b e r2 0 0 9 a c k n o w l e d g e m e n t s f i r s to fa l l ，1w o u l dl i k et o a c k n o w l e d g et h ec o n t r i b u t i o no fm yr e s p e c t e d s u p e r v i s o r , p r o f e s s o rb a ib i n ，f o ra l lo fh i sa s s i s t a n c e ，f o rh i sg e n e r o s i t yi ns p e n d i n gh i s p r e c i o u st i m er e a d i n ga n dp o l i s h i n gt h i st h e s i s i ti sh i sv a l u a b l es u g g e s t i o n s ，i n c i s i v e c o m m e n t s ，a n dc o n s i d e r a b l es u p p o r tt h a th e l p e dm ep u r s u em ys t u d i e sa n dc o m p l e t em y t h e s i s 1w o u l da l s ol i k et o e x p r e s sm yg r e a tt h a n k st oa l lm yt e a c h e r si nt h ee n g l i s h d e p a r t m e n t ，w h oh a v et a u g h tm et h em ac o u r s e sd u r i n gm y s t u d yi nl i a o n i n gn o r m a l u n i v e r s i t y m yg r a t i t u d ea l s og o e st om ys c h o o ll e a d e r s ，w h oh a v eb e e na nu n f a i l i n gs o u r c eo f s u p p o r ta n dp r o v i d e di n f o r m a t i o na n dd a t an e e d e d m yc o r d i a lt h a n k sa l s og ot om y c o l l e a g u e sa n df r i e n d sw h oh a v eh e l p e dm ed i s t r i b u t ea n dc o l l e c tt h eq u e s t i o n n a i r e s 1w o u l da l s ol i k et ot h a n ka l lt h es t u d e n t s ，w h oh a v ec o o p e r a t e di nt h i ss t u d ya n d o f f e r e dt h e i rk i n dh e l pw i t hm ei nv a r i o u sw a y s f i n a l l y , i 锄m u c hi n d e b t e dt om ye n t i r ef a m i l y , m yp a r e n t s ，m yp a r e n t si nl a w , m y h u s b a n d ，a n dm yd a u g h t e r , f o rt h e i rc o n s t a n ts u p p o r t ，e n c o u r a g e m e n t d u r i n gm y p o s t g r a d u a t es t u d y 摘要 大学英语口语测试是语言测试中必不可少的一部分。然而，局限于交际能力的 复杂性以及测试的信度难以把握，多数大学和学院将英语口语测试排斥在非英语 专业课程的语言测试之外。随着大学英语课程教学要求的不断发展，大学英语口 语测试已被视为当前大学英语教学要求之一，在教育领域引起越来越多的学者的 关注，因而许多研究人员致力于口语测试研究。 本论文在前人研究的基础上进一步研究查证口语测试的信度、效度和可行性。 本文作者抽样检验了黑龙江科技学院( h i s t ) 在2 0 0 8 年四月和六月分别进行的面 试英语口语测试( o p i ) 和计算机辅助英语口语测试( c e o t ) 的信度和效度，研究的主 体为黑龙江科技学院7 8 6 7 名2 0 0 6 级及2 0 0 7 级非英语专业的本科生，统计样本包 括来自两个班级的5 2 名学生并随机从全院抽取9 6 名学生和2 5 名评分员进行了问 卷调查，借助社会学统计软件s p s s l 6 0 完成了测试分数的相关性及数据统计分析。 在数据分析及问卷调查的基础上，本研究试图回答以下三个问题：1 面试型口 试和计算机辅助口试所得出的成绩相关性是否一致? 2 与面试型口试相比，计算 机辅助口试的信度和效度如何? 3 计算机辅助口试是否可行? 研究结果表明：1 面试型口试和计算机辅助口试所得出的成绩相关性较高， 结果令人满意。2 黑龙江科技学院进行的计算机辅助口试的信度和效度在某种程 度上超过了面试型口试。计算机辅助口试能减轻学生的心理压力从而使学生表现 更佳，学生还认为它的评分体系更公平、更客观、更可靠。3 只要拥有相应的计 算机系统，计算机辅助口试是可行而有效的，计算机辅助口试采取的综合评分法 在保证信度的同时增加了可行性。 在研究和分析的基础上，本文也对如何解决在机助口语考试实施过程中存在 的问题和对该领域的进一步研究提出了一些建议。 关键词：计算机辅助口试面试酗口试信度效度 r e g a r d e d 嬲o n eo ft h ed e m a n d so fc u r r e n tc o l l e g ee n g l i s ht e a c h i n g i th a sa t t r a c t e d m o r ea n dm o r ea t t e n t i o no fs c h o l a r si nt h ef i e l do fe d u c a t i o n c o n s e q u e n t l y , m a n y r e s e a r c h e r sd e v o t et h e i re f f o r tt oo r a lt e s ts t u d y t h i st h e s i sd i s c u s s e st h ev e r i f i c a t i o n o ft h et e s t v a l i d i t y , r e l i a b i l i t y a n d p r a c t i c a b i l i t yo nt h eb a s i so ff o r m e rr e s e a r c h t h ea u t h o ro ft h i st h e s i ss e l e c t i v e l v e x a m i n e st h er e l i a b i l i t ya n dv a l i d i t yo fa l lf a c e t o - f a c eo r a lp r o f i c i e n c yi n t e r v i e w ( o p i h e n c e f o r t h ) a n dac o m p u t e r - a s s i s t e de n g l i s ho r a lt e s t ( c e o th e n c e f o r t h ) w h i c h 、e r e o r g a n i z e dr e s p e c t i v e l yi na p r i la n dj u n e ，2 0 0 8i nh e i l o n 舀i a n gi n s t i t u t eo fs c i e n c ea n d t e c h n o l o g y ( h i s th e n c e f o r t h ) t h er e s e a r c hp o p u l a t i o ni s7 8 6 7n o n e n g l i s hm a j o r s t u d e n t so fg r a d e2 0 0 6a n d2 0 0 7i nh i s t , t h es t a t i s t i c a ls a m p l ec o v e r s5 2s t u d e n t si n t w oc l a s s e sw h ow e r ec h o s e na ss u b j e c t sa n d9 6s t u d e n t sa tr a n d o ma n d2 5r a t e r s c o m p l e t et h eq u e s t i o n n a i r e s t h ec o r r e l a t i o n ，s t a t i s t i c a la n a l y s i so ft h ed a t ao ft h et e s t s c o r e sa n dq u e s t i o n n a i r ef e e d b a c kw e r ep e r f o r m e dw i t ht h es t a t i s t i c a l p a c k a g ef o rt h e s o c i a ls c i e n c e ( s p s s16 0 ) b a s e do nt h ed a t aa n a l y s i sa n d q u e s t i o n n a i r e s ，t h i st h e s i sa t t e m p t st of i n da n s w e r s t ot h ef o l l o w i n gr e s e a r c hq u e s t i o n s ：1 w h a ti st h ec o r r e l a t i o nb e t w e e nt h ec e o ta n d t h eo p ii nr e l a t i o nt ot h et e s ts c o r e so b t a i n e df r o mb o t ht e s t s ? 2 h o wr e l i a b l ea n dv a l i d i st h ec e o tc o m p a r e dw i t ht h eo p i ? 3 h o w p r a c t i c a li st h ec e o t ? t h r o u g ht h e d a t a a n a l y s i s ，t h er e s e a r c hr e s u l t si n d i c a t e ：1 t h ec o r r e l a t i o n c o e f f i c i e n tb e t w e e nt h ec e o ta n dt h eo p ii sv e r yh i g ha n ds a t i s f a c t o r y 2 t h ec e o t i nh i s th a sh i g h e rr e l i a b i l i t ya n dv a l i d i t yt h a nt h eo p i ，i tc o u l dr e l i e v ec a n d i d a t e s ， p s y c h o l o g i c a lp r e s s u r ea n dm a k et h e mp e r f o r mb e t t e r t h es t u d e n t sa l s ot h o u g h ti t s m a r k i n gf a i r e r , m o r eo b j e c t i v ea n dr e l i a b l e 3 t h ec e o ti sp r a c t i c a la n de f f e c t i v eo n c o n d i t i o nt h a tt h e r ea r ec o m p u t e rs y s t e m s t h eh o l i s t i cm a r k i n gm e t h o da d o p t e di nt h e c o e t h e l p e dt oi m p r o v et h ep r a c t i c a l i t yo ft h ec o e tw h i l ee n s u r i n gt h er e l i a b i l i t y ： b a s e do nt h es t u d ya n da n a l y s i s ，t h et h e s i sa l s oh a sm a d es o m es u g g e s t i o n so nh o w t od e a lw i t ht h ee x i s t i n gp r o b l e m se n c o u n t e r e dd u r i n gt h ei m p l e m e n t a t i o no ft h ec e o t f i n a l l ys p e c u l a t i o n sf o rf u r t h e rs t u d yi nt h ef i e l da n df o rt h ei m p r o v e m e n to fq u a l i t yo f t h eo r a lt e s ti nt h i ss t u d ya r ep r o v i d e d k e yw o r d s ：c e o t ；o p i ；r e l i a b i l i t y ；v a l i d i t y c o n t e n t s 摘要i a b s t l a c t - i i c h a p t e ro n ei n t r o d u c t i o n 。l 1 1t h et o p i cc h o s e na n ds i g n i f i c a n c eo ft h es t u d y 。l 1 2a i m so ft h es t u d ya n dt h er e s e a r c hq u e s t i o n s ”。”o 1 3m e t h o d so ft h es t u d y 。2 l 1 4a r r a n g e m e n t so ft h et h e s i s b c h a p t e r t w ol i t e r a t u r er e v i e wa n db a s i ct h e o r i e s 。6 2 1l a n g u a g et e s t 。b 2 1 1 w h a ti sl a n g u a g et e s t 。b 2 i 2d e v e l o p m e n tp e r i o d so fl a n g u a g et e s t 。t 5 2 1 3 p u r p o s e so fl a n g u a g et e s t d 2 1 4t y p e so fl a n g u a g et e s t 9 2 1 5c u r r e n tl a n g u a g et e s ti nc h i n e s eu n i v e r s i t i e s 。l 1 2 2o r a le n g l i s ht e s t 。”l z 2 2 1t y p e so fe n g l i s ho r a lt e s t j z 2 2 2e s s e n t i a l sa n dp r i n c i p l e so fe n g l i s ho r a lt e s t 。1 4 2 2 3t h es c o r i n ga s s e s s m e n to fo r a lt e s t j b 2 2 。3 1t h em a r k i n gs t a n d a r do fo r a lt e s t l b 2 2 3 2t h er a t i n gs c a l eo fo r a lt e s t 。1 6 2 2 3 3t h em a r k i n gs y s t e mo fo r a lt e s t 1 8 2 2 4f a c t o r si n f l u e n c i n go r a lt e s t l b 2 3 r e l i a b i l i t y a n dv a l i d i t y 2 0 2 3 1r e l i a b i l i t y 2 0 2 3 2v a l i d i t y 2 0 2 3 3t h er e l a t i o n s h i pb e t w e e nr e l i a b i l i t ya n dv a l i d i t y 2 2 2 3 4b a c k w a s he f f e c t - 2 2 2 3 5 p r a c t i c a b i l i t y 2 3 c h a p t e rt h r e ec a s es t u d yo f h i s t - 2 4 3 1c o n d u c t i n gp r o c e s so f t h eo p i 2 4 3 1 1o r a l t e s ts y s t e md e s i g n 2 4 3 1 1 1s e t t i n gt h eo r a lt e s tp u r p o s e s ，t e s tt y p e ，t e s tt a s k sa n dt e s tc o n t e n t s 2 5 3 1 1 2m a k i n gt h ec o n d u c t i n gs c h e m eo f t h eo r a lt e s t 2 6 3 1 1 3d e t e r m i n i n gm a r k i n gs t a n d a r d i z a t i o na n dt h es c o r i n gp r o c e d u r e 2 6 3 1 2t r a i n i n go fo r a lr a t e r s 2 8 3 1 3c o n d u c t i n gt h eo p i 2 9 3 2c o n d u c t i n gp r o c e s so ft h ec e o t 。3 2 3 2 1p r e p a r a t i o nf o rt h eo r a lt e s t 3 2 3 2 2t e s tm a t e r i a l sa n dt e s tt a s k s 3 3 3 2 3t h er a t i n gs c a l e 3 3 3 2 4c o n d u c t i n gt h ec e o t 3 4 3 3c o m p a r i s o nb e t w e e nt h et w ot y p e so fo r a le n g l i s ht e s t si nh i s t 3 6 3 3 1s u b j e c t sa n di n s t r u m e n t s 3 6 3 3 2d a t ac o l l e c t i o np r o c e d u r e s - 3 7 3 3 3r e l i a b i l i t yc o m p a r i s o n 3 7 3 3 3 1r a ws c o r e sd i s t r i b u t i o ng r a p h s - 3 7 3 3 3 2e x a m i n i n gt h ec r o n b a c ha l p h ac o e f f i c i e n t 4 1 3 3 3 3r a t e rr e l i a b i l i t ya n dc o n s i s t e n c y 4 3 3 3 4e x a m i n i n gt h ev a l i d i t yo ft h eo p ia n dt h ec e o t 4 6 3 3 4 1f a c ev a l i d i t y 4 8 3 3 4 2c o n t e n tv a l i d i t y 5 1 3 3 4 3c o n c u r r e n tv a l i d i t y 5 2 3 3 4 4p r e d i c t i v ev a l i d i t y 。5 5 3 3 4 5c o n s t r u c tv a l i d i t y 5 8 3 3 5b a c k w a s h ”一一5 9 3 3 6p r a c t i c a b i l i t yo ft h eo p ia n dt h ec e o t 6 0 3 3 7q u e s t i o n n a i r ea b o u ta t t i t u d e st o w a r d st h eo p ia n dt h ec o e t 6 1 c h a p t e rf o u re x i s t i n gp r o b l e m sa n ds u g g e s t i o n s 。6 2 4 1p r o b l e m sa n ds u g g e s t i o n sa b o u tt h eo r a lt e s td e s i g n 6 2 4 2p r o b l e m sa n ds u g g e s t i o n sa b o u ts c o r i n go ft h et e s t 6 3 4 3p r o b l e m sa n ds u g g e s t i o n sa b o u tt h ec a n d i d a t e s 6 4 c h a p t e rf i v ec o n c l u s i o n 。- 6 6 5 1 m a j o rf i n d i n g s 。6 6 5 2l i m i t a t i o n so ft h es t u d y 6 8 5 3s p e c u l a t i o n sa b o u tf u r t h e rr e s e a r c h 6 8 b i b l i o g r a p h y - 6 9 a p p e n d i x1 - - 7 1 a p p e n d i x2 - - - - 7 3 a p p e n d i x3 ”一7 4 ac a s es t u d yo nt h e r e l i a b i l i t ya n dv a l i d i t yo ft h ec o m p u t e r - a s s i s t e dc o l l e g e e n g l i s ho r a lt e s t c h a p t e ro n ei n t r o d u c t i o n 1 1t h et o p i cc h o s e na n ds i g n i f i c a n c eo ft h es t u d y i n 2 0 0 4 ，t h em i n i s t r yo fe d u c a t i o ni s s u e d c o l l e g ee n g l i s h c u r r i c u l u m r e q u i r e m e n t sw h i c hp o i n t so u tt h a tt h eo b j e c t i v eo fc o l l e g ee n g l i s hi st od e v e l o p s t u d e n t s a p p l i e da b i l i t y ，e s p e c i a l l yl i s t e n i n ga n ds p e a k i n g ，a n de n a b l et h e mt o c o m m u n i c a t ei ne n g l i s h ，b o t hs p o k e na n dw r i t t e n ，i nt h e i rf u t u r ew o r k ，a n da tt h es a m e t i m et h e yw i l lb ea b l et oe n h a n c et h e i ra b i l i t yt os t u d yi n d e p e n d e n t l ya n di m p r o v et h e i r c u l t u r a lq u a l i t ys oa st om e e tt h en e e d so fc h i n a ss o c i a ld e v e l o p m e n ta n di n t e r n a t i o n a l e x c h a n g e ( 2 0 0 7 ：18 ) m e a n w h i l et h ec o l l e g ee n g l i s hc u r r i c u l u m r e q u i r e m e n t s r e c o m m e n d sac o m p u t e r - a n dc l a s s r o o m b a s e dm u l t i m e d i ac o l l e g ee n g l i s ht e a c h i n g m o d e lt os t r e n g t h e nt h et e a c h i n go f c o l l e g ee n g l i s hl i s t e n i n ga n ds p e a k i n g ( 2 0 0 7 ：3 0 ) c o l l e g ee n g l i s ho r a lt e s ti sa ni n d i s p e n s a b l ep a r to fl a n g u a g et e s t i n g h o w e v e r , d u e t ot h el i m i t a t i o no ft h ec o m p l e xn a t u r eo fc o m m u n i c a t i v ec o m p e t e n c ea n dt h ed i f f i c u l t y i ne n s u r i n gt e s tr e l i a b i l i t y , i th a sg e n e r a l l yb e e ne x c l u d e df r o mt e s t so fe n g l i s ha s n o n - m a j o rc o u r s c si nm o s tc o l l e g e sa n du n i v e r s i t i e s ，t h u sm a n yt e a c h e r sl a c kt h e i n f o r m a t i o na st oh o wt og i v es t u d e n t sa no r a lt e s ta n ds t u d e n t sw h os c o r eh i g h l ys p e a k p o o re n g l i s h i nf a c t ，o r a la b i l i t ys h o u l da d j u s tt ot h ed e v e l o p m e n to ft h es o c i e t y o nt h e o t h e rh a n d ，t e s t i n go r a la b i l i t yc o n t r i b u t e st oh e l pl e a r n e r sm a s t e rt h el a n g u a g ea b i l i t y , s p e a k e r sh i g ho r a la b i l i t yi sa b l et os a t i s l b , r o u t i n es o c i a ld e m a n d sa n dl i m i t e dw o r k r e q u i r e m e n t s ，a l s oa b l et oh a n d l ew i t hc o n f i d e n c e b e s i d e s ，w i t ht h ec o n t i n u o u s d e v e l o p m e n to fc o l l e g ee n g l i s hc u r r i c u l u mr e q u i r e m e n t s ，c o l l e g ee n g l i s ho r a lt e s ti s r e g a r d e da so n eo ft h ed e m a n d so fc u r r e n tc o l l e g ee n g l i s ht e a c h i n g ，i th a sa t t r a c t e d m o r ea n dm o r ea t t e n t i o no fs c h o l a r si nt h ef i e l do fe d u c a t i o n t h e r e f o r e ，m a n y r e s e a r c h e r sd e v o t et h e i re f f o r tt oo r a lt e s ts t u d y m a n ys c h o l a r sh a v ee x p l o r e do r a lt e s ta n do r a lt e a c h i n go nd i f f e r e n ta s p e c t s w e i r ( 19 9 0 ) a n a l y z e st h ec h a r a c t e r i s t i c so fc o m m u n i c a t i v el a n g u a g et e s t i n g ，d i s c u s s e st h e a p p r o a c h e st ol a n g u a g et e s td e s i g n ，b a s i cc o n s i d e r a t i o n si nt e s td e s i g na n di n t r o d u c e su s 1 ac a s es t u d yo nt h er e l i a b i l i t ya n dv a l i d i t yo ft h ec o m p u t e r a s s i s t e dc o l l e g ee n g l i s ho r a lt e s t d i f f e r e n tt e s tm e t h o d si nc o m m u n i c a t i v el a n g u a g e t e s t i n g c l e r k ( 19 8 0 ) r a i s e s s p e a k i n gp r o f i c i e n c ym e a s u r e si nh i sw o r k s f i s h e r ( 19 7 9 ) s h o w st h ei m p o r t a n c eo ft h e r e l i a b i l i t y i no r a l e x a m i n a t i o n s b a c h m a n ( 19 9 6 ) m a k e sm a n yr e s e a r c h e so nt h e c o n s t r u c tv a l i d a t i o ni nt h ec o m m u n i c a t i v eo r a lt e s t a r t h u rh u g h e s ( 1 9 8 9 ：113 ) p o i n t s o u tt h a to r a lt a s k ss h o u l db ep r o p e r l yr e p r e s e n t a t i v eo ft h ep o p u l a t i o no ft a s k st h a tt h e s t u d e n t sa r ea b l et op e r f o r m ，t h et a s k ss h o u l de l i c i tb e h a v i o rw h i c ht r u l yr e p r e s e n t st h e s t u d e n t s a b i l i t y , a n dh es t r e n g t h e n st h a ti ti se s s e n t i a lt h a tt h es a m p l e so fb e h a v i o rc a l l a n dw i l lb es c o r e dv a l i d l ya n dr e l i a b l y r o b e r tw o