（外国语言学及应用语言学专业论文）词语搭配自动抽取方法对比研究.pdf

奢 i 科 l m h a c o m p a r a t i v ea n a l y s i so f a p p r o a c h e st oa u t o m a t i c c o l l o c a t i o ne x t r a c t i o n at h e s i ss u b m i t t e dt o d a l i a nm a r i t i m eu n i v e r s i t y i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro fa r t s b y z h ux i n ( l i n g u i s t i c sa n da p p l i e dl i n g u i s t i c si nf o r e i g nl a n g u a g e s ) m a y 2 0 1 1 、舅， ，上f科。 b 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果，撰写成博 硕士学位论文= = 坷适揸醒自动地拯友鎏怼出婴塞：。除论文中已经注明引用的内容外，对论 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本论文中不包含任何未 加明确注明的其他个人或集体已经公开发表或未公开发表的成果。本声明的法律责任由本人 承担。 学位论文作者签名： 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使片j 研究生学位论文的规 定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版， 允许论文被查阅和借阅。本人授权大连海事大学可以将本学位论文的全部或部分内容编入有 关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。同意将本 学位论文收录到中国优秀博硕士学位论文全文数据库( 中国学术期刊( 光盘版) 电子杂 志社) 、中国学位论文全文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出 版物形式出版发行和提供信息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密口( 请在以上方框内打“”) 论文储繇貔 丫f 吼 k ， 摘要 摘要 词语搭配是二语习得和自然语言处理的重要资源，然而基于语料库的词语搭 配自动抽取一直以来都是一个难以解决的问题。 、 基于语料库的词语搭配自动抽取通常是采用统计驱动的方法。但是在搭配抽 取的时候，语言学家们往往随意选取一种搭配抽取算法，而没有考虑到语料类型 和语料长度对搭配抽取效率产生的影响。这往往是导致搭配抽取效率低的一个重 要原因。本文试图比较( m u t u a li n f o r m a t i o n ，c h i - s q u a r et e s t ，t - t e s ta n d l o g - l i k e l i h o o dr a t i o ) 这四种词语搭配自动抽取方法不同抽取效率。本文主要 研究以下两个问题： ( 1 ) 对于同长度不同语域的语料，哪种自动抽取算法效率最高7 ( 2 ) 对于同语域不同长度的语料，哪种自动抽取算法效率最高? 研究结果表明： ( 1 ) 语料长度相等均为2 0 0 万词时，针对学术文本和新闻报道文本而言，基于互 信息值的词语搭配抽取算法效率最高；而对于小说语料而言，基于对数似然 比的算法的抽取效率最高。 ( 2 ) 语料的语域相同时，新闻文本语料长度在1 0 0 万词以内，基于对数似然比的 算法的抽取效率最高；为语料长度超过1 0 0 万词时，基于互信息值的算法的 抽取效率最高。 k关键词：词语搭配抽取；算法；语料库 h ) 一 p 、r j r 、 英文摘要 a b s t r a c t c o l l o c a t i o n sa r ei m p o r t a n tr e s o u r c e sf o rs e c o n dl a n g u a g el e a r n i n ga n dm a n y n a t u r a ll a n g u a g ep r o c e s s i n gt a s k s ，b u ta u t o m a t i ce x t r a c t i o no fc o l l o c a t i o n sf r o ma k c o r p u sh a sa l w a y sb e e na w e l lk n o w n p r o b l e m c o r p u s - b a s e da u t o m a t i ce x t r a c t i o no fc o l l o c a t i o n si st y p i c a l l yc a r r i e do u tb y e m p l o y i n gs o m ek i n do fas t a t i s t i c a lm e a s u r et h a ti n d i c a t e sw e a t h e ro rn o tt w ow o r d s o c c u rt o g e t h e rm o r eo f t e nt h a nb yc h a n c e b u tw h e ne x t r a c t i n gc o l l o c a t i o n sf r o ma c o r p u s ，l i n g u i s t sa l w a y sc h o o s eo n eo ft h em e t h o d sr a n d o m l yw i t h o u tc o n c e r n i n go f t h es i z eo ft h ec o r p o r ao rt h ec a t e g o r yo ft h ec o r p o r aw h i c ha l w a y sc a u s e st h e d e f i c i e n c yi nc o l l o c a t i o ne x t r a c t i o n i nt h i sp a p e ra l la t t e m p th a sb e e nm a d et o e v a l u a t et h ee x t r a c t i o ne f f i c i e n c yo ff o u rk i n d so fa l g o r i t h m s ( m u t u a li n f o r m a t i o n ， c h i - s q u a r et e s t ，t - t e s ta n dl o g l i k e l i h o o dr a t i o ) s p e c i f i c a l l y , t h i ss t u d yi n t e n d st os t u d y t h ef o l l o w i n gt w oq u e s t i o n s ： ( 1 ) f o rc o r p u so ft h es a m es i z eb u to fd i f f e r e n tc a t e g o r i e s ，w h e t h e rt h e r ei s a n yd i f f e r e n c ea m o n g t h ee x t r a c t i o ne f f i c i e n c yo ft h ef o u ra l g o r i t h m s ( 2 ) f o rc o r p u so ft h es a m ec a t e g o r yb u to fd i f f e r e n ts i z e s ，w h e t h e rt h e r ei s a n yd i f f e r e n c ea m o n g t h ee x t r a c t i o ne f f i c i e n c yo ft h ef o u ra l g o r i t h m s t h er e s u l tr e v e a l st h a t ： ( 1 ) f o rt h ec o r p o r aw i t ht h es a m es i z eo ft w om i l l i o nw o r d s ：t h eo v e r a l lb e s tr e s u l t w a sa c h i e v e db ym u t u a li n f o r m a t i o nf o rt h ea c a d e m i cc o r p u sa n dp r e s sc o r p u s ；w h i l e k f o rt h ef i c t i o nc o r p u s ，l o g l i k e l i h o o dr a t i op e r f o r m e dt h eb e s t ( 2 ) f o rt h ec o r p o r aw i t ht h es a m ec a t e g o r y ：t h eo v e r a l lb e s tr e s u l t sw e r ea c h i e v e db y l o g l i k e l i h o o dr a t i ow h e n t h es i z eo fp r e s sc o r p u si ss m a l l e rt h a no n em i l l i o nw o r d s ； b u tf o rt h ep r e s sc o r p u sw i t ht h es i z el a r g e rt h a no n em i l l i o nw o r d s ，t h eo v e r a l lb e s t r e s u l t sw e r ea c h i e v e db ym u t u a li n f o r m a t i o n k e yw o r d s ：c o l l o c a t i o ne x t r a c t i o n ；a l g o r i t h m s ；c o r p u s p j _ 磺宁j ，“。s 一 一 鳝妻誊乏i 篁：毒：0 - k 一一- o 霉 啜 r 、 n 一 k 鲁 k 口 扣 0 l i s to f 殆6 l e s l i s to ft a b l e s t a b l e3 1 c o r p o r a o f d i f f e r e n tr e g i s t e r s 2 7 t a b l e3 2 c o r p o r a o f d i f f e r e n ts i z e s 2 7 t a b l e4 1 p r e c i s i o nv a l u e si na c a d e m i c 2 0 0 mc o r p u s 3 3 t a b l e4 2 p r e c i s i o nv a l u e si nf i c t i o n - 2 0 0 mc o r p u s 3 3 t a b l e4 3 p r e c i s i o nv a l u e si np r e s s - 2 0 0 mc o r p u s 3 3 t a b l e4 4 r e c a l lv a l u e so f t h ea c a d e m i c 一2 0 0 mc o r p u s 3 5 t a b l e4 5 r e c a l lv a l u e so f t h ef i c t i o n 一2 0 0 mc o r p u s - 3 6 t a b l e4 6r e c a l lv a l u e so f t h ep r e s s - 2 0 0c o r p u s 3 6 t a b l e4 7 g e n e r a lc o m p a r i s o no ft h ef o u ra l g o r i t h m sf r o mc o r p u so fd i f f e r e n t r e g i s t e r s 3 8 t a b l e4 8 p r e c i 。s i o nv a l u e si np r e s s 一1 5 mc o r p u s 4 0 t a b l e4 9 p r e c i s i o nv a l u e si np r e s s - 3 0 mc o r p u s 4 0 t a b l e4 1 0 p r e c i s i o nv a l u e si np r e s s 一6 0 mc o r p u s 4 0 t a b l e4 1 p r e c i s i o nv a l u e si np r e s s - 9 0 mc o r p u s 4 1 t a b l e4 1 2 p r e c l s m nv a l u e si np r e s s 一2 0 0 mc o r p u s 4 1 t a b l e4 1 3 p r e c i 。s i 。o nv a l u e si np r e s s 一3 0 0 mc o r p u s 4 1 t a b l e4 14r e c a l lv a l u e so ft h ef o u ra l g o r i t h m s 、i t l lc o r p u so fd i f f e r e n ts i z e s 4 3 t a b l e4 15g e n e r a lc o m p a r i s o no ft h ef o u ra l g o r i t h m sf r o mc o r p u so fd i f f e r e n t s i z e s 。z 1 6 ， 0 r 、 1 | 矿， - k k _ 静 4 l i s to ff i g u r e s f i g u r e2 1 f i g u r e4 1 f i g u r e4 2 f i g u r e4 3 f i g u r e4 4 l i s to ff i g u r e s c l a s s i f i c a t i o no f c o l l o c a t i o n 1 7 p r e c i s i o no f t h ef o u ra l g o r i t h m s 、加n lc o r p u so fd i f f e r e n tt y p e s 3 4 r e c a l lo f t h ef o u ra l g o r i t h m sw i t hc o r p u so f d i f f e r e n tt y p e s 3 6 p r e c i s i o no f t h ef o u ra l g o r i t h m s 、析t l lc o r p u so f d i f f e r e n tl e n g t h s 4 1 r e c a l lv a l u e so ft h ef o u ra l g o r i t h m s 、i mc o r p u so fd i f f e r e ml e n g t h s 4 4 j k 分 v 一 c o n t e n t s c o n t e n t s c h a p t e r1i n t r o d u c t i o n 1 1 1r e s e a r c h b a c k g r o u n d l 1 2s i g n i f i c a n c eo f t h er e s e a r c h ：! 1 3t h ep u r p o s eo f t h es t u d y 3 1 4t h el a y o u to f t h et h e s i s 4 c h a p t e r 2l i t e r a t u r er e v i e w 6 2 1as h o r th i s t o r yo f t h es t u d yo f c o l l o c a t i o n 6 2 1 1c o l l o c a t i o ns t u d i e si nt h e1 9 5 0 s i 6 2 1 2c o l l o c a t i o ns t u d i e si nt h e1 9 6 0 s 7 2 1 3c o l l o c a t i o ns t u d i e si nt h e1 9 7 0 s 8 2 1 4c o l l o c a t i o ns t u d i e sf r o m1 9 8 0 st i l ln o w 9 2 2t h en o t i o no f c o l l o c a t i o n 1 0 2 2 1d e f i n i t i o no fc o l l o c a t i o nb yd i f f e r e n ts c h o l a r s 10 2 2 2t h ew o r k i n gd e f i n i t i o no fc o l l o c a t i o ni nt h i ss t u d y l2 2 3c h a r a c t e r i s t i c sa n dp r o p e r t i e so fc o l l o c a t i o n 13 2 3 1t y p i c a lf e a t u r e so f c o l l o c a t i o n 1 3 2 - 3 2p r o p e r t i e sa n df u n c t i o n so f c o l l o c a t i o n 1 4 ： 2 3 3l i n g u i s t i cs u b c l a s s e so f c o l l o c a t i o n 1 5 2 4p r e v i o u ss t u d i e so nc o l l o c a t i o ne x t r a c t i o n 1 7 2 4 1c o r p u s - b a s e da p p r o a c h e st oc o l l o c a t i o ne x t r a c t i o n 17 2 4 2a l g o r i t h m su s e df o rc o l l o c a t i o ne x t r a c t i o n 19 2 4 2 1m u t u a li n f o r m a t i o n 1 9 2 4 2 2h y p o t h e s i st e s t i n g 2 0 c h a p t e r3r e s e a r c h m e t h o d o l o g y ：1 6 3 1t h ec o r p o r au s e di nt h i ss t u d y 2 6 3 1 1a ni n t r o d u c t i o nt ob n cc o r p u s ：2 6 3 1 2t h e s u b - c o r p o r a0 f b n c 2 6 3 1 2 1t h es u b c o r p o r ao f d i f f e r e n tr e g i s t e r s 2 6 3 1 2 2t h es u b c o r p o r ao f d i f f e r e n ts i z e s 2 7 3 2 t o o i sf o rd a t ac o l l e c t i o n 2 7 3 3 p r o c e d u r e sf o rd a t ac o l l e c t i o na n dd a t aa n a l y s i s 2 8 3 3 1t o k c n i z a t i o n 2 8 3 3 2l e m m a t i z a t i o n 2 8 3 3 3e x t r a c t i o no f b i g r a m sa n dc o l l o c a t i o n s 2 9 3 3 4e v a l u a t i o no f t h ee x t r a c t i o ne f f i c i e n c y 2 9 c h a p t e r4 d a t aa n a l y s i sa n dd i s c u s s i o n 3 2 4 1e x t r a c t i o nr e s u r sf r o mc o r p u so fd i f f e r e n tr e g i s t e r s 3 2 4 1 1c o m p a r i s o n o f t h e p r e c i s i o n v a l u e s 3 2 4 1 2c o m p a r i s o no f t h er e c a l lv a l u e 3 5 4 1 3d e t a i l e dc o m p a r i s o no ft h ee x t r a c t i o ne f f i c i e n c y f o rc o r p u so f d i f f e r e n tr e g i s t e r s 3 7 4 2e x t r a c t i o nr e s u l t sf r o mc o r p u so f d i f f e r e n ts i z e s - 3 9 4 2 1c o m p a r i s o no f t h ep r e c i s i o nv a l u e s 3 9 4 2 2c o m p a r i s o no f t h er e c a l lv a l u e s 4 3 4 2 3d e t a i l e dc o m p a r i s o no ft h ee x t r a c t i o n e f f i c i e n c yf o rc o r p u s o f d i 行酹e n ts i z e s 4 5 4 3d i s c u s s i o n 4 8 c h a p t e r5c o n e l u s i o n 5 0 5 1m a j o r f i n d i n g s 5 0 5 2 “m i t a t i o na n ds u g g e s t i o n sf o rf u r t h e rs t u d y 5 1 r e f i e r e n c e 5 2 a p p e n d i x 5 6 a c k n o w l e d g e m e n t 6 0 r e s u m e 6 1 ac o n t r a s t i v ea n a l y s i so f a p p r o a c h e st oa u t o m a t i cc o l l o c a t i o ne x t r a c t i o n c h a p t e r 1i n t r o d u c t i o n 1 1r e s e a r c hb a c k g r o u n d “c o l l o c a t i o nr u n st h r o u g ht h ew h o l eo ft h ee n g l i s hl a n g u a g e n op i e c eo fn a t u r a l s p o k e no rw r i t t e ne n g l i s hi st o t a l l yf r e eo fc o l l o c a t i o n ( c r o w t h e r , 2 0 01 ：i v ) b e c a u s eo f i t su n u s u a lr o l ei nn a t u r a ll a n g u a g e sp r o c e s s i n g ，s e c o n dl a n g u a g ea c q u i s i t i o na n do t h e r a r e a s ，c o l l o c a t i o ns t u d yh a sr e c e i v e dm u c ha t t e n t i o ni nt h el a s th a l fc e n t u r y , a n di sn o w b e c o m i n g o n eo ff o c u s e so fm o d e m l i n g u i s t i cr e s e a r c h a l t h o u g hc o l l o c a t i o n sa r ei m p o r t a n tf o rs e c o n dl a n g u a g el e a r n i n ga n dm a n y n a t u r a ll a n g u a g ep r o c e s s i n gt a s k s ，a u t o m a t i ce x t r a c t i o no fc o l l o c a t i o n sf r o mac o r p u s h a sa l w a y sb e e naw e l lk n o w np r o b l e m i no r d e rt or e a l i z et h ep u r p o s eo fe x t r a c t i n g c o l l o c a t i o nf r o mac o r p u sa u t o m a t i c a l l y , r e s e a r c h e r sd e v e l o p e ds o m ek i n do fc o l l o c a t i o n e x t r a c t i o nt o o l s1 i k ea n t c o n c ，w o r d s m i t h ，e t c b u tt h e s et o o l sh a v et h e i ro w ns h o r t c o m i n g sw h i c hc a no n l ye x t r a c tc o l l o c a t i o n so fas i n g l ew o r de a c ht i m e c o l l o c a t i o n e x t r a c t i o na l s oi sc a r r i e do u tb y e m p l o y i n gs o m ek i n do fas t a t i s t i c a lm e a s u r et h a t i n d i c a t e sw e a t h e ro rn o tt w ow o r d so c c u rt o g e t h e rm o r eo f t e nt h a nb yc h a n c e f o r e x a m p l e ，f r e q u e n c ym e a s u r ew a su s e db yc h o u e k ae ta 1 ( 1 9 8 3 ) t oi d e n t i f yap a r t i c u l a r t y p eo fc o l l o c a t i o n c h u r c ha n dh a n k s ( 19 9 0 ) u s e dm u t u a li n f o r m a t i o nt oe x t r a c tw o r d p a i r st h a tt e n dt oc o o c c l rw i t h i naf 权e ds i z ew i n d o w ( n o r m a l l yf i v ew o r d s ) ，i nw h i c h e x t r a c t e dw o r d sm a yn o tb e d i r e c t l yr e l a t e d s m a d j a ( 1 9 9 3 ) e x t r a c t e dc o l l o c a t i o n s t h r o u g ham u l t i s t a g ep r o c e s st a k i n gt h er e l a t i v ep o s i t i o n so fc o o c c u r r i n gw o r d si n t o k a c c o u n t c h u r c ha n dg a l e ( 19 91 ) u s e dt h et - t e s ti ns t a t i s t i c a ln a t u r a ll a n g u a g e p r o c e s s i n gf o rt h ei d e n t i f i c a t i o no ft r a n s l a t i o np a i r si na l i g n e dc o r p o r a c o l l o c a t i o n e x t r a c t i o na n dt h e i ru s ei nf i n d i n gw o r ds i m i l a r i t yw e r es u g g e s t e db yl i n ( 19 9 8 ) a t - t e s tt of i n dw o r d sw h o s ec o - o c c u r r e n c ep a t t e r n sb e s td i s t i n g u i s hb e t w e e nt w ow o r d s w a ss u g g e s t e db yc h u r c ha n dh a n k s ( 19 9 0 ) d u n n i n g ( 19 9 3 ) a p p l i e dal i k e l i h o o dr a t i o t e s tt oc o l l o c a t i o nd i s c o v e r y 。a l m o s ta l lo ft h e s em e a s u r e sc a nb eg r o u p e di n t oo n eo f t h ef o l l o w i n gt h r e ec a t e g o r i e s ： l c h a p t e r1 i n t r o d u c t i o n f r e q u e n c y - b a s e dm e a s u r e s ( e g ，b a s e d o na b s o l u t ea n dr e l a t i v ec o o c c u r r e n c e f r e q u e n c i e s ) i n f o r m a t i o n - t h e o r e t i cm e a s u r e s ( e g ，m u t u a li n f o r m a t i o n ，e n t r o p y ) 。s t a t i s t i c a lm e a s u r e s ( e g ，c h i s q u a r et e s t ，t - t e s t ，l o g l i k e l i h o o dr a t i o ) t h ep r e s e n ts t u d ya i m st oc o m p a r et h ec o l l o c a t i o ne x t r a c t i o ne f f i c i e n c yo ff o u r k i n d so fa l g o r i t h m s ( m u t u a li n f o r m a t i o n ，c h i s q u a r et e s t ，t - t e s ta n dl o g - l i k e l i h o o dr a t i o ) t a k i n gt h ef a c t o r ss u c ha sc o r p u ss i z ea n dr e g i s t e r so ft h et e x t si n t oc o n s i d e r a t i o n 1 2t h es i g n i f i c a n c eo ft h es t u d y t h et e r m c o l l o c a t i o n w a sf i r s ti n t r o d u c e di n t ol i n g u i s t i cf i e l db yf i r t hi n19 5 7 a l o n gw i t ht h ef a m o u ss t a t e m e n t y o us h a l lk n o waw o r db yt h ec o m p a n yi tk e e p s f r o mt h e no n ，m a n yr e s e a r c h e sa b o u ti th a v eb e e nc o n d u c t e df r o mv a r i o u sp e r s p e c t i v e s ac o l l o c a t i o ni sal e x i c a lp h e n o m e n o ni nw h i c ht w oo rm o r ew o r d sa r eh a b i t u a l l y c o m b i n e da n dc o m m o n l yu s e di nal a n g u a g et oe x p r e s sc e r t a i ns e m a n t i cm e a n i n g ，s u c h a sw e a t h e ra s t o r m ，囊l eal a w s u i ta n dt h e f a f l i n gd o l l a r c o l l o c a t i o n sa r ei m p o r t a n tf o rm a n yn a t u r a ll a n g u a g ea p p l i c a t i o n ss u c ha sn a t u r a l l a n g u a g eg e n e r a t i o n ，m a c h i n et r a n s l a t i o n ，w o r d s e n s ed i s a m b i g u a t i o n ，c o m p u t e r l e x i c o g r a p h y , e t c m a n n n i n ga n ds c h i i t z e ( 19 9 9 ) s t a t et h a tc o l l o c a t i o n sa r ec h a r a c t e r i z e d b yl i m i t e ds e m a n t i cc o m p o s i t i o n a l i t ya n dh o w a r t h ( 19 9 6 ) c l a i mt h a tm o s ts e n t e n c e s c o n t a i na tl e a s to n ec o l l o c a t i o n t h ec o m b i n a t i o no ft h e s et w oo b s e r v a t i o n sc a r r i e s s e v e r ei m p l i c a t i o n sf o ra nn l gt a s kw o r k i n gw i t h o u ts u c hi n f o r m a t i o n a c c o r d i n gt o m a n n i n ga n ds c h i i t z e ( 19 9 9 ) ，c o l l o c a t i o n su s u a l l yh a v ea na d d e de l e m e n to fm e a n i n g t h i sl i n g u i s t i ce f f e c tm a yn o tb ew h a tw a si n t e n d e da n dc o u l ds i g n i f i c a n t l yc h a n g et h e p q u a l i t yo ft h eg e n e r a t e dt e x t ；g i v e nt h a tc o l l o c a t i o n so c c u rs of r e q u e n t l y , i g n o r i n gs u c h i n f o r m a t i o n a l l yr i c hl e x i c a lc o m b i n a t i o n sc o u l dl e a dt oo v e r - c o m p l i c a t e dt e x t 。m a c h i n e t r a n s l a t i o ni sc o n s i d e r e da so n eo ft h em o s td i f f i c u l tt a s k si nn a t u r a ll a n g u a g ep r o c