（外国语言学及应用语言学专业论文）dialogue+analysis+and+automatic+summarization+of+business+dialogues.pdf

a b s t r a c t t h ep u r p o s eo ft h i st h e s i si st o e x p l o r e t h er e l e v a n ti s s u e si n a u t o m a t i c 血a 1 0 9 u e s u m m a r i z a t i o n ( a d s ) w i t h i nt h ec o n t e x to ft h es p e e c hs u m m a r i z a t i o np r o j e c t w h i l et h e m a j o r i t yo ft e c h n i q u e si nc o m p u t a t i o n a ll i n g u i s t i c sf o rs u m m a r i z a t i o na l e c o m p u t a 6 0 n a l l y o r i e n t e d , o u ta p p r o a c h t ot h et a s ki sl a i l 鲴y g u 础c a l v o r i e n t e d t o 船m w 曲，w eh m da f p 峪o fd i a l o g u e s f r o mt h eb u s i n e s sd o m a i na n d c l a s s i f yt h e m i n t o1 6s u l d o m a 岖e a c ho fw l d c hi sc o n c e m e dw i t has p e c m ca c t i w 晦i nb u s n c s s t r a r s a c 6 0 n , s u c ha si n q u i r i n g o f f e r i n g , p r i c en e g o d a t i o n , e t c t h ed i a l o g u e s a r ct h e n s e g m e n t e d a n d t a g g e d w i t h p a r t - o f - s p e e c hl a b e l s t a k i n gs u m m a r i z a t i o n a ss e n t e n c ee x t r a c t i o nw et r yt o i d e n t i f y t h ed i s t i n g u i s h e d l i n g i l s d cf e a t u r e so fd a l o g u e s m o u 曲t h el i n 6 如 t i ca n a l y s i so fd i a l o 印嚣w ed c f h l et w o i n f o r m a t i o ns l r n c t u r c s ：t h e i n f o m 扭q o n 加咖d i a l o 伊e w i t ht h ep a r a l l e li n f o r m a t i o n a l l o c a t i o na n dt h en e g o t i a t i o nf f u d o g u ew i t ht h es e q u e n t a li n f o r m a t i o na l l o c a t i o n b a s e do n t h i s o b s e r v a t i o n w e d e v e l o p e d d i f f e r e n t 岫l i o n m c t h l 3 d s f o r t h e t w o t y p e s o f d i a l o g s i n0 l l rc o r p u s w eu s et h ee d m u n d s o n i a n p a r a d i g m t oa s s i g nas t 2 0 r cf o re a c hu t t e r a n c ei nt h e d i a l o g u e , r a n kt h e u r e m n c e sa n ds e l e c tt h et o p 厅( a d j u s t a b l e ) l i i t e r a c e sa st h e 鲫皿m a 耻w e a l s o p r o p o s e an e we v a l u a t i o nm e t h o dw h i c he v a l u a t e sb o t ht h ei n f o r m a t i v e n e s sa n d r e d u n d a n c yo ft h es u m m 越y t h ee v a l u a t i o nr e s u l t si n d i t et h eb e t t e rp e r f o m m c e o fo u r m e t h o d s c o m p a r e d w i m t h e m m r b a s e l i n e t a k i n g s u m m a r i z a t i o na sl a n g u a g e u n d e r s t a n d i n g , w ea d o p tt h eg o l l c e p to f s p e e c h a c tt o d e t e r m i n e t h e f u n c t i o n o f a n u t t e r a n c e s u m m a r i z a t i o n u s i n g t h i s m e t h o d w i l l t a k e t h r e e s t a g e s ： 1 ) t a g g i n ge a c hu r e r a r l c cw i t hp r o p e rd i a l o g u ea c t ；2 ) d i a l 唧ea c tr e c o g n i d o nf d a r ) ；3 ) i n f o r m a t i o ni d e n t i f i c a t i o nu s i n gn a t u r a ll a n g u a g ep r o c e s s i n gt e d m i q u e s o u rw o r ki nt h i s t h e s i si si nt h ef i r s ts t a g e t h ed e s i g no fa d i a l o g u ea c tt a g - s e t w ed c 】丘1 1 ct h et a g so n t h et h r e e + d i m e n s i o n s ：d i a l o g u e ，t a s k a n de m o t i o n w et h e na n n o t a t es o m e p r i c en e g o t i a t i o nd i a l o g u e s t h e p e r c e n t a g e d i s t r i b u t i o no f t a g si sg i v e na n dt h er e l a t e d t a g g i n gp r o b l e m s a r ed i s c u s s e d k e y w o r d s ：s u m m a r i z a t i o n , a u t o m a t i cd i a l o g u es u m m a r i z a t i o n , d i 姆a n a l y s i s , i n f o r m a t i o n s t r u c t u r e , d i a l o g u ea c ts e n t e n c ec x t r a c l i o n a c k n o w l e d g e m e n t s io w eal o tt ot h o s ew h oa r em o s tc l o s e l yr e l a t e dt ot h ea c c o m p l i s h m e n to ft h i st h e s i s ， s t a r t i n g w i t hm ym a i n s u p e r v i s o rc h e n g q i n gz o n g ，w h o h a sp r o v i d e dt h eo p p o r t u n i t yf o r m yo n ey e a r ss t a y i nt h ec h i n e s ei n f o r m a t i o np r o c e s s i n gl a b o r a t o r y ，i n s t i t u t eo f a u t o n o m y ，c h i n e s ea c a d e m y o fs c i e n c e s m r z o n gh a sb e e ne n c o u r a g i n gm yr e s e a r c h i n c o m p u t a t i o n a ll i n g u i s t i c s f r o mt h e l i n g u i s t i cp e r s p e c t i v e a n dh a sb e e ng i v i n gh i s a d v i c ea n dh e l pt h r o u g h o u tt h ew h o l er e s e a r c hp r o c e s s n e x ti sm ys u p e r v i s o rf r o m z h e j i a n gu n i v ，p m f j i a n l iz h a n g w h oh a sb e e ng i v i n gm ea d v i c ea n de n c o u r a g e m e n t s i n e * t h ew r i t i n go ft h eu n d e r g r a d u a t et h e s i sa n d h a sb e e n m y m e n t o ri nm a n y w a y s a n d t h e r ei sm r h u a i q i a ob a ow h oh a sa r r a n g e dt h ei n t e r n s h i pf o rm ea n d h a sa l w a y sb e e n t h a tk i n di no f f e r i n gh i sg e n e r o u s h e l p m y t h a n k sa l s og ot ot h ep e o p l ew h o m ih a v eb e e ns t u d i e da n dw o r k e dw i t h ，b o t ha t z h e j i a n gu n i v e r s i t ya n dc pl a b t h a n ky o uf o ry o u r c o n s i s t e n tt r u s t ，e n c o u r a g e m e n t a n dt o l e r a n c ew h i c hh a v eh e l p e dm es om u c hi nr e s e a r c ha n di n l i f e ia ma l s ov e r y g r a t e f u lt om y f r i e n d sw h oa r ea l w a y st h e r et oo f f e rt h e f tc o m f o r ta n da d v i c et oh e l pm e t h r o u 吐t h et h o r n ys i t u a t i o n s id e e p l yt h a n km y f a m i l y ，i np a r t i c u l a rm y s i s t e r ，w h oh a v ea l w a y se n c o u r a g e da n d s u p p o r t e dm yl o n gp a t ha s as t u d e n to fv a r i o u ss u b j e c t si na l lw a y s ，a n dw h o h a dt h ef a i t h a n dt r u s tt h a t1w o u l dk n o ww h a ti sb e s tf o rm e c h a p t e r 1 1 1 i n t r o d u c t i o n w h i l et h ef i e l do fw r i t t e nt e x t ss u m m a r i z a t i o nh a sb e a ne x p l o r e df o rm a n yd e c a d e s , 辱d n m g s i g n i f i c a n t l y i n c r e a s e d a t t e n t i o n i n t h e l a s t f i v e t o t e n y e a r s ，s u m m a r i z e o n o f s p o l 妃n l a n g u a g e i sac o m p a r a t i v e l yr e c e n tr e s c a r d a 龇跪a st h ea m o u n to f s p o k e na u d i od a t a b a s e si sg r o w i n g r a p i d l y ，h o w e v 盯 t h en e e df o rh i g hq u a r r ys u m m a r i z a t i o no fi p f u i m 越o nc o n t a i n e di nt h i s m e d i u mw i l ld s cs u b s t a n t i a l l y s 岫t l o no f s p o k e nd i a l o g s c s , i n 弘i r i i 眦m a ya i dt h e a r c h i v i n g i n d e x l n g , a n d r e t r i e v a lo f v a r i o u sr e c o r d so f o r a lc o m m u n i c a t i o n , s u c ha sc o r p o r a t e m e t i n g s , s a l e si n t e m c f i o u s ，0 1 c u s t o m e rs u p l x ) r t o u rm a i np u r p o s ei nt h i st h e s i si st oe x p l o r et h er e l e v a n ti s s u e si na u t o m a t i cd i a l o g u e s u m m a r i z a t i o n t h ea t t e m p ti sm o f ee x p c h r n e n t a lt h a na p p l i c a t i v ea n di sm o r e l i n g u i s t i c a l l y o r i e n t e dt h a nc o m p u t a t i o n a l l yo r i e n t a t e d w ee x p e c tt oc a r r yo u tt h ed i a l o g u ea n a l y s i so nt h e m a c r 0 - s t r u c t u r el e v e l ，i nt h eh o p et od j s l 3 0 v e rt h ed i a l o g u es p c c 此s h a l l o wf e a t u r e sf o r s u m m a r i z a t i o nu s i n gs c m a n c ce x l r a c t i o nt e c h n i q u e s a l s ow ew a n tt oe x p l o r et h em i c r o - l e v e l p r o p e r t i e su s i n gd i a l o g u ea c ta l m o t a t i o nw h i c hi s ac o n v a n t i o n a u yu s e dr n c t h o di nt h e d e v e l o p m e n to f d i a l o g u es y s t e m s a n do t h e r d i a l o g u e r e l a t e d a p p l i c a t i o n s t h e d i a l o g u es u m m a r i z a t i o nm e t h o dd e v e l o p m e n t w i l l0 0 哪i i l ) u t ct 0t h es u n l m a r i z 碰o n r e s e a r c hi nt h el a r g ec o n t e x t b u tm o r e i m p o r t a n t i ti su s e f u lf o ri n f o r m a t i o nc o n d e n s a t i o no f t h ed i r e c tr e s u l to f s p e e c hr e c o g n i t i o n a n dc o n s i d e r i n gt h es p e d a lt y p eo f o u rc o l l c c t l o no f d i a l o g u e s , w ee x p e c to u r r c s c a r d lh e l p f u lf o rt h es u m m a r i z a t i o no ft h i sn e wf o r mo f l a n g u a g e m a t e r i a l s , t h ew r i t t e nd i a l o g u ea sw e d e f i n e di t 1 2 i h e s i so u t l i n e t h e f o l l o w i n gc h a p t e r sw i l lb et h em a i np a r to f o b r t h e s i s c h a p t e r2g i v e st h e 制皿啪a r yo f s u m m a r i z a t i o nt e c h n i q u e sc o m m o n l yu s e dw i t h i nt h ec o m p u t a t i o n a ll i n g u i s t i cc o m m u n i t y , i n c l u d i n ga p p r o a c h e s t ot e x ta n d s p e e c hs u m m a d z a t i o n ；c h a p t e r3 i st h ed i a l o g u ea n a l y s i so f d i a l o g u e f o rs u m m a r i z a t i o nf r o mt w o p e r s p e c t i v e s ：s e n t e n c e e x t r a c t i o na n dl a n g u a g e - 3 一 u n d e r s t a n d i n g ；c h a p t e r 4i sa b o u tt h ec o n s t r u c t i o no f c o r p u sa n dd aa n n o t a t i o n ；c h a p t e r5 t a l k sa b o u tt h ei m p l e m e n t a t i o na n de v a l u a t i o no ft h es a x m m a r i z a u o ns y s t e mu s i n gs e n t e n c e e x t r a c t i o nm e t h o d s t h ef i n a lc h a p t e rg i v e st h ec o n c l u s i o n d c h a p t e r 2 s u m m a r i z a t i o ni n c o m p u t a t i o n a ll i n g u i s t i c s i n t h i ss e c t i o n w e d i s c u s s r e l a t e d w o r k , 笛f a r a s i t i s p e r t a i n i n g t o t h e t o p i c o f s u m m a r i z a t i o n i n g e n e r a l ，a n ds p o k e nl a n g u a g e s u m m a r i z a t i o ni np a a i c u l a r i t si m p o r t a n tt og i v ea p r e c i s ed e f i n i t i o nf o r t h et a s kw ea r eg o i n gt ou n d e r t a k ea tt h ev e r y b e g i n n i n g 吐t h e d e f i n i t i o no f “s u m m a 妒h a sb e e ng i v e n e x p l i c i t l yb y t h ea m e r i c a n n a t i o n a ls t a n d a r d sc o m m i t t e e ( a n s c ) z 3 9a n dh a sb e e nu s e du n c o n t r o v e m a l l yi nt h e d o m a i no fa u t o m a t i cs u m m a r i z a t i o n , i th a sn o tb e e nr e c e i v i n gm u c ha t t e n 幽nf r o mt h e l i n g u i s t s a c t u a u ys u 让b 锄洲0 i li st h em o s tc o o m l o nt y p eo fl a n g u a g eb e h a v i o r s w ca r e s u m m a r i z 血n gw h e n e v e rw e a r ea s k e dt oe x p r e s si nac o n d e n s e df o r mt h eb a s i cp a r t so f 越 e a r l i e rs p o k e no rw r i t l e nt e x t t h ee x a c tp r o c e s so fs u l n m a l i 趣s t i l li e m a i n sl m k n o w n , h o w e v e r , i ti su n a r g u a b l ya c c e p t e dt h a ts u m m a r i 翻f i o ni n v o l v e st h em e n t a la c t i v i t i e s f o r u n d e r s t a n d i n g d i s c o u r s ec o m p r e h e n s i o n , a s v a n d i i k ( k i n t s c h a n dv a n d 目k1 9 7 8 ；v a n 聊k a n dk i n 船c h , 1 9 8 3 ) h a sd e m o n s t r a t e d , n e c e s s a r i l yi n v o l v e st h er e c o g n i 矗o no ft e x ts m l c t u r c s a n dt h ea b i t yt os u m m a l i z e e c o m i n g t oo u rr e q u i r e m e n t 断s u m m a r i z a t i o n , c e r t a i n l yw ea r en o te x p e c t i n go u r e l e c t r o n i cb r a i n t os i m u l a t et h eh u m a nm e n t a la c t i v i t i e s ，岫u 曲a sw ec a l ls e ei nt h en e x t s e c t i o n , t h e r eh a v eb e e na t t e m p t si nt h i sd i r e c t i o nf o rs c i e n t i f i ct e x t ss u m m a r i z a t i o n w i t h i n c l c o m m u n i t y , “as u m m a r y c a l lb e l o o s e l yd e f i n e da sat e x tt h a ti sp r o d u c e df r o m o n eo r m o r et e x t s , t h a tc o n v e y si m p o r t a n ti n f o l ：m a t i o ni nt h eo r i g i n a lt e x t ( s ) , a n dt h a ti sn ol o n g e r t h a nh a l fo ft h eo r i g i n a lt e x t ( s ) a n du s u a l l ys i g n i f i c a n t l yt e s st h a nt h a t t e x th e r ei su s e dr a t h e r l o o s e l ya n d 锄r e f e r t os p e c c i l ，m u l t i m e d i ad o c u m e n t s h y p c r t e x t , c t c 0 瑚e v , h o wa n d m c k c o w n , 2 0 0 2 ) t h i s d e f i n i t i o n s u g g e s t s t h e s h i f t f r o m t h e l i n g u i s t i c e m p h a s i s o n u n d e l l y i n g p s y c h o l o g i c a l a c 6 v i t i e st ot h et e e l m i c a le m p h a s i so nt h ei n f o r m a t i o ns t r u c t u r eo f t h et e x t a s i n f o r m a t i o nc o n t e n ti nad o c u m e n tu s u a l l ya p p e a r si nb u r s t s , i ti sp o s s a o l et od i s t i n g u i s h b e t w e e nm o r ea n dl e s si n f o r m a t i v es e g m e n t s i d e n t i f y i n gt h e 如如m 擒l i v es e g m e n t sa tt h e e x p e n s eo f t h er e s ti st h em a i n c h a l l e n g ei ns n n m a r i z a 廿o mt o a v o i dt h ec o n f u s i o ni n 嘶g e t e r m s w ew o l l l dl i k et 0r e p l a c ef 耐i nt h ea b o v ed e f i n i t i o nw i t hd i s c o u r s e , a n di nt h el a t e r s e c t i o n s w c w i l l u s e t e v a f o r w r u e n d i s c o u r s e , s p e e c h , 威口1 0 ：g 啦f o r s p o k e n d i s c o u r s e t h e r e 哦s e v e r a ld i m e n s i o n st ob ec o n s i d e r e dw h e nt a a d n ga b o u ts u m m a r i z a t i o n a c c o r d 堍t ot h ea m o u l l to fi n f o r m a t i o nc o n t a i n e di nt h es u m m a r y , t h e r ea r e n d c a t i v e s u m m a r ya n d n f o r m a e v es n m l n a r y t h ef o r m e rp r e s e n t sa ni d e ao fw h a tt h et e x ti sa b o u t w i t h o u tp r o v i d i n gt h es p e c m cc o n t e n t , w h i l et h el a t t e rg i v e sm o l ed e t a i l e di n f o l l l 枷o n a c c o r d i n g t ot h ef o r mo ft h es u m m a r y , t h e r ea l ee x t r a c t s ，a b s t r a c 盘a n dc o m p r e s s e dt e x t ： e x t r a c t sa r ep a r t so f t h e o r i g i n a lt e x ti nl i n g u i s t i cf o r m t h e s ep a r t s c a nb e c l a u s e s , s e n t e n c e s o r p a r a g r a p h s , s o m e t i m e sk e y w o r d sa n d o rk e yp h r a s e s 。t h i se x t r a c t i o np r o c e s sc a l lb ed o n e u s i n ge n t i r e l ys t a t i s t i c a lm e t h o d sa n dp o s s 南l ye n h a n c e dt h r o u g hi n t e g r a t i n gs o m es h a l l o w 1 i n 触f e a t u r e s ；a b s 扫- a c t sa r ec r e a t e db yr e g e n e r a t i n gt h ee x t r a c t e dc o n t e n t , r e q u 她n o t o n l ya d e e p ”u n d e m t a n d i n go ft h et e x tb u ta l s oag e n e r a t i o nc o m p o n e n tw h i c hp r o d u c e s i n t e l l i g i b l et e x t s 矗o mt h ef o r m a lr e p r e s e n t a t i o n ；c o m p r e s s e dt e x t s a l e g e n e r a t e dt i n o n 班 s q u e e z i n g o u tu n i m p o a a n t l i n g u i s t i ce l e m e n t sf i o mt h e e x t r a c t e ds e n t e n c e sa n d c o m b i n i n g t h e r e m a i n m 4 ；f r a g m e n t s u s i n g i n f o r m a t i o n f u s i o na n d g e n e r a t i o r l t h e s e a l e t h e m a i n t a x o n o m i e s h as u m m a r i z a t i o nt r a d i t i o n ；o t h e rd i m e n s i o n sa r cg e n e r i c v s q u e r y d r i v e n ，s i n g l ev s 厢础 d o c l a r l e 2 1 t s , e l c 0 t a d e v ，j i n ga n db u d z i k o w s k a , 2 0 0 0 ) a st h e ya l et h ep r i m a r yl o c io f o u r t a s k , w e w i l ln o td i s g r l s st h e mi nd e t a i l s v ，h e r e a se a r l ya p p m a d a e sf o rs u m m a r i z a t i o nd l e wm o l ef r o mi n f o r m a t i o nr e t r i e v a l , m o l er e c e n ta p p m a c h e sd r a wf r o mt h en a t u r a ll a n g u a g ef i e l d w i l ls e ei nt h en e x ts c c 6 0 n t h e i m p r o v e m e n t o f s u m m a r i z a t i o n r e s u l t s w i t h t h e i n t e g r a t i o n o f n i p t e c h n i q u e s t h e e a r l y r e s e a r c hi na u t o m a t i cs u m m a r i z a t i o nd a t e sa sf a rb a c ka st ot h el a t e1 9 5 0 s ( 【m m ， 1 9 5 8 ) a n dm a n yt e c h n i q u e s a l ed e v e l o p e d m a i n l y i nt h ew r i t t e nt e x t sc o n t e x t t h e mh a sb e e n al e n e w e da n di n t e m i f i e di n t e r e s ti nt h i s 舡吼i nt h ep a s td e c a d eo rs o m a i n l yd u et ot h e e x p o n e n t i a l g r o w t h o f o n l i n e d a t a t h r o u g h n e x 】l ，s w d l es e r v i c e s a n d t h e e m e r g e n c e o f t h e w o r l d w i d ew b b a p p r o a c h e st ot e x ts u m m a r i z a t i o nc a l lb ec l a s s i f i e di n t ot w ob r o a dd i r e c t o r i e s ： s h a l l o wa p p r o a c h e st h a tu s em a i n l ys t a t i s t i c a lm e t h o d st oe x t r a c ti n f o r m a t i v es e n t e n c e sf r o m 6 t h et e x t ；a n dt h e d e 叩a p p r o a c h e s t h a tg of u r t h e rt h a n m e r e l ye x t r a c t i o n t h e yt r yt os i m u l a t e t h eh u m a n c o m p r e h e n s i o np r o c e s s t oi d e n t i f yt h e u n d e r l y i n g e n t i t i e sa n d c o n c e p t s t og e n e r a t e a l la b s t r a c t 2 2 1s h a l l o w a p p r o a c h e s t ot e x ts u m m a r i z a t i o n a c c o r d i n g t om a y b u r ya n d m a n i ( 2 0 r e ) , s h a l l o w e ra p p r o a c h e s 钿s l d t i ns e n t e n c ee x t r a c t i o n a n das u m m a r i z a t i o nm a c h i n e t a k i n gt h i sa p p r o a c hc o n s i s t so f t h r e em o d u l e s ：f e a t u r es e l e c t o r , f e a t u r eo o m b i n e ra n ds e n t e n c e s e l e c t o r ( r e v i s e r ) , t h i sa p p r o a c h ( s e n t e n c e 姗c f l o n ) i s t h e m o s te x p l o r e d i n a u t o m a t i c t e x t s u n a m a t i z a f i o n t h e r e a r e t h r c e c u r r e n t t e c h n i q u e sf o re x t m a i n gi m p o r t a n ts e t l t e n c e s t h ef i r s tt e c h n i q u e , w h i c hi ss t a t i s t i c s - b a s e d , m a k e sk s eo fam i xo fw o r do c c u r r e n c e , t e x tc u e sa n do t h e rf e a t u r e s , w i t h o u tt a k i n gi n t o c o n s i d e r a t i o nt h em e a n i n go fw o r d s t h es e c o n da n dt h i r dt e d m i q u e sa r el i n g u i s 畦c sb a s e d o n e e x p l o i t st h er e l a t i o nt h a te x i s mb e t w e e t lw o r d s _ t h eo t h e r , t h er h e t o r i c a lr e l