基于自动文摘的论文抄袭检测研究.pdf

T h eR e s e a r cho nH o wt oD e t e ctPla giaris m t h eT h e s e sB a s e do nA u t o m a i A b s t r a ctioninA u t o m a tlcA b s t r a co nI Z b a oJ u n j ie W a n gL iW a n gP in g s h u i A n h u iU n iv e r s it yo f F in a n ce E co n o m ics B e n g b u2 3 3 0 6 1 A n h u i 州h 岫d A u t o m a t ica b s t r a ct io nca na u t o m a t ica l l ye x t r a ctt h eb r ie fa n dco h e r e n te s s a y sr e f l e ct in gt h em a inco n t e n t so ft h e t e x tco m p l e t e l ya n da ccu r a t e l yf r o mt h et e x to rt e x tco l l e ct io n u s in gt h eco m p u t e rt om e e tt h eg e n e r a lo rp a r t icu l a ru s e r s r e q u ir e m e n t s F ir s t t h isp a p e rr e f e r st ot h ed e f in it io n f u n ct io na n dcl a s s if ica t io no fa u t o m a t ica b s t r a ct io n a n dt h e ng iv e sak in do f a u t o m a t ica b s t r a ct io nt e ch n o l o g yb a s e do l lk e y w o r d sr e t r ie v a l I ta l s op u t sf o r w a r dam e t h o do fd e t e ct in gp l a g ia r is mint h et h e s e s b a s e do na u t o m a t ica b s t r a ct io na n da n a l y z e st h er e s u l t so f t h ee x p e r im e n t F in a l l y t h ea u t h o rin t r o d u ce st h ef u r t h e rw o r kinb r ie f I 蜀哆 喇山 a u t o m a t ica b s t r a ct io n k e y w o r d s e x t r a ct io n r e t r ie v a l p l a g ia r is md e t e ct io n 1 I n t r o d u ct io n S o ca l l e da u t o m a t ica b s t r a ct io nist oa u t o m a t ica l l ye x t r a ct a b s t r a ct sf r o mt h eo r ig in a ll it e r a t u r eu s in gt h eco m p u t e r 1 A u t o m a t ica b s t r a ct io nq u ick l yco n d e n s e sa n de x t r a ct sal a r g eo f e l e ct r o n ict e x t s w h ichisa na ccu r a t ea n de f f icie n tw a yt o a cce l e r a t et h e r e a d in ga n d o b t a inin f o r m a t io nr e s o u r ce s S o ca l l e da b s t r a ctisab r ie fa n dco h e r e n tp a s s a g et or e f l e ctt h e ce n t r a lco n t e n to fad o cu m e n ta ccu r a t e l y m a in l yin cl u d in gt h e f o l l o w in gt h r e et y p e s in s t r u ct io n in f o r m a t io na n dco m m e n t 2 1 T h isp a p e rm a in l ys t u d ie so nin f o r m a t io na b s t r a ct ak in do f co n ce n t r a t e de x p r e s s io nf o rt h ed e t a il so ft h eco n t e n t I tC a l l h e l pu s e r st og r a s pt h eco r eco n t e n to ft h eo r ig in a lp a p e ro n l y t h r o u g hr e a d in gt h ea b s t r a ct a n dg r e a t l ys a v et h et im ea n d im p r o v et h ee f f icie n cyo fr e a d in g T h em a inp u r p o s eo ft h is s t u d yist od e s ig nak in do fa u t o m a t ic a b s t r a ct io nt e ch n iq u e s b a s e do nk e y w o r d sr e t r ie v a la n da p p l yitt ot h er a p idd e t e ct io n o fp a p e rco p y 2 O v e r v ie wo fA u t 渊t icA b s t r a ct io nT e ch n o l o g y A u t o m a t ica b s t r a ct io nco n s is t so ft h r e es t e p s t e x ta n a l y s is in f o r m a t io ns e l e ct io na n d g e n e r a l iz a t io n a n dg e n e r a t in g a b s t r a ct s T e x t a n a l y s is f in d st h em o s t r e p r e s e n t a t iv e co m p o n e n t s o f o r ig in a l co n t e n t s C o n v e r s io n p r o ce s s co m p r e s s e st e x tt h r o u g hs u m m a r y T h el a s ts t e pist o r e co m b in et h eo r ig in a lco n t e n ta n dg e n e r a t ea b s t r a ct s 3 1 A u t o m a t ica b s t r a ct io nin cl u d e sf o u rm a inm e t h o t is a u t o m a t i ce x t r a ct io n a u t o m a t ica b s t r a ct io nb a s e de l l u n d e r s t a n d in g in f o r m a t io ne x t r a ct io na n da u t o m a t ica b s t r a ct io nb a s e do n s t r u ct u r e 4 1 2 1A u t o m a t icE x t r a ct io n A u t o m a t ice x t r a ct io nr e g a r d st e x t 勰al in e a r s e q u e n ce s e n t e n ce sa n dt h es e n t e n cea s al in e a rs e q u e n ceo fw o r d s I t u s u a l l yw o r k sb yf o u rs t e p s 1 ca l cu l a t in gt h er ig h tv a l u eo f w o r d s 2 ca l cu l a t in gt h er ig h tv a l u eo fs e n t e n ce s 3 d e s ce n d in gt h eo r d e ro fa l lt h eo r ig in a ls e n t e n ce sf r o mt h e h ig h e s tv a l u et ot h el o w e s t a n dt h eh ig h e s to n eiss e l e ct e da s a b s t r a ctw o r d s 4 o u t p u t t in ga l la b s t r a ctw o r d sa cco r d in gt o t h e iro r d e rint h eo r ig in a lt e x t I na u t o m a t ice x t r a ct io n t h e ca l cu l a d o no fw o r dv a l u ea n ds e n t e n cev a l u ea n dt h es e l e ct io n o fa b s t r a ctw o r d sa r ea 1 1o nt h eb a s iso ft h es ixk in d so ft e x t f o r m w o r d f r e q u e n cy t it l e p o s it io n s y n t a x s t r u ct u r e cl u ew o r d s a n dd e m o n s t r a t iv ee x p r e s s io n s T h e s es ixf e a t u r e sa r et h eb a s is o fa u t o m a t ice x t r a ct io na n dt h e yin d ica t et h et h e m eo ft h et e x t f r o md if f e r e n ta n g l e s 2 2A u t o m a t icA b s t r a ct io nB a s e do nU n d e r s t a n d in g T h eo b v io t isd if f e r e n ceb e t w e e nt h ism a t h o da n da u t o m a t ic a b s t r a ct io nl ie sint h eu s eo fk n o w l e d g e I tn o to n l yo b t a in s l a n g u a g es t r u ct u r eb yu s in gt h ek n o w l e d g eo fl in g u is t ics b u t a l s og e t st h es ig n if ica n ceo fa b s t r a ctb yu s in gt h ek n o w l e d g eo f t h isf ie l d F in a l l yitp r o d u ce st h ea b s t r a ctf r o mt h es ig n if i ca l l C e 2 3 I n f o r m a t io nE x t r a ct io n A u th o rin t r o d u ctio n Z h a ol t m j ie m a l e S u z h o uA a h u i m a s t e rd e g r e e l e ct u r e r r e s e a r chd r e ct io n d a t am in in ga n dt h ein f o r m a t io nr e t r ie v a l F u n d o f 8 0 C ia l8 cie r ice 8r e s e a r chp r o j e ct t h ep r o j e ct 0 7 J C 8 7 0 0 0 6 y o u t hf u n d A n h u iU n iv e r s it yo f F in a n cea n dE co n o m icsr e s e a r ch p r o j e ct s A C J Y Z D 2 0 0 9 1 4 作者简介 赵俊杰 男 安徽宿州人 硕士 讲师 研究方向 数据挖掘与情报检索 基金项目 教育部社科研究基金青年项目 项目编号 0 7 J C 8 7 0 0 0 6 安徽财经大学教研重点项目 项目编号 A C J Y Z D 2 0 0 9 1 4 一3 1 I n f o r m a t io ne x t r a ct io nm e a n st oa u t o m a t ica l l yid e n t if yt h e in f o r m a t io ns u cha sr e f e r r in gt oa ne n t it y r e l a t io n s h ip a n d e v e n tf r o ma 西y e ns e to ft e x t sa n ds t o r eo rm a n a g ea l lt h ein f o r m a t io n T h em e t h o do fu s in gin f o r m a t io ne x t r a ct io nt oca r r y o u ta u t o m a t ics u m m a r iz a t io ns h o u l df ir s t l yid e n t if yt h et h e m e s o ft e x t t h e nch o o s et h ef r a m e w o r ko fa b s t r a ct s a n a l y z et h eu s e f u lf r a g m e n t so fin f o r m a t io ne x t r a ct io nd e e p l ya n du s er e l e v a n t p h r a s e so rs e n t e n ce st of il lt h ea b s t r a ctf r a m e w o r k L a s t l y w e w iilm a k eu s eo ft h ea b s t r a ctm o d e lt oco n v e r tt h eco n t e n tint h e f r a m e w o r kin t ot h ea b s t r a cta n do u t p u tit 2 4A u t o m a t icA b s t r a ct io nB a s e do nS t r u ct u r e T h ea b s t r a ctw o r d sa r eu s u a l l yr e g a r d e da st o ps e n t e n ce s w h icha r er e l a t e dt om a n ys e n t e n ce sinan e t w o r kco m p o s e do f s e n t e n ce s T h er e l a t io n s h ipb e t w e e ns e n t e n ce sca nb ej u d g e d b yt h a to fw o r d so rco n j u n ct io n s T oal o n ga r t icl e ita l s oca l l b er e g a r d e da s an e t w o r ko fp a r a g r a p h s W eca n 西v ee a ch p a r a g r a p haf e a t u r ev e ct o r a n dt a k et h ein n e rp r o d u cto ft h e s e t w op a r a g r a p h se ig e n v e ct o ra s t h eco n n e ct io ns t r e n g t ho f t h e m I ft h eco n n e ct io ns t r e n g t hisb e y o n dt h eg iv e ilt h r e s h o l d t h et w op a r a g r a p h sh a v es e m a n t ic l in k s L a s t l y t h ece n t r a l g r o u p sw it ht h el in kt om a n ys e g m e n t sa r ee x t r a ct e dt of o r ma n a b s t r a cto fa na r t icl e 3 AT e ch n iq u eo fA u t o m a t ioA b s t r a ct io nB a s e do n K e y w o r dR e t r ie v a l 3 1 K e y w o r dE x t r a ct io n 1 1 h ea l g o r it h mm o d e lo fk e y w o r de x t r a ct io np u t st h ef o l l o w in gin t oaf u l lf r a m e w o r k s u cha sw o r ds e g m e n t a t io na n d p a r t o f s p e e cht a 鹳in g t e x tp r e t r e a t m e n t l in e a rw e ig h t in ga l g o r it h m t h ef o r m a t io na n df il t r a t io no fco m b in e dw o r d s m e r g in g k e y w o r d s ct e A n dt h et w oim p o r t a n td a t as t r u ct u r e s a r et h e w o r din f o r m a t io nt a b J et h eco m p o u n dw o r din f o r m a t io nt a b l e T h eg e n e r a t e dco m b in e dw o r d sa r en o tr e g a r d e da se x ce p t io n s b u tt og iv et h e mv a l u ew it ht h es cie n t if icm e t h o da n dt a k ep a r t int h eco m p e t it io nw it ho t h e rw o r d s t h ew o r d sm a d eb yt h ea l g o r it h mo fl in e a rw e ig h t in g T h e nw em e r g et h et w ot a b l e s a n dg e tt h eu l t im a t ek e y w o r d s t 5 W ef ir s td e a l 历t ht e x tp r e t r e a t m e n t a n dt h es y s t e mo f w o r ds e g m e n t a t io na n dp a r t o f s p e e cht a g g in g t h e nu s et h ea l g o r it h mo fl in e a rw e ig h t in g T h r o u g ha n a l y z in gt h ef r e q u e n cy o ft h eC h in e s et e x t p a r to fs p e e cha n dt h ep o s it io no fp h r a s e s w eq u a n t iz et h ew e ig h t in gf a ct o ra n dca l cu l a t et h ev a l u eo f e a ch w o r d T h e nt h eca n d id a t ek e y sa r ee x t r a ct e da cco r d in gt ot h e s iz eo fv a l u e a n dt a k et h e ma st h eb a s iso ff in a lk e y w o r d s B a s e do nt h em e t h o do fg e t t in gco m b in e dw o r d sb yu s in gl in e a r w e ig h t e da l g o r it h m w eC a l lg e tt h es e co n dca n d id a t ek e y w o r d s l is t F in a l l yt h er e p e a t e dit e m sint h e s et w ot a b l e sa r et a k e n a w a y a n dt h ek e y w o r d sa r ep r o d u ce da cco r d in gt ot h er ig h to r d e ro ft h es iz eo fv a l u e M e a n w h il e t h en u m b e ro fk e y w o r d s 一3 2 一 ca nb es p e cif ie db yu s e r s 3 2 A l g o r it h mo f A u t o m a t ic A b s t r a ct io n T h ea l g o r it h mo fa u t o m a t ica b s t r a ct io nf ir s td o e st h et e x t s e g m e n t a t io nb yu s in gs e g m e n t a t io nt o o l s 1 6 t h e nite x t r a ct st h e k e y w o r d s o nt h eo n eh a n d its t o r e st h ek e y w o r d sa cco r d in gt o t h eu n ito fp a r a g r a p h s e a chk e y w o r disg iv e nd if f e r e n tw e ig h t s b yt h eo r d e ro fe x t r a ct io n 1 0 0 9 0 8 a n dt h ew e ig h to f e a chs t a t e m e n tine v e r yp a r a g r a p hisca l cu l a t e da cco r d in gt ot h e v a l u eo fk e y w o r d s T it l e p o s it io na n dt h el e n g t ho fs e n t e n ce s a r ea l s ot a k e na st h eim p o r t a n tf a ct o r so fch o o s in ga b s t r a ct sb e s id e sw o r df r e q u e n cy A cco r d in gt os t a t is t ics t h ech a n ceo fa b s t r a ctw o r d sa p p e a r in go nt h et it l eisa r o u n d9 5 8 5 int h e b e g in n in go ft h ep a r a g r a p h a n d7 int h ee n do ft h ep a r a g r a p h T h e r e f o r e t h et it l e sw it hk e y w o r d sa r ed ir e ct l ys e e na s a b s t r a ctw o r d s T h eo t h e rs t a t e m e n t sa r es o r t e db yt h eo r d e ro f w e ig h t a n dt h e5s e n t e n ce sw it ht h em a x im u mw e ig h tine a ch p a r a g r a p ha r ep ick e du pa sca n d id a t ek e ys e n t e n ce s T h e nw e s e l e ctt h ea b s t r a ctw o r d sco n s id e r in gt h ep o s it io na n dl e n g t ho f s t a t e m e n t s E v e n t u a l l yt h e a b s t r a cto ft h ew h o l et h e s isis f o r m e d S p e cif icp r o ce s s e sa r es h o w nb e l o w F ig u r e1 A u t o m a t icA b s t r a ct io nB a s e do nK e y w o r dR e t r ie v a 4 D e t e ct io no fT h e s isC o p y in gB a s e do nA u t o m a t j cA b s t r a ct io n 4 1B a s icT h o u g h t B e ca u s em o s tp a p e r st a k eu pt h el a r g es p a ce itis t im e co n s u m in g t oco m p a r et h e m T h e r e f o r e w ef ir s tco m p a r e t h e ira b s t r a ct sa n da g a inco m p a r ew h o l et e x tift h e yh a v eah ig h s im il a r it yt o f in dt h eco n t e n t ss u s p e ct e do fp l a g ia r is m B u t s o m ea u t h o r so f f e rt o os im p l ea b s t r a ct s n om o r et h a n 2 0 0 w o r d s o rt h ea b s t r a ctisn o tt o oa ccu r a t e A n dt os u mt h e f u l lco n t e n to ft e x tisag o o dw a yt os t r e s st h ek e yp o in t S o h e r et h isp a p e rd e a l sw it ht h et h e m e sw it ha u t o m a t ica b s t r a ct io n a n dco m p a r et h ea b s t r a ct ss ot h a tt h ea ccu r a cyisim p r o v e d 4 2C o n cr e t eS t e p s S t e p1 t os e g m e n tt h ep a p e rt ob ed e t e ct e da n dt h eo r ig i h a lo n e S t e p2 t oe x t r a ctt h ek cy w o r d so ft h ep a p e rt ob ed e t e ct e d a n dt h eo r ig in a lo n er e s p e ct iv e l ya n ds t o r et h e m S t e p3 t oca l cu l a t ea n ds o r tt h ew e ig h to fs e n t e n ce sint h e p a p e rt ob ed e t e ct e da n dt h e o r ig in a lo n er e s p e ct iv e l y a n dg e n cr a t ea u t o l m a t ica b s t r a ct s S t e p4 t oco m p a r et h ea b s t r a ct so ft h ep a p e r t ob ed e t e ct e da n dt h eo r ig in a lo n e ca l cu l a t et h es im il a r it y t oca l cu l a t et h e s im il a r it yo ft h ea b s t r a ctp r o v id e db yt h ea u t h o ra n dt h ea u t o m a t ica b s t r a ct S t e p5 t os u s p e ctt h a tit isaco p yift h es im il a r it yisb e v o n d1O m a k eaf il r h e l co m p a r is o nb e t w e e nt h ew h o l et e x t o ft h ep a p e rt ob ed e t e ct e da n dt h eo r ig in a lo n e o u t p u tt h e co p ie dco n t e n t s O t h e r w is e itisn o tt h o u g h ta saco p y 4 3 E x p e r im e n t a lR e s e t T sp a p e rd e s ig n st h et h r e eco p y in gf il e sD I D 2 a n dD 3 t oa ct 弱t h et e s ts a m p l e s 1 1 h ep r o p o r t io n so fp l a g ia r is ma r e a b o u t2 0 3 0 a n d5 0 r e s p e ct iv e l y A n dt h em a inp u r p o s e ist ot e s tt h a td if f e r e n tp r o p o r t io n so fp l a g ia r is mh a v ea nin f l u e n ceo nt h er e s u l to ft h eco m p a r is o n T h ep a p e rca l cu l a t e st h e s im il a r it yb yu s in gw o r d f r e q u e n cys t a t is t ics t h a tis t og e tt h e p r o p o r t io no fs im il a rw o r d so u to ft h et o t a lw o r d s 1 7 1 F ig u r e2 isa l lin t e r f a ceo fa u t o m a t ica b s t r a ct io ns y s t e m T a b l elco n t a in sn o to n l yt h r e eco p y in gf il e sD I D 2a n dt h e irco r r e s p o n d in ga b s t r a ct s b u ta l s ot h er e s u l to fs im il a r it yb e t w e e nt h e ma n d t h eo r ig in a lt e x t a b s t r a cta n da u t o m a t ica b s t r a ct s F ig u r e2 A u t o m a t icA b s t r a o tf o raC e r t a ir lD o cu m e n t T a b l e1E x p e rim e n t a IR e s u I t S im il a r it yo f S im il a r it yo fS im il a r it yo f F u l l 一t e x tA b s t r a ctA u t o m a t icA b s t r a e t D o cu m e n tD l 1 9 2 7 9 3 6 1 5 2 6 O r ig in a lT e x t1 D o cu m e n tD 2 2 8 7 5 1 5 7 6 2 5 5 6 O r ig in a lT e x t2 D o cu m e n tD 3 4 3 8 2 4 2 9 8 4 8 8 9 O r ig in a lT e x t3 4 4 B a s icS u m m a r y F r o mt h ee x p e r im e n tr e s u l tw ec蛆s e et h a tt h es im il a r it y o ft h ew h o l et e x ta n da u t o m a t ica b s t r a ctisv e r ycl o s et ot h e p r o p o r t io no fco p y in g B u tt h ea b s t r a ctp r o v id e db yt h ew r it e r s o m e t im e sm a k e ss o m ee r r o r sd u et ot h ea ccu r a cya n dt h e w o r d so ft h ea b s t r a ct 1 1 1 ea b s t r a ctg e n e r a t e db yt h ea u t o m a t ic a b s t r a ct io nb a s e do nk e y w o r dr e t r ie v a lC a l lr o u g h l ys u m m a r iz e t h et e x t r e p l a cet e x tt ob ed e t e ct e d O fco u r s eit so n l ya p r e l im in a r yin s p e ct io n d e t a il e dt e x td e t e ct io ns t il ln e e d st ob e d o n e I na d d it io n t h ek e y w o r d sg iv e nb ys o m ea u t h o r sa r el e s s a n dn o tv e r ya ccu r a t e T h iss y s t e mu s u a l l ye x t r a ct s5 8 k e y w o r d s a n dt h e yca l lr e f l e ctt h et h e m eo ft h et e x t s ot h a tt h e a u t o m a t ica b s t r a ctw h ichisb a s e do nk e y w o r d sr e t r ie v a lism o r e a ccu r a t e 5 C o n cI u s io n T h eab s t r a ctw it h9 0 0 dq u a l it yca nr e p l a cet h er e t r ie v a l p o s it io no ft h eo r ig in a lt e x tt oace r t a ine x t e n ta n da ct 鹊a l l a l t e r n a t iv et ot h er e t r ie v a l s ot h a titca nr e d u cet h et im es p e n t o nt h ein f o r m a t io nr e t r ie v a l T h ee x p e r t sa th o m ea n da b r o a d a r ea l w a y se x p l o r in ga na ccu r a t ea n de f f icie n ta l g o r it h mo f a u t o m a t ica b s t r a ct io n T h e r eiss t il ls o m e t h in gt ob eim p r o v e d int h isp a p e r G e n e r a l l y t h ea b s t r a ctisa b o u t7 0 0w o r d sina p a p e rw it h7 0 0 0w o r d s T h em o r et h ew o r d so rp a r a g r a p h so f t h et e x ta g e t h em o r et h ew o r d so fa b s t r a cta r e T h e r e f o r e itis n e ce s s a r yt or e d u cet h en u m b e ro fw o r d s t h a tis w it h in5 0 0 w o r d s W eC a l lco m b in eaf e wp a r a g r a p h sint h ep r a ct iceo r p icku pt h ek e ys e n t e n ce sf o rt h e u n ito fs u b t it l e n o tf o rt h eu n it o f p a r a g r a p h R e f e r e n ce s l 柴晓丽 自动文摘技术的研究与应用 D 硕士学位论文 长春理工大学 2 0 0 6 2 黄丽琼 中文自动文摘及评价方法的研究 D 硕士学位论 文 重庆大学 2 0 0 7 3 郭燕慧 钟