（计算机软件与理论专业论文）作者写作特征提取引擎.pdf

山东大学硕士学位论文 摘要 随着计算机网络的发展，电子文章逐渐繁荣。电子文章版权保护近年来也越 来越受关注。电子文章版权保护的一个解决方案是，首先提取一个作者的写作特 征，通过写作特征的比较来判断版权所属。目前作者特征提取方向的研究多集中 在寻找新的更有效的特征上。如何更加有效的提取一个作者的写作特征仍是一件 富有挑战性的工作。 本文创新性的提出并建立了一个作者特征提取引擎模型，该引擎以某个作者 某一类型的文章作为输入，以该作者在这一类型文章上的写作特征为输出。应用 这个引擎模型，在可能的作者列表中，我们可以确定一篇文章倾向属于某个作者 的可能性。 作者写作特征提取引擎包含两个子引擎，训练子引擎和比较子引擎。训练子 引擎以某个作者某一类型的文章作为训练数据，以该作者的写作特征指纹作为输 出。比较子引擎以任意文本作为输入，以该文本属于某个作者的可能性作为输出。 一个作者的写作特征指纹包括三部分：第一部分由那些表征性强的文本度量 组成，第二部分有那些表征性相对较弱的文本度量组成。这两部分中的文本度量 都很容易用数值或向量表示。剩下的那些不容易用数值或向量表示的复杂文本度 量构成了第三部分。 该引擎的处理过程大致如下：首先提取文本度量值，然后，分别比较提取处 理的文本度量值和某作者写作特征指纹的三个部分，得到每部分的概率，最后给 每个概率一个权重，计算最终结果。 引擎的实现用了v c + + 和m a t l a b 两个环境，选择了2 0 5 个文本度量。文本度 量值的提取算法是在v c + + 中实现的，数据分析是在m a t l a b 中实现的。 为了验证该引擎是否能很好的工作，我们选择了一些文本度量，做了简单的 实验。实验结果表明，该作者写作特征提取引擎可以正确的指示出文章的作者。 本文主要对英文文章进行特征提取。作者的特征通过各种语言学上特征和语 言学度量来表示，并采用标准差和主成分分析法分析这些特征的有效性。 关键词：作者特征提取；文本处理；自然语言处理；数据挖掘：人工智能 山东大学硕十学位论文 a b s t r a c t w k ht h ed e v e l o p m e n to fi n t e m e t ，d i g i t a lt e x t sa r ep r o l i f e r a t i n g p r o t e c t i o no f c o p y r i g h th a sb e c o m ei n c r e a s i n g l yi m p o r t a n ti nr e c e n ty e a r s t os o l v et h ec o p y r i g h t p r o b l e m , o n ew a yi st op r o f i l ea na u t h o r sw r i t i n gs t y l e b yc o m p a r i n gw r i t i n gs t y l e s ， w ec o u l dt e l lw h e t h e rat e x th a sb e e nw r i t t e nb yac e r t a i na u t h o r m o s to ft h ec u r r e n t r e s e a r c hi na u t h o rp r o f i l i n gf o c u s e so ne x a m i n i n gl i n g u i s t i ca t t r i b u t e so rf i n d i n gn e w a t t r i b u t e s h o w e v e r ，a p p r o p r i a t ep r o f i l i n go fa na u t h o ri ss t i l lac h a l l e n g i n gt a s k t h i sp a p e ra i m st ob u i l dam o d e lt of i n g e r p r i n ta l la u t h o r , w h i c ht a k e st e x t so fa n a u t h o ro fac e r t a i nd o m a i na si n p u ta n dp r o d u c e sa p r o f i l eo ft h ea u t h o ra so u t p u t u s i n g t h i sf i n g e r p r i n te n g i n ew ec a l lt e l lw i t hac e r t a i np r o b a b i l i t yw h e t h e ra ni n p u tt e x th a s b e e nw r i t t e nb ya l la u t h o ra m o n gal i s to f p o s s i b l ea u t h o r s t h ef i n g e r p r i n te n g i n ec o n s i s t so ft w os u be n g i n e s ，t h et r a i n i n ge n g i n ea n dt h e f m g e r p r i n t i n ge n g i n e t h et r a i n i n ge n g i n et a k e st r a i n i n gd a t af r o ma na u t h o ro fa c e r t a i nd o m a i na si n p u ta n dp r o d u c e st h ef i n g e r p r i n to ft h ea u t h o r t h ef i n g e r p r i n t i n g e n g i n et a k e sa n yt e x ta si n p u t ，a n dc o m p u t e st h ep r o b a b i l i t yt h a tat e x tb e l o n g st oa l l a u t h o r a f i n g e r p r i n to fa na u t h o rc o n s i s t so ft h r e ep a r t s ：t h ef i r s tp a r tc o n s i s t so ft h es t r o n g m e a s u r e m e n t s ；t h es e c o n dp a r tc o n s i s t so fl e s ss t r o n gm e a s u r e m e n t s t h e m e a s u r e m e n t si nt h et w op a r t sc a nb ee a s i l yr e p r e s e n t e dw i man u m b e ro rav e c t o r t h e r e s to ft h em e a s u r e m e n t s ，w h i c ha r et o oc o m p l i c a t e dt ob er e p r e s e n t e d 谢t hn u m b e ro r v e c t o r , f o r mt h et h i r dp a r to ft h ef i n g e r p r i n t t h e p r o c e d u r eo ff m g e r p r i n te n g i n ei sa sf o l l o w s ：f i r s te x t r a c t i n gt h em e a s u r e m e n t s ， t h e n ，c o m p a r i n gt h ee x t r a c t i n gr e s u l t 、) v i t ht h r e ep a r t so fa l la u t h o r sf i n g e r p r i n t r e s p e c t i v e l ya n dg e tt h ep r o b a b i l i t y , a tl a s t ，g i v i n ge a c hp r o b a b i l i t yaw e i g h t , a n d c a l c u l a t i n gt h ef i n a lp r o b a b i l i t ya st h er e s u l t t h e f i n g e r p r i n te n g i n ei si m p l e m e n t e di nt w oe n v i r o n m e n t s - v c 抖，a n dm a t l a b - 、 ，i t l l2 0 5s e l e c t e dt e x t u a lm e a s u r e m e n t s t h ee x t r a c t i n gm e a s u r e m e n t sa l g o r i t h m sa r e i m p l e m e n t e d i nv c + + ，a n dt h ed a t aa n a l y s i si si m p l e m e n t e du s i n gm a t l a b i i 山东大学硕士学位论文 a s i m p l et e s tw a s d o n eu s i n gt h es e l e c t e dm e a s u r e m e m st os h o wh o wt h ef m g e r p r i n t e n g i n ew o r k s t h er e s u l t ss h o w t h a tt h ef i n g e r p r i n te n g i n ec a ni n d i c a t et h er i g h ta u t h o r t h i sp a p e rf o c u s e so na u t h o rp r o f i l i n go fe n g l i s ht e x t s w r i t i n gs t y l e sa r em e a s u r e d u s i n gl i n g u i s t i ca t t r i b u t e sa n dl i n g u i s t i cm e a s u r e m e n t s s t a t i s t i c a lm e t h o d s ，s u c h 嬲 s t a n d a r dd e v i a t i o na n a l y s i sa n dp r i n c i p a lc o m p o n e n t sa n a l y s i s ，a r eu s e dt oe v a l u a t et h e l i n g u i s t i cm e a s u r e m e n t s e f f i c i e n c y k e yw o r d s ：a u t h o rp r o f i l i n g ；t e x ta n a l y s i s ；n a t u r a ll a n g u a g ep r o c e s s i n g ； d a t am i n i n g ；a r t i f i c i a li n t e l l i g e n c e i i i 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律责任由本人承担。 论文作者签名：嘲 日期：! 塑! 兰 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：童昼旦煎导师签名： 山东大学硕士学位论文 c h a p t e r1 in t r o d u c tio n nu n s e ，f c o n s c i o u su t t e r a n c e ，c e r t a i n f e a t u r e so c c u r r e l a t i v e l yp e r m a n e n t f e a t u r e s o ft h es p e e c ho rw r i t i n gh a b i t s w h i c hi d e n t i f ys o m e o n ea sas p e c i f i cp e r s o n , d i s t i n g u i s h i n gh i m f r o mo t h e ru s e r so f t h es a m el a n g u a g e 1 1m o tiv a tio n d a v m d c r y s t a l ，d e r e kd a v y ( 1 9 6 9 ：6 6 ) d u et ot h ep r o l i f e r a t i o no fd i g i t a lt e c h n o l o g y ，p r o t e c t i o no fc o p y r i g h ti nt h ed i g i t a l w o r l dh a sb e c o m ei n c r e a s i n g l yi m p o r t a n ti nr e c e n ty e a r s 【3 2 d i 百t a lt e x t sa r e c o n v e n i e n tt ou s e - a n y o n ec a ne a s i l yf i n da l la r t i c l eo rp a p e ra n dd o w n l o a di tt or e a d t h i sr a i s e sc o p y r i g h tp r o b l e m s f u r t h e r m o r e ，a n y o n ec a na l s oe a s i l ym o d i f yt h ea r t i c l e a n dc l a i mi ta st h i so w nw o r k t os o l v et h i sp r o b l e m , at e c h n i q u ei sn e e d e dt oi d e n t i f y w h e t h e ra na r t i c l eh a sb e e nw r i t t e nb yac e r t a i na u t h o r , o rt of i n dw h i c ho f t w op e o p l ei s m o r el i k e l yt ob et h ea u t h o ro fac e r t a i na r t i c l e 1 2a s s u m p tio n s w ea s s u n l ee v e r ya u t h o rh a saw r i t i n gs t y l ep a r t i c u l a rt oh i m t h i sa s s u m p t i o ni s s u p p o r t e db ym a n yl i n g u i s t sw h oh a v es u c c e s s f u l l yu s e dt e x t u a lm e a s u r e m e n t st of i n d t h ea u t h o ro f a na n o n y m o u sa r t i c l ea m o n gal i s to f p o s s i b l ea u t h o r s 【1 4 】 w ea l s oa s s u m es o m ea t t r i b u t e sa r ed i r e c t l yi n f l u e n c e db yt h ea u t h o r ，a n dac e r t a i n n u m b e ro ft h e s ea t t r i b u t e ss t a yc o n s t a n t ，e v e nt h o u g ht h ea u t h o rc o n s c i o u s l yc h a n g e s h i ss t y l e ( 5 】，a sr e f e r e n c e di n 【3 4 ) s t y l i s t i ca t t r i b u t e st h a ta r ei n f l u e n c e db yt h eg e n r em a yi n t e r f e r e 嘶t ht h ei n d i v i d u a l s t y l e ( 【1 】，a sr e f e r e n c e di n 【3 4 ) w r i t i n gs t y l e so f t h es a m ea u t h o ri nd i f f e r e n td o m a i n s m a yh a v em a n yd i f f e r e n c e s f o re x a m p l e ，w h e nw r i t i n gat e c h n i c a la r t i c l e ，aw r i t e ri s m o r el i k e l yt ou s el o n gs e n t e n c e sa n ds e r i o u sw o r d s ，w h i l ew r i t i n gs p e e c h e s ，s h o r t s e n t e n c e sa n dh u m o r o u sw o r d sa r ep r e f e r a b l e b a a y e ne ta 1 h a v ea n a l y z e dt h e l 【i 东大学硕士学位论文 d i f f e r e n c e sb e t w e e nt e x t sf r o ma u t h o r so ft h es a m eg e n r ea n dt e x t so ft h es a m ea u t h o r i nd i f f e r e n tg e n r e s ( 【l 】，a sr e f e r e n c e di n 【3 4 1 ) t h e yf o u n dt h a tt e x t so fs a m eg e n r ea r e m o r es i m i l a rt h a nt e x t so fd i f f e r e n tg e n r eo ft h es a m ea u t h o r 【3 4 1 t h i sl e a d st ot h e a s s u m p t i o nt h a tt h et r a i n i n gt e x t s ，w h i c ha r eu s e dt of i n dt h ef i n g e r p r i n ta na u t h o r , s h o u l db ef r o mac e r t a i nd o m a i n 1 3t h eid e a t h i st h e s i sf o c u s e so na u t h o rp r o f i l i n g t h ei d e ai st ob u i l dam o d e lf o raf i n g e r p r i n t e n g i n e ，w h i c ht a k e st e x t so fa na u t h o ro fac e r t a i nd o m a i na si n p u ta n dr e t u r n sap r o f i l e o ft h ea u t h o ra so u t p u t u s i n gt h i sm o d e l ，w ec o u l dt e l lt h a ta l li n p u tt e x th a sb e e n w r i t t e nb ya na u t h o ra m o n gal i s to fp o s s i b l ea u t h o r sw i mac e r t a i np r o b a b i l i t y o n ew a yt ob u i l dt h em o d e li st oc o m p a r et h ew r i t i n gs t y l e so ft h ep o s s i b l ea u t h o r s a n dt h ew r i t i n gs t y l eo ft h et e x tt ob et e s t e d t h eh i g h e rt h es i m i l a r i t yb e t w e e nt h et w o t h em o r el i k e l yt h et e x ti sw r i t t e nb yt h ea u t h o r i ft h e r ea r es o m ec o n t r a d i c t i o n s b e t w e e nt h ew r i t i n gs t y l eo fat e x tw h i c hi sc l a i m e dt ob ew r i t t e nb ya na u t h o ra n d w r i t i n gs t y l e so ft h ea u t h o r sw o r k si nt h es a m ed o m a i n ，w em a yd o u b tw h e t h e ri th a s r e a l l yb e e nw r i t t e nb yt h ea u t h o r t h e r e f o r e ，a l li m p o r t a n tp a r ti st of i n dt h ea u t h o r sw r i t i n gs t y l e ，w h i c hi sa l s oc a l l e d a u t h o rp r o f i l i n g t h ew r i t i n gs t y l ei sp a r t i c u l a rt oe a c hp e r s o n ，e v e ni n d e p e n d e n to fh i s c o n s c i o u s n e s s ，s u c ha st h eh a b i to fu s i n gl o n gs e n t e n c e sr a t h e rt h a ns h o r ts e n t e n c e sa n d u s i n gc o m p l i c a t e dw o r d sr a t h e rt h a ns i m p l ew o r d s i ti sl i k et h ef i n g e r p r i n to fe v e r y p e r s o na n di st h e r e f o r ea l s oc a l l e d “f i n g e r p r i n t i n g ” i no r d e rt of i n dt h ew r i t i n gs t y l e ，i ti sn e c e s s a r yt ou s es e t so ft e x t u a lm e a s u r e m e n t s w h o s ev a l u e sa r eb o t hr e l a t i v e l ys t a b l ea c r o s sm o s ta u t h o r s t e x t s ，a n dr e l a t i v e l y v a r i a b l ea c r o s sm o s ts e t so fp o s s i b l ea u t h o r s 【1 4 t h eb e s ta p p r o a c ht or e p r e s e n tt h e a u t h o r s h i pi st ou s et h em e a s u r e m e n t ss e tt h a ti sb a s e do nt h ev a l u e so fa sm a n yt e x t u a l m e a s u r e m e n t sa sp o s s i b l e 【14 h o w e v e r , s i n c et h e r ea r es o m a n y t e x t u a l m e a s u r e m e n t s ，i ti sd i f f i c u l ta n du n r e l i a b l et ou s ea l lo ft h e m w ea r eg o i n gt ou s et h e f i n g e r p r i n te n g i n et of i n dt h ee f f i c i e n to n e s ，a n du s es o m eo ft h em e a s u r e m e n t st o 2 山东大学硕士学位论文 r e p r e s e n tt h ea u t h o ra sg o o da sp o s s i b l e t h e f i n g e r p r i n te n g i n ei nt h i st h e s i sc o n t a i n st w op a r t s ( c a l l e ds u be n g i n e s ) ：o n ei s t h e 仃a i n i n ge n g i n e ，t h eo t h e rt h ef i n g e r p r i n t i n ge n g i n e t h et r a i n i n gs u be n g i n e a n a l y z e st e x t so fa na u t h o ro fac e r t a i nd o m a i n ，a n df i n d st h ee f f i c i e n tm e a s u r e m e n t sf o r t h ea u t h o r i no r d e rt os i m p l i f yt h ee n g i n ew h i l en o tl o s i n gt o om u c hi n f o r m a t i o n ，p c a ( p r i n c i p a lc o m p o n e n t sa n a l y s i s ) i su s e dt oa n a l y z es o m eo ft h er e m a i n i n g m e a s u r e m e n m a tt h ee n do ft h et r a i n i n ge n g i n ep r o c e s s i n g ，w eo b t a i naf i n g e r p r i n to f t h ea u t h o rc o n s i s t i n go ft h r e ep a r t so fm e a s u r e m e n t st o g e t h e rw i mt h e i rm e a nv a l u e s t h ef i n g e r p r i n t i n gs u be n g i n ec o m p a r e se a c hi n p u tt e x tw i t hd i f f e r e n ta u t h o r s f i n g e r p r i n t sa n dp r o d u c e st h ep r o b a b i l i t yo f t h et e x tb e l o n g i n gt oe a c ha u t h o r t h et h r e e p a r t so faf i n g e r p r i n ta r eu s e di nt h ec o m p a r i s o nr e s p e c t i v e l y t h e r e f o r e ，w eg e tt h r e e p r o b a b i l i t i e s g i v e ne a c ho ft h ep r o b a b i l i t i e saw e i g h t ，w eo b t a i nt h ef i n a lp r o b a b i l i t y t h a tt h et e x tb e l o n g st oa na u t h o r t h i st h e s i si so r g a n i z e da sf o l l o w s ：c h a p t e r2i n t r o d u c e sb a c k g r o u n dc o n c e p t sa n d d i s c u s s e sr e l a t e dw o r k s c h a p t e r3d e s c r i b e sh o wt h et w os u be n g i n e sw o r k i m p l e m e n t a t i o no ft h ef i n g e r p r i n te n g i n ei sd e t a i l e d i n c h a p t e r4 t h e n ，t h e e x p e r i m e n t a lr e s u l t sa r ep r e s e n t e di nc h a p t e r5 i nt h ee n d ，c h a p t e r6s u m m a r i z e st h e t h e s i sa n d p o i n t so u ts o m ef u t u r ew o r k 3 l 【i 东大学硕十学位论文 2 1i n t r o d u o ti 0 1 1 c h a p t e r2r e ia t e dw o r k s t h i sc h a p t e ri n t r o d u c e ss o m ee l e m e n t a r yc o n c e p t sa n dr e l a t e dw o r k so nl i n g u i s t i c a t t r i b u t e sa n ds t a t i s t i c a lm e t h o d s f i f t e e nt e x t u a la t t r i b u t e sa r ei n t r o d u c e d s o m eo f t h e mh a v e b e e nu s e df o rc e n t u r i e sb yl i n g u i s t st od e a lw i t l lu n c e r t a i na u t h o r s h i pa n d s o m eh a v eo n l yb e e ni n t r o d u c e di nr e c e n ty e a r s a f t e rt h el i n g u i s t i ca t t r i b u t e s ，a s t a t i s t i c a lm e t h o d ，c a l l e dp c a , w h i c hi sg o i n gt ob eu s e dl a t e r , i sa l s oi n t r o d u c e d 2 2t e x t u a ia r t ri b u t e s t h ef o l l o w i n ga t t r i b u t e sa r ed i s c u s s e di nm o r ed e t a i l si n 14 1 2 2 1m e t e ra n dr h y m e m e t e ra n dr h y m ei so n eo f t h ee a r l i e s tm e t h o d sw h i c hh a v e b e e ns t u d i e d 1 4 o n eo f t h ef i r s to ft h e s es t u d i e su s e dt h ef r e q u e n c yo fe n d s t o p p e dl i n e s la n dt h ef r e q u e n c yo f r h y m i n gl i n e st of i n dt h ec h a r a c t e r i s t i co fs h a k e s p e a r e 【1 4 1 as e c o n de a r l ys t u d y f o c u s e do nt h en u m b e ro ff e m i n i n ee n d i n g si nd i f f e r e n tp a r t so fap l a y 【1 4 1 o t h e r s t u d i e s 【14 】f o c u s e do nt h ec o u n t so ft h en u m b e ro fl i n e si nat e x t ，t h ep r o p o r t i o no f l i n e so fb l a n kv e r s e ，r h y m e dv e r s e ，a n dp r o s ei nat e x t ，t h en u m b e ro fu n u s u a l l yl o n g a n ds h o r tl i n e si nat e x ta n dt h en u m b e ro fr e d u n d a n ts y l l a b l e si nat e x t t o d a ym e t r i c a lt e s t sa r el e s sp o p u l a r ，b e c a u s em o s tm o d e mi n v e s t i g a t o r so f a u t h o r s h i ph a v ef o c u s e do np r o s er a t h e rt h a no np o e t r yo rd r a m a 【1 4 h o w e v e r ，t h e s h a k e s p e a r e a ns t u d i e sc o n t i n u e dt ou s em e t r i c a lt e s t s s o m eo ft h e s et e s t s a r e t r a d i t i o n a lm e t r i c a lt e s t s ，s u c ha u st h ep e r c e n t a g eo ff e m i n i n ee n d i n g sa n do p e nl i n e s b u ta l s on o v e lm e s c a lt e s ta r eu s e d ，f o re x a m p l et h em e m c a lf i l l e rt e s t ，w h i c hi sb a s e d o nt h ef r e q u e n c yo fm e t e rp r e s e r v i n gw o r d sl i k e “t h e ”a n d “t l l a t ，i nt h ep h r a s e s “t ot h e 1a n e n d - s t o p p e dl i n ei sap o e t i cl i n ei nw h i c ht h ee n do f t h el i n ec o i n c i d e sw i t ht h ee n do f t h eg r a m m a t i c a lu n i t , u s u a l l yt h es e n t e n c e 【1 0 4 山东大学硕士学位论文 w h i c hp l a c e a n d “i f t h a tt h ew o r l dw a sy o u n g ”( 【9 】，a sr e f e r e n c e di n 【1 4 】) 2 2 2w o r dl e n g t h w o r dl e n g t hi st h en u m b e ro fl e t t e r saw o r dc o n s i s t so f e x a m p l e ：t h ew o r dl e n g t ho f “t h e ”i s3 t h ew o r d “t h e ”c o n s i s t so f t h el e t t e r s - t ： 锄：a n d e ： s o m ea u t h o r su s ec o m p l i c a t e dw o r d s ，w h i l eo t h e r su s es i m p l ew o r d s i tr e s u l t st h a t t h ew o r dl e n g t hi sd i f f e r e n t a n dt h ev o c a b u l a r yw h i c hi sa f f e c t e db yt h ea u t h o r s b a c k g r o u n dc a l la l s oi n f l u e n c ew o r dl e n g t h f o re x a m p l e ，an a t i v ee n g l i s ha u t h o rm a y u s em o r ec o m p l i c a t e dw o r d st h a nan o n - n a t i v ee n g l i s ha u t h o r i n1 8 5 1 ，a u g u s t u sd em o r g a nf i r s ts u g g e s t e dt ou s ea v e r a g ew o r dl e n g t ht od i s c o v e r w h e t h e rt h ee p i s t l e so fs a i n tp a u lh a db e e nw r i t t e nb yas i n g l em a l l ( 【4 】，a sr e f e r e n c e d i n 【14 1 ) a f t e rt h ei d e aw a sp u b l i s h e d , t c m e n d e n h a l l a na m e r i c a ng e o p h y s i c i s ta t o h i os t a t eu n i v e r s i t y b e g a nt oc o n d u c ta t t r i b u t i o ne x p e r i m e n t s ( 【2 4 】，a sr e f e r e n c e di n 【14 】) h ee x p a n d e dt h eo r i g i n a lt e c h n i q u es oa st oe x a m i n ea t e x t se n t i r ew o r dl e n g t h f r e q u e n c yd i s t r i b u t i o n s - t h en u m b e ro fo n e - l e t t e rw o r d s ，t w o l e t t e rw o r d s ，t h r e e - l e t t e r w o r d s ，e t c w h i c hi sa l s oc a l l