(信号与信息处理专业论文)情感组块与机器学习相结合的文本倾向性分析.pdf_第1页
(信号与信息处理专业论文)情感组块与机器学习相结合的文本倾向性分析.pdf_第2页
(信号与信息处理专业论文)情感组块与机器学习相结合的文本倾向性分析.pdf_第3页
(信号与信息处理专业论文)情感组块与机器学习相结合的文本倾向性分析.pdf_第4页
(信号与信息处理专业论文)情感组块与机器学习相结合的文本倾向性分析.pdf_第5页
已阅读5页,还剩60页未读, 继续免费阅读

(信号与信息处理专业论文)情感组块与机器学习相结合的文本倾向性分析.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

摘要 随着虚拟社区这一新网络团体形式的出现,各种论坛应运而生,这些论坛上充斥着 人们对生活及周边事物的评价和看法。在这些意见和和评论中,包含着说话人的主观意 见,表达了评论人的情感倾向。识别出其中带有的情感倾向性,可以帮助我们更好的理 解评论人的态度和立场,为面向商家的产品反馈,面向政府管理的信息过滤、民意分析 等提供信息技术的支持。因此,文本的情感倾向性分析成为解决这一问题的关键技术, 具有广泛的应用前景。 采用机器自动处理的手段对网络评论进行情感分析判别,是当前互联网智能信息处 理的一个研究热点,具有较大的实用价值。但由于网络评论文本具有的特殊性,原有的 文本情感分类方法不能获得较为理想的效果。其主要原因在于:( 1 ) 网络评论文本形 式不规范,包含大量网络用语,不能被f 确分词;( 2 ) 评论中包含对客观事实的陈述, 这些信息与情感分类无关,会对最终的分类结果造成影响;( 3 ) 单纯地提取评论中的 主观句,会丢失掉不以主观形式出现但存在褒贬倾向性的信息。因此,如何有效地提取 网络评论文本中的情感信息,是提高情感分类效果的关键。针对以上存在的问题,本文 提出了一种将情感组块与机器学习相结合的方法,对网络评论文本的情感倾向性分析问 题进行了深入的研究,并将s v m 算法应用到情感倾向性分析系统中,在不同规模的军 事评论样本集下进行了实验。主要的研究工作有: ( 1 ) 针对网络评论中存在大量的形式不规范的网络用语,导致原分词软件无法识 别的问题,建立了网络用语词典,对评论文档中出现的如拼音、缩写等不规范词语进行 有效还原,从而保证了分词的准确性,也使得一些包含作者情感的信息不被丢失,进而 提高分类的正确率; ( 2 ) 根据语料特征,建立了领域情感词典,实现对原评论中的非情感信息进行有 效过滤,降低了无关信息对分类效果的影响; ( 3 ) 提出情感组块的概念,将那些具有褒贬倾向性的表达形式定义并标记为情感 组块,作为情感特征提取,从而保证了情感信息能得到有效保留; ( 4 ) 将情感组块与支持向量机相结合,在不同规模的语料上先后进行多组实验, 并将实验结果与用k n n 分类器进行分类的结果相比较。实验证明,在较大规模的训练 样本集下,s v m 分类器的分类效果优于k n n 分类器。这表明了使用本方法可以有效提 高军事评论情感分类的正确率。 l 蕾_ 皇葛曼詈量鼍鲁皇舅墨鲁鲁皇l _ | 皇垒鱼耋塞i i 呈耋董重量:茎垒垒垒耋二皇高富| 皇e 量鼍置皇置置曼一 ( 5 ) 设计并实现了一个针对于军事评论领域的网络文本情感倾向性分析系统模型。 使用这个系统模型可以判断军事评论是正面的还是反面的,查看分类结果,并对分类结 果进行性能评估。该系统通过了测试,具有一定的正确率和可行性。 关键词:文本情感分类;特征降维;情感组块:s v m a b s t r a c t w i t ht h ee m e r g e n c eo ft h ev i r t u a lc o m m u n i t ya san e wn e t w o r kg r o u pf o r m ,a l lk i n d so f f o r u m se n s u e t h e s eb b sa r ef i l l e dw i t hp l e n t yo fe v a l u a t i o n sa n dv i e w sa b o u tp e o p l e sl i f e a n ds u r r o u n d i n g s ,w h i c hc o n t a i nt h e s p e a k e r ss u b j e c t i v eo p i n i o n s ,a n de x p r e s st h e c o m m e n t a t o r s e m o t i o n a lo r i e n t a t i o n i d e n t i f y i n gt h ee m o t i o n a lo r i e n t a t i o no ft h o s er e v i e w s w i l lh e l pu sb e t t e ru n d e r s t a n dt h ea t t i t u d ea n dt h e s t a n d p o i n to f t h er e v i e w e r s ,a n dp r o v i d et h e s u p p o r to fi n f o r m a t i o nt e c h n o l o g yf o rm a n yf i e l d si nt h es o c i e t y ,s u c ha st h ef e e d b a c k so n p r o d u c t sf a c i n gt ot h eb u s i n e s s ,i n f o r m a t i o nf i l t e r i n ga n dp u b l i co p i n i o na n a l y s i sf a c i n gt ot h e g o v e r n m e n ta d m i n i s t r a t i o n t h e r e f o r e ,t h et e x te m o t i o n a lo r i e n t a t i o na n a l y s i s ,w h i c hh a sa n e x t e n s i v ea p p l i c a t i o np r o s p e c t ,w i l lb et h ek e y t e c h n o l o g yt os o l v e t h o s ep r o b l e m s u s i n gt h em a c h i n ea u t o m a t i cp r o c e s s i n gm e a n st oa n a l y z ea n de s t i m a t et h ee m o t i o n a l o r i e n t a t i o no fn e t w o r kc o m m e n t s ,h a sc u r r e n t l yb e c o m eah o tp o i n to ft h er e s e a r c ho fi n t e m e t i n t e l l i g e n ti n f o r m a t i o np r o c e s s i n g ,h a v i n gg r e a tp r a c t i c a lv a l u e b u td u et ot h ep a r t i c u l a r i t yo f n e t w o r kc o m m e n t s ,t h eo r i g i n a lt e x te m o t i o n a lc l a s s i f i c a t i o nm e t h o d sc a n n o to b t a i nt h ei d e a l e f f e c t t h em a i nr e a s o n sa r et h a t :a t h et e x tf o r mo fn e t w o r kc o m m e n ti sn o ts t a i l i i a r d c o n t a i n i n gan u m b e ro fn e t w o r kl a n g u a g e ,w h i c hc a n n o tb ec o r r e c t l ys e g m e n t e d ;b t h e r ea r e m a n ys t a t e m e n t so fo b j e c t i v ef a c t sc o n t a i n e di nt h ec o m m e n t s ,a n dt h o s es t a t e m e n t sw h i c ha r e u s e l e s si n f o r m a t i o nf o rt h ee m o t i o nc l a s s i f i c a t i o n w i l l i m p a c tt h ef i n a lr e s u l t so ft h e c l a s s i f i c a t i o n ;c e x t r a c t i n gt h es u b j e c t i v es e n t e n c e so fc o m m e n t ss i m p l yw i l ll o s ts o m e e m o t i o n a li n f o r m a t i o n ,w h i c hn o te x i s t sa st h es u b j e c t i v es e n t e n c ef o r m b u tc o n t a i n st h e t e n d e n t i o u s n e s si n f o r m a t i o n h e n c e ,h o wt oe x t r a c tt h ee m o t i o ni n f o r m a t i o no fn e t w o r k c o m m e n tt e x te f f e c t i v e l yi st h ek e yt oi m p r o v et h ee m o t i o n a lc l a s s i f i c a t i o nr e s u l t s i nv i e wo f t h o s ep r o b l e m s ,t h i sp a p e rp r o p o s e sam e t h o dt h a t c o m b i n i n gt h ee m o t i o nc h u n kw i t h m a c h i n el e a r n i n ga l g o r i t h m ,a n dm a k e sa ni n t e n s i v es t u d yo ft h ee m o t i o n a lo ft h en e t w o r k c o m m e n tt e x t t h es v m a l g o r i t h mi sa d d e di n t ot h ee m o t i o n a lo r i e n t a t i o na n a l y s i ss y s t e m , a n de x p e r i m e n t so nt h em i l i t a r yr e v i e w su n d e rd i f f e r e n ts i z e so fs a m p l es e t sa r ed o n e t h e m a i nr e s e a r c ho ft h i st h e s i si sa sf o l l o w s : f i r s t l y , a i m i n g a tt h ep r o b l e mt h a tt h e r ea r eal o to fn e t w o r kl a n g u a g ew h o s ef o r m l a c k i n g o fs t a n d a r d i z a t i o ni nt h en e t w o r k c o m n l e n t s ,l e a d i n gt ot h eo r i g i n a lp a r t i c i p l e 暑詈暑皇皇量墨寡暑詈皇晕鼍量詈皇皇量曼詈基詈_ 曼些耋垒童茎苫垂量:兰垒坠占:耋垡坌耋曼! ! 鼍詈皇量詈曼曼量曼富鼍鲁詈詈詈一 s o f t w a r ec a n n o ti d e n t i f yt h ew o r dc o r r e c t l y , t h i sp a p e rs e t su pan e t w o r kl a n g u a g ed i c t i o n a r y , r e c o v e r i n gt h en o n s t a n d a r df o r m sa p p e a r i n gi nt h et e x ts u c ha sp i n y i na n da b b r e v i a t i o nt ot h e s t a n d a r df o r m s ,s oa st oe n s u r et h e a c c u r a c yo ft h es e g m e n t a t i o n ,a n da l s ok e e pt h e i n f o r m a t i o ni n c l u d i n gt h ea u t h o r se m o t i o nb e t t e rb u tn o tb el o s t ,i no r d e rt o i m p r o v et h e a c c u r a c yo fc l a s s i f i c a t i o n ; s e c o n d l y , a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fc o r p u s ,a l le m o t i o nd i c t i o n a r yb a s e do n m i l i t a r yf i e l di se s t a b l i s h e d ,w h i c hr e a l i z e st h ef i l t e r i n go fi n f o r m a t i o nw i t hn oe m o t i o ni nt h e o r i g i n a lc o m m e n tt e x te f f e c t i v e l y , i no r d e rt or e d u c et h ei r r e l e v a n ti n f o r m a t i o nf o r c l a s s i f i c a t i o ne f f e c t ; t h e n ,t h ec o n c e p to fe m o t i o n a lc h u n ki sp r o p o s e d ,w h i c hd e f i n e sa n dm a r k st h o s e e x p r e s s i o nf o r m sw h i c hi sp o s i t i v eo rn e g a t i v ea sa ne m o t i o n a lc h u n k ,a n di tc a nh ee x t r a c t e d a s t h ee m o t i o n a lf e a t u r e ,s oa st oe n s u r et h ee m o t i o ni n f o r m a t i o nt a i lb e e f f e c t i v e l y r e s e r v a t i o n ; a n dt h e n ,c o m b i n i n gt h ee m o t i o n a lc h u n k s 晰t hs u p p o r tv e c t o rm a c h i n e ,t e s t so n d i f f e r e n ts i z e so fs a m p l es e t sa r ed o n e ,a n dc o m p a r et h er e s u l t sw i t ht h o s eo fc l a s s i f i e du s i n g k n nc l a s s i f i e r i tp r o v e st h a ti nl a r g e rs i z eo f t r a i n i n gs a m p l es e t s ,t h ec l a s s i f i c a t i o nr e s u l t so f s v mc l a s s i f i e r a r eb e t t e rt h a nt h o s eo fk n n c l a s s i f i e r i ts h o w st h a tt h em e t h o dp r o p o s e di n t h i sp a p e rc a ne f f e c t i v e l yi m p r o v et h ee m o t i o n a lc l a s s i f i c a t i o na c c u r a c yo f m i l i t a r yr e v i e w s f i n a l l y , an e t w o r kt e x te m o t i o n a lo r i e n t a t i o na n a l y s i ss y s t e mm o d e lf o rm i l i t a r yr e v i e w s i sd e s i g n e da n dr e a l i z e di n t h i sp a p e r u s i n gt h i ss y s t e mm o d e l ,w ec a n j u d g et h em i l i t a r y r e v i e wi sp o s i t i v eo rn e g a t i v e ,c h e c kt h er e s u l t s ,a n de v a l u a t et h ef u n c t i o no ft h es y s t e m t h i s s y s t e mh a sp a s s e dt h et e s t ,a n di t sf e a s i b l e 、) l ,i t i lac e r t a i na c c u r a c y k e yw o r d s :t e x ts e n t i m e n tc l a s s i f i c a t i o n ;f e a t h e rd i m e n s i o nr e d u c t i o n ;e m o t i o nc h u n k ; s v m 第1 章绪论 宣ii 一 n|n j i 宣 1 1 研究背景及意义 第1 章绪论 随着网络技术的广泛应用,i n t e r n c t 已经进入了一个新的阶段,信息的共享和交流 也已经达到了前所未有的广度和深度。虚拟网络社区的大量出现,如博客、论坛、s n s 社区等等,丰富了人们表达观点和看法的途径。人们通过这些平台,阐述着自己对于所 购买的产品的评价,对于所欣赏的电影的感受,对于政府部门法律法规的意见等等,这 些评论中包含了大量的主观性信息。这些主观性信息表达了评论人的情感倾向,识别出 其中带有情感倾向性的语句,可以帮助我们更好的理解评论人的态度和立场,为面向商 家的产品反馈,面向政府管理的信息过滤、民意分析等提供信息技术的支持。商家可以 根据已有的产品评论对产品进行相应调整,使其更符合顾客的需求,而顾客也可以从不 同方面增加对产品的了解;政府及相关部门可以籍此了解人们对时事政策的看法和观 点,也为政府制定相应的政策和法规提供了可行的民众舆情基础。 长期以来,要了解关于某个问题的评论是正面的还是反面的,是积极的还是消极的, 往往需要求助于调查公司。这些公司的员工通过详细阅读与该问题相关的所有评论文 字,然后就这些评论所包含的态度进行总结并给出反馈意见。这一过程不仅需要耗费大 量人力和财力,而且相当缓慢。随着虚拟网络社区被越来越多的人关注和使用,越来越 多新的评论信息涌现在网络中,单纯依靠人工对其情感倾向进行分析判断显然不能够满 足人们准确快捷的需求。由此可见,这一过程的自动化,具有很好的商业应用前景。因 此,如何采用机器自动处理的手段对这些网络评论的内容进行情感分析判别,成为当前 互联网智能信息处理的一个研究热点,是一项具有较大实用价值的关键技术,可以与多 种现有互联网应用相结合,广泛地应用于国计民生的众多领域。 一般来说,广义的情感分析包括了分析文本中包含的说话人的心理态度,而狭义的 情感分析则主要指的是针对说话人关于某物或某事的观点进行“赞同”或是“反对”的 分类【l j 。目前,现有的网络文本分类大多是根据网页所涉及的主题进行分类,如将网页 分为政治类、军事类、经济类等,我们将其称为传统的文本主题分类。与一般传统的文 本主题分类不同的是,文本情感分类不是仅根据文本主题词判断其所属类别,而是旨在 通过研究网络上的文本,特别是那些由用户主动发布的与主题或话题相关的评论文本, 识别出文本中所包含的主观性句子,并判断文本存在的褒贬倾向性,即评论所阐述的观 鲁墨量曼皇詈皇詈量詈寡詈鼍鼍皇。鼍鲁鼍皇詈鼍鲁皇皇量拿詈置鼍璺2 i l i l :i 1 名s :l l 音:i | 坌主g :曼曹曼量置鲁曼曼。鼍置_ 鲁| 篁皇! 曼詈置富篁一 点是褒义的还是贬义的。这项研究尚处于起步阶段,存在很多问题需要进行全面的探索。 主观性文本和客观性文本有着许多区别。客观性文本指的是那些对于事件、对象等 进行基于事实的描述,不带有个人的好恶和偏见,具有客观性、绝对性和确定性的文本: 主观性文本指的是那些对于非事实进行描述的文本。文本内容基于断言或评论且带有个 人情感和意向的抒发【2 】。二者之间最重要的区别在于主观性文本不是一种规范的文本。 它在内容上体现了人们的意愿、情感和态度;在形式上则是不受规范语言表达约束的自 由写作。因此,这就决定了对主观性文本处理具有相当大的难度,需要做许多探索性的 研究工作。这项研究工作属于计算语言学的范畴【3 】,它涉及到计算语言学、人工智能、 机器学习、信息检索和数据挖掘等多方面研究基础,具有重要的学术研究价值。 1 2 国内外的研究现状 近年来,国外对于英文文本的情感倾向性研究比较多。关于英文情感分类的文献, 大多见于在国外召丌的人工智能、信息检索、数据挖掘、自然语言处理以及应用等领域 的国际会议。这些文献采用的研究方法主要可归纳为以下两点:( 1 ) 使用英文情感词 典提取数据集中与情感相关的元素作为情感分类的依据【4 。1 ;( 2 ) 使用有监督的机器学 习的方法对英文数据集进行情感分类1 8 , 9 。从目前的研究进展来看,由于自然语言理解领 域还存在一些问题尚待解决,方法( 1 ) 与方法( 2 ) 相比,其性能并无明显优势。在情 感分类的研究中,英文和中文的分析方法有所不同,如特征提取方法和情感词典构建等 方面都存在一定差异。目前国内针对中文情感分类的研究相对较少。 在词语水平上,h a t z i v a s s i l o g l o u 和k a t h l e e nm c k k e o w n 1 0 j 提出了语义倾向( s e m a n t i c o r i e n t a t i o n ) 的概念,用来描述词语情感倾向的方向与强度。他们尝试使用非监督学习的 方法,通过对训练语料的学习进行词语语义倾向判别,精确率约为8 2 ;在加入形容词 之间的连接关系以后,精确率可提升到9 0 左右。j a n y c em w i e b e 1 1 】从大规模的语料库 中学习形容词的主观性,利用分布相似性对词语进行聚类。该方法利用聚类从语料中自 动获耿具有相同语义倾向的形容词并对限定形容词的极性和可分性具有重要作用。 t u m e y t 刀使用两个词汇“e x c e l l e n t 与“p o o r 作为基准词来判断其他词汇的语义倾向, 并认为这两个基准词代表了情感分类的类标“p o s i t i v e 和“n e g a t i v e ,同时,文献中 还假设,与“e x c e l l e n t ”经常一起出现的词汇倾向应为正面词汇,而与“p o o r 经常一 起出现则很可能是负面词汇。通过p m i i r 方法,计算词语的情感倾向值,根据给定的 阈值把词语划分为褒义和贬义两个类别。随后,t u m e y 和l i t t i l l 趾【1 2 】又将单对基准词扩 2 第1 章绪论 展到多对基准词,使用p m i i r 和l s a 算法度量了给定词汇与正面基准词和反面基准词 的关联程度,并对两个数值进行比较,最终确定词汇的语义倾向。d u 等人【1 3 】提出谱优 化模块化的算法来解决主观倾向性单词的推断问题,在对h o w n e t 生成的测试集进行实 验时,正确率可以达到8 8 。c o o k 等人【1 4 】针对情感倾向词的语义发生改善和反转的情 况进行了研究,提出基于网络的方法来判断不同时段内语料库中的语义变化的倾向性。 通过小规模数据集的实验,证明这种方法可以识别出语义倾向性的变化。然而,现有方 法的评价指标大多采用整个词表对主观句的识别正确率和召回率,对于主观词语本身的 判定仍未提出普遍认可的评价标准。研究表明,无论是手工方式,还是机器自动的方式, 判断词语的主客观性都难于判断词语的褒贬倾向。 在句子水平上,机器学习方法是相关研究主要采用的方法。t u m e y t 7 】提出了基 p m i i r 的无监督情感分类方法。利用p o s 标注器识别并抽取包含形容词、副词或名词 的短语,再运用p m i i r 方法计算短语的情感倾向( s o ) ,然后是把每篇文本中的所有具 有情感倾向的短语的情感倾向值相加,根据得到的值来判断文本的情感倾向。p a n g 等【8 】 使用标准的机器学习的方法做了同样的文本分类工作。以电影评论作为数据集,使用特 征词袋( b a g o f - f e a t u r e ) 框架( f r a m e w o r k ) ,将词在文章中出现的次数看作权重,使用n a i v e b a y e s 、最大熵模型和s v m 三种分类方法来判断一篇评论是正面的还是反面的。实验结 果发现,三种方法相比,朴素贝叶斯最差,s v m 方法较好。而这些方法的分类性能比 人工挑选一些简单的带有倾向性的特征所构造的分类器的性能要好,但比传统的基于主 题分类性能要差。l i u 等人【i5 】针对特定的领域电影评论,提出了一种新的评论倾向性预 测模型,在这个模型中加入了语法知识并考虑了主题相关度,提取特征并计算相似度。 y a n g 临】等人提出两种有监督的学习方法:类相关原则和朴素贝叶斯分类器,将网络上的 用户产品评论进行分成产品特征类和用户评论类。通过评估比较类相关原则和应用朴素 贝叶斯方法进行的情感分析,证明了此方法的可行性。 目前国内关于中文文本情倾向感性研究刚刚起步。应英等【1 7 】对汉语情感意义的机器 标注进行了初步研究。他们将情感计算引入到汉语的机器理解中,在已有的汉语机器理 解研究的基础上,采用多重松弛迭代计算方法,对汉语情感意义的标注问题进行了研究, 通过语境信息的利用,构建了一个实验性系统并取得了较准确的词语情感标注,为后续 的句子情感意义的理解提供了基础,拓宽了汉语机器理解的研究范围。香港城市大学邹 嘉彦等【ls 】采用三个衡量指标,即极性元素分布、极性元素密度和极性元素语义强度,对 出现在中国四地( 北京、香港、上海、台北) 报刊上的四位政治人物( 克里、布什、小 泉纯一郎、陈水扁) 的褒贬性新闻报道进行了分类研究。朱嫣岚等【1 9 】基于h o w n e t ,提 鲁皇! 皇曼鲁暑葛皇,置皇置! 皇置_ 。曼,詈量詈量暑曼暑i | l :e l s :l l 主量:耋l g :g :曼曼墨_ 曼曼曼鼍曼量皇置鼍e 皇量量曼,鼍_ _ 置一 出了两种词汇语义倾向性计算的方法,基于语义相似度的方法和基于语义相关场的方 法。首先选取一组褒贬基准词,利用知网提供的语义相似度和语义相关度计算方法,求 出测试词与基准词的相似度,从而得到其语义倾向值。实验表明,该方法在汉语常用词 中的判别精确率较高。刘永丹等人【2 0 】提出了一种基于语义分析的文本过滤技术,将文本 中的语义关系加以考虑,能高效地识别和过滤倾向性文本信息。熊德兰等【2 i 】研究了基于 内容的名人网页褒贬性评价,在已有基本褒贬义词典的基础上构建了一种可用于名人网 页褒贬性评价的褒贬义词典,着重论述了网页褒贬性评价的模型、方法及工作流程,并 提出了通过评价模板实现词典更新的初步构想。该系统基本实现了网页内褒贬词语的标 注,并对部分名人网页进行褒贬性评价测试,取得了初步的成效。李荣陆等1 2 2 使用具有 情感色彩的形容词和少量的名词作为文本的特征,并采用判别形容词的语义倾向、利用 互信息与潜在语义分析的方法计算词汇权值、人工确定文本特征和词汇权重三种方法, 另外还采用了语义模式的方法。实验结果表明,基于情感色彩的方法的效果最差,基于 语义模式的方法效果最好,基于传统的方法界于之间。但基于情感色彩的方法是不需要 训练的。叶强等【2 3 j 从给定的文本中,抽取了基于特定主观性盼情感信息,并进行了情感 标注同时赋予了相应的权值,根据权重表示构造了情感识别器,利用识别器可以预测给 定文本的情感。柴玉梅等【2 4 】对w e b 文本的褒贬倾向性进行了研究。介绍了w e b 文本褒 贬倾向性分类的原理和实现方法,特征选用已有的特征选择方法与褒贬特征提取技术进 行选择,使用几种分类算法实现了名人网页的褒贬倾向性分类。本文将对中文文本评论 涉及的词汇、短语、组合项以及文档情感倾向性进行相关的研究。金聪等【2 5 】将t u r n e y 的p m i s o 方法应用到对中文语料的情感判断上,同时用典型文档的语义倾向值的平均 值作为阂值来代替零值作为两级情感的分类界限,改善了分类效果。李钝【2 6 】从语言学角 度出发,分析词典中词对语义的特点,采用“情感倾向定义”权重优先的方法计算短语 中各词的语义倾向度,然后分析短语中各词组合方式的特点,提出中心词概念来对各词 的倾向性进行计算,以识别短语的倾向性和倾向强度。实验表明,该方法对短语的倾向 分类识别效果较好,可为更大粒度的文本倾向识别打好基础。徐军等【2 7 】采用布尔和词频 作为特征权重,使用朴素贝叶斯和最大熵模型,对中文网页中的新闻进行情感分类,表 明最大熵方法优于朴素贝叶斯方法。周杰等【2 8 】选取不同的特征集、权重计算方法等因素 进行分类测试。实验结果表明,情感词和论据词语搭配效果优子仅使用情感词作为评论 特征,t f i d f 权重计算方法优于布尔型权重。 4 第1 章绪论 1 3 本文的研究工作 目前的研究中仍存在以下问题值得我们进一步探讨解决: ( 1 ) 网络评论不同于专业书面评论,表达方式大多为口语化语言,形式上与论坛 跟帖相似。而由于一些新词汇和网络用语的出现,使得评论的规范化下降,从而导致分 词的性能远远低于书面语数据,需要加以改善; ( 2 ) 网络评论大多篇幅较短,特征非常稀疏,已有词典词语出现较少; ( 3 ) 网络评论中存在很多无关内容,如对事实的陈述等,噪声较多,对文本的情 感分析没有帮助。 由于机器学习属于有监督的分类,因其每一个分类器都在被作为数据集的语料库上 进行训练,在分类结果上比语义倾向有更高的准确率。因此,针对以上问题,本文建立 了针对相关领域的用户词典,来提高分词的正确性,并采用抽取文摘的方式,去除网络 评论文档内与情感无关的内容,能得到更加简洁有效的数据来源,采用机器学习的方法, 选取军事评论为对象,研究其情感分类问题: ( 1 ) 采用文本主题分类的关键技术特征选择方法、概率估算方法和分类器,考查 其应用于文本情感倾向分类的可行性。通过选用信息增益、互信息和z 2 统计三种特征 选择方法,并选用了英文情感倾向分类效果比较好的k 近邻算法和支持向量机作为分类 器。实验表明文本主题分类的关键技术用于文本情感倾向分类是可行的,但效果较差, 说明了文本情感分类比文本主题分类问题更复杂,更具有挑战性。 ( 2 ) 在文本主题分类的基础上添加了针对领域的用户词典,考查其对文本情感分 类结果的影响。 ( 3 ) 研究了情感特征的选择对文本情感倾向分类结果的影响。提出了情感组块的 概念,并分别选用词汇和情感组块作为候选特征,采用s v m 模型进行实验,实验表明, 采用情感组块作为候选特征的文本情感分类效果好于仅采用词汇作为候选特征的分类。 1 4 本文的组织结构 第l 章,主要介绍本文的研究背景和意义,以及国内外研究现状。 第2 章,介绍并利用基于机器学习的文本主题分类的相关技术,包括文本的顸处理, 文本的表示方法,特征选择方法,x 近邻分类器和支持向量机分类器,对中文文本情感 分类开展了初步研究。通过实验研究了文本主题分类方法应用于文本情感分类的可行 性。 l 墨墨曼! ! ! 鼍曹量! 葛鼍鲁! 鼍鲁鼍鼍! 曼堕童耋塞i 圣兰兰堡二呈至丝耋邕耋圣喜墨鼍毫曼鲁鼍晕喜詈曼喜鲁鼍量墨一 第3 章,介绍了基于机器学习的文本情感分类的相关技术。建立了小规模实验用语 料库和网络用语词典,采用支持向量机分类器进行了文本情感分类的进一步研究,并考 查t i j t l 练规模对分类结果的影响。通过实验研究了本文采用的文本情感分类方法的分类 效果。 第4 章,介绍了提取主观性文本的思想,建立了领域情感词典,提出了情感组块的 概念。通过实验研究了提取主观性信息和情感组块的方法对提高情感分类的正确率的作 用。 第5 章,以第4 章为理论基础,用c + + 设计并实现了针对于网络军事评论的情感倾 向性分析系统。介绍了该系统的结构、主要模块的功能和界面设计等。 最后是对全文的总结。 6 第2 章基于机器学习的文本主题分类 2 1 机器学习概述 学习是人类所具有的一种重要的智能行为。系统在重复的工作中使自身的能力得到 不断的提高,从而使其在下一次执行同样或类似的任务时,与现在相比能够做得更好或 效率更高。 机器学n ( m a c h i n el e a r n i n g ) 【2 9 】,顾名思义,是- - 1 - 1 研究如何使用机器即计算机来模 拟或实现人类学习行为的学科。它根据生理学、认知科学等对人类学习机理的了解,对 人类的学习过程建立起计算模型,学习通用的算法并对其进行理论上的分析,获取新的 知识和技能,并利用已有经验来改善系统自身的性能。 图2 1 机器学习系统结构 其中,环境为学习环节提供信息,信息的质量对学习效果有明显的影响;学习环节利用 获得的信息对知识库进行修改和扩充,知识库的优劣对执行环节完成任务的能力和效率 高低有很大影响;执行环节依据知识库提供的信息完成任务,并把执行的结果反馈给学 习环节,并对学习结果进行评价。在具体的应用中,环境、知识库和执行环节决定了具 体的工作内容,学习环节所需要解决的问题完全由上述三部分确定。 机器学习是人工智能的核心,是使计算机实现智能化的根本途径,其应用遍及人工 智能的各个领域,决策树方法、遗传算法、神经网络算法等学习方法的应用范围日趋广 泛,从数据挖掘到信息过滤,已经非常丰富。机器学习已经在多媒体、计算机图形学、 计算机网络乃至操作系统、软件工程等计算机科学的众多领域中发挥作用,特别是在计 算机视觉和自然语言处理领域,已经成为最流行、最热门的技术,这项技术的研究对计 算机科学乃至整个科学技术领域都具有重要的意义和影响。 2 2 文本分类简介 文本分类的任务是在预定义的分类模型下,根据文本的特征,让计算机自动地判别 詈皇鲁皇皇鼍皇岛暮鲁垒鎏垂匡垒垫坠垄堡垒垒舅鲁皇詈詈皇鼍鲁皇鼍一 给定的文本的类别的过程。它的基本概念可以形式化为逼近一个未知目标函数 :dxc - - - ) t ,f ) 的任务,其中d 为待分类的文档集合,c = 弛,c :,c f p 为预定义的 类别集合。当o ( d ,c ,) = t 时,则称z 为类别c ,的一个正例,即d i 属于类别c ,当 ( z ,c ,) = f 时,则称z 为类别c i 的一个反例,即d l 彳i 属于类别c ,。而这个映射函数 :d xc 一 丁,f 就是分类器。因此,可以将文本分类过程看作是这样的模式识别系统: 系统的输入为待分类的文档,系统的输出是与文档特征相关的类别。 文本分类系统根据不同的分类知识获取方法大体可以分成两种类型【3 0 】:基于知识工 程( k n o w l e d g ee n g i n e e r i n g ,k e ) 的分类系统和基于机器学习的( m a c h i n el e a r n i n g ,m l ) 的 分类系统。基于知识工程的分类系统在2 0 世纪8 0 年代占主导地位。它的基本思路是, 根据领域专家对给定的文本集合所提出的分类经验,人工提取出一组逻辑规则,作为计 算机对文本进行分类的依据。9 0 年代后,基于机器学刊的文本分类方法由于其在准确率 和稳定性方面的明显优势,e j 益得到广泛的应用。基于机器学习的文本分类是一个有监 督的学习过程,即需要有已知类别的文档作为训练样本进行训练学习。但由于依据的分 类标准不同,一个文本在进行归类时,有时不能明确其归属的类别,只能把它分到与其 特征相似度最大的类别,即认为是正确分类。文本分类方法主要是由文本的预处理、文 本表示、分类方法和性能评估等几部分组成。其中,文本的表示和分类器的设计,是关 系到文本分类性能的关键性问题,处理好这两个问题,对提高文本分类系统的准确率有 很大帮助。 2 3 文本主题分类方法 文本分类系统 图2 。2 文本分类系统示意图 目前存在的传统文本分类方法大多在w e b 文本信息检索、信息过滤等领域得到广 泛的应用,又被称为文本主题分类,即依据文档的主题词特征,将文档分成政治、财经、 体育、娱乐等类别。文本主题分类方法主要包括文本的预处理、文本表示、特征选择、 分类器和性能评估等。 8 第2 章基丁机器学习的文本卡题分类 i r i i ;i 暑i ;肓i ;i ;i i i i 萱宣i i ;宣i i ;i i ;宣;暑;i i i i ;i i ;i i i ;i i ;i i i i i 宣置写宣i i i i i ;i 宣i i 宣譬 2 3 1文本的预处理 计算机对于用自然语言表述的非结构化的文本数据不能直接进行处理,因此,在进 行文本分类之前要先对文本进行必要的预处理,将其表示成计算机能够计算处理的形 式。预处理主要包括分词和去停用词等。 1 中文分词 与英文等语言不同的是,中文的词语没有因时态变化而产生的形态变化。中文文本 是一个由连续的汉字组成的序列,词与词之自j 没有空格作为词语间隔和结束标记。词是 自然语言中具有一定语义的最小单位,中文分词的目的在于,将没有问隔标记的汉字序 列,分割为有i 、日j 隔的、符合语言实际含义的词串。由于中文本身的结构特点,对于同一 句话,不同的人可能由于断句的不同会产生不同的理解,即产生了歧义。因此,如何将 中文文本准确地表示成计算机易于计算的形式就是分词要处理的主要问题。 现有的中文分词的方法主要可以分为四大类【3 1 】:基于字符串匹配的分词方法、基于 理解的分词方法、基于统计的分词方法和基于语义的分词方法。基于字符串匹配的分词 方法的思想是,按照一定的规则将待分析的汉字序列与一个“充分大的”机器词典中的 词条进行匹配。若在词典中找到某个词串,则匹配成功。其优点是简单、精度高。缺点 是没有统一标准的词典,缺乏自学习的能力;基于理解的分词方法是在分词的同时进行 句法、语义分析,利用句法信息和语义信息来处理歧义现象。但由于汉语语言知识的复 杂性,很难把各种语言信息组织成机器直接可读的形式,因此目前这种方法还处在试验 阶段;基于统计的分词方法是对文本中相邻字之间的互信息、词频等进行计算,并设定 一个阈值,当计算的结果大于阈值时,就认为相邻的字可以组成一个词。其优点是不需 要机器词典,能够识别出新词。缺点是需要大量的训练文本,分词速度慢、精度差;基 于语义的分词法引入了语义分析,对自然语言自身的语言信息进行更多的处理。 2 去停用词 停用词一般指那些在文本中存在的、出现频率较高但对文本分类无贡献的词语,包 括一些名词、人称代词、语气助词、副词、介词、连接词等,如我们、的、之、将等。 去除这些词可以提高分类效率,节省存储空间,有效地提高关键词语的密度。基本方法 是:应用中文停用词表,将分词后得到的文本关键词语集中的词依次与停用词表进行匹 配,如果关键词存在于表中,表明该词为停用词,则从文本词语集中删除:如果不在表 中,则保留。 9 2 3 2文本表示 数据挖掘算法不能直接处理文本,因此首先我们需要将文档表示成分类算法可以处 理的形式,这个过程主要是建立文档模型。由于文本分类方法是经由信息检索技术发展 而来的,因而从文本表示的角度来看,信息检索模型同样适用于文本分类系统。基于统 计的信息检索技术通常把文档看作是由一系列被称之为特征项的词组成的集合,特征项 能够表征文本的特征,特征权重用来计算和衡量这种关联的程度。目前主要的文档模型 有布尔模型、向量空问模型和概率模型等。 1 布尔模型 布尔模型( b o o l e a nm o d e l ) t 3 2 1 是一种基于集合论和布尔代数的最简单的信息检索模 型,是基于特征项的严格匹配模型。它的基本思路是:首先,将用来表示文本的特征项 建立起一个二值变量的集合。然后,用逻辑运算符a n d 、o r 、n o t 与特征项构成查询 表达式,生成一个查询。在一个查询中,如果两个特征项之问用a n d 相关联,则表示 这两个特征项必须同时包含在文档中;如果两个特征项之问用o r 相关联,则表示对于 这两个特征项中至少有一个包含在文档中即可。最后,根据事先建立的倒排文档结构来 确定查询结果:如果出现相应的特征

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论