利用三层条件随机场模型进行情感极性分类及强度分析.pdf

第3 4 卷第4 期 2 0 1 7 年4 月 计算机应用研究 A p p l i c a t i o nR e s e a r c ho fC o m p u t e r s V 0 1 3 4N o 4 A p r 2 0 1 7 利用三层条件随机场模型进行情感 极性分类及强度分析 李向前，李军伟+ ( 北京交通大学计算机与信息技术学院，北京1 0 0 0 4 4 ) 摘要：通过对商品评论进行基于方面的情感分析，可以得到某件商品各个方面的优劣情况。提出利用三层 C R F 模型进行情感极性分类及强度分析。在C R F 模型中，融合了词、词性、语气词、程度词、方面和评价词的共 现等特征。在情感句识别、情感极性分类和情感强度分析上得到的几值分别为8 6 3 、7 7 2 、7 0 7 ，证明 了：a ) 分层C R F 模型在各个层次的任务中都能取得较好的结果；b ) 语气词、程度词、方面和评价词的共现特征在 情感分类时的有效性。 关键词：商品评论；情感分类；情感强度分析；条件随机场 中图分类号：T P 3 9 1 1文献标志码：A 文章编号：1 0 0 1 3 6 9 5 ( 2 0 1 7 ) 0 4 0 9 8 6 0 5 d o i ：1 0 3 9 6 9 j i s s n 1 0 0 1 - 3 6 9 5 2 0 1 7 0 4 0 0 6 S e n t i m e n tc l a s s i f i c a t i o na n ds t r e n g t ha n a l y s i sm e t h o db a s e do n t h r e e l a y e r e dc o n d i t i o n a lr a n d o mf i e l d s L iX i a n g q i a n ，L iJ u n w e i ( S c h o o lo fC o m p u t e r I n f o r m a t i o nT e c h n o l o g y ，B e i j i n gJ i a o t o n gU n i v e r s i t y ，B e i j i n g1 0 0 0 4 4 ，C h i n a ) A b s t r a c t ：I nr e s e a r c ha b o u tp r o d u c tc o m m e n t s a s p e c t b a s e de m o t i o na n a l y s i sc a nh e l pp e o p l et of i n do u ts t r e n g t h sa n dw e a k n e s s e so fe a c ha s p e c to fap r o d u c t T h i sp a p e rp r o p o s e das e n t i m e n ta n a l y s i sm e t h o db a s e dt h r e e 1 a y e r e dC R Fm o d e l I tu s e d a l lW O r d ，p a r to fs p e e c h ，m o d a lp a r t i c l e s ，d e g r e eW O r d ，C O o c c u r r e n c eo fa s p e c ta n de v a l u a t i o nt e r mf e a t u r e si nC R F sm o d e l T h eF 1 一m e a s u r eo fe m o t i o ns e n t e n c er e c o g n i t i o n e m o t i o n a lp o l a r i t yc l a s s i f i c a t i o na n de m o t i o n a ls t r e n g t h a n a l y s i sw e r e 8 6 。3 7 7 。2 a n d7 0 。7 r e s p e c t i v e l y ，I tp r o v e st l l a t1 a y e r e dC R Fl e a d st ob e t t e rr e s u l ti ne a c hl a y e rt h a nu s u a lC R F m o d a lp a r t i c l e s d e g r e ew o r d C O o c c u r r e n c eo fa s p e c ta n de v a l u a t i o nt e r ma r ea l lu s e f u lf e a t u r e si ns e n t i m e n ta n a l y s i s K e yw o r d s ：p r o d u c tr e v i e w s ；s e n t i m e n tc l a s s i f i c a t i o n ；s e n t i m e n ts t r e n g t ha n a l y s i s ：c o n d i t i o n a lr a n d o mf i e l d s 0引言 随着互联网的蓬勃发展，网购已成为人们生活中必不可少 的活动之一。在购物网站或者其他论坛上不断积累下来的评 论文本中蕴藏着大量有用信息。对评论文本进行情感分析，一 直是近年来的研究热点之一。 文本的情感分析可分为无监督和有监督两类方法。无监 督学习进行情感分类时，一般是基于已有的情感知识( 如情感 词典) ，分别计算一篇文本与知识库中褒贬两类之问的相关 性，然后将该文本划分到相关性较强的一个类别。例如H u 等 人提出首先将包含方面的评论语句中的形容词作为情感 词，然后基于W o r d N e t 确定情感词的情感极性；姚天防等人2 1 基于情感词的褒贬极性并考虑否定词和程度词的影响，最终确 定一条语句的情感极性及强度；T u r n e y 【3o 提出了P M I I R 方法 等。有监督学习进行情感分类时，常选取词的N g r a m 、情感词 等特征，利用N B 、S V M 等方法进行褒贬极性分类。如P a n g 等 人Ho 用N B 、M E ( 最大熵) 、S V M 等机器学习方法对电影评论作 情感极性分类；徐军等人1 针对新闻和评论语料，利用N B 和 M E 方法进行情感极性分类研究。此外还有基于计分函数拍o 、 基于l o g i s t i c 回归_ 1 、基于图模型哺1 等方法。例如丁晟春一1 提 出利用层叠C R F 模型进行情感极性及强度分析，在第一层将 情感分为褒义、中性和贬义三类，在第二层继续将情感划分为 强烈褒义、一般褒义、中性、一般贬义和强烈贬义五类；他们还 通过实验证明了层叠C R F 模型比单层C R F 模型效果更好。 本文提出利用三层C R F 模型进行情感极性分类及强度分 析。在C R F 模型中，融合词、词性、语气词、程度词、方面和评 价词的共现等特征，第一层识别出情感句，第二层进行褒贬极 性分类，第三层进行情感强度分类。 1 条件随机场模型 条件随机场( c o n d i t i o n a lr a n d o mf i e l d s ，C R F ) 是概率无向图 模型的一种。与词袋模型相比，C R F 模型的优点在于可以考 虑词语之间的依赖关系。与其他图模型( 如隐马尔可夫模型) 相比，C R F 模型对特征的融合能力较强，可以将多种特征的优 势结合起来。条件随机场模型如图1 所示。 图l 是在给定随机变量x 的条件下，随机变量y 的马尔可 夫随机场。本文只介绍较为简单的线性链条件随机场( 1 i n e a r c h a i nc o n d i t i o n a lr a n d o mf i e l d ，L C C R F ) 。L C C R F 可用于标注问 收稿日期：2 0 1 6 0 3 - 1 8 ；修回日期：2 0 1 6 0 5 - 1 6 作者简介：李向前( 1 9 7 0 一) ，男，江苏淮安人，副教授，硕士，主要研究方向为网络与信息系统、计算机应用技术、计算机图形图像；李军伟( 1 9 9 1 一) ， 男( 通信作者) ，硕士，主要研究方向为机器学习与认知计算( d a v i d l e e 9 1 1 6 3 C O B ) 万方数据 第4 期 李向前，等：利用三层条件随机场模型进行情感极性分类及强度分析 9 8 7 题，其定义如下1 ：设X = ( 置，置，x 。) ，Y = ( y l ，Y 2 ， ) 都为线性链表示的随机变量序列。若在给定随机变量序 列X 的条件下，随机变量Y 的条件概率分布P ( Y I X ) 构成条件 随机场，即满足马尔可夫性，则称P ( Y IX ) 为线性链条件随机 场。在标注问题中，l ，是输出变量，表示标记序列，X 是输入变 量，表示需要标注的观测序列。 抬，疋) 图1 线性链条件随机场模型 C R F + + 是一个开源的条件随机场的实现，本文中C R F 模 型的学习和预测都是通过C R F + + 工具来完成。 2 基于层叠C R F 的情感分析 2 1 整体流程 本文基于三层C R F 模型的情感极性分类及强度分析整体 流程如图2 所示。 图2 情感极性及强度分析的整体流程 第一层为情感句的识别，得到情感句与非情感句( 中性) 两类。第二层为情感极性的分类，得到褒义和贬义两类。第三 层为情感强度的分类，将褒义划分为强烈褒义和一般褒义，将 贬义划分为强烈贬义和一般贬义。 2 2 情感旬识别 2 2 1 特征选取 进行情感句识别时，选择的C R F 特征如表1 所示。对表1 中的特征说明如下： a ) 方面与评价的共现信息。如果评价词和方面词相邻地 ( 或者比较接近地) 在评论语句里出现，那么该评论很可能含 有一定情感，所以方面词和情感词的共现可以作为C R F 的 特征。 b ) 程度词和语气词。程度词，如“非常比较尤其” 等，在一条评论语句中出现时，该语句往往带有一定情感倾向。 一般来讲，语气词，如“竟然”“居然”“起码”等，也往往会表征 一定情感。因此可以将程度词和语气词作为C R F 的特征。 表1 情感句识别时选用的特征 特征项特征项取值描述 词本身( w ) 词性( P O S ) 是否“方面”( A S P ) 是否是评价词( S E N ) 是否程度词( D E G ) 是否语气词( M O O D ) 所有可能的词 所有可能的词性 I S A N O A I S S N O S I S D N O D I S M N O M 当前词 当前词性 是方面词 不是方面词 是评价词 不是评价词 是程度词 不是程度词 是语气词 不是语气词 2 2 2 特征模板的设计 本文为情感句识别设计的特征模板如表2 所示。 表2 情感句识别时的特征模板 有两点需要额外说明： a ) 根据评价词和方面的共现，名词后接情感词、方面后接 形容词的评论很可能是情感句，所以设计出形如P O S 。+ S E N 。和A S P 。一1 + P O S 。的模板。 b ) 一个属于程度词典的词，在特定评论中并不一定被用 做程度词。但是，同一个词在用做程度词和用做其他含义时， 其词性往往是不一样的，所以加入词性可防止对程度词的误 判，进而设计出形如D E G 。+ P O S 。的模板。同理，设计出模板 M O O D 。+ P O S 。 2 3 褒贬极性分类 2 3 1特征选取 进行褒贬义分类时，选取的特征和情感句识别时大体相 同，只作了如下两点修改：a ) 将情感词细分为褒义和贬义，分 别用( P O S ，N E G ) 表示- b ) 新增特征，否定词重数，可能的取值 包括( S I G ，D B L ，N O N ) ，分别表示( 单重否定、双重否定、不是否 定词) 。综上所述，褒贬极性分类时选取的特征如表3 所示。 2 3 2 特征模板的设计 为褒贬义分类设计的模板如表4 所示。需说明的是，否定 词+ 情感词很可能表征出一定的情感倾向，例如“不是不好”， 所以设计出N E G + S E N 。模板。 2 4 情感强度分析 2 4 1 特征选取 本节将评价词按情感极性及强弱分为强烈褒义、一般褒 义、强烈贬义和一般贬义四类，分别用( P P ，P ，N ，N N ) 表示。将 程度词细化为表示“最”的程度词和表示“较”的程度词，分别 用( E S T 、E R ) 表示。将语气词细分为( 强烈语气词、一般语气 词) ，分别用( S T R ，W E A ) 来表示。综上，褒贬义强度分类时使 万方数据 9 8 8 计算机应用研究 第3 4 卷 用的特征如表5 所示。 表3 情感极性分类时选用的特征 3实验 特征项特征项取值 描述 词本身( w ) 词性( P O S ) 评价词极性( S E N ) 否定词重数( N E G ) 是否语气词( M O O D ) 所有可能的词当前词 所有可能的词性当前词性 P O S 是褒义评价词 N E G 是贬义评价词 N O S 不是评价词 S I G 单重否定 D B L 双重否定 N O N 不是否定词 I S M 是语气词 N O M不是语气词 表4 情感极性分类时的特征模板 表5 情感强度分类时选用的特征 特征项特征项取值描述 词本身( w ) 所有可能的词 词性( P O S ) 所有可能的词性 P P P 评价词极性( S E N ) N N N N O S S I G 否定词重数( N E G ) D B L N O N E s l l 程度词( D E G ) E R N O D S T R 语气词( M O O D ) W E A N O M 当前词 当前词性 是强烈褒义评价词 是一般褒义评价词 是一般贬义评价词 是强烈贬义评价词 不是评价词 单重否定 双重否定 不是否定词 表示“最”的程度词 表示“较”的程度词 不是程度词 强烈语气词 较弱语气词 不是语气词 2 4 2 特征模板的设计 为褒贬强度的判断设计如表6 所示的模板。 表6 情感强度分类时的特征模板 3 1 实验环境、工具及语料 开发环境为W i n d o w s8 + E c l i p s e4 1 + J D K1 7 ；分词使用 S t a n f o r ds e g m e n t ，词性标注使用S t a n f o r dp o st a g g e r ；C R F 训练与测 试工具使用C R F + + 0 5 8 ；实验语料采用从数据堂下载的40 0 0 条 针对笔记本电脑的评论文本，下载地址为h t t p ：w w w d a t a t a n g c o r n d a t a 1 3 9 9 0 ，其中正面评论和负面评论各有20 0 0 条。 3 2 准备工作 3 2 1 标注方面与评价词 对语料进行人工标注，共得到7 3 7 个方面词，9 8 3 个评价 词，其中褒义评价词4 3 4 个，贬义评价词5 4 9 个。 3 2 2 标汪睛感极性与强度 对每条评论文本进行基于标点的切分和基于方面的合并， 共得到1 35 7 3 条短评论。对这些短评论进行人工标注，统计 的结果如表7 所示。 表7 短评论情感极性人工标注结果 类别( 条数) 有情感( 86 0 4 ) 无情感 褒义( 47 1 3 )贬义( 39 9 1 ) ( 49 6 9 面两磊_ 丽百菊菽_ 丽 ( 9 5 7 )( 37 5 6 )( 14 9 4 )( 24 9 7 ) 3 2 3 程度词的获取 知网的程度词典中，共总结了“最很”“超”“较”“稍” “欠”六类程度词，将其中的“最”“很”“超”3 类共1 2 个词划分 为表示“最”的程度词，将“较”“稍”“欠”3 类共1 3 个词划分为 表示“较”的程度词。 3 2 4 语气词的获取 本文将王力在中国现代语法中列出的8 类语气副词按 语气强弱分为“强烈语气词”和“一般语气词”，如表8 所示， 作为本文的语气词典。 表8 本文使用的语气词典 类别语气词 强烈语气词竟然，居然，竟，到底，又，并，都，简直，难道，岂，宁，宁可 一般语气词起码，难以，只，偏，倒，却，可，敢，也，还，就，才，索陛 3 2 5 评价词和方面词的获取 评价词和方面词的获取采用丁晟春po 提出的基于C R F 的 评价词和方面词抽取方法取得。 3 3 情感句识别 3 3 1 寻找最优特征组合 为了得到情感句识别时的最优特征组合，本文对不同特征 及其组合作了测试，得到各模板组合对应的情感句和非情感句 识别的，1 值如表9 所示。 第1 0 组实验为词、词性、方面和评价词通过各种形式组合 的特征，n 值为8 5 1 ，比第9 组实验高了3 1 个百分点，证 明了本文加入情感词、方面词特征并利用情感词和方面词的共 现关系识别情感句的方法是有效的。 第1 1 组实验比第1 0 组实验多融合了M O O D 和D E G 两个 特征，而其情感句识别的F 1 值比第1 0 组实验提高了1 2 个百 分点，说明本文利用程度词、语气词特征识别情感句的方法是 有效的。 万方数据 第4 期 李向前，等：利用三层条件随机场模型进行情感极性分类及强度分析 9 8 9 表9 各模板情感句识别的，l 值 3 3 2 与丁晟春方法的对比 a ) 本文情感句识别效果如表1 0 所示。 表1 0 本文情感句识别结果 b ) 丁晟春方法的效果。丁晟春的情感句识别方法在 C O A E 2 0 1 1 的任务2 上取得了较好的效果，其F 1 值比参与测 评所有方法的平均F 1 值高了1 4 7 个百分点。本文用丁晟春 的方法在本文的语料上做实验，得到的效果如表1 1 所示。 表11丁方法的情感句识别效果 为了更加直观，将最终的效果对比用图3 来展示。通过对 比可以看到，本文的情感句识别的F l 值比丁晟春的方法高出 1 3 9 个百分点，这是因为丁晟春在C O A E 2 0 1 1 的任务2 中使用 的方法是半监督的，先抽取评论语句中的评价词，然后将含有评 价词的评论语句归为情感句；而本文利用C R F 模型进行有监督 学习，且考虑了方面和评价词共现、程度词和语气词等特征。 3 4 褒贬极性分类 3 4 1 寻找最优特征组合 为了得到褒贬极性分类的最优特征组合，本文对不同模板 及模板组合作了测试，得到各组特征在褒义和贬义两类上的 F l 值如表1 2 所示。 表1 2 各模板情感句识别的，l 值 第8 组实验比第7 组实验多了评价词特征，通过这两组实 验的对比可以看出，评价词特征在情感分类时是有效的。 第9 组实验效果优于第8 组，说明“是否语气词+ 词性” 这一特征组合在情感分类时是有效的。 第1 0 组实验是情感极性分析时效果最好的一次实验，比 第9 组实验多了“否定词+ 评价词”特征组合。 3 4 2 与丁晟春方法的对比 a ) 本文效果。本文的情感极性分类效果如表1 3 所示。 表1 3 本文情感极性分类效果 b ) 丁晟春方法的效果。丁晟春等的情感极性分类方法在 C O A E 2 0 0 8 的任务3 上取得了很好的效果。本文利用丁晟春 的方法，在本文的数据集上测得的效果如表1 4 所示。 表1 4 丁方法的情感极性分类效果 为了更加直观，将最终的效果对比用图4 来展示。 9 0 8 5 8 0 窆7 5 理7 0 E6 5 6 0 5 5 5 0 甾3 奉叉方法与丁的方法情感旬 识别效果对比图 幽4 奉义力法与九珊， 怯。情感 极性分类效果对毙图 由表1 3 和1 4 可知，本文在褒义贬义两个方面的识别效果 都高于丁晟春的方法。本文在褒贬两类中的平均F 1 值为 7 7 2 ，丁的方法在褒贬两类中的平均F 1 值为7 4 6 ，本文 方法比丁的方法高了2 6 个百分点。在褒贬极性分类中，本文 方法与丁晟春方法的主要区别在于，丁的方法只结合了词特 征、评价词特征和连词特征，本文还融合了程度词、语气词、否 定词以及方面和评价词的共现等特征。 3 5 情感强度分析 3 5 1 寻找最优特征组合 情感强度分析是分成并列的两个子任务来实现的：a ) 将 褒义评论分为强烈褒义和一般褒义；b ) 将贬义评论分为强烈 贬义和一般贬义。各模板情感强度分类的F 1 值如表1 5 所示。 3 5 2 与丁晟春方法的对比 a ) 本文效果( 三层C R F s ) 本文情感强度分析的结果如表1 6 所示。需要说明的是： 由于本文是分层结构，所以3 3 节中的非情感句识别的效果即 为最终的非情感句识别效果。 b ) 丁晟春方法的效果 丁晟春的情感倾向强度分析方法在C O A E 2 0 0 8 的任务3 上取得了很好的效果。丁晟春的方法与本文方法有两点区别： a ) 虽然丁的方法和本文方法都是分层C R F 模型，但是丁的方 法是将第一层的输出结果作为第二层的一个特征，而本文是直 接在前一层的结果集里作后一层的分析：b ) 丁的方法只结合 万方数据 9 9 0 计算机应用研究第3 4 卷 了词特征、评价词特征和连词特征，本文还融合了程度词、语气 词、否定词以及方面和评价词的共现等特征。本文用丁晟春的 强度分类方面，本文方法的n 值仅比丁的方法高了1 2 个百 分点。这是由于分层结构中误差会逐层传导的原因。 方法在本文数据集上作了测试，得到结果如表1 7 所示。 表1 5 各模板情感强度分类的测试结果4 结束语 表1 6 本文情感强度分类效果 强烈褒义6 9 7 ( 0 0 7 4 )7 6 1 ( 0 0 9 1 ) 7 2 8 一般褒义6 9 5 ( 0 0 7 9 )7 4 9 ( 0 0 8 0 ) 7 2 1 强烈贬义5 6 4 ( 0 0 4 5 ) 7 2 2 ( 0 0 8 3 )6 3 3 一般贬义7 1 6 ( 0 0 8 1 )6 0 9 ( 0 0 7 0 ) 6 58 非情感句7 7 5 ( 00 9 4 )7 1 2 ( 0 0 8 3 ) 7 3 3 平均 6 95 为了更加直观，将最终的效果对比用图5 来展示。 ! ! 10 嚣? 、 享剥 量引霪羹羹湮瀵羹 囊翌受震型吐乏鐾，薯半均褒义炭卫贬芝吐乏芷匹川 一。 将本文方法第1 0 组模板的测试结果与丁的方法结果作对 比可以发现，第1 0 组模板在“强烈褒义”和“一般贬义”两类的 F 1 值略低于丁的方法，其他三类的识别效果都稍高于丁的方 法。第1 0 组模板在5 个类别中的平均n 值为6 9 4 ，丁的 方法的n 值为6 9 5 ，所以，两种层叠C R F 模型的效果相当。 将本文第1 2 组模板的测试结果与丁的方法结果相比，各 个类别的F 1 值都略高于丁的方法，本文方法各个类别的平均 n 值为7 0 7 ，比丁的方法高了1 2 个百分点，这证明了本文 融合程度词、语气词、否定词信息的有效性。但同时对比3 4 和3 5 节的实验结果可以看到，在情感极性分类方面，本文方 法的F 1 值比丁的方法的n 值高了2 6 个百分点。而在情感 本文利用层叠C R F 模型，融合了词、词性、语气词、程度 词、方面和评价词的共现等特征。第一层为情感句识别，将所 有评论分为情感句与非情感句( 即中性) 两类；第二层为情感 极性分类，将情感句分为褒义和贬义两类；第三层为情感强度 分析，将褒义划分为强烈褒义和一般褒义，将贬义划分为强烈 贬义和一般贬义。本文在情感句识别、情感极性分类和情感强 度分析上的，1 值分别为8 6 3 、7 7 2 、7 0 7 ，分别比丁晟 春的方法提高了1 3 9 、2 6 、1 2 个百分点。 本文的情感极性分类及强度分析方法有以下两点不足： a ) 情感极性分类及强度分析时使用的是有监督C R F 模型，评 论挖掘有很强的领域相关性，有监督学习效果虽好，但是以大 量的标注工作为代价，可以在后续的研究加以改进；b ) 层叠 C R F 模型的误差会逐层传导，如何改进也是以后的研究方向 之一。 参考文献： 1 H uM i n q i n g ，L i u B i n g M i n i n ga n ds u m m a r i z i n gc u s t o m e rr e v i e w s C P r o eo ft h e1 0 t hA C MS I G K D DI n t e r n a t i o n a lC o n f e r e n c eo n K n o w l e d g eD i s c o v e r y D a t aM i n i n g N e wY o r k ：A C MP r e s s ，2 0 0 4 ： 1 6 8 1 7 7 。 2 姚天防，聂青阳，李建超，等一个用于汉语汽车评论的意见挖掘 系统；中文信息处理前沿进展 C 中国中文信息学会2 5 周年 学术会议论文集2 0 0 6 3 T u r n e yPD T h u m b su po rt h u m b sd o w n ? S e m a n t i co r i e n t a t i o n 印一 p l i e dt ou n s u p e r v i s e dc l a s s i f i c a t i o no fr e v i e w s C P r o co fA n n u a l M e e t i n go ft h eA s s o c i a t i o nf o rC o m p u t a t i o n a lL i n g u i s t i c s S t r o u d s b u r g ： A s s o c i a t i o nf o rC o m p u t a t i o n a lL i n g u i s t i c s ，2 0 0 2 ：4 1 7 4 2 4 4 P a n gB o ，L e eL ，V a i t h y a n a t h a nS T h u m b su p ? S e n t i m e n tc l a s s i f i c a - t i o nu s i n g m a c h i n e l e a r n i n g t e c h n i q u e s C P r o co f t h e A C LC o n f e r - e n e eo nE m p i r i c a lM e t h o d si nN a t u r a lL a n g u a g eP r o c e s s i n g - V o l u m e 1 0 S t r o u d s b u r g ：A s s o c i a t i o nf o rC o m p u t a t i o n a lL i n g u i s t i c s ，2 0 0 2 5 徐军，丁宇新，王晓龙使用机器学习方法进行新闻的情感自动分 类 J 中文信息学报，2 0 0 7 ，2 1 ( 6 ) ：9 5 1 0 0 6 D a v eK ，L a w r e n c eS ，P e n n o e kDM M i n i n gt h ep e a n u tg a l l e r y ： o p i n i o ne x t r a c t i o na n ds e m a n t i cc l a s s i f i c a t i o no fp r o d