微博情感分析评测总结

1、观点句识别观点句识别情感倾向性判断情感倾向性判断针对观点句针对观点句情感要素抽取情感要素抽取针对观点句针对观点句数据集数据集来自腾讯微博数据来自腾讯微博数据原始数据集原始数据集20话题话题主要是热门事件，如主要是热门事件，如“三亚春节宰客三亚春节宰客”约约17500条微博条微博约约32000个句子个句子数据集数据集数据标注数据标注三标注者对同一数据标注三标注者对同一数据标注数据集大小数据集大小2023条微博条微博3416个句子个句子1209个非观点句个非观点句2207个观点句个观点句407正面、正面、1766负面、负面、34其他其他2361个对象个对象441正面、正面、1910负面、负面、10

2、其他其他数据集数据集标注标准标注标准关于观点句关于观点句个人意愿、心情不是观点句，如个人意愿、心情不是观点句，如“我感到很高兴我感到很高兴”表达了明显观点的反问句属于观点句，如表达了明显观点的反问句属于观点句，如“体育竞技有不残酷的吗？体育竞技有不残酷的吗？”关于观点句倾向性关于观点句倾向性正面、负面，其他正面、负面，其他(Other)三类，三类，“其他其他”表示中性或无法确定正负的情况表示中性或无法确定正负的情况不进行不进行数据集数据集标注标准标注标准关于观点句情感对象关于观点句情感对象情感对象优先从当前句子抽取，但可以跨越当前句子从前面的句子或后面的情感对象优先从当前句子抽取，但可以跨越当

3、前句子从前面的句子或后面的句子中抽取（前面的邻近句子优先）句子中抽取（前面的邻近句子优先）情感对象尽可能完整和明确，事件按细粒度标注：情感对象尽可能完整和明确，事件按细粒度标注： “ipad的屏幕很棒！的屏幕很棒！”- “ipad的屏幕的屏幕” “官二代陶汝坤官二代陶汝坤:作案动机极其卑劣作案动机极其卑劣”- “作案动机作案动机”对象本身不是情感表达：对象本身不是情感表达： ”#官二代求爱不成将少女毁容官二代求爱不成将少女毁容# 这种畜生是怎么被教育出来的啊！这种畜生是怎么被教育出来的啊！” - “官二代官二代”人称代词需要尽可能在当前微博内进行指代消解：人称代词需要尽可能在当前微博内进行指代

4、消解： “小明就读于北京大学，他是名优秀的学生。小明就读于北京大学，他是名优秀的学生。”-”小明小明“抽取出句子中每个情感片段所对应的情感对象：抽取出句子中每个情感片段所对应的情感对象： “你根本已经不是个人了，你比蛇还冷血，你比畜生还畜生。你根本已经不是个人了，你比蛇还冷血，你比畜生还畜生。” - “你你” “你你” “你你”参评单位参评单位34支队伍支队伍包括全国重点高校与科研机构包括全国重点高校与科研机构观点句识别：观点句识别：53组组情感倾向判断：情感倾向判断：48组组情感对象抽取：情感对象抽取：22组组观点句识别观点句识别任务要求任务要求识别每条微博中各个句子是观点句还是非观点句识别

5、每条微博中各个句子是观点句还是非观点句评价标准评价标准准确率、召回率、准确率、召回率、F值值微平均微平均宏平均宏平均观点句识别观点句识别微平均微平均观点句识别观点句识别微平均微平均观点句识别观点句识别宏平均宏平均观点句识别观点句识别宏平均宏平均情感倾向性判断情感倾向性判断任务要求任务要求判断微博中每条观点句的情感倾向判断微博中每条观点句的情感倾向正面、负面、其他正面、负面、其他评价标准评价标准准确率、召回率、准确率、召回率、F值值微平均微平均宏平均宏平均情感倾向性判断情感倾向性判断微平均微平均情感倾向性判断情感倾向性判断微平均微平均情感倾向性判断情感倾向性判断宏平均宏平均情感倾向性判断情感倾向

6、性判断宏平均宏平均情感要素抽取情感要素抽取任务要求任务要求找出微博中每条观点句作者的评价对象找出微博中每条观点句作者的评价对象判断针对情感对象的观点极性判断针对情感对象的观点极性评价标准评价标准精确评价精确评价宽松评价宽松评价准确率、召回率、准确率、召回率、F值值情感要素抽取情感要素抽取严格评价严格评价微平均微平均情感要素抽取情感要素抽取严格评价严格评价微平均微平均情感要素抽取情感要素抽取严格评价严格评价宏平均宏平均情感要素抽取情感要素抽取严格评价严格评价宏平均宏平均情感要素抽取情感要素抽取宽松评价宽松评价微平均微平均情感要素抽取情感要素抽取宽松评价宽松评价微平均微平均情感要素抽取情感要素抽取

7、宽松评价宽松评价宏平均宏平均情感要素抽取情感要素抽取宽松评价宽松评价宏平均宏平均小结小结微博情感分析相当具有挑战性微博情感分析相当具有挑战性不同于产品评论数据，微博数据领域多样，话题广泛，不同于产品评论数据，微博数据领域多样，话题广泛，表达自由表达自由本次评测中微博观点句识别、倾向性分析的最好结本次评测中微博观点句识别、倾向性分析的最好结果果F值接近于值接近于80%，情感要素抽取的最好结果精确，情感要素抽取的最好结果精确评价评价F值接近于值接近于30%，比预想的结果要好，但仍有，比预想的结果要好，但仍有较大的提升空间较大的提升空间本次评测的标注数据可作为相关研究的科研数据，本次评测的标注数据可作为相关研究的科研数据，已免费公开发布已免费公开发布标注规范和任务设置有待进一步的改进标注规范和任务设置有待进一步的改进26致谢致谢感谢腾讯微博提供数据！感谢腾讯微博提