大数据时代如何运用指数分析舆情

1、大数据时代怎样利用指数分析舆情韩少卿、王闯郑州大学第1页目录 CONTENTS网络大数据网络舆情舆情指数案例分析研究与反思第2页网络大数据1第3页1.1大数据概念123感知数据人类原创数据运行数据人类社会数据生产方式第4页世界著名咨询企业麦肯锡最早提出了“大数据”概念，麦肯锡认为大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存放、管理和分析数据集合。1.1大数据概念第5页研究机构 Gartner 将大数据定义为：需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。1.1大数据概念第6页维基百科对“大数据”解读是：“大数据”（Big dat

2、a），或称巨量数据、海量数据、大资料，指是所包括数据量规模巨大到无法经过人工，在合理时间内到达截取、管理、处理、并整理成为人类所能解读信息。1.1大数据概念第7页传媒教授刘建明教授认为：“大数据”同信息是不可分离，是指信息浩大数量统计与技术运作。作为人类认知社会方法一次飞跃，“大数据”技术将给企业运行、政府管理和媒体传输科学化创造有效机制。1.1大数据概念第8页“大数据”不是部分，而是全部数据是不确定、不准确信息着重在了解是“什么”而不是“为何”1.1大数据概念大数据时代 维克托迈尔舍恩伯格第9页1.1大数据概念大数据本身不是一个新产品或新技术大数据出现只是数字化时代数据量不停增加一个现象第1

3、0页1.1大数据概念MBGBTBPBEBBZB海量数据大数据第11页1.1大数据概念第12页1.2大数据发展进程0302011966年摩尔定律提出，为大数据现象形成奠定物理基础1989年数据挖掘技术产生，大数据有了大价值社交媒体出现，全世界每个人都变成了潜在数据生成器第13页1.3大数据特点数据本身状态与价值伴随时空改变而不停发生演变Variety（流动速度快）数据价值没有随数据量指数增加展现出同百分比上升Value（价值巨大但密度低）结构化数据、半结构化数据和非结构化数据Velocity（数据类型繁多）大量交互数据被统计和保留，数据规模从TB到PB数量级Volume（数据体量巨大）4 个 V

4、： Volume、Velocity、Variety、Value第14页1.3大数据特点1大数据传统小数据当代大统计2大数据结构化数据非结构化数据3大数据=大价值+大容量第15页1.4大数据怎样产生10:02微博云计算LBS物联网托马斯H达文波特：大数据之所以产生，是因为传感器和微型计算机处理器在人们日常生活中无处不在。第16页1.4大数据怎样产生第17页网络舆情大数据时代降临12354Google400PBFacebook10亿照片300TB微 信百 度 云每个人1天200G月活8亿5000国图1.5网络大数据第18页网络舆情2第19页2.1舆情概念舆情指在一定社会空间内， 围绕中介性社会事项

5、发生、发展和改变，作为舆情主体民众对国家管理者产生和持有社会政治态度。广义舆情，就是指民众全部生活情况、社会环境和民众主观意愿，也就是通常所说“社情民意”。第20页2.2网络舆情概念网络舆情是社会舆情一个表现形式，指在一定网络空间中，各种社会群体对自己关心或与本身利益相关热点事件或事物所表现出来含有一定影响力并带有倾向性认知、情绪、态度和意见总和。传输互动网民情感互动影响力网络事件第21页01020304主观性与非理性社会情绪原生态表示网络谣言与负面情绪扩散多元性信息内容多元传输路径与表示方式多元意识形态与观点内容多元突发性基于网络双向传输社会舆论导火索广泛性参加人员类型广泛包括地域范围广泛2

6、.3网络舆情特点第22页2.4网络舆情信息起源政府网站高高低低新闻媒体高高中中社交平台低低高中网络媒体中中中中中起源 准确度权威度参加度针对性主动报送中高高网络舆情信息起源指标特点第23页2.5网络舆情传输特点跨时空性：信息突破了空间限制，实现了信息跨时空传输1234强制互动性：信息由单向传输变成双向互动，公众由接收者变为参加者和生产者及时性：即时编辑、及时公布、即时传输、即时互动、及时反馈群体极化性：信息倾向性对受众思想形成一定支配性，形成群体极化第24页2.6网络舆情演变过程舆情影响萌芽扩散暴发波动消退经历时期表2.1：网络舆情演变模型第25页2.7网络舆情演变过程舆情影响萌芽扩散暴发波动

7、消退经历时期表2.2：网络舆情预警模型良好正常隐患不安全危险第26页2.7网络舆情演变过程舆情影响萌芽扩散暴发波动消退经历时期表2.3：政府应对舆情模型良好正常隐患不安全危险开启舆情监测制订应急预案制订保障方案实施信息公开教授网上答疑关注意见领袖网民互动交流事件初步处理公开进展信息引导舆情过渡事件经验总结监测衍生舆情第27页舆情指数3第28页3.1网络舆情指数概念舆情指数是经过对网络中各种类型媒体所公布信息进行独立第三方观察，形成量化统计和定性分析，并结合算法推导、归纳总结而最终形成一套网络舆情指数体系。第29页3.2网络舆情指数体系构建基本标准科学性系统性全方面性可行性动态性稳定性明确性目标

8、性第30页3.3互联网大数据挖掘技术数据库理论机器学习人工智能当代统计学第31页3.3互联网大数据挖掘技术统计技术：对给定数据集合假设一个分布或者概率模型连接分析：从一些用户行为中分析出一些模式， 同时将产生概念应用于更广用户群体中决议树：一个预测模型，是直观利用概率分析一个图解法人工神经网络：是一个模仿动物神经网络行为特征， 进行分布式并行信息处理算法数学模型差异分析：目标是发觉数据中异常情况，从而取得有用信息概念描述：对某类对象内涵进行描述，并概括其相关特征关联规则：目标是找出数据库中隐藏关联网第32页3.4网络舆情监测指数体系（兰月新）指数一指数三指数四指数二传输扩散舆情受众公布主体内容

9、要素指数体系1234第33页名称一级指数二级指数三级指数网络舆情监测指数体系连续时间地理范围传输方式主体身份影响力活跃度意见倾向主题内容主题词热度主题敏感度视听化程度内容详略度态度倾向关注人数传输扩散时间跨度地理跨度网站、网媒、社交媒体意见领袖、普通网民发帖量、回复量支持、反对、中立社会热点、政治新闻、个人隐私、宗教政治转发量、评论量、阅读量敏感词声像资料量文本长度、图片连贯性、声像时长支持、反对、中立独立访问者、访问量公布主体内容要素舆情受众3.4网络舆情监测指数体系（兰月新）第34页3.5舆情大数据指数（刘建明）刘志明网络舆情大数据第35页3.6网络舆情指数体系（IRI） “网络舆情指数体

10、系（IRI）”是由中国传媒大学网络舆情（口碑）研究所设计，该指数体系是国内第一个权威、可量化、科学网络舆情指数体系，重点突出网络舆情指数实时动态性以及可了解、可描述、可解释等特点。123IRI网络舆情参加度网络舆情涉及度网络舆情评价度网民在某网站中针对某一主题公布信息量、回复量和浏览量综合统计集中参加水平衡量全部网络媒体中相关信息指标 广泛报道水平整体态度倾向指标第36页3.7baidu司南舆情系统指数声量诊疗传输分析情感提炼某话题/人物/商品/事件在互联网上是否引发了关注度，关注量级与趋势怎样舆情传输路径，识别传输节点，研判节点调性摩画网民情感倾向，提炼网民对事物主要态度、关注面与侧重点人群

11、分析舆情受众画像，偏好人群&厌恶人群特点第37页3.8清博指数 以大数据为关键技术支撑，全方位整合传统门户、微博、微信、论坛、外媒等舆情信息矩阵，高效稳定数据采集平台，深度分析挖掘网络舆情，预测消费者商业兴趣与社交行为，为企业品牌评定、战略布署提供有力数据支撑。BCIBVIOCIWII-VRTGI标题内容WCI第38页3.8清博指数-微信传输指数WCI第39页3.8清博指数-微博传输指数BCI指标体系:主要经过活跃度和传输度两大维度来进行评价,发博数X1、原创微博数X2、 转发数X3、评论数X4、原创微博转发数X5、原创微博 评论数X6、点赞数X7。第40页3.8清博指数-微博传输指数BCI第

12、41页3.8清博指数-网红指数OCI 网红指数OCI侧重于对网红传输力和影响力量化评定，评定模型包含三大维度、十余项项量化指标，经过全网数据采集，建立基于大数据开放评定模型。第42页3.8清博指数-VR指数WII-VR评定指数包含企业和产品网络关注度（微博讨论及官微粉丝数、微信相关文章及总阅读数等），全网推广度（网页、新闻、官网、社交媒体平台等相关信息推广）和网络热销度（主流电商平台：以淘宝/天猫和京东为主）三大维度。第43页3.9PDI（Pandata Index）全景数据评定指数全景数据评定指数PDI 1.0算法说明：使用文章数量、可见总流量、认同流量、可见峰值流量四个主要指标，并提出认同

13、潜力值、可见峰值流量比率两个指标。本算法由上海交通大学大数据传输创新试验室综合多类资源提出，使用运筹学中层次分析法（AHP）进行系数确实定，得到k_1=72.35%，k_2=19.32%，K_a=75%，_1=87.5%。第44页案例分析4第45页4.1baidu舆情研究院大数据中“春运潮”变迁“baidu迁徙”公布春运全国8小时最热线路图春运迁徙，40天，36亿人次 春运槽点：“12306”“高价盒饭”“车站服务”“安检”“堵车”“晚点、滞留”第46页4.1案例一：baidu舆情研究院大数据中“春运潮”变迁关注度0.3新闻指数0.3论坛指数0.2微博指数0.2微信指数正面舆情百分比0.7正面

14、舆情指数0.3中性舆情指数舆情压力指数=0.7 舆情事件个数+0.3 舆情关注度均值-正面舆情事件百分比baidu舆情研究院大数据中“春运潮”变迁第47页4.1关注度0.3新闻指数0.3论坛指数0.2微博指数0.2微信指数baidu舆情研究院大数据中“春运潮”变迁第48页4.1baidu舆情研究院大数据中“春运潮”变迁正面舆情百分比0.7正面舆情指数0.3中性舆情指数舆情压力指数=0.7 舆情事件个数+0.3 舆情关注度均值-正面舆情事件百分比第49页4.1baidu舆情研究院大数据中“春运潮”变迁正面舆情百分比0.7正面舆情指数0.3中性舆情指数舆情压力指数=0.7 舆情事件个数+0.3 舆

15、情关注度均值-正面舆情事件百分比第50页研究与反思5第51页5.1大数据视域下舆情研究转向研究视角转向研究方法转向数据库支持转向舆情研究主体转向从单向度内容研究转向“内容+ 关系”多维度研究由舆情信息采集转向数据加工、可视化等由简单、有限数据库转向非结构化大数据库由小作坊式单打独斗、面面俱到舆情监控转向分工明确、高度聚合集约舆情分析舆情研究重点转向由舆情监测转向为舆情预警乃至预测，从单向度危机应对、品牌营销转向各领域综合信息服务第52页5.2大数据舆情能否代表社会民意 依据中国互联网络信息中心CNNIC第38次中国互联网络发展情况统计汇报显示，截至6月，中国网民已到达7.10亿，超出总人口1/

16、2。农村网民占总网民26.9%，达1.91亿，而中国农村人口快要8亿，网民占比较低。即使上网，发表意见也是少数。 陈力丹在舆论学指出： 在一定范围内有靠近1/3人持某种意见，这种意见因为开始对全部人产生影响，故它已经从少数人意见转变为舆论。在一定范围内有靠近2/3人持某种意见，这种意见已经能够统领全局，当然更是舆论，而且成为主导舆论。 P4 要注意，不能轻易把网上意见视为舆论。网民占全国人1/3，网民在网上发表意见人数，只占全部网民2%，经常发表意见人数更少。 P8 所以，网民大都属于缄默大多数，经过技术伎俩抓取关键词展现出意见情况会出当代表性偏差，与符合真实情况可能出现不一致。第53页5.2

17、大数据舆情能否代表社会民意信息源头污染 网民享受了表示意见自由，但网络信息却并非态度、意见和情绪直接和客观反应。网络虚拟性使得网络言论往往出现情绪化和极端化现象。其次是大量网络水军存在，会影响到对事实情况判断。第54页5.2大数据舆情能否代表社会民意 爱德华霍尔创建了高语境和低语境概念。高语境是指对语境依赖程度较高语言，如汉字和日文。在汉字传输环境中，语言信息展现在语境之中，高度依附语境。 使用爬虫等技术伎俩抓取网络信息是有噪声，在进行回归分析与差异分析时，不能彻底摆脱高语境依赖，由此得出分析结果并不能完整解释其实际意义，进而也会干扰舆情判断。第55页5.2大数据舆情能否代表社会民意 大数据是

18、原材料，算法是关键。大数据往往是TB甚至PB量级，在舆情指数分析中数据也只是大数据冰山一角，并不是完全意义上“大数据”。 在FiveThirtyEight美国大选数据分析预测中，Nate Silver曾在成功预测50个州中49个州选举结果，年成功预测了50个州结果。但在20大选中，曾被称为神童这些数据分析型政治记者走下了神坛。 数据并非万能，它有盲点也会犯错，用不一样算法可能会得到不一样结果。所以，在数据之外，对算法合理性、科学性考量需要不停改进。 所以，基于大数据数据分析舆情分析相较于传统舆情测量有其优势，但它缺点也不能被忽略。第56页ThankYou第57页激励学生学习名言格言220、每一个成功者都有一个开始。勇于开始，才能找到成功路。221、世界会向那些有目标和远见人让路（冯两努香港著名推销商）222、绊脚石乃是进身之阶。223、销售世界上第一号产品不是汽车，而是自己。在你成功地把自己推销给他人之前，你必须百分之百把自己推销给自己。224、即使爬到最高山上，一次也只能脚踏实地地迈一步。225、主动思索造成主动人生，消极思索造成消极人生。226、人之所以有一张嘴，而有两只耳朵，原因是听要比说多一倍。227、别想一下造出大海，必须先由小河川开始。228、有事者，事竟成；破釜沉舟