大数据与网络舆情大数据与网络舆情

abit.io大数据与网络舆情分析微趣大数据所有真实用户都不独立存在，紧密的社交圈在帮助用户产生数据。社交大数据的内部爆炸可以为任意分析提供充足的数据支撑超过6亿互联网真实用户档案数据。每天新产生的数亿条的评论，及过去4年间数百亿的各类观点。现在可以在一个平台上掌握所有的这些声音。通过这些大数据可回答以下问题：谁/哪些人在讨论一个什么问题他们的观点和期望到底是什么可自由组织的问题影响力评估用户作息时间群体/个体习惯对对比分析（（作息，上上网）自然状态下下的用户言言论自然状态下下的用户言言论移动设备更更替社交关系网网结构社交关系结结构群体/个体兴趣对对比分析网络舆情分分析微博新浪微博用用户6.5亿，日活跃4600万，腾讯微博用户户6.2亿，日活跃约约1亿。全国政务微微博总数17万，2012年增长2.5倍（其中在在新浪微博博6万）。在新浪微博博开通的企企业微博总总数27万，2012年增长1.2倍。微信微信用户3亿，日活跃跃约2亿，公众号约200万，认证公公众号与服服务号约20万。新一轮的信信息爆炸传统门户，，论坛有价价值信息量量大约在一年1亿条左右微博每天产生近2亿条各类内容容社交媒体特特点海量数据大量长尾和和碎片和噪音互联网舆情情现状互联网舆情情现状在今天的中国，任意可能被在全社会范围内传播的舆情都无法绕开微博这一传播载体。只要内容具有传播价值，数亿微博用户中总有人会将其从门户，论坛，朋友圈及其它各类媒介中放到微博中进行传播，因此微博可以说是大数据时代舆情监测最重要的阵地。微博是目前中国唯一能够满足普通用户将信息传递到全国皆知的需求的平台。当前互联网网舆情监测测的思路方案及时获取完整获取判别热度判别真假可扩展稳定性API关键词实时获取XXXX非常稳定页面爬虫重要优先√√√√较稳定主要的技术术路线比较较页面爬虫根根据采集能能力约束主主要分为：：“全采集集”与“组组织性采集集”。案例–上海法官招招嫖事件事件回放：网上开始大大量传播以以视频截图图为依据的的披露上海海高院法官官集体招嫖嫖的事件，，该事件在在全国范围围内造成大大范围的传传播与讨论论，造成恶恶劣影响，，微趣舆情情平台在这这条暴露微微博仅仅转转发11次之前就捕捕获了该微微博。案例特点：爆料人在腾腾讯微博上上注册用户户并进行发发布。该用户爆料料时，粉丝丝仅为9人，即初期期整个互联联网中仅有有9人有较小机机会看到并并传播该信信息。该信息经过过4小时左右传传播后被删删除，删除除前仅转发发了65次，但最终终在全网范范围内进行行扩散。案例结论：舆情监测必必须全平台台。如仅监测大大号，无法法确保舆情情监测业务务的安全。。基于社交网网络的舆情情传播力非非常大，一一不注意就就造成舆论论灾难。大数据采集集社交媒体数数据量较传传统门户论论坛增长了了数百倍，，传统舆情情平台技术术无力实现现全数据采采集。微博数据源都都是高技术术能力的互互联网公司司，反采集集技术成熟熟，难以攻攻破。（短短信验证，，图片识别别等）大数据处理理利用传统的的数据处理理与存储方方式，要实实时处理数数以亿计的的数据需要要投入庞大大的硬件，，一般公司司无法承担担。例如邓邓亚萍的即即刻搜索，，就投入了了近700台高性能服服务器提供供微博内容容的搜索服服务，但仍仍然数据缺缺失严重。。舆情的发现现任意舆情系系统最终都都需要将数数据呈现在在用户面前前，在大量量相关数据据面前，人人一天满负负荷浏览最最多不会超超过2000条微博，但但在大数据据的基础上上，往往相相关数据都都会超过这这个极限。。因此如何何实时将最最重要的舆舆情信息优优先放到用用户面前成成为重要问问题。舆论噪音的的辨别与去去除社交平台中中存在大量量受控制的的机器账号号，总量惊惊人，这些些机器账号号可以被利利用快速增增长某些内内容的转发发量。需要要有技术识识别舆情的的真假，防防止被错误误引导。舆情监测的的挑战内容传播分分析真实传播评评估大数据采集集从09年开始研发发搭建的高高效分布式式采集平台台，将近百百个采集点点毫无规律律地放置在在全球各地地，使采集集能力大增增并且不易易被平台防防抓取技术术拦截，已已稳定采集集4年相关数据据。大数据处理理自主研发了了国际上最最先进的非非关系型数数据库并利利用分布式式文件系统统（hadoop）实现了低低成本的高高速数据读读写。经测测试同等硬硬件环境下下，读取速速度比SQLServer或Oracle快20倍，写入快快5倍。舆情的发现现基于国际上上一些权威威的传播研研究论文，，设计出能能够实时评评价舆情重重要性的““热度指数数”，获得得国家相关关奖项认可可。舆论噪音的的辨别与去去除探查整个社社交网络数数亿用户情情况，通过过真实度算算法识别网网络机器人人，确保去去除虚假互互联网声音音。应对技术微博实时搜搜索微信实时搜搜索案例–平度事件最早影响力最大大21-24号的数据统统计日期微博数转发数评论数微信数3.21486442201294213.22608781142774513.23614362971341003.24262396414241实时意见领领袖的监测测传播地域评评估新媒体下的内内容引导什么是传统统媒体？电视、广播播、报纸、、杂志、布布告栏、电电线杆……什么是新媒媒体？网络视频，，IPTV，移动电视视，数字报报纸，数字字杂志，博博客，微博……新媒体的优优势传播速度更更快，信息息更及时覆盖面更广广，受众更多互动性更强强新媒体的特特点消解边界信息多元化化和自由选选择突破时空限限制小众化与长尾效效应自媒体什么是自媒媒体？@作业本784万粉丝独特的语言言风格，契契合时事热热点的创作作每条微博都都有上千乃乃至数万转转发评论牛鬼蛇神屌屌丝聚会这是什么？@王左中右每天一个汉汉字，读懂懂中国@小丑出品PS&吐槽新媒体平台台上的内容包装与品牌牌塑造独特的原创创内容有针对性的受受众群体紧抓热点关键的传播播点良好的互动动我买了这么么多货不对对版的植物物我会告诉你你吗？太长!toolong!发布微博时时其他考量量发布时间：：中午十二二点整后续：由韩韩寒在十分分钟后进行行转发后续：由亭亭林镇工作作室的微博博以及其他他朋友微博博账号进行行转发并持持续发酵最终结果超过8.5万