大数据与大数据服务介绍

1、大数据与大数据服务介绍BigData and BigData Service数字化信息化智能化IT 3.0软件定义、数据驱动 个性化 实时感知(移动革命） 反馈和量化自我在智能化时代，中文信息处理大有可为互联网大数据政府大数据产业大数据数据垄断 数据孤岛 样本偏差产业链生态系统数据安全和隐私Open Data大数据时代，中文信息处理的定位和价值： 是理解数据、和数据对话的重要手段机器大数据 Machine Data大数据产业的三个层次和硬件相关的大数据技术 分布式数据处理和新型数据库 (Hadoop/MapReduce,NoSQL） 数据挖掘和机器学习（深度学习） 自然语言处理，情感分析、开放

2、域信息抽取、 分类聚类，知识图谱大数据可视化数据和知识服务 个性化精准营销医疗、安全、教育、社保、金融、证券、通信、互联网等行业应用智能交通智慧城市大数据技术大数据行业应用大数据服务大数据的运算法则：加减乘除除加减乘大数据取消大字，关键是 数据和数据思维互联网大数据、 企业大数据、物 联网大数据、机 器大数据、穿戴 大数据平台建设和个体创新 之间的关系，形成长 尾市场发现大数据中的 小数据，从价值 密度低的数据中 获得高价值密度 的小数据大数据催生数据作为服务DaaSData as a ServiceSaaS PaaSIaaSDaaS的几个层次数据驱动的跨界服务数据挖掘服务元数据服务选择性数据

3、服务 原始数据服务计算广告学、互联网金融、信用平台舆情分析、预测、信息可视化、数据的关联分析标注数据、人肉如搜索引擎服务糙数据，数据资源集数据作为服务和中文信息处理变现模式从工具到手段落脚点从内容理解到结果呈现从智慧企业发展路线图看需求网站投放交易用户行为分析精准营销从品牌、营销、 产品设计和客服 的全过程品牌宣传网络营销电子商务个性化服务社会化商业弱信号探测情感分析用户画像结构化社交媒体信息处理需求智能客服我们的工作和成功案例终端53/Flash行业大数据应用用 撑 台应 支 平础 施 台基 设 平一 一 一 一 一交 析 社 分一 一 一 一 一 一 一、据测 数监 大 情 体 舆 媒大数

4、据采集h一大数据分析 、挖掘 、整合数据挖掘(RDBMS-based大数据存储 、管理、查询 ：最近2年的新工作研发了海贝大数据管理平台(TRS Hybases)Hadoop 生态系统SQL 和 BI 的融合 柔性多引擎架构：文本、图像、音视频运营了TRS SMAS 舆情分析云服务平台 发展了300家商业用户，是一种SaaS和Daas混合模式TR.S 数据中心数据统计欢迎你，shishuicai修改密码注销年新浪微博 即可甲微信 鼓据申心总鼓据量22,600,311,352新阕论坛新浪做博腾讯做博做信10叫目！fil魁段露量 645,250,684 725,796刃4 9,046,236,69

5、2 882,328,365 542,537占用空间11.42 TB3.38 TB25.27 TB2.47 TB0.01TB国 数据量趋势图40M30M3Q且且且且142 7520MlOM6M4M412M帽 百回论坛lli; 做博腾ii扭曲博微信TRS SMAS 舆情监测云服务平台多 行业经验全 媒体信息发现1500余家平面媒体50000余家网络媒体600余家境外媒体4大国内主流微博平台大 数据云计算数百台服务器 单日新增数据超过1亿 专业研发分析服务团队全 方位服务信息监测与分析 数据挖掘与整合 全天候信息预警 事件深度分析常规非常规报告舆 情 云 服 务 平 台基 础 软 件 支 持 平 台

6、全文检索套件数 据 采 集网络数据业务数据各组织机构内部数据资源采集传感数据物联网数据采集两万多家网媒和平面媒体监测云 采 集 服 务 数 据 清 洗 、 加 工 、 结 构化数据排重中文分词关键词过滤全文索引数据清洗人工审核数 据 分 析数据开放及第三方应用服务平台数 网 据 络 库 信 息传统网媒库 传统平媒库 微博数据库数 内 据 部 库 业 务金融财经数据库 教育数据库卫生数据库 环境数据库 法律法规数据库库 感 外 数 部 据 传物联网传感数据库云 存 储 服 务 业务模型联合分析自动分词热刺分析自动分类相似性识别自动聚类自动摘要关键词词群关系 识辨褒贬分析智能分析库 网 分 络 析

7、 数 据数 内据 部分 业 政治管理分析库 经济管理分析库析 务分 感 外 析 数 部 库 据 传公共舆情分析库企业行业分析库政府分析库综合业务平台分析库文化管理分析库 社会管理分析库物联网传感分析库政府内部 在线公务大 数 据 应 用 广 场风险监测平台文化教育 食品安全 医疗卫生 交通能源环境保护 质检检查对外公共信息服务信用评级 消费警示 重点项目 投资警示.分析研判平台应急指挥平台知识共享平台开发者计划金融风险 食品安全 风险报送 风险统计医疗风险 风险预警 信源管理.业务报告 统计报表 口碑分析.舆情分析 业务建模 营销分析风险接报 应急资源 应急处置 任务分配预案管理 查询统计 跨

8、步协同 后期评估跨级上报 WIKI管理 绩效考评知识共享 工作报告.第三方开发者应用基 础 应 用国家 安全政府和 企业 舆情管理智慧政府互联网 金融数据 新闻公共 事务信息服务社交媒体挖掘数据新闻：用数据完成的新闻报道用大数据来编写新闻，终极目标是机器新闻Data journalism汽车报：国家级汽车产业信息数据平台大数据生产中国汽车报用大数据生产中国汽车报国家安全大数据应用总参国安公安网信人物活动轨迹分析宾馆、交通、银行、快递全媒体数据挖掘文本、音视频全网数据分析互联网、电信网公共事务大数据应用厄瓜多尔总统大选选情监测分析平台El Universo El Comercio Eldiari

9、o.ec Aporrea Terra LarepublicaEcuadorinmediato Laverdad Ecuador新闻Radio Megaestacin 92.9 FM“AgrocomunalasIESS asociacin de afiliados al IESS Asociacin Silueta XAtea y SublevadaBaracutey Cubano Biografias Cortas博客论坛Americas Forum answers encyclopediaBuses del Ecuador Ciespal Comunidad deComercio Exter

10、ioreluniverso Foros de DiscusinforoTwitter Facebook YouTube社会化媒体超过1000家媒体来源拓尔思帮助预测厄瓜多尔总统选举（2013年2月）实时计算大选关键词*Rafael Correa为现任总统拉斐尔-科雷亚，目前有希望连任区域化的声量分析TOP5 Provincias Bolvar：656 Guayas：535 Manab ：432 Azuay：203 Pichincha：157Las informaciones relativas de Elecciones Generales se concentran en cinco pro

11、vincias. Azuay, Guayas y Pichincha tres provincias ms poblada, la cantidad de las noticias retivas ocupa TOP5.PichinchaManabBolvarGuayasAzuay厄瓜多尔地图大选话题关注度排行单位：条金融是媒体关注最高的政策话题，其次是医疗卫生和教育。候选人支持率统计分析从时间上对比，7月到10月，现任总统科雷亚的网民支持率保持绝对优势并有所上升。第二位 的候选人拉索，其支持率相对高于其他候选人，虽然9月的支持率有所下降但10月有明显上升。 其余三位候选人的支持率均在10%以

12、下。民意之候选人支持声量-按领域单位：条现任总统Rafael Correa对于民众最关心的Top3政策话题的声量都远远超过其他候选人， Lasso作为现任总统科雷亚的最大竞争对手，在金融政策提及的主张明显超过医疗卫生和教育， 其作为现任瓜亚基尔基金会主席，更加关注金融方面的问题。实时分析系统全西语全媒体全天候全自动结果出炉印证了大数据的分析能力TRS研究的案例：流感的分析检索关键词：感冒 发烧 发高烧 咳嗽 鼻涕 流感 输液 吊瓶 鼻塞 流涕； 提取数据时间段：2011.01.01日到2012.10.22日之间的所有数据； 提取数据总量：2011年615,449,910条微博，含上述关键词的2

13、,858,212条微博；2012年500,343,713条微博，含上述关键词的2,430,082条微博；刚上班就感冒的事实依据七天为周期周六低点，周一二高点流感的分析2012年01月份流感强度没有2011年同期强，但02月下旬和03月较去年强，峰值所有回落；2012年秋季流感爆发点比2011年提前1周，去年是09月20日，今年是09月14日；2012年秋季流感目前平稳，没有大规模爆发迹象，今后将维持高位运行，爆发峰值逐步推高；900080007000600050004000300020001000001月01月01月01月01月02月02月02月02月03月03月03月03月04月04月04月

14、04月04月05月05月05月05月06月06月06月06月07月07月07月07月07月08月08月08月08月09月09月09月09月10月10月10月10月10月11月11月11月11月12月12月12月12月12月01日08日15日22日29日05日12日19日26日05日12日19日26日02日09日16日23日30日07日14日21日28日04日11日18日25日02日09日16日23日30日06日13日20日27日03日10日17日24日01日08日15日22日29日05日12日19日26日03日10日17日24日31日2011年周均线均值线2012年周均线冬季高发冬季（2012

15、.02.01）夏季（2012.06.01）大数据政府应用：国家药监局2012年4月15日央视曝光的“毒胶囊”事件掀起药品行业的巨大波澜，SMAS运 营团队对该事件进行了长时间的跟踪与分析，并用一系列的数据、图表和报告 捕获了网络数据里的真相与民意。案例：毒胶囊毒胶囊趋势研判明显可以看出在4月15日央视报道后，网民生产的和毒胶囊有关的内容急速增长事件风暴中的人物宋训杰：河北省学洋明胶蛋白厂经理李明元：江西省龟峰明胶有限公司董事长王之光：修正药业高级 副总裁白岩松：央视主持人 陈竺：卫生部部长 崔志平：中新社记者宋海新：宋训杰的父亲， 河北学洋明胶的老板赵普：央视主持人事件风暴中的机构话题分布直指

16、药监失职责任部门提及率药监首当其冲微博声音与意见领袖关键人物董良杰传播超过10层，引起薛蛮子、李开复、 新周刊、李晨、孙海英、宁财神等人的 转发，合计覆盖人群超过3000万大数据信息服务新华社多媒体数据库国家知识产权局专利检索和服务系统科技立方-科技大数据新华社多媒体数据库多语种数据27000家注册用户1.5亿条原创新闻资讯8000多种资源分类PB级数据量26000小时权威原创视频700万张图片全球最大的中文多媒体数据库国家知识产权局专利检索和服务系统自主研发，打破了欧洲专利局和美国国家专利局在 专利信息技术领域的长期垄断高密 E佛 聚集格式设置文醺淌览 李 （ 1)全迥二巴 阕 在a ud创

17、h 本野蚓种集二世且m剖的、4A咽，日 生巾阴阳刚 法四川九加入文献收穰夹刘览该国专利事查结果全文图像1亏一篇刁CR103593452且 申文发明名称 一 一种基于apReduce机甜的鼓据密集型成本优化方法申请号CN2013105”839 2013.11.21申请曰公开 （公告 号CN103593152A公开 （公告 曰囚1iliv 革V 笛往南 v本注明涉及一种墓于MapRodu c:t机肯自如数据密集型计算戚本优化为摘要附圄科技立方-科技大数据北京科技成果产业化情报系统为市领导科技 创新决策提 供辅助支撑全面、实时掌握 科技动态调研分析影响产业发展和创新的关键应用技术面向社会，提 供共享

18、信息面向企业、科研 院所、高校、投 资主体、中介服 务机构等，共享 科研信息，提供 新型的科研信息， 推动信息开放和 共享为政府相关委办服务科委等政府委办的科 技创新管理提供信息服务促进科技成果产业化工作“科技立方”取关联之意科技立方的特点大数据是金矿,是资 产;而单维度的数据 的价值为“0”,单维 度的数据趋向是免费政府和企业舆情大数据应用中纪委监察平台政府社会化媒体城市舆情监测分析平台根据乌市管理的需求，全方面监测民生需求、社会治安、 生态环境、旅游推介、交通事故、自然灾害、医患关系、 维稳反恐、突发事件、政府机构、领导人等方方面面的信 息，通过信息实时推送、关联关系挖掘、危机实时告警、 舆情分析报告等形式提供全方位的信息服务海关进出口走私情报监测分析业务平台基于互联网大数据以及内部业务系统数据的海关情报业务 管理平台是在大数据采集、大数据挖掘系统等基础技术之 上构建的综合应用平台。其主要包括基于海关情报线索识 别的互联网业务中心，情报会商平台，海关情报内部业务 管理平台三个构成要件佳能影像情报分析系统每天从互联网上实时采集网站和社区的资料数百万条，进行自动化的信 息分析、比对和挖掘，每天限制提供最多300条重要信息，但不能遗漏 重要信息，每年向拓尔思支付信息服务费200万元。所有数据处理和分 析全部自动化