大数据行业发展与基本概念_V10410（PPT41页).ppt

1、大数据基本概念与行业发展,大数据的起源,1,2,数据发展简史,3,国内行业发展,基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；,打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功；,布拉德皮特主演的点球成金是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。,电影点球成金,仅供开采162年,仅供开采45年,仅供开采60年,2013年，10分钟的信息总量将达1.8ZB,2010年全球数据总量1.2ZB，年增长50%,数据不再是社会生产的“副产物”，而是可被二次

2、乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。,不可再生资源VS数据,2020年全球数据总量将达到40ZB,数据爆炸式增长（每分钟）,传统处理方式所无法解决的挑战,数据体量越来越大,非结构半结构混杂,处理速度要求越来越快,数据应用模式创新,更丰富的视觉元素,需要性价比更高的储存方式,数据库,数据仓库,85% 半/非结构化的 Log/Web page/Email/PDF/ Image/Full-text/MS-Office file,需要不同的数据管理策略,当我们想要扩充时，才发觉： 架构只能scale-up，scale-out不易 处理时间过长，time-to-value受限 成

3、本过高，cost-efficiency受限,15% 结构化的 DB/DW,遗憾,残缺,需要更高效的计算方式,规模,时间,传统,大数据,什么是大数据？,维基百科：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。,大数据就是“未来的新石油”,容量 Volume,多样 Variety,价值 Value,速度 Velocity,数据体量巨大。从TB级别，跃升到PB级以上。,数据类型繁多。日志、视频、图片、GIS等。,秒级定律。一般要求在秒级内给出分析结果。,利用低价值密度数据，可以带来高价值回报。,大数据的“4V”特征,更多的“V”,可变性 Va

4、riability,真实性 Veracity,可视化 Visualization,数据的含义总是在快速变化的。要考虑具体的上下文。,确保数据的真实性，才能保证数据分析的正确性。,只有正确的可视化，原始数据才可被投入使用。,大数据的起源,1,2,数据发展简史,3,国内行业发展,数据概述,在人类发展历程中，数据表现方式分为两类： 模拟数据（声音，文件，图像，视频） 数字数据（文字，符号）,自从计算机发明以来，数据在计算机中都是以二进制0和1的形式进行保存。 鉴于对数据的分类管理需要，随之而来各种各种的数据管理软件应运而生。,数据发展的五个阶段,第一阶段 关系型数据库,第二阶段 数据仓库,DW -

5、Data Warehouse,面向主题,数据是按照一定的主题域进行组织，一个主题通常与多个操作型信息系统相关。,集成的,必须保证数据仓库内的信息是关于整个企业的一致的全局信息。,相对稳定,某个数据进入数据仓库之后，一般情况下将被长期保留，修改和删除操作很少。,反映历史变化,仓库中的数据通常包含历史信息，反映过去某一时点到目前的各个阶段的信息。,用于支持管理决策,ETL,BI,第三阶段 NoSQL、NewSQL,事务,分析,互联网,OldSQL,大数据时代,架构多元化,NewSQL 分析,OldSQL 事务,NoSQL 互联网,键值存储数据库,NoSQL 互联网,列式存储数据库,文档存储数据库,

6、图像存储数据库,文件存储数据库,消息队列系统,NewSQL 分析,第四阶段 集群化,高可用 通常采用Master-Slave或者P2P模式，保障数据的灾备。 分片 将大规模数据按照一定规则拆分，不同的分片存储在不同的结点。 复制 数据通常会在集群的多个结点中留存多个数据副本，以保证可靠。 混合应用 不同的业务场景，会混合使用多种不同的数据存储系统。,服务器1,分片处理前,分片处理后,片服务器1,片服务器2,片服务器3,服务器1,复制前,复制后,服务器1,服务器2,服务器3,主从复制 or 对等复制,第五阶段 大数据,让大象跳舞,Hadoop2.0生态,流式计算框架,搜索引擎框架,某政务大数据项

7、目架构,大数据的起源,1,2,数据发展简史,3,国内行业发展,大数据是如何成为网红的？,第一款商用Hadoop项目诞生,在美国发表第一个 关于大数据的白皮书,国家工信部发布 物联网十二五规划,成为世界经济论 坛重要主题之一,在我国政府报告中 大数据首次出现,国务院印发促进大数据发展行动纲要,大数据“十三五”规划出台,我国大数据的发展阶段,时间,探索起步期,快速推进器,规模发展期,产业消化期,应用成熟期,市场认可度,1）大数据产业在中国出现，并逐步受到关注，互联网企业率先将应用落地,2）2015年我国提出大数据发展行动纲要大力支持大数据产业发展，并于2016年提升为国家战略,3）大数据概念广泛普

8、及，企业用户不断提升，资本市场高度关注，大数据企业规模化发展,4）大数据市场相对成熟，市场热度逐渐消化，大数据企业整合,5）行业标准建立、监管规范完善，被广泛应用，行业将趋于稳定发展,我国大数据产业市场规模,2017 年我国大数据市场规模已达 358 亿元，年增速达到 47.3%。 预计 2020 年，我国大数据市场规模将达到 731 亿元。,我国大数据主要应用领域,市场吸引力,应用成熟度,教育,物流,电信,交通,医疗,政府公共服务,金融,电子商务,我国大数据区域分布,京津冀地区依托北京，培育了一大批大数据企业，是目前我国大数据企业集聚最多的地方。,珠三角地区依托广州和深圳两个国家超级计算中心的集聚作用，在腾讯、华为、中兴等一批骨干企业的带动下，逐渐形成了大数据集聚发展的趋势。,长三角地区依托上海、杭州、南京，吸引了大批大数据企业，上海发布上海推进大数据研究与发展三年行动计划，推动大数据在城市管理和民生服务领域应用。,大西南地区以贵州、重庆为代表城市，通过积极吸引国内外龙头骨干企业，实现大数据产业在当地的快速发展。,基础资源/云平台,数据存储,数据采集,数据处理,数据分析,展示应用,管理工具,实时接入、海量堆积,多种结构、海量存储,离线统计、实时计算,数据仓库、机器学习,图形、报表等工具库,高可用、高性能集群,数据安全,大数据的一般利