数据技术发展趋势ppt课件.pptx

大数据技术发展趋势 1 目录 CONTENTS 交易 对账 社交 订票 统计报表用户行为分析 智能推荐营销 预测性维护 数据管理系统 三明治理论 应用 硬件 对数据进行存储 管理 加工支持上层的应用 3 数据管理系统发展历史 数据管理系统在发展过程中分化为面向事务处理的OLTP数据库和面向分析决策的OLAP数据库摩尔定律促使CPU和内存的性能不断提升 价格不断下降 近期CPU的摩尔定律失效 内存还在继续 推动了数据管理系统从高端服务器向x86架构的迁移互联网业务推动下 数据爆发式增长 使得单机无法承受 系统必须向分布式架构转移 4 数据管理系统的分化 在线事务与在线分析 5 目录 CONTENTS 大分析 分析架构的变化 Teradata一体机IBMnetteza一体机 银行的报表 谷歌的互联网广告用户行为分析和用户画像推荐系统 GFS MapReduce Bigtable 部署在X86服务器上Greenplum Vertica等MPP数据库 Hadoop Spark等开源技术 部署在X86服务器上Greenplum在2016年进行开源 金融 电信 公安 交通 政务 能源等行业报表 精准营销 风控 舆情 预测性维护等应用 互联网业务推动下 数据爆发式增长 使得单机无法承受 系统必须向分布式架构转移从互联网公司发动的分析架构的革命 借助开源民众化的思想 迅速扩展 经过10年的发展影响到了各个行业大数据分析架构的另外一个主要特点 在线 7 2003 谷歌发布DFS的论文 DougCutting与MikeCafarella一起基于谷歌论文实现了Hadoop的代码 2004 谷歌发布MapReduce的论文 2006 2006 谷歌发布了Bigtable的论文 2007 Powerset基于Bigtable研发了HBase 2008 雅虎在生产环境中使用Hadoop集群 Hadoop渐渐成为互联网企业的数据仓库 2009 Ucberkley的AMPlab研发出Spark 第一个SQLonHadoop引擎Hive诞生 2009 2012 Hadoop成为企业级的成熟产品 Spark成为下一代计算引擎 2014 2016 谷歌开源深度学习框架Tensorflow 大分析 大数据分析技术发展 当代数据架构师面临挑战主要来自扩展性和多种异构硬件 由单核向多核的扩展演变为多种类型的GPU FPGA ASIC等存储中的变量在于NVRAM有可能替换DRAM成为主存 8 大分析 趋势 混搭 企业像搭积木一样使用开源的大数据技术融合 以SQL为牵引力的在线分析和在线事务会趋向融合架构分离 大数据平台和深度学习平台一段时间将持续分割状态 直到迎来下一次融合 反馈 分析本身将经历四个阶段 9 大分析 信通院和数促会开展大数据产品标准化与评测 从2015到2017年启动Hadoop和MPP两项评测 共31家企业的33个产品通过评测 其中26款Hadoop产品 7款MPP数据库产品 总测试项目达52个 致力于推动大数据产品和工具的成熟 统一标准 输出经验 10 目录 CONTENTS 大资产 大数据意味着每个行业都将从数据贫农过渡到数据大户 交通 电信 医疗 社交网络 移动互联网 能源 12 大资产 数据资产管理的变迁 13 大资产 数据资产管理实施路径 有哪些数据 分散在哪里 规模多大 产生的频率多高 定义数据标准 建立大数据平台 进行数据汇集 根据应用需要 引入外部数据 规范化内部外数据标准对数据的质量进行整治了解数据的分布和血缘关系 划分数据安全等级 和数据权限 构建数据应用 对数据使用活性 成本 应用的价值进行评估 14 大资产 趋势与挑战 趋势 挑战 15 维度 大资产 信通院和数促会开展数据资产管理研究 开展区块链等新技术在数据流通中的应用研究 启动数据价值评估等研究 发布数据资产管理白皮书 大数据服务规范与评测 16 目录 CONTENTS 大事务 事务数据发展对比 银行核心交易系统 互联网的交易系统 CPU的摩尔定律失效业务量逐年增加 双11 秒杀 单机数据库的性能到瓶颈 需要换条车道国家安全考虑 18 大事务 分布式数据库发展历程 商业数据库 Oracle DB2等商业数据库开始兴起 关系型模型 完整的事务 开源数据库标题 在此录入上述图表的描述说明 在此录入上述图表的描述说明 在此录入上述图表的描述说明 在此录入上述图表的描述说明 NoSQL数据库和数据库中间件 在此录入上述图表的描述说明 在此录入上述图表的描述说明 在此录入上述图表的描述说明 NewSQL 在此录入上述图表的描述说明 在此录入上述图表的描述说明 在此录入上述图表的描述说明 在此录入上述图表的描述说明 1995年后出现了开源数据库MySQL和PostgreSQL数据库本身对单机性能不断的优化 和遵循摩尔定律的硬件性能提升 BigTable 弥补了分布式文件系统对小对象的插入 更新 随机读请求的缺陷 解决了扩展性的问题 HBase是BigTable的开源实现 MongoDB Redis Cassandra等一系列优秀NoSQL数据库兴起关系数据库中间件和分库分表方案 谷歌Spanner和F1实现了关系型模型和流畅扩展性的融合 支持分布式事务 全球分布国内在2013 2014年开始探索分布式数据库 蚂蚁金服Oceanbase PingCAPTidb 19 大事务 趋势 20 大事务 迁移的挑战 21 总结 业务的爆炸发展 数据的指数级增长 成也摩尔定律 败也摩尔定律 遵循摩尔定律硬件快速发展 以及近期的CPU摩尔定律失