辽宁移动大数据平台建设方案v11.ppt

辽宁移动大数据平台方案 交流稿北京天云融创软件技术有限公司1 11 2020 天云简介 天云公司致力于云计算产品研发 云系统构建 云系统解决方案 大数据解决方案的提供 天云公司专注云计算领域 引入国内外的云计算的顶尖人才 总部设在北京云基地 在中国 包括香港 台湾 16个省市设有分支机构 在北京 西安以及美国硅谷拥有自己的研发中心 共有核心研发人员 255名 首席云专家 5名 云基地担任云计算事业的先锋角色 云计算知识产权创新联盟理事单位院士专家工作站科技企业孵化器博士后工作站天云公司客户主要集中于运营商 政府 能源 制造业等行业天云公司运营团队 由具有国际化背景和本地化经验的优秀人才构成 核心成员均为从美国硅谷回国创业人员 曾分别服务于各大国际知名电信和网络运营商及跨国it企业 公司大事记 2010年4月 天云联合趋势科技 在中国移动通信研究院 成功搭建中国移动iaaspoc平台第一期 实现与大云虚拟化平台对接 为中国移动iaas业务的商业化运营奠定了基础2010年9月 天云携手趋势 友友天宇 与国网信息通信有限公司一起 创立了中国电力行业第一个 云计算仿真实验室 共同为智能电网大规模数据处理进行预研和验证 这也是中国第一个产业云 2010年9月 中国科学院与云基地天云公司签署在云计算和移动互联网领域战略合作 2010年12月 天云公司与台湾电信龙头中华电信签署合作备忘录 mou 双方将致力于两岸云计算服务 云计算解决方案及ict 信息技术与通信技术 智能产品解决方案展开全面合作 2011年12月 天云公司成功的完成了上海浦东软件园 汇智在线 it服务云 项目 正式向园区企业提供云计算服务 2012年02月 天云公司中标首信电子商务云项目 以建设北京市级电子政务云平台互联网云 面向电子政务应用系统提供iaas paas saas各级服务 以推动北京市电子政务向更高层次跃进 2012年05月 天云公司荣获中国通信行业云计算优秀解决方案奖 中国绿色it服务与外包创新贡献奖 2012年 2013年 天云公司中标北京电视台 黑龙江移动业支云 二期 三期 广东移动vdc云二期建设 上海移动大数据共享平台 中国联通沃云 浙江移动存储管理平台等一系列云平台 大数据项目 2013年11月 天云软件荣获 2013年最佳云计算平台解决方案奖 ceo张福波博士荣获 2013年中国行业信息化领军人物奖 天云案例 运营商行业云应用落地案例 黑龙江移动私有云项目黑龙江移动支撑云项目 中国联通沃云 中国联通一级公众服务云项目中国联通云计算战略咨询项目中国电信中小企业云项目北京移动云应用技术服务项目 中国移动南方基地云网管咨询项目中国移动南方基地经分hadoop云项目广东移动vdc一期云平台项目广东移动vdc二期云平台项目广东移动saas咨询项目 山东电信云平台项目 上海移动数据平台项目 浙江移动统一存储云平台管理项目 重庆移动gprs话单查询项目 行业案例涉及 深圳国家动漫基地云平台项目中国光大银行历史数据查询项目北京电视台云平台项目上海浦东软件园项目北京市电子政务云平台项目 目录 资源池规划与落地点探讨 大数据平台顶层架构设计 附件 案例介绍 移动运营商面临的挑战 环境变化 能力提升 支撑业务规模发展和创新突破架构优化 支撑企业集中化与一体化 专业化的运营与服务数据共享 支撑企业科学决策和精确管理 新的要求 移动互联网迅速发展 企业电子商务化 云计算 大数据等新技术兴起 跨行业产业链变革 业务目标 存量经营流量经营集客经营终端销售 管理目标 质量 服务管理优化 企业深化转型 三大战略 移动互联网战略 四网协同战略 全业务战略 新业务发展国际业务铁通协同 数据应用面临的挑战 准实时批处理应用 非实时批处理应用 每次请求处理的数据规模 每次请求的处理时长 oltp在线事务处理应用 olap在线分析应用 表示各类系统的技术难点 低 高 高 技术难点 每次处理数据规模增大 要求处理完成时间却缩短 批处理 交互式 大数据应用分析 应用可能性 电信 政府 公共事业 交通 金融 医疗 教育 能源 电力 石油 纵轴契合度 表示该用户的it应用特点与大数据特性的契合程度 横轴应用可能性 表示该用户出于主客观因素在短期内投资大数据的可能性 注 该位置为分析师访谈的综合印象 为定性分析 图中位置不代表具体数值 high mid low low mid high 优先关注行业用户 应用特点与大数据技术有较高的契合度 在主客观条件上也有较高的应用可能性 值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高 适当关注行业用户两个维度暂时都不具备优势 可适当给予关注 互联网 电子商务 契合度 流通 零售 制造 第三代业务支撑系统将向什么方向发展 it支撑能力持续提升 实现boss系统集中化改造 构建业务支撑网 支撑 服务与业务领先 战略 形成标准化客户运营和产品运营分离的支撑体系 支撑从 移动通信专家 到 移动信息 专家的转型 借助先进的技术 采用基于云计算的新架构等 构建更加高效 开放 灵活的适应移动互联网发展的业务支撑体系 完成一体化运营支撑模式的转变 支撑企业的全业务战略 四网协同战略 移动互联网战略 2007 2017 1998 2012 boss ngboss 3rdboss 主要特征 省级集中 横向整合 纵向解耦 网状网络 目录 资源池规划与落地点探讨 大数据平台顶层架构设计 附件 案例介绍 项目技术需求 建设规模 一期规模考虑数据总容量3 2p 其中热数据2p 冷数据1 2p集成内容 数据项目选择hadoop mpp rdbms的模式软件开发与技术要求 需要针对具体数据种类格式等进行相应的软件开发 以实现数据统一导入 对外统一接口 统一查询及开发服务 数据管理 资源分配和系统操作维护支撑等功能实现目标 四网协同 a abis 经分wapetl等已有hadoop架构系统 及经营分析 详单查询 信令类分析系统 网管话单查询 位置类等多个系统利用统一的h m r大数据资源池 实现数据的统一管理及高效利用系统架构 采用x86架构 考虑h m r除oracle考虑小机等环境外 h m考虑规模配置可调 充分满足各种数据存储及分析需求双中心规划 按照公司规划 数据中心要实现浑南 沈北双中心的规划结构 在两个中心分别部署设备和系统 实现重要系统双活 保障生产安全 稳定运行 大数据平台也要考虑在两个中心的分别部署其他 数据管理 工作界面划分 系统管理 维护接口等 目录 资源池规划与落地点探讨 附件 案例介绍 大数据平台顶层架构设计 传统的数据仓库的架构 数据源 抽取 转换 加载 业务数据集市 企业数据仓库 etl 元数据 前端分析展现工具 查询工具 应用 oltp 传统数据仓库在大数据时代面临的挑战 成本居高不下 以scaleup为主数据量 以gb tb为主扩展能力拥有成本处理数据的能力数据共享能力 天云新一代数据平台定义 企业数据平台是指建立在数据仓库与数据仓库之上的决策分析应用 应包括数据源 数据etl ods数据库 数据仓库 数据集市 商务智能应用 数据管理等功能 数据平台应该具备常见数据的处理与管理能力 具备对结构化 半结构化 非结构化等数据的处理能力 同时支持rdb mpp nosql 同时具备数据的通用管理能力 以数据为中心进行平台建设 数据平台数据平台在接口层要丰富又简单 可以提供各种应用所需接口 最大程度匹配已有接口 对应用改动需求力求最低 数据平台数据管理能力至少应包含 1 元数据管理 2 数据质量管理 3 数据安全管理 4 数据可视化管理 5 数据生命周期管理 数据平台必须针对数据提供完整方案 同时兼顾应用接口 其他平台接入 系统管理 系统调度等功能 任何一种单一技术都难以适应数据平台数据采集 存储 处理和对外服务的需求 多种技术并存才是发展趋势 大数据平台建设的功能层次需求 数据集中 结构化 非结构化数据的统一存储 存得下 节约存储成本 存得起 分布式存储架构 提高灵活性与可扩展性 数据整合 消除异构数据源的混杂性采用云计算架构 提升处理速度与能力 数据共享 消除 数据孤岛 实现系统间的数据交换与共享 数据服务 数据即服务 多类标准化的服务接口更易使用 顶层架构 平台逻辑架构 数据源 数据处理域 半结构 非结构化数据 流式数据 结构化数据 运行数据库 oracle 数据存储域 基础数据服务 数据聚合服务 数据处理服务 数据查询服务 事件通知服务 分析挖掘数据库 mpp 分布式文件系统 分布式计算框架 非关系数据库nosql 统一etl管理 传统技术etl hadoopetl 流式计算etl 数据分发同步处理 话单 业务类 信令类 网管类 数据集市a 数据集市b 数据集市c 平台管理 接口管理 调度管理 监控管理 安全管理 4a认证 安全服务调用 隐私管理 审计追踪 生命周期管理 入库存储 数据清理 数据管理域 系统管理域 大数据平台建设的最终目标 esb app1 创新应用 应用层数据库 个性化应用 app2 应用层数据库 个性化应用 app3 应用层数据库 个性化应用 个性化应用 openapi 完善数据平台功能 实现数据平台服务daas和bi展现及分析挖掘服务p 所有信运基础服务和网运基础服务基于数据平台服务实现引入第三方基于基于openapi的创新服务开发模式 优化管理新应用开发和上线运营 信运基础服务 网运基础服务 关系数据库 分布式计算 数据管理平台 扩展 集成 管理 调度 维护 自动化数据流 分布存储 数据保护 管理视图 数据平台引入大数据的意义与原则 随着半结构化 非结构化数据 互联网数据等新型数据源的引入以及分析需求对分析深度和广度的增加 以移动运营商行业为例 越来越需要大数据 主要包括如下 1 数据规模方面 gprs流量话单的条数和数据量已经超过了语音详单 而位置信令 gn信令 客服语音 互联网外部数据等规模更大 且还处在不断增长的趋势 2 数据类型方面 逐步从oltp系统中获得的结构化数据 过渡到结构化数据和互联网网页 上网日志等非结构化数据和半结构化数据共存 3 对数据的使用方面 不仅有批量的数据加工和前台界面的访问 临时统计 数据挖掘等访问需求也逐步增多 对历史明细数据的访问增多 对数据访问的及时性增强 随着数据平台越来越具备大数据平台的特征 利用传统的单一数据仓库技术就难以满足高效低成本的需求 需要引入相应的大数据技术 新技术的引入不能影响原有的使用感知 需要按照分阶段逐步引入的方式 可以参考如下的几个引入原则 1 先增量后存量 现有的数据处理系统引入大数据处理技术 面临着模型改造 流程改造等一系列的问题 可以首先在新上线应用引入大数据处理技术 2 先边缘后核心 对于原有功能的迁移 可以先迁移非关键的应用 这些应用不涉及到关键生产任务 可以忍受数据处理延迟和故障修复时间较高等可能出现的风险 3 先简单后复杂 数据处理逻辑较简单的应用也可以首先尝试引入大数据处理技术 降低实施的复杂度 积累运维经验 通过在大数据处理技术的规划 实施及运维过程中积累经验及教训 不断提升和完善大数据技术的应用水平 逐步拓展大数据技术应用领域 大数据在数据平台的应用场景 大数据技术可以应用在以下场景 包括但不限于 1 原数据仓库底层结构化数据处理 etl或elt 底层结构化数据处理计算任务重但复杂性不高 不涉及多表关联 适合引入大数据技术实现高效低成本 例如 对运营商的清单 语音详单 gprs清单 wlan清单等 的清洗 转换 汇总等 2 半结构和非结构数据处理与分析 例如对上网日志 网络信令 客服语音等数据的处理和分析 这些数据难以利用传统数据仓库技术进行处理和分析 3 数据集市 地数据集市应用较为独立 且对可靠性的要求并不是十分严格 适合作为引入大数据技术形成资源池 以移动运营商为例 可实现各地市 各部门数据集市的云化 池化和虚拟化 最终实现资源动态调配 达到高效低成本 4 数据仓库数据分级存储 对低价值的细节数据以及长周期的历史数据 冷数据 访问频率较低 也能容忍相对较长的响应时间 可以存储在成本更低的平台上 5 数据挖掘 某些数据挖掘设计长周期的数据 计算时间很长 数天 占用很多数据仓库资源 还有一些数据挖掘算法超出了关系代数计算范畴 需要抽取数据到独立的计算平台 例如sas统计分析系统 中进行计算 这些数据挖掘任务可以迁移到大数据平台之上进行计算 例如交往圈的计算 因其仅涉及单一数据 但数据量非常大 且需要多次迭代计算 6 对外查询 数据平台不仅仅是数据处理 也需要将数据处理的结果对外提供查询 而这些查询一部分是海量的olap性质的查询 另外还有一部分oltp性质的查询 即数量众多但每次查询量较少的 比如数据平台前端库 与生产系统互动的数据库以及提供流量详单查询的数据库 这些查询任务不能很好地运行在olap类数据库之上 可以迁移到大数据平台上 针对这些应用场景 可以看到 主要需要引入的是hadoop和mpp技术 然后逐步考虑nosql 流计算和内存计算等技术的引入 hadoop技术与mpp技术的比较 hadoop在处理非结构数据和半结构数据上具备优势 尤其适合海量数据批处理等应用需求 当然随着hadoop技术的成熟 基于hadoop的即席查询技术也逐渐崭露头角 比如仿照dremel的开源项目apachedrill以及clouderaimpala mpp适合替代现有关系数据结构下的大数据处理 具有较高的效率 但其在大规模集群 超过100个节点 下的可用性还有待试点证实 mpp数据库场景下经常需要扫描大量的数据 所以对磁盘存储系统的i o性能要求非常高 在测试和日常运行中 i o多大情况下是瓶颈 这点与hadoop平台可以明显区分开来 目录 资源池规划与落地点探讨 附件 案例介绍 大数据平台顶层架构设计 大数据平台分层描述 数据采集 etl层 半结构化数据与海量半结构化数据 非结构化数据与流式数据 结构化数据 常规etl处理 实时或准实时etl处理 采集层 处理层 传统技术etl 流式计算etl 海量数据etl处理 hadoopetl etl可视化管理 统一etl调度 数据采集根据需要进行数据采集 采集的数据包括结构化数据 半结构化数据 海量半结构化数据 非结构化数据以及流式数据数据处理根据数据结构特征分类 可分为结构化和半结构化数据以及非结构化数据 结构化数据主要采用传统etl 半结构化以及非结构化数据主要采用hadoopetl 根据数据量级分类 分为海量数据和常规量级数据 海量数据主要包括话单 信令数据 采用hadoopetl处理 根据采用技术分类 分为常规技术etl hadoopetl和流式计算etl hadoop主要处理海量数据和准实时需求数据 流式计算处理有实时需求的数据如实时营销需要的信令触点 根据处理时效分类 分为常规etl 准实时etl和实时etl 其中实时和准实时处理主要处理网管和信令数据 目的 对公司各项数据 经分 话单 业务类 信令类 网管类 财务类 企划类等 进行整合 整合到大数据存储平台 数据采集 etl技术架构 数据采集通过智能数据采集适配器 轻松支持各种数据源的接入 如ftp sftp db webservice scoket等数据处理数据etl支持传统etl 云化 hadoop etl 流式etl通过元数据可以定制etl 对etl流程进行实时监控全程etl数据质量监控和管理 大数据平台分层描述 数据存储层 关系数据库 rdb 基础数据服务 数据聚合服务 数据处理引擎 数据查询服务 数据分发同步处理工具 事件通知服务 分布式关系数据库 gbase 数据层 处理规则管理 分析引擎 数据存储传统关系型数据库主要存储结构化数据 分布式关系数据主要存储对复杂数据的进行多表关联分析需要的从主库各表聚合的数据 分布式文件系统hdfs主要存储海量半结构化数据 分布式非关系数据库hbase主要存储海量原始数据经过etl的汇总数据 主要用于海量数据查询和简单分析应用基础数据服务数据分发同步工具支持在各种不同存储间进行数据的交换 同步 分发 处理规则管理和数据处理引擎提供不同存储中的数据根据业务需求进行数据组合 转换 处理能力的支持 分析引擎主要支持业务分析 提供基础工具 算法等 数据聚合服务主要提供各种不同场景需要的数据集市和数据集市的构建数据查询服务对上层业务提供灵活的数据查询 屏蔽下层不同存储处理方式的查询事件通知服务提供业务所需的实时事件通知 数据订阅通知等同时完成 对各项数据进行梳理 形成高效数据索引规范 便于数据查找 整合 分布式文件系统 分布式计算系统 分布式非关系数据库 天云hadoop体系架构 1 处理客户端请求2 启动 监控applicationmaster3 监控nodemanager4 资源分配与调度 1 单个节点的资源管理2 处理来自resourcemanager的命令3 处理来自applictionmaster的命令 container中封装了机器资源 每个任务会被分配一个容器 该任务只能在该容器中运行 并使用该容器封装的资源 1 数据切分2 为应用申请资源 并分配给内部任务3 任务监控与容错 部署在namenode 部署在datanode hadoop分布式文件系统 设计目标错误检测和快速自动恢复 硬件故障是常态而非异常支持大数据集 单个文件大小有数gb或者tb 提供高聚合宽带访问 可以扩展至数千个节点简化的一致性模型 一次写 多次读移动计算比移动数据更便宜 主要特点使用低成本存储和服务器构建 存放pb级的海量数据 高扩展性 实际生产环境中可以扩充到4000个节点 高可靠性和高容错性 提供7 24小时不间断服务 数据自动复制 可自我修复高带宽 高并发访问 hadoopmapreduce 为离线数据分析而设计 基本上是个利用数据并行性进行分布运算而后汇总结果的计算框架 分析问题能够被并行化 且输入数据集可以被切分 一个map函数 在第一阶段计算对 一个reduce函数 在第二阶段用于汇总map函数的结果 hbase分布式数据库 hbase是一个分布式的 按列存储的 多维表结构的实时数据库 为高速在线数据服务而设计 表 行 列族 列名 版本名 值 主要特点 nosql 面向列 可压缩 有效降低磁盘i o 提高利用率 多维表 四个维度 其中三个维度可变 适合描述复杂嵌套关系 灵活的表结构 可动态改变和增加 包括行 列和时间戳 支持单行的acid事务处理 分布式系统 高性能 支持高速并发写入和高并发查询 可扩展 数据自动切分和分布 可动态扩容 无需停机 高可用性 建立在hdfs分布式文件系统之上 hbase配置建议 rowkey设计 hbase表的rowkey设计 一般是将关系数据库中的候选key拼接形成 但是要注意热点问题 比如rowkey开始的几位是时间排序 那么在插入的时候 最近几天的数据很可能是热点数据 这样所有的查询可能都指向了一个regionserver导致了hbase的性能瓶颈 尽量避免使用单调递增的rowkey 因为在添加数据的时候 所有的新数据都添加到最后一个region 前面的region没有或者很少有请求 也是热点问题 热点问题的处理方式一般是 加盐 即在rowkey前面添加hash数 来对数据进行hash划分 列簇设计 hbase表的columnfamily最好少于4 一般少于3 对于一般数据放入一个列簇中即可 对于一些强关联 频繁访问的数据可以放一列 这样在取数据时 热点访问只用取这一列数据 可以节省io 多个列簇有各自memstore memstore开销大 而且flush一个列簇 其他的类簇也会flush 会造成不必要的开销 region划分 hbase在导入大量数据前最好预先划分region 这样可以加快导入效率 同时也要避免使用hbase自动划分region 在一种情况下 hbase面临大量写入或者scan请求 同时它的region中的数据又达到了阀值 那么它会启动自动划分region 有可能导致region划分风暴 大量的请求会使regionserver和namenode的压力过大而导致regiondead或者namenodedead ttl设计 ttl timetolive 它一般可以用来控制数据的生存时间 一些数据比如客户几年以前的数据 几年以后已经不关心这些数据 可以使用ttl删除 如果数据没有这些要求 可以不使用 hive数据仓库 hive是一个建立在hadoop之上的数据仓库 用于查询和分析结构化海量数据 采用hdfs进行数据存储 采用map reduce 基本特点 提供类似于sql的查询语言 高扩展性 scale out 动态扩容无须停机 针对海量数据的高性能查询和分析系统 提供灵活的扩展性 复杂数据类型 扩展函数和脚本等 数据平台透明访问 hadoop mpp rdb的混搭架构在解决大数据处理问题的同时也加大了上层应用的数据访问复杂度 主要问题体现在 多种数据实例 数据可能分布在关系型数据库 hadoop分布式计算集群以及hbase库中 多种访问接口 不同类型的数据实例的技术实现方式差异大 如关系型数据提供了标准sql hadoop hbase提供开放api或hive方式访问 这同样对上层访问增加了难度 跨数据实例的数据计算 不同类型的数据实例的底层数据存储结构不同 如关系型数据库存储结构化数据 而hadoop计算集群多存储半结构化数据 如果需要涉及到两种类型数据实例中的数据关联 join 计算 目前还难以直接实现 需要做一系列数据互通调度 然后在单实例上完成关联计算 整个过程复杂度高 工作量大 针对目前出现的这些问题 可以考虑构建数据透明访问能力 也就是提供统一的数据访问接口 对上层屏蔽底层数据处理实现细节 提升上层应用的开发效率 主要需要解决两个方面的问题 1 通过统一的语言或服务接口访问到不同的数据库实例 包括数据查询 数据处理操作等 2 针对跨数据实例的数据互通 关联操作等 可以通过统一的的语言 服务接口或管理工具等技术来实现 3 通过esb封装数据服务 通过消息路由进行访问呢 大数据平台分层描述 大数据平台数据接口及服务 事件类数据服务 数据交换及应用接口服务数据交换提供独立 可重用的业务数据服务 所有数据服务通过esb对外提供服务接口 同时为其他服务提供支持esb需支持多种业务接口 比如mq socket soap ftp http jdbc odbc等应用层提供对第三方开发的openapi服务及其他各种应用 应用使用接口层提供的各种数据服务 其中分析类应用可以使用独立的关系数据库来复杂的关联分析目的 实现大数据平台对外提供统一查询接口 便于数据进行并发的高速查询 提取 客户关系应用 数据呈现应用 指标监控类应用 业务分析应用 openapi 质量保障应用 综合经营分析 资料类数据服务 指标类数据服务 清单类数据服务 配置类数据服务 日志类数据服务 数据总线 性能类数据服务 信令类数据服务 esb介绍 功能丰富的协议适配器较强的数据格式转换能力简单易用的服务流程开发工具支持平台扩展的二次开发能力支持安全可靠的消息传输支持服务的动态部署 在线升级支持平台运行参数热生效支持服务调用记录的测量 监控和统计支持多级互联分布式部署 技术特点基于高度可扩展的系统架构 具备热插件机制 支撑跨系统 跨编程语言的系统通讯 基于面向流程的服务集成思想 丰富的适配器并支持自定义适配器简单易用的自定义路由策略 基于无状态消息传输机制 高度支持平台横向扩展 支持业内标准通信技术 协议和标准 包括http s webservice s ftp tcp s 等 支持同步和异步消息传递 大数据平台分层描述 数据管理域 数据管理 元数据管理符合cwm规范及中国移动元数据管理技术规范元数据采集元模型管库可视化建模血缘分析一致性分析数据地图数据可视化元数据统计分析数据安全管理与4a系统对接 提供对应用 数据权限定义和支持 做到事前可管 事中可控 事后可查做到数据隐私保护对数据行为进行审计跟踪数据质量管理支持数据质量规则定义 数据质量监控预警 数据质量分析 数据质量报告 数据质量评估 数据质量问题处理 图形化指标运维等数据生命周期管理根据数据价值根据时间推移的演化关系 提供对数据的高效 低成本 安全 访问便捷的管理架构 数据安全管理 4a认证 安全服务调用 隐私管理 审计追踪 生命周期管理 入库存储 数据清理 数据管理域 大数据平台分层描述 系统管理域 hadoop分布式文件系统 统一etl处理 主库 rdb 数据层 处理层 传统技术etl hadoopetl 流式计算etl hadoop分布式非关系数据库 系统管理 平台应用管理 平台接口管理 数据管理 指标监控 平台管理 系统调度管理 以两库数据调度为例数据共享管理平台发起两库数据调度请求经分主库准备历史数据 统一etl调度层通过jdbc连接经分主库 根据分布式共享系统计算资源池根据输入条件 生成一个map reduce的作业 进行历史数据传输 完成数据传输 返回传输结果 数据管理平台判断是否完成数据调度 1 2 3 4 5 调度步骤 hadoop分布式计算系统 天云数据平台系统集成 在引入hadoop和mpp数据库后 数据平台建设将会在现有传统数据仓库平台与新技术之间形成混搭 经典数据仓库中的onesingleviewoftruth将难以维持 主要会面临如下的问题 数据互通 数据需要跨hadoop和多个数据库进行交互 如何实现高效的数据同步或数据调用 透明访问 是否有必要对上层应用屏蔽底层不同数据平台的细节 提供统一的数据访问方式 统一管理 如何进行多套数据平台的元数据 数据质量管理 如何实现统一的调度和运维监控 数据互通机制是多个数据库与hadoop之间的桥梁 通过数据互通 我们可以将数据快速从一个平台迁移到另外一个平台或从一个平台方便地访问另外一个平台中的数据 数据互通机制的主要难点是要保障数据在两个平台间流转时的高效性和可靠性 数据平台系统互通的建议 实现数据互通机制有2种方法 数据同步 数据调用数据同步 数据同步的主要是实现数据库与hadoop之间双向数据复制功能 数据同步的目的包括这些的场景 不同系统上的数据需要进行关联分析 数据生命周期管理要求进行数据归档或备份 etl分节点部署需要同步数据等 可以采取如下数据同步方案 在hadoop端发起的双向数据同步在数据库端发起的双向数据同步在第三方发起的双向数据同步数据调用 数据调用指的是 不移动数据 通过接口调用实现对另外一个平台上数据的访问 被调用平台承担运算任务 数据调用方法根据调用方的不同 又分为 从数据库侧调用hadoop数据 及 从hadoop侧调用数据库数据 两种情况 数据调用方法适用的场景原则 低频度 如 每月 季度 年一次 或临时 如 临时访问5次以下 需要使用其他平台中存储的数据 数据平台互通的技术实现 连接器方式通过设计专用的软件或硬件连接器模块 实现数据库与hadoop之间高速的数据传输 其一般具备以下特点 双向连接器 并行连接数据库节点到的hadoop数据节点 支持utf 8编码和常见的数据类型 通过动态工作负载管理的资源控制 融合系统中的角色 用户提供认证 为数据库域提供的数据节点 主要实现以下按照源表进行任务分工 可以为表间并行以及表内并行 建立分区 索引及装载 根据分区原则以及索引等策略 装载节点将数据直接发送给相应的mpp数据库节点上通过连接器的方式 可以实现数据库与hadoop系统之间的高速和可靠的数据互通 非常适合数据同步的计算场景 外部表方式 数据库可以通过外部表的方式 直接访问存储在hdfs上的文件 在使用外部表时 数据库可以像访问内部数据一样 将文件当作表insert到数据库内其他表中 或将hdfs上的文件和数据库内的表进行关联操作 同时也可以将rdbms内的数据 通过外部表的形式 写入到hdfs上去 例如如下操作 selectcount fromhdfs datah rdbms datagwhereh key g key insertintohdfs dataselect fromrdbms data 目前天云平台集成的数据互通工具 双中心规划 形成大数据数据备份 浑南数据中心 江北数据中心 在分布式文件存储层 采取distcp方式 distcp方式可以将一个分布式文件系统 集群 里的某个目录拷贝到另一个分布式文件系统 集群 distcp 分布式拷贝 是用于大规模集群内部和集群之间拷贝的工具 在分布式非关系型数据库层 采取hbasereplication方式 大数据平台建设讨论 工作界面划分 大数据平台维护人员如何设置 接口维护 天云大数据平台亮点 一句话定位 天云数据平台 传统 现代 数据平台集大成者 传统 传统数据仓库 rdbms 是基于传统基于结构化数据处理的关系型数据 仓 库 以scaleup为特点现代 基于关系代数理论的mpp hadoop技术 以分布式处理为基础 以scaleout为特点 可处理海量数据适用场景 运营商跨域数据融合 智慧城市 智慧省份解决方案 公安 医疗等 放眼未来 更好支撑运营商互联网转型 更好的支撑数据黄金资源时代的到来 目录 附件 案例介绍 大数据平台顶层架构设计 资源池规划与落地点探讨 数据中心平台选型依据 平台的选型首先要进行规模评估 确定数据中心的容量 其次要进行需求评估 主要包括线性扩展 成本 稳定性 性能 运维等评估 据此选取合适的存储平台技术 最后 依据规模 需求评估 导出容量评估 确定建设方式 机房选址 服务器 存储 网络等物理资源规划 规模评估思路 数据量 t 账单类数据 指标类数据 投诉类数据 原始数据 首先针对汕头移动目前数据现状进行梳理 并进行标签分类 比如账单类数据 指标类数据 投诉类数据 原始数据等 如下图中的横坐标表示 其次针对梳理出来的数据类型 进行数据量统计 获取每种类型的数据量 再次 针对数据种类 依据数据增长趋势 进行数据量增长预测 确定数据中心平台未来一段时间内所需的规模 示例 需求评估 容量评估思路 依据规模 需求评估 导出所需物理资源数量 确定建设方式 机房选址 服务器 存储 网络等物理资源规划 依据关系型数据库 以oracle为例 容量情况 mpp分布式数据库容量情况 greenplum为例 分布式hadoop系统容量情况 推出所需的服务器 存储 网络等物理资源数量 依据物理资源数量 导出所需的机房资源 包括机房面积 承重 电力 空调 维护人员等 示例 共享平台hadoop资源池服务器选型建议 如果执行mapreduce 特别是在压缩文件上执行 其对cpu的消耗较高 cpu成为了瓶颈 而在运行hbase的时候 更多的内存会缓存更多的数据 提高查询吞吐率并缩短响应时间 内存的选择 通常情况下 hadoop处理任务每个cpu逻辑核 指超线程下 一般一个核对应两个逻辑核 对应2g内存即可 cpu的选择 实测表明 hadoop处理性能与cpu性能密切相关 任务运行时间与spec值基本成反比关系 因此应该选择性能较高的cpu 服务器类型 一般的hadoop项目选择2u的机架式服务器 试点中有公司选择了多节点服务器 2u四节点 也应用得比较好 服务器配置列表 存储计算机器配置如下 管理节点服务器 共享平台hadoop组网建议 主要关注点 节点与机架交换机使用l2连接 机架交换机与核心交换机使用l3连接 机架内部通讯延迟低于跨机架时延 hadoop默认策略 交换机oversubscription 入出率 比率建议2 5 1 不能高于交换机最高值 核心交换机与rack数相关 rack数量与核心交换机数量和端口数成正比 但交换机不应太多 会降低机架上传带宽 机架交换机方式的机柜交换机的上行链路会成为瓶颈 交换机数量多 设备管理复杂性增加 在核心交换机端口紧张情况下 可以从机架交换机接入外部网关 提供集群外部访问能力 共享平台mpp软硬件选型建