数据中台技术架构方法论与实践

1、数据中台技术架构方法论与实践目 录1、建设背景与目标2、技术架构与思路3、构建过程：PaaSDaaSDA4、未来发展方向5、建设经验总结1、转转数据中台的背景与目标广告、注册、搜索推荐、风控、IM、支付、客服复杂生态APP、小程序、垂类；线上、线下；C2X，B2B，X2C纵深链路MVP30+1400+圈子、拍卖、寄卖、回收、自营、视频，切客1、转转数据中台的背景与目标5流程规范烟囱模式孤岛重复指标重复时间保障数据安全数据共享形式单一临时取数响应及时外部业务：数据脏、乱、差，业务不满意内部研发：疲于奔命、四处救火，普遍苦恼SQL-Boy，人肉提数机方案：数据中台建设目标：复用、赋能、降本提效数据

2、中台1、建设背景与目标2、技术架构与思路3、构建过程：PaaSDaaSDA4、未来发展方向5、建设经验总结7数据资源集中 全域数据技术基础架构 全链路产品能力复用 赋能业务组织企业级 平台2、转转数据中台技术架构与思路到底什么是数据中台？有什么特点？2、数据中台技术架构与思路8数据应用/业务反馈DA（数据应用层）服务业务化BI报表渠道分析 商品分析交易分析数据产品智能挖掘 自助报表 精细化推送业务系统商品系统 财务系统应用治理指标字典数据统计/用户分析 订单分析行为分析画像档案 事件漏斗A/B Test运营系统 客服系统血缘关系分析/挖掘搜索推荐 竞品分析商业分析自助留存 监控告警电视看板搜索

3、推荐 质检系统数据地图DaaS（Data-as-a-Service）资产服务化留存模型主题表事件模型主题表数据集市层画像提取平台实时自助框架生命周期管理质量安全管理数据建模数据仓库层/存储用户主题商品主题交易主题收入主题广告主题行为主题前端埋点后端日志源数据层业务数据库三方广告战略竞对线下表单数据资产化PaaS（Platform-as-a-Service）数据传输MapReduceSpark数据计算层StormFlinkKylinDruid实时/批量HDFSHive数据存储层HBaseMySQLTiDBZZRedis数据采集FlumeSqoop数据传输层KafkaLegoWSServer业务数

4、据化转转数据中台1、建设背景与目标2、技术架构与思路3、构建过程：PaaSDaaSDA4、未来发展方向5、建设经验总结zzdp大数据平台目标高可用、高性能、可扩展的大数据全链路一站式解决方案核心组件/功能Flink、Flume、Kafka、Hadoop、Spark、HBase 等存储计算框架Docker 云平台日志采集系统苍鹰大数据管理平台Skynet 调度平台3、转转数据中台构建过程：PaaS103、转转数据中台构建过程：PaaS11PaaS（Platform-as-a-Service）Skynet调度平台FlinkSpark数据计算层StormMapReduceKylinDruid苍鹰数据

5、治理平台HDFSKafka数据存储层TiDBHBaseMySQLZZRedisLego日志采集平台SDKDocker异构数据源ServerDBSpiderAD苍鹰大数据管理平台：为集群提供立体监控、自助化、可视化运维服务，保障高可用核心功能集群日常使用情况报表统计与跟踪冷数据压缩、删除 、小文件定期自动合并日常各类自助化运维操作、监控告警权限管理资产管理与优化治理：用户/任务/日志/表 总量、增量、异常数TOP效果3、转转数据中台构建过程：PaaS1210小文件1%超长任务数30%高峰负载3、转转数据中台构建过程：PaaS13Skynet 调度平台轻量级、可维护、可扩展与 Hadoop 生态融

6、合核心功能任务精准时刻调度依赖方式灵活多样根据任务自建血缘关系效果20,000+任务数99.99%可用性3、转转数据中台构建过程：DaaS传统的数仓为何在数据中台地位如此重要？目标：汇聚全域数据打破数据孤岛，沉淀企业完整 稳定 准确的数据资产核心组件/功能Galaxy 全域数据仓库iQuery 自助式、可视化查询分析平台14承数据启业务DaaS（Data-as-a-Service）iQuery数据服务层ZeppelinZZSCF留存模型主题表事件模型主题表数据集市层画像提取平台实时自助框架生命周期管理数据质量管理用户主题商品主题数据仓库层交易主题收入主题广告主题行为主题前端埋点后端日志源数据层

7、业务数据库三方广告战略竞对线下表单3、转转数据中台构建过程：DaaS15Galaxy 全域数据仓库目标：统一的数据建模标准、规范开放的数据存储、建模、计算能力可落地、可扩展，满足转转未来2年，千万日活的业务体量数据量总数据 30PB+日增量 50TB+元数据 20,000+数据仓库构建之路： Galaxy 全域数据仓库离线整体流程3、转转数据中台构建过程：DaaS163、转转数据中台构建过程：DaaSGalaxy 全域数据仓库效果时间段：模式：2015.11-2016. 6业务支撑2016.6-2017.6平台研发2017.7-至今业务共建、自治业务需求：500+1400+600+业务场景：分

8、析+监控+业务输出+运营+线上服务覆盖人群：20%40%70%17简单报表Case by CaseBI 平台 数据仓库数据中台 全域数仓3、转转数据中台构建过程：DaaS18DaaS 目标支撑数据服务化建设 数据价值输出平台、工具、API 服务化建设面向 PM、运营、RD、分析师等多种角色 数据平民化 ，触达更多人&场景DaaS 落地的关键点-1数仓统一可落地的流程规范，统一认知：层次明确合理：规则、层次、划分、依赖清晰 不做不定项选择，质量控制和运维流程机制约束：审批+巡检 先污染后治理3、转转数据中台构建过程：DaaS193、转转数据中台构建过程：DaaSDaaS 落地的关键点-2业务与数

9、据增长，海量数据、报表、标签是服务能力的象征，但会带来哪些问题？信息过载，数据沼泽 负资产寻找数据、理解数据、信任数据、使用数据 矛盾凸显？0206有哪些?01在哪里?如何理解？09被谁使用？05质量如何？ 0708是否安全？成本收益？什么关系？0304能不能取到？3、转转数据中台构建过程：DaaSDaaS 落地的关键点-2数据资产管理元数据管理生命周期管理性能优化权限管理21DA：转转数据应用层目标数据业务化，价值输出，形成完整的数据闭环 数据能力共享、赋能产品矩阵：What（BI报表、Skyeye、画像）Why （根因分析、Report）How （智能Push、A/B Test 、API）

10、3、转转数据中台构建过程：DA22数据智能：数据科学之路目标：Hindsight Insight Foresight数据是DT时代的“石油”，但价值需要被进一步的提炼和挖掘广告投放 / 根因分析智能告警用户挖掘 / 付费提醒 / 流失预警3、转转数据中台构建过程：DA23转转数据中台1、建设背景与目标2、技术架构与思路3、构建过程：PaaSDaaSDA4、未来发展方向5、建设经验总结4、转转数据中台未来方向25BI报表多维分析挖掘分析预测分析嵌入式BI 实时分析 全域分析数据运营 人工智能 万物互联报表为主阶段发生了什么 ？分析为主阶段为什么会发生预测为主阶段将会发生什么操作为主阶段什么正在发生中台的目标从 IT 到 DT 数字化、智能化；互联网、大数据；产业互联网；5G、 IoT、AI提升产业、人员协同效率，资源、浪费、决策转转数据中台：数据 + 算法 = 智能服务 让正确的事情发生数据资产运营阶段让正确的事情发生数据量增长 用户数增长 查询复杂度 ETL 复杂度 场景复杂度复杂 度应用深度 应用广度数据中台场景HindsightInsightForesight转转数据中台1、建设背景与目标2、技术架构与思路3、构建过程：PaaSDaaSDA4、未来发展方向5、建设经验总结5、转转数据中台建设经验总结27转转数