阿里数据仓库模型设计PPT课件.pptx

数据建模介绍 1 数据仓库构造方法 2 支付宝业务系统简介 业务特点类金融交易 充值 提现 账务管理类电子商务 购物交易过程变更 实际交易 对B机票 对C水电等 非纯电子商务 纯金融线上子系统多而杂截止到2011年6月共有各类线上子系统259个类型多样 对C 对B 对内 对金融机构系统间依赖程度参差不齐垂直依赖 业务与核心 跨层依赖 跨过交易到账务 3 支付宝业务系统 4 支付宝数据仓库架构原则 底层业务的数据驱动为导向同时结合业务需求驱动便于数据分析屏蔽底层复杂业务简单 完整 集成的将数据暴露给分析层底层业务变动与上层需求变动对模型冲击最小化业务系统变化影响削弱在基础数据层 资金订单改造 结合自上而下的建设方法削弱需求变动对模型的影响数据水平层次清晰化高内聚松耦合主题之内或各个完整意义的系统内数据的高内聚主题之间或各个完整意义的系统间数据的松耦合构建仓库基础数据层使得底层业务数据整合工作与上层应用开发工作相隔离 为仓库大规模开发奠定基础仓库层次更加清晰 对外暴露数据更加统一 5 传统仓库架构方法 需求驱动为主 6 支付宝交易主题现状 7 数据仓库模型建设目标示意图 8 仓库基础数据层建设的意义 避免底层业务变动对上层需求影响过大屏蔽底层复杂的业务逻辑 尽可能简单 完整的在接口层呈现业务数据仓库数据更加丰富建设高内聚松耦合的数据组织 使得数据从业务角度可分割 有助于数据和团队的扩展 9 第三方支付企业支付宝数据仓库体系结构 10 建立企业级概念数据模型 CDM 的基本架构 11 九大数据概念变迁 12 第三方支付企业支付宝数据模型设计 基于OMG推出的数据仓库元数据管理的CWM模型 CommonWarehouseMetamodel 物理模型设计PDM设计方法参考IBM的FSDM金融行业的数据仓库通用模板参考NCRTeradata金融服务逻辑数据模型 FS LDM 参考新巴塞尔资本协议 BaselIICapitalAccord 需提供三到五年的数据的规范 综合上述规范和要求 同时结合支付宝实际的业务 推出数据仓库5层架构体系 13 DW五层模型是按照EDW各个应用层次的需求进行分层细化而来的 每个层次满足不同的应用 分为以下5层 1 ODS数据准备层2 DWD数据明细层3 DW B S 数据汇总层4 DM数据集市层5 ST数据应用层 DW五层模型架构介绍 14 DW五层模型架构介绍 15 DW模型架构第一层介绍 ODS层 功能ODS层是数据仓库准备区为DWD层提供基础原始数据减少对业务系统影响建模方式及原则数据保留时间根据实现业务需求而定可以分表进行周期存储 存储周期不长数据不做清洗转换和业务系统一样按主题逻辑划分数据模型和粒度和业务系统数据模型保留一致 3NF 从业务系统以增量方式抽取加载到ODS 16 DW模型架构第二层介绍 DWD层 功能为DW层提供来源明细数据提供业务系统细节数据的长期沉淀为未来分析类需求的扩展提供历史数据支撑建模方式及原则数据模型与ODS层一致 3NF 不做清洗转换处理为支持数据重跑可额外增加数据业务日期字段可按天 月 年进行分表用增量ODS层数据和前一天DWD相关表进行merge处理 17 DW模型架构第三层介绍 DW层 功能为DM ST层提供细粒度数据 细化成DWB和DWSDWB是根据DWD明细数据进行清洗转换 如维度转代理键 身份证清洗 会员注册来源清洗 字段合并 空值处理 脏数据处理 IP清洗转换 账户余额清洗 资金来源清洗等DWS是根据DWB层数据按各个维度ID进行粗粒度汇总聚合 如按交易来源 交易类型进行汇总建模方式及原则聚合 汇总增加派生事实关联其它主题的事实表 DW层可能会跨主题域DWB保持低粒度汇总加工数据 DWS保持高粒度汇总数据数据模型可能采用反范式设计 合并信息等 18 DW模型架构第三层介绍 DW层 19 DW模型架构第四层介绍 DM层 功能这一层可以是一些宽表 是根据DW层数据按照各种维度或多种维度组合把需要查询的一些事实字段进行汇总统计并作为单独的列进行存储满足一些特定查询 数据挖掘应用应用集市数据存储建模方式及原则尽量减少数据访问时计算 优化检索维度建模 星形模型事实拉宽 度量预先计算分表存储 20 DW模型架构第四层介绍 DM层 21 DW模型架构第五层介绍 ST层 功能ST层面向用户应用和分析需求 包括前端报表 分析图表 KPI 仪表盘 OLAP 专题等分析 面向最终结果用户适合作OLAP 报表模型 如ROLAP MOLAP根据DW层经过聚合汇总统计后的粗粒度事实表建模方式及原则保持数据量小维度建模 星形模型各种维度代理键 度量增加数据业务日期字段 支持数据重跑不分表存储 22 DW模型架构第五层介绍 ST层 23 细化DW建模对DW中各个主题业务建模进行了细分 每个层次具有不同的功能 保留了最细粒度数据满足了不同维度 不同事实的信息满足数据重新生成不同层次的数据支持数据重新生成无需备份恢复解决了由不同故障带来的数据质量问题消除了重新初始化数据的烦恼减少应用对DW的压力以业务应用驱动为向导建模 通过ST DM层提供数据避免直接操作基础事实表降低数据获取时间快速适应需求变更适应维度变化明细基础数据层稳定 适应前端应用层业务需求变更所有前端应用层模型之间不存在依赖 需求变更对DW整个模型影响范围小能适应短周期内上线下线需求 DW五层模型架构特点 24 数据仓库建设规范 表命名规范程序命名规范开发模板通用SQL文档 25 数据仓库建设规范 表命名规范表名命名格式说明 层次 主题 表内容 分表规则 T表命名格式说明T 层次 主题 表内容 临时表名命名格式说明 tmp 所属程序名 自定义序号1 10 temp 操作者缩写 YYYYMMDD 表内容 视图命名格式说明V 表名 DWB层视图仍以DWB 开头 为了兼容日后业务变动 26 数据仓库建设规范 表命名解释层次ODS DWD DWB DWS DM ST如ODS TRD TRADE BASE YYYYMMDD DWD TRD TRADE BASE YYYYMMDD 表内容表名视图名总长度不超过64个字符ODS层和DWD层 层次 主题 业务系统表名字 分表规则 DWB 含 以上层次表名字 层次 主题 有意义的缩写 分表规则 尽量详尽说明表的具体内容分表规则日表YYYYMMDD月表YYYYMM日汇总DS 月汇总MS 日累计DT 月累计MT 27 数据仓库建设规范 程序命名规范程序命名 目标表名 去除分表规则部分 程序类型 tcl程序名称