物流数据仓库模型设计方法及规范

1、物流数据仓库模型设计方法及规范,物流数据仓库数据模型设计方法及规范,1,模型概述,2,建模方法,3,建模规范,议题,物流EDW模型总体架构,TI Staging,TO ODS,TW DW,TA DM/Report,物流EDW分为四层： TI/Staging层作业为数据源数据的接口层；表结构和数据源一致，如需要增加识别数据源的字段； TO/ODS层作为数据源数据的整合存储层，会保存一定时间段的历史数据；可支持基本的业务报表；表结构和TI层一致，如需增加识别历史的字段； TW/DW层作为数据仓库的模型层，采用星型模型设计，维表采用逆规范化设计，维表主键为整数序列，事实表的编码转换为维表的主键，事实

2、表需要尽量简化，不允许保存描述信息； TA/DM/Report主要是汇总事实表和保存为报表需要的计算结果，尽量为汇总级别的星型模型，允许在某些情况将指标和描述信息保存在同一表中。,1,模型概述,2,建模方法,3,建模规范,议题,建模过程,建模过程分为5个阶段： 1. 需求及数据源分析 需求分析主要了解业务的流程，业务过程产生的单据，以及单据间的关系，业务过程中涉及的人、物、组织和事； 数据源分析需要了解单据和业务中所涉及的人、物、组织等的主数据表，人物事之间的关系表；了解以及这些表中包含的主要信息，还有这些表的数据量。 2. High Level模型设计 将需求分析阶段的所得到实体按照数据仓库

3、总线矩阵进行整理；包含哪些分析主题，每个主题有哪些事实表，有哪些主数据，这些主数据可以归纳成哪些维表。每个分析主题或事实表与哪些维度有关。,建模过程,建模过程分为5个阶段： 3. DW层模型设计 DW层设计采用数据驱动和业务驱动结合的方法，首先通过数据驱动的方法识别维表的主要属性，如果需要在通过业务驱动的方法增加业务需要的属性或者层级；先设计维表，在设计事实表，事实表可以直接引用维表ID字段，事实表需要保存最低粒度的交易事实。 维表设计需要考虑维表的数据量，对于大规模维度需要特殊处理: 一种方法是将常用的上面几层单独新建一个维度 另一种方法是将维表的数据按照使用情况，将最近一个阶段用到的记录单

4、独抽出来最为一个维表，这种情况需要保证，两个表的ID一致，事实表只有一个字段连接全表和最近使用的表。 定义事实表时，需要将业务系统单据的属性做简化，如果事实表包含同一维表的多个层级，只保留最低的层级，单据中的多个类型、状态、FLAG字段需要通过杂项维来简化，减少事实表字段；对于必要的相关单据号，如订单号，直接保留在事实表中，作为退化维处理，不需要要为退化维建维表。,建模过程,建模过程分为5个阶段： 4. DM/报表层模型设计 DM设计采用需求驱动的方法，需求驱动方法步骤： 调查报表需求, 报表需求需要落实到具体需要分析哪些指标，需要从哪些维度来看，需要哪些查询条件； 整理报表需求中的指标和维度，维度整理需要了解维度有哪些层次，每个层次有哪些关键属性，指标的整理需要了解指标的计算公式，并将指标的计算项落实到，DW层的基础度量，还需要了解指标的分析的最细粒度，就要分析到哪些维度的哪些层级，参考仓库模型设计文档仓库维度指标.xlsx； 整理维度指标矩阵，参考仓库模型设计文档仓库维度指标.xlsx ； 根据维度指标矩阵整理需要的汇总事实表，可将相同的主题的相同粒度的指标放到一个汇总事实表。,建模过程,建模过程分为5个阶段： 5. 物理模型设计 物流数据仓库采用Hadoop/Hive/Impala的技术架构。 请打大数据开发Team补充这部分内容。,1,模型概述,2,建模方