数据仓库多维数据模型的设计说明

1、数据仓库基本概念1.1、主题（Subject）主题就是指我们所要分析的具体方面。例如：某年某月某地区某机型某款App的安装状况。主题有两个元素：一是各个分析角度（维度），如时间位置；二是要分析的具体量度，该量度普通通过数值体现，如App安装量。1.2、维（Dimension）维是用于从不同角度描述事物特性的，普通维都会有多层（Level：级别），每个Level都会包含某些共有的或特有的属性（Attribute），能够用下图来展示下维的构造和构成：以时间维为例，时间维普通会包含年、季、月、日这几个Level，每个Level普通都会有ID、NAME、DESCRIPTION这几个公共属性，这几个公共属性不仅合用于时间维，也同样体现在其它多个不同类型的维。1.3、分层（Hierarchy）OLAP需要基于有层级的自上而下的钻取，或者自下而上地聚合。因此我们普通会在维的基础上再次进行分层，维、分层、层级的关系以下图：每一级之间可能是附属关系（如市属于省、省属于国家），也可能是次序关系（如天周年），以下图所示：1.4、量度量度就是我们要分析的具体的技术指标，诸如年销售额之类。它们普通为数值型数据。我们或者将该数据汇总，或者将该数据取次数、独立次数或取最大最小值等，这样的数据称为量度。1.5、粒度数据的细分层度，例如按天分按小时分。1.6、事实表和维表事实表是用来统计分析的内容的全量信息的，包含了每个事件的具体要素，以及具体发生的事情。事实表中存储数字型ID以及度量信息。维表则是对事实表中事件的要素的描述信息，就是你观察该事务的角度，是从哪个角度去观察这个内容的。事实表和维表通过ID有关联，如图所示：1.7、星形/雪花形/事实星座这三者就是数据仓库多维数据模型建模的模式上图所示就是一种原则的星形模型。雪花形就是在维度下面又细分出维度，这样切分是为了使表构造更加规范化。雪花模式能够减少冗余，但是减少的那点空间和事实表的容量相比实在是微局限性道，并且多个表联结操作会减少性能，因此普通不用雪花模式设计数据仓库。事实星座模式就是星形模式的集合，包含星形模式，也就包含多个事实表。1.8、公司级数据仓库/数据集市公司级数据仓库：突出大而全，不管是细致数据和聚合数据它全都有，设计时使用事实星座模式数据集市：能够看做是公司级数据仓库的一种子集，它是针对某首先的数据设计的数据仓库，例如为公司的支付业务设计一种单独的数据集市。由于数据集市没有进行公司级的设计和规划，因此长久来看，它本身的集成将会极其复杂。其数据来源有两种，一种是直接从原生数据源得到，另一种是从公司数据仓库得到。设计时使用星形模型

2、数据仓库设计环节2.1、拟定主题主题与业务亲密有关，因此设计数仓之前应当充足理解业务有哪些方面的需求，据此拟定主题。2.2、拟定量度在拟定了主题后来，我们将考虑要分析的技术指标，诸如年销售额之类。量度是要统计的指标，必须事先选择恰当，基于不同的量度将直接产生不同的决策成果。2.3、拟定数据粒度考虑到量度的聚合程度不同，我们将采用“最小粒度原则”，即将量度的粒度设立到最小。例如如果懂得某些数据细分到天就好了，那么设立其粒度到天；但是如果不拟定的话，就将粒度设立为最小，即毫秒级别的。2.4、拟定维度设计各个维度的主键、层次、层级，尽量减少冗余。2.5、创立事实表事实表中将存在维度代理键和各量度，而不应当存在描述性信息，即符合“瘦高原则”，即规定事实表数据条数尽量多(粒度最小)，而描述性信息尽量少。

3、数据仓库-全量表全量表：保存顾客全部的数据（涉及新增与历史数据）增量表：只保存现在新增的数据快照表：按日分区，统计截止数据日期的全量数据切片表：切片表根据基础表，往往只反映某一种维度的对应数据。其表构造与基础表构造相似，但数据往往只有某一维度，或者某一种事实条件的数据3.1、更新插入算法更新插入(主表)算法合用于保存最新状态表的解决。案例：银行账户余额表，全表表大概8000万，非结息日每日变动100万，结息日变动万。非结息日：它是指根据主键(或指定字段)进行数据对比，如果增量表存在统计，则更新原全量表，否则插入数据。ETL更新的优化？Merge?结息日：新建空表，它是指根据主键(或指定字段)进行数据对比，首先插入原全量表与增量表无法匹配的非变更数据，再次插入能够匹配的增量表数据，最后补齐增量表与全量表无法匹配的增量数据。3.2、直接追加算法直接追加算法是指增量数据直接追加到目的表中，此算法适合流水、交易、事件、话单等增量且不修改的数据。由于历史信息表数据量过于庞大，往往在数据库设计中将引入分区表的逻辑来解决，具体实现逻辑自查。3.3、全量历史表算法 拉链表。

4、数据仓库-拉链表拉链表：数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是统计历史。统计一种事物从开始，始终到现在状态的全部变化的信息。我们先看一种示例，这就是一张拉链表，存储的是顾客的最基本信息以及每条统计的生命周期。我们能够使用这张表拿到最新的当天的最新数据以及之前的历史数据。在数据仓库的数据模型设计过程中，经常会碰到下面这种表的设计：1、有某些表的数据量很大，例如一张顾客表，大概10亿条统计，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超出100G（在HDFS使用双备份或者三备份的话就更大某些）。2、表中的部分字段会被update更新操作，如顾客联系方式，产品的描述信息，订单的状态等等。3、需要查看某一种时间点或者时间段的历史快照信息，例如，查看某一种订单在历史某一种时间点的状态。4、表中的统计变化的比例和频率不是很大，例如，总共有10亿的顾客，每天新增和发生变化的有200万左右，变化的比例占的很小。那么对于这种表我该如何设计呢?下面有几个方案可选：方案一：每天只留最新的一份（例如我们每天用Sqoop抽取最新的一份全量数据到Hive中）。方案二：每天保存一份全量的切片数据。方案三：使用拉链表。4.1、为什么使用拉链表现在我们对前面提到的三种进行逐个的分析。方案一这种方案就不用多说了，实现起来很简朴，每天drop掉前一天的数据，重新抽一份最新的。优点很明显，节省空间，某些普通的使用也很方便，不用在选择表的时候加一种时间分区什么的。缺点同样明显，没有历史数据，先翻翻旧账只能通过其它方式，例如从流水表里面抽。方案二每天一份全量的切片是一种比较稳妥的方案，并且历史数据也在。缺点就是存储空间占用量太大了，如果对这边表每天都保存一份全量，那么每次全量中会保存诸多不变的信息，对存储是极大的浪费。固然我们也能够做某些取舍，例如只保存近一种月的数据?但是，需求是无耻的，数据的生命周期不是我们能完全左右的。拉链表在使用上基本兼顾了我们的需求。首先它在空间上做了一种取舍，虽说不像方案一那样占用量那么小，但是它每日的增量可能只有方案二的千分之一甚至是万分之一。其实它能满足方案二所能满足的需求，既能获取最新的数据，也能添加筛选条件也获取历史的数据。因此我们还是很有必要来使用拉链表的。4.2、拉链表的实现下面我们来举个栗子具体看一下拉链表。我们先看一下在Mysql关系型数据库里的user表中信息变化。在-01-01这一天表中的数据是：在-01-02这一天表中的数据是，顾客002和004资料进行了修改，005是新增顾客：在-01-03这一天表中的数据是，顾客004和005资料进行了修改，006是新增顾客：如果在数据仓库中设计成历史拉链表保存该表，则会有下面这样一张表，这是最新一天(即-01-03)的数据：阐明t_start_date表达该条统计的生命周期开始时间，t_end_date表达该条统计的生命周期结束时间。t_end_date=‘9999-12-31’表达该条统计现在处在有效状态。如果查询现在全部有效的统计，则select*fromuserwheret_end_date=‘9999-12-31’。如果查询-01-02的历史快照，则selectfromuserwheret_start_date<=‘-01-02’andt_end_date>=‘-01-02’。(*此处要好好理解，是拉链表比较重要的一块。**)4.3、拉链表在Hive中的实现在现在的大数据场景下，大部分的公司都会选择以Hdfs和Hive为主的数据仓库架构。现在的Hdfs版原来讲，其文献系统中的文献是不能做变化的，也就是说Hive的表智能进行删除和添加操作，而不能进行update。基于这个前提，我们来实现拉链表。还是以上面的顾客表为例，我们要实现顾客的拉链表。在实现它之前，我们需要先拟定一下我们有哪些数据源能够用。我们需要一张ODS层的顾客全量表。最少需要用它来初始化。每日的顾客更新表。并且我们要拟定拉链表的时间粒度，例如说拉链表每天只取一种状态，也就是说如果一天有3个状态变更，我们只取最后一种状态，这种天粒度的表其实已经能解决大部分的问题了。ods层的user表现在我们来看一下我们ods层的顾客资料切片表的构造：CREATE

EXTERNAL

TABLE

ods.user

(

user_num

STRING

COMMENT

'顾客编号',

mobile

STRING

COMMENT

'手机号码',

reg_date

STRING

COMMENT

'注册日期'

COMMENT

'顾客资料表'

PARTITIONED

BY

(dt

string)

ROW

FORMAT

DELIMITED

FIELDS

TERMINATED

BY

'\t'

LINES

TERMINATED

BY

'\n'

STORED

AS

ORC

LOCATION

'/ods/user';

)

ods层的user_update表然后我们还需要一张顾客每日更新表，前面已经分析过该如果得到这张表，现在我们假设它已经存在。CREATE

EXTERNAL

TABLE

ods.user_update

(

user_num

STRING

COMMENT

'顾客编号',

mobile

STRING

COMMENT

'手机号码',

reg_date

STRING

COMMENT

'注册日期'

COMMENT

'每日顾客资料更新表'

PARTITIONED

BY

(dt

string)

ROW

FORMAT

DELIMITED

FIELDS

TERMINATED

BY

'\t'

LINES

TERMINATED

BY

'\n'

STORED

AS

ORC

LOCATION

'/ods/user_update';

)

拉链表现在我们创立一张拉链表：CREATE

EXTERNAL

TABLE

dws.user_his

(

user_num

STRING

COMMENT

'顾客编号',

mobile

STRING

COMMENT

'手机号码',

reg_date

STRING

COMMENT

'顾客编号',

t_start_date

,

t_end_date

COMMENT

'顾客资料拉链表'

ROW

FORMAT

DELIMITED

FIELDS

TERMINATED

BY

'\t'

LINES

TERMINATED

BY

'\n'

STORED

AS

ORC

LOCATION

'/dws/user_his';

)

实现sql语句然后初始化的sql就不写了，其实就相称于是拿一天的ods层顾客表过来就行，我们写一下每日的更新语句。现在我们假设我们已经已经初始化了-01-01的日期，然后需要更新-01-02那一天的数据，我们有了下面的Sql。然后把两个日期设立为变量就能够了。INSERT

OVERWRITE

TABLE

dws.user_his

SELECT

*

FROM

(

SELECT

A.user_num,

A.mobile,

A.reg_date,

A.t_start_time,

CASE

WHEN

A.t_end_time

=

'9999-12-31'

AND

B.user_num

IS

NOT

NULL

THEN

'-01-01'

ELSE

A.t_end_time

END

AS

t_end_time

FROM

dws.user_his

A

LEFT

JOIN

ods.user_update

B

ON

A.user_num

=

B.user_num

UNION

SELECT

C.user_num,

C.mobile,

C.reg_date,

'-01-02'

AS

t_start_time,

'9999-12-31'

AS

t_end_time

FROM

ods.user_update

AS

C

)

AS

T

好了，我们分析了拉链表的原理、设计思路、并且在Hive环境下实现了一份拉链表，下面