EDW_(DM数据仓库数据建模)模型设计PPT学习课件

1、BI.Insurance i.DWM for P&C 模型设计说明,1,日程,为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q & A,2,日程,为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q & A,3,EDW体系架构,源系统层,ETL层,数据仓库层,ETL层,数据集市层,应用层,展现层,手工数据,外部数据,数据仓库,保险数据模型,核心业务,财务系统,再保险系统,人意险系统,精算系统,客户关系 管理OCRM,客户讯息 ECIF,业务量分析 数据集市,业务持续性 分析数据集市,ALM 数据集市,财务分析 数据集市,车险承保分析 通用承保分析,风险管理 应用,ALM

2、应用,财务分析 应用,aCRM 数据集市,aCRM 报告,大客户分析管理系统,aCRM 引擎,数据挖 掘引擎,数据挖 掘应用,企 业 信 息 门 户,企业统一分析平台,元数据库,监管报表,管理报表,运营报表,仪表盘,随机查询,多维分析,“数据和信息集成平台” “统一的分析平台” “唯一的信息出口”,4,为什么需要企业模型？,5,EDW 数据模型在项目实施中的作用,DWM 数据仓库模型,BAM 业务分析模型,运营型业务系统,数据仓库,数据集市,报表 分析型应用,BSA 业务模版应用,6,日程,为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q & A,7,模型总体结构EM & Dat

3、aMarts,核心原子数据,事实表和维度,企业模型,营销管理快速入门,客户细分和管理,保险盈利性分析,潜在客户管理,数据集市,导出,业务数据模型,映射,指标要素,需求模型,财务报表数据集市,中介绩效分析数据集市,健康险盈利性管理数据集市,8,DWM 数据模型逻辑结构,9,BI.Insurance i.DWM for P&C,底层数据模型主题域说明： Agreement：保单、批单申请及管理； Claim：理赔 Financial Transaction：应收应付、实收实付以及交易关联 Party：当事方，包括当事方的组织结构、角色结构及类型 Money Provision：资金管理 Speci

4、fication And Product：规范及产品管理 Place：地点 Code：标准代码 Activity：活动管理 Physical Object：实物、标的管理,10,BI.Insurance i.DWM-Agreement,11,BI.Insurance i.DWM-Claim,12,BI.Insurance i.DWM-Physical Object,13,日程,为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q & A,14,步骤：,流程：,产出：,原则：,需求文档： 1.报表需求 2.功能需求 3. 非功能需求,1.目前的报表 2.想做的报表 3.想做的功能,1.

5、数据筛选清单 2.数据源报告： 3.数据质量分析报告 4.代码清单,Mapping文档： 源-模型对应关系,A筛选： 去掉ETL需要而模型不需要的字段,1.逻辑模型 2.物理模型 3 逻辑物理数据元素对照表,设计文档： 1.Mapping流程图 2.数据元素Mapping文档,A：数据源报告： 1.主要功能 2.历史数据情况 3.与其它系统关系 4.联系人,B：数据质量报告： 1.数据类型 2.值分布 3.关联情况,B映射： 1.映射到EM 2.结合性能考虑 3.结合实现考虑,数据筛选： 1.程序控制,计算,通讯,安全控制配置,日志 2.汇总类结果一般不要 3.可以由其它字段算出的字段一般不要

6、 4.从其它系统导入的数据不要. 5.代码表不要。 6.单纯的险种定义信息不要，但是具体保单中涉及的险种定义信息可以要。,1.多维模型设计文档： 维度 指标 派生指标 2.需求-模型映射文档 3.报表样张 4.操作说明,EDW具体实施流程,15,日程,为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q & A,16,Hash code,问题的提出: 进行增量加载时无法快速判断对表的原有记录是否新插入。例如： 1. 理赔案件发生的时候,增量文件会把保单数据也传来 2. 保单增量过来,可能只是投保人的信息改了,而目标保单表所需信息并没有改变 解决方案： 使用增量的比较字段生成 Hash

7、 code。在对表进行增量加载时，对增量文件中的每一条记录生成 Hash code 将生成完的 Hash code 与原表中同一anchor id并且最新的记录的 Hash code 进行比较 如果一致的话，即不动作；如果不一致的话，即新插入。 使用示例： 在 individual agreement 表中使用各个需要保留历史信息的字段生成 hash code。 在增量加载时，使用业务增量文件中的字段生成 hash code。 与 Individual agreement 表中同一agreement id的最新记录的hash code 进行比较。 如果一致，即不动作 如果不一致，则插入新记录。

8、 备注： relationship表是要根据业务去判断是否关系已经存在，然后，如果有其他属性（如：Role player - Physical object Rlship.Usage），才需要用hashcode判别是否重复。,17,Hash code字段组成规则,带anchor的实体 带status表的实体（Commercial agreement、Group agreement、Individual agreement、Claim folder、Elementary claim） 除表的主键、type id、Partition key、Status、Status date、Status re

9、ason、 Valid from date、Valid to date、Effective from date、Effective to date、 Population timestamp之外的所有字段 不带status表的实体 除表的主键、 type id、 Partition key、 Valid from date、Valid to date、Effective from date、Effective to date、 Population timestamp之外的所有字段 不带anchor的实体 原则上不需要保留历史，一般执行Update操作。如果有需要的，ETL Mapping特别

10、指明 关联实体 对于需要保留历史的关联类型，除Identifier、Partition key、Nature id、 Left anchor identifier、 Right anchor identifier、 Left entity identifier、Left entity type id、Right entity identifier、Right entity type id、Valid from date、Valid to date、Effective from date、Effective to date、Population timestamp之外的所有字段,18,Parti

11、tion key,问题的提出: 在进行多表关联时，所涉及的关联表行数巨大，关联速度达不到要求。 解决方案：在所有大表中建立 Partition key, 按照该键的键值对表进行物理分 区。Partition key 从Partition config 表中获得。分区策略是 按照分公司进行分区。 使用示例：表 A 与表 B 进行关联时，如下进行 select A.column1, B.column2 from A, B where A.foreign_key=B.Primary_key and A.partition_key in (select Storage partition from P

12、artition config where Branch company id=xxxx) and B.partition_key in (select Storage partition from Partition config where Branch company id=xxxxxxx),19,对保单和理赔状态的特殊处理,问题的提出： 保单在承保和保全的整个过程中状态变化比较多，如按照 IIW 的原有设计，保单表中的会有巨量的历史记录；理赔在报案、立案和估损的整个过程中状态变化较多，如按照 IIW 的原有设计，理赔表中会有很多的历史记录。 解决方案： 将保单的状态变化过程剥离出来单独

13、建表，在该表中保留与保单的关联；当有新状态插入时，更新对应的保单表中的状态。 将理赔的状态变化过程剥离出来单独建表，在该表中保留与理赔的关联；当有新状态插入时，更新对应的理赔表中的状态。 使用示例： 增加Commercial agreement status，Group agreement status，Individual agreement status表，分别记录 Commercial agreement , Group agreement ,Individual agreement 的状态变化历史。 当前面状态发生该变时，在status表中插入新记录，更新对于原表中的状态字段。,20,

14、对保单和理赔状态的特殊处理示例,Individual agreement,Individual agreement status,21,Left/Right Entity ID in Relationship or Role Entity,问题的提出 在IIW中的不同subject area的实体关联通常是走关联实体的，例如：Physical object - Agreement Rlship。在关联实体中是以anchor id进行连接的。在分析的时候，通常是应该按照当时的状况进行分析才有意义。由于EDW是保留历史信息的，同一个Physical object或Agreement会有多条记录，如

15、何找到当时的记录，必须通过effective from/to date的比对才能实现，这非常影响效率。 解决方案 在关联实体中增加Left/Right entity identifier，Left/Right entity type id Left/Right entity type id是指具体基础表的id号 例如：Road vehicle（2001260001） Left/Right entity identifier是指具体基础表中记录的主键id值 例如： Road vehicle中牌照号沪A000001车辆的第一条记录的Road vehicle id值 适用范围： FS Role Ph

16、ysical object - Agreement Rlship,22,Sample of Left/Right Entity ID in Relationship or Role Entity,Road vehicle,Individual agreement,Agreement,Physical object,Physical object Agreement Rlship,被保标的,23,Party role in operation/Internal person,问题的提出 在业务中有很多操作员角色，只有工号、姓名信息，没有身份证等其他信息； 一个操作员在一个业务流程中会同时扮演不同

17、角色，如在A保单核保中他是录入人，在B保单核保中他是复核人或者可能出现在A保单核保中他既是录入人又是复核人 解决方案 建立Internal person表保存业务员、公司管理人员的个人信息，这些信息质量较差 建立Party role in operation表保存操作员角色信息，每次都生成新记录。 录单员冗余到保单中，理赔的操作员也冗余到claim folder中,24,关联实体的版本问题,由于关联实体本身没有对应的anchor实体，不存在版本问题，但是关联存在有以下两种变化情况。 人“王五”拥有一栋房屋，在2007/1/1卖掉了。 更新原有的Role player physical obje

18、ct Rlship记录的 valid to date：if 源系统有系统更新日期，则更新日期1；else，则“2006/12/31” effective to date： “2006/12/31” 人“王五”拥有一栋房屋，在2007/1/1卖掉50的产权。 更新原有的Role player physical object Rlship记录的 valid to date：if 源系统有系统更新日期，则更新日期1；else，则“2006/12/31” effective to date： “2006/12/31” （Ownership percentage： 100） 插入新的Role playe

19、r physical object Rlship记录 valid from date：if 源系统有系统更新日期，则更新日期1；else，则“2007/1/1” effective from date： “2007/1/1” Ownership percentage： 50,25,Financial Services Role,问题的提出 Person存放人的基本信息，External organisation和Internal organisation存放机构的基本信息 一个人和机构在不同环境下分别扮演不同角色，所以 Financial Services Role存放与保单（各种协议）相关的

20、金融服务角色，如保单持有人，被保险人，受益人等。 Channel role存放中介渠道角色信息，如营销员、收展员 在分析集市中需要获取保单与业务员的关联信息，IIW原连接方式如图：,Financial Services Role （Financial services role player id）,Person （Role player id）,Channel role （Channel role player id）,优点：结构清晰统一 缺点：渠道角色信息关联的太远，需要Financial Services Role+Channel role+Person，影响效率,Person （Rol

21、e player id）,External organisation （Role player id）,26,Financial Services Role,解决方案 Financial Services Role用把basis role player type id确定应连接Person 还是External organisation Financial Services Role用把basis role player id确定Person或External organisation中记录的role player id Financial Services Role用把basis role

22、player entity identifier确定Person或External organisation中记录的person id或External organisation id 使用示例,Financial Services Role （Financial services role player id）,Person （Role player id）,Channel role （ Role player id Channel role player id）,Person （Role player id）,External organisation （Role player id）,2

23、7,Currency code,问题的提出： 在 CPIC 的实际业务中，可能出现多币种，在统计中需要进行多币种的转换。 解决方案： 在 IIW 模型中凡出现金额字段的表，都增加金额的币种及对应的 RMB 金额两类字段。 原字段存放原币中金额， RMB 金额存放折算成RMB的金额 使用示例： Elementary claim 表中增加 Total cost currency 和 Total cost RMB 字段 备注：由于CPIC对多币种金额的统计有多种统计方式，不全部是按照发生制来折算RMB的。因此，统计转换金额到RMB的工作，留给统计部分执行，在原子层不计算。币种一定要填。,28,维度表

24、的snapshot,问题的提出 在分析层中，常用的维度表如：保单、立案。分析常用的属性是分散在各个表中的，如：保费、保额在Particular Money Provision中。分析时如果再通过关联来找到这些信息，效率非常低。 解决方案 建立维度的snapshot表，将这些信息冗余存放在这些表中，每个月全量刷新一次。 使用示例： Claim folder dimension Policy dimension Elementary claim dimension Event dimension,29,Commercial agreement/Group agreement/Individual

25、agreement的边界区分,Commercial agreement 存放保险公司和机构投保人签订的关于承保要素约束的框架性协议；不是具体的保单。具体的保单要遵循该协议。 Group agreement 团单 单位和保险公司签订的保一组成员的保单，如：寿险团单、雇主责任险、旅游责任险。 如果源系统提供了每个被保人的投保情况，这些记录在individual agreement（type id个人凭证）中的。如：雇主责任险下每个人的投保份数。 Individual agreement 个单/个人凭证 备注：根据国内系统的情况做了些调整，和机构投保人（非个人）签订的个单也存放在此。 投保单按保单处

26、理，只是状态是投保状态,30,Group agreement/Individual agreement在ETL时处理,车险系统保单 进入Individual agreement 寿险保单 根据来源表，决定进入group agreement还是individual agreement CIBS(包括老系统)和人意险保单 根据Financial services product中的Individual insurance flag判断 个险，进入Individual agreement 团险、个团皆可，进入group agreement,31,最新记录标志,Effective to date =

27、9999/12/31 00:00:00,32,公司的拆分合并，partition key的处理 1/4,分公司的拆分合并，不需要程序考虑，发生后手工处理。 公司合并 举例：原来有分公司A,分公司B,在2006/1/1分公司B合并到分公司A。,合并前,Partition config,External organisation,Individual agreement,33,公司的拆分合并，partition key的处理 2/4,公司合并 举例：原来有分公司A,分公司B,在2006/1/1分公司B合并到分公司A。,合并后,Partition config,External organisati

28、on,Individual agreement,Role player Rlship,34,公司的拆分合并，partition key的处理 3/4,公司合并 举例：原来有分公司A, 在2006/1/1分公司A,拆分成分公司A和分公司B。,拆分前,Partition config,External organisation,Individual agreement,35,公司的拆分合并，partition key的处理 4/4,公司合并 举例：原来有分公司A, 在2006/1/1分公司A,拆分成分公司A和分公司B。,拆分后,Partition config,External organisat

29、ion,Individual agreement,Role player Rlship,36,按照type id分表,将有些大表按照 Type id 进行拆分 举例：Individual agreement 表按照保单和投保单拆成两张表,37,历史信息的处理,对含有历史记录的大表，应考虑将历史记录剥离出来单独建表，即原表保留最新的信息，而在剥离出来的表中包含这些信息的变化历史。 举例： Individual agreement 原来保留有保单的最新信息及这些信息的历史变化记录。这样这张表就将很大，记录数数以亿计。目前将它拆成 2 个表： 表一，存放保单的最新信息，如最新状态，最新确认的起保日期

30、等，同时保留每条记录最新的刷新时间 表二，存放保单经常变化的值的变化历史，如：保单状态的变化历史 表三，存放保单所有历史变化的信息,38,增加表的冗余字段,问题的提出：原有设计中，一条业务上具有完整意义的信息被拆分在多个表中，在生成分析层（或进行分析时）又要将被拆分的信息通过多表关联的方式关联起来。 解决方案：在表中尽量增加冗余字段。要注意的是，冗余字段并非任意增加，而是要增加： 冗余关联类型为m:1 的字段，如：保单的所属分公司。 从业务上说，基本不变化的冗余字段,39,增加表与表之间的外键，减少走关联表,问题的提出：原有设计中，一条业务上具有完整意义的信息被拆分在多个表中，在生成分析层（或

31、进行分析时）又要将被拆分的信息通过多表关联的方式关联起来。而这样的关联可能要跨多个表。 解决方案： 增加有业务含义的信息之间的直接关联。即如两表的信息如果有业务关联，而在原有设计中这两表之间的关联要借助其他中间表的，应在此两表之间建立直接的关联。 例如：selling channel role id在individual agreement表中的冗余。否则，要走FS Role连接channel role。 尽可能减少关联的层级。即减少不必要的关联中间表 例如：如保单的操作员直接建立到保单中，保单和理赔的科室、部门直接建立到保单和理赔中。 备注：m:m的关系必须走关联表。,40,模型优化任务分配

32、,Jeffrey: Activity, Reinsurance, Claim, Goal and need, Legal action, Physical object, Place, Registration, Specification and product, Standard text and communication, Technical entity, Type 王正茂: Account and fund, Actuarial statistics and index, Assessment and condition, Category, Contact point and p

33、references, Event, Financial account, Goal and need Ben: Agreement, Financial transaction, Money provision, Party,41,EDW和ODS的关系,Person、External organisation 、FS Role（投保人/被保人）通过ODS产生 由于加载顺序的关系，保单表由业务系统产生，产生保单信息时，ODS数据还没有加载。因此， Individual agreement中的Policyholder id、Group agreement中的Policyholder organi

34、sation id不冗余产生，而是通过FS Role走。,42,Id产生规则,每个表单独使用id序列 建id序列表,43,Anchor表是否需要物理产生,建物理产生Anchor表 所有和Anchor直接外键关联的type id冗余,44,Person归并决策,Person，external organisation在EDW不再进行归并,45,Boolean,0 false 1 true,46,Atomic derived data,Atomic层表中，有部分字段保存的是从其他表或字段中导出的数据，如：claim folder中total cost，是从internal claim cost中统

35、计来的。 对于这部分字段，分为两部分： 目前analytical层或data mart用到的，需要处理 暂时没用的字段，暂不处理 这部分字段的处理，在atomic产生完成后，产生analytical层前处理。,Atomic,Analytical,1,2,47,物理分表,备注：没特别注明的其他类型的在原Entity中,48,Money scheduler,Money in scheduler 用于连接对于保险公司来说是进来的钱的particular money provision/Financial transaction，如：保费、储金（包括批增、批减） Money out scheduler

36、 用于连接对于保险公司来说是出去的钱的particular money provision/Financial transaction，如：赔款、支付的养老金（包括摊回赔款） 每个保单签单产生一个Money in scheduler，保单不含批单的保额、保费挂在该Money in scheduler下；每个批单单产生一个Money in scheduler，该批单对应的保额、保费变化挂在该Money in scheduler下。 每个赔案产生一个Money out scheduler，该赔案对应的Particular money provision挂在该Money out scheduler下

37、。,49,关联表冗余进实体表中 1/2,50,关联表冗余进实体表中 2/2,51,Anchor的type id冗余到外键关联的表中 -1/2,52,Anchor的type id冗余到外键关联的表中 -2/2,53,Claim中涉及的各种金额存放规则 1/2,54,Claim中涉及的各种金额存放规则 2/2,Particular money provision对应赔案级，其中不存放金额，起关联作用（Agreement id，Agreement type id，Money scheduler id，（Money payee id，Money payee type id，Money payer id

38、，Money payer type id有则产生）。Money scheduler一个赔案产生一条记录，该赔案下的Particular money provision都挂在这个Money scheduler下。 Claim offer可以存放多种offer，可以为服务、物品或金钱（包括状态是未决的） Internal claim cost用于存放理算后的公司内部发生的各种理赔费用，如查勘费、施救费、律师费等。 Internal claim cost通过Internal claim cost - Claim Rlship 与claim folder关联 查勘表中记录的明细费用（如查勘费、施救费、

39、律师费等）放在Money provision part，通过Money provision cash flow到 Particular money provision中的activity id连接到查勘活动中 Money provision part用于存放赔给客户的赔款明细(包括状态是未决的)、到赔付项目代码级别。 Money provision cash flow用于存放子险级合计的赔款金额,和claim offer对应 放在Money provision cash flow和Money provision part中赔款的钱金额变化、 Money provision cash flow /Money provision part中赔款金额不保留版本，当出现修改时直接修改这些表中的记录 Claim Offer 中的赔款金额不保留历