技术培训-建模培训与实战

数据仓库建模培训与实战用友华表软件技术有限公司BI咨询顾问马鹏程2010年1月1日需求分析仓库建模ETLBQ展现第1页，共27页。目录为什么建模？工具用什么？模型怎么建？模型怎么用？第2页，共27页。模型是什么？指标落地数据存储与集中机制方案中的指标与维度数据库中的模型数据获取指标展现BQ中的分析界面第3页，共27页。模型是什么？第4页，共27页。没有落地的指标没有落地的指标是浮云可见而不可及第5页，共27页。建模的价值？一个图纸到实体验证的过程一个凝聚IT与行业经验的过程

（企业个性与行业积累）为企业高端决策打下基础的过程为企业IT规划打下基础的过程第6页，共27页。目录为什么建模？工具用什么？模型怎么建？模型怎么用？第7页，共27页。建模工具有哪些？主流建模工具：SybasePowerDesigner（数据库建模专业工具）CAErwin（数据库/仓库建模专业工具）IBMRational(软件工程建模专业工具)MicrosoftOfficeVisio（综合性工具）第8页，共27页。SybasePowerDesigner15-安装运行信息安装路径：安装过程：选择安装路径后，默认下一步即可产品注册：

复制压缩包中的“pdflm15.dll”到安装目录覆盖同名文件！

运行程序，点击Tools->LicenseParameters->StandaloneSeat-LocalLicense,导入压缩包中的license.lic注册授权文件！产品运行：

开始->Sybase->PowerDesigner15->PowerDesigner第9页，共27页。SybasePowerDesigner15新建工程File->NewProject——新建工程，选择工程存放目录及工程名称第10页，共27页。SybasePowerDesigner15使用入门新建一个模型：File=>NewModel

可创建概念模型、逻辑模型、物理模型第11页，共27页。目录为什么建模？工具用什么？模型怎么建？模型怎么用？第12页，共27页。2.1模型怎么建-需求分析需求分析逻辑模型导出验证物理模型概念模型需求归类、分析共性找出指标、维度、参数分析源数据与目标结果之间差异

字段差异，数据粒度差异等包含字段：公司、客户、部门、地区、人员、时间、单据类型、单价、金额等字段数据粒度：数据粒度以周为分析单位源数据与目标数据差异：

数据字段多，且粒度更细分析的目标是什么？分析的源头是什么？第13页，共27页。2.2模型怎么建-概念模型-确定主题1、根据业务场景分析主题，每个主题下再根据分析场景进行分类：财务主题->应收应付分析2、明确数据仓库的分析对象，然后对每个主题的内容进行较详细的描述，包括： 确定主题及其属性信息 描述每个属性的取值情况固定不变的半固定的经常变化的 确定主题的公共码键 主题间的关系：主题间联系及其属性需求分析逻辑模型导出验证物理模型概念模型分析主题实体模型第14页，共27页。2.3模型怎么建-概念模型-E-R模型需求分析逻辑模型导出验证物理模型概念模型分析主题实体模型应收明细公司部门员工单据类型存货地区实体模型：万物皆实体，应收应付的单据，公司、客户、销售员都是一个实体，而每个实体之间有很多关联关系。实体关系：一对一、一对多、多对一、多对多第15页，共27页。2.4模型怎么建-概念模型-实战需求分析逻辑模型导出验证物理模型概念模型分析主题实体模型第一步：Project上右单击->New->ConceptualDataModel第二步：输入模型名称第三步：添加实体第四步：双击实体，添加实体的属性字段信息第五步：添加实体间关系第16页，共27页。2.5模型怎么建-逻辑模型-星型模型需求分析逻辑模型导出验证物理模型概念模型星型模型数据粒度时间ID销售事实表单价金额数量“FactTable”事实表市场ID产品ID行业ID产品维包装品牌产品描述"DimensionTable"时间ID年日时间维"DimensionTable"行业维行业描述行业名称行业ID"DimensionTable"市场ID地区维区域类型区域名称市场描述"DimensionTable"产品链部门类型产品类型ID行业类型月产品ID产品类型ID第17页，共27页。2.6模型怎么建-逻辑模型-数据粒度在设计过程中需要考虑数据仓库中数据粒度的划分原则，即数据单元的详细程度和级别。数据越详细，粒度越小，级别就越低数据综合度越高，粒度越大，级别就越高。一般将数据划分为：详细数据、轻度总结、高度总结三种粒度，或者采用更多级的粒度划分方法。例如：根据时间跨度进行的统计有：天，周，月，季度，年对于不适合进行统计的属性值，可以采样获取数据粒度的划分将直接影响到数据仓库中的数据量以及所适合的查询类型，粒度划分是否适当是影响数据仓库性能的一个重要方面。需求分析逻辑模型导出验证物理模型概念模型星型模型数据粒度数据粒度举例：永和大王：180家门店，6个餐段，120个菜品，

6中交易方式，3中套餐模式财务想看全年每天各门店的销售额：365*180=64800条数据运营想看一个细化到每天小时级别的多维分析：3(年)*365(天)*24(小时)*6(交易方式)*180(家门店)*120(菜品)=3405888000条数据第18页，共27页。2.7模型怎么建-物理模型-实战需求分析逻辑模型导出验证物理模型概念模型Tool->GeneratePhysicalDataModel通过逻辑模型生成物理模型注意:要选择数据库类型DBMS：SqlServer2005第19页，共27页。2.8模型怎么建-导出验证-脚本导出需求分析逻辑模型导出验证物理模型概念模型Model->Properties->Preview->Save得到自动生成脚本并保存第20页，共27页。2.9模型怎么建-导出验证-数据库创建模型需求分析逻辑模型导出验证物理模型概念模型数据库导入脚本并运行第21页，共27页。2.10模型怎么建-物理模型-海量数据优化需求分析逻辑模型导出验证物理模型概念模型引入冗余：适当冗余数据，减少检索次数及关联表

多放一些你需要的豆子建立数据序列：按顺序摆放的数据，查询性能更高

把豆子按大小个排序

表的物理分割：将大表分库、分区、分表，提高查询效率

把豆子分类摆放

建立索引：有效的索引，提高查询命中率

把你需要的豆子标识上不同的颜色或者编号如何在一堆豆子中找到你需要的那颗？第22页，共27页。四步成型：实际项目中的操作方式1、选择业务过程：

一个分析的业务环节或者一个需求点2、声明粒度：

决定了数据汇总的高度，决定了数据量，和汇总层次3、识别维度：

分析数据的角度有哪些4、识别事实：

分析的指标数值有哪些第23页，共27页。目录为什么建模？工具用什么？模型怎么建？模型怎么用？第24页，共27页。模型怎么用指导ETL开发： ——ETL的数据目标通过历史数据验证优化： ——验证模型，分析过往第25页，共27页。第26页，共27页。内容梗概数据仓库建模培训与实战。BI咨询顾问马鹏程。2010年1月1日。SybasePowerDesigner（数据库建模专业工具）。CAErwin（数据库/仓库建模专业工具）。IBMRational(软件工程建模专业工具)。MicrosoftOfficeVisio（综合性工具）。SybasePowerDesigner15-安装运行信息。安装过程：选择安装路径后，默认下一步即可。SybasePowerDesigner15新建工程。File->NewProject——新建工程，选择工程存放目录及工程名称。SybasePowerDesigner15使用入门。新建一个模型：File=>NewModel。字段差