商业智能实施方案报告书(教学PPT)

商业智能实施方案,2020年6月8日,1、实施方法,2、实施步骤,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,项目具体实施步骤,项目前期准备,业务探索,信息探索,逻辑数据模型,1.项目前期准备2.业务探索（BusinessDiscovery)3.信息探索（InformationDiscovery)4.逻辑数据模型设计5.系统体系结构设计6.物理数据库设计7.数据转换加载ETL8.前端应用开发9.数据挖掘服务10.元数据管理11.数据仓库管理（处理流程与操作）12.解决方案集成（测试验收与试运行）,2.1项目前期准备,主要任务：项目启动会议(Kick-offMeeting)确认项目范围和主要目标确认项目阶段性验收及总体验收标准确认项目实施计划成立项目组确定各项目小组的成员及各自的工作职责确定各项目小组的阶段性工作目标确定教育训练计划确定服务流程及方式交付项目：项目组织机构项目人员组成,项目前期准备,业务探索,信息探索,逻辑数据模型,2.2业务探索（BusinessDiscovery),主要任务：确定重点用户与数据源用户需求调研与确认数据源确认用户需求和数据源的筛选和分析交付项目：业务需求说明书BRL(BusinessRequirementList)概念数据模型CDM（ConceptualDataModel),项目前期准备,业务探索,信息探索,逻辑数据模型,2.3信息探索（InformationDiscovery),主要任务：分析用户需求数据源分析进行工具评估系统安全性设计系统命名规范设计交付项目：功能需求列表FRL(FunctionRequirementList)系统安全性设计说明书系统命名规范说明书数据质量分析,项目前期准备,业务探索,信息探索,逻辑数据模型,2.4逻辑数据模型设计,主要任务：进行原始数据分析建立实体模型建立实体间依赖关系完善并填入所有属性建立数据库逻辑模型利用工具：Erwin/PowerDesigner交付项目：数据仓库逻辑数据模型LDM逻辑数据模型说明书,项目前期准备,业务探索,信息探索,逻辑数据模型,2.4逻辑数据模型概念,逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图”,基于概念数据模型（CDM）由一系列表和实体详细描述组成通用的业务语言便于业务与业务之间的功能理解集成当前和未来数据的蓝图独立于技术为物理数据库设计作准备是IT人员和业务人员沟通的工具,2.4逻辑数据模型(LDM)示例,2.5系统体系结构设计,主要任务：对业务、技术环境及企业文化的充分了解，从技术、组织、教育和支持等方面对系统进行全面评估定义业务驱动力定义数据仓库成功的关键因素定义数据仓库的实施原则对系统体系结构各个组件进行详细设计交付项目：系统体系结构设计说明书,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,2.5体系结构设计组件,用户类型拓扑结构网络存取与互连组织机构安全性数据体系结构逻辑数据模型元数据数据质量命名规范数据采集与转换用户存取及工具备份系统操作管理,2.6物理数据库设计,主要任务：转换逻辑数据模型（LDM）为物理数据模型定义主索引、次索引非正则化处理数据库建立设计优化数据库功能测试使用工具：ERWwin交付项目：物理数据模型（LDM）物理数据模型说明书数据库描述语言DDL,建模方法：第三范式3NF星型结构雪花状结构,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,2.6数据模型的演变,概念数据模型（CDMConceptualDataModel）主要实体和它们的关系（MajorEntitiesandTheirRelationships）逻辑数据模型（LDM-LogicalDataModel）业务模型加（CDMPlus）:所有的表及简单的数据（AllTableswithSampleData）辅助的表及简单的数据（MinorTableswithSampleData）主键与外键的关系（PK&FKRelationships）数据约束（Constraints）属性（Attributes）扩展逻辑数据模型（ELDM-ExtendedLogicalDataModel）逻辑数据模型加（LDMPlus）:存取详细描述（AccessDemographics）数据详细描述（DataDemographics）物理数据模型（PDM-PhysicalDataModel）扩张逻辑数据模型（ELDMPlus）:索引（Indices）非正则化（Denormalization）,2.6非正则化处理(Denormalization),非正则化的两种类型：物理非正则化派生数据（DerivedData）汇总表（SummaryTables）重复的Groups(RepeatingGroups)多物理表（MultiplePhysicalTables）预连接（Pre-joins）子实体（Sub-entities）逻辑非正则化视图（Views）逻辑星型结构（LogicalStarSchemas）物理非正则化对模型的灵活性会有影响逻辑非正则化是一个优选的方法（OLAP实现）,2.6物理数据模型（PDM）,2.7数据转换与加载（ETL）,主要任务：数据源及其特性定义数据析取、转换和加载策略设计构建和测试初始加载的程序和处理流程构建和测试日常加载的程序和处理流程40%的工作量在数据转换与加载上使用工具：Sagent或Datastage、Informatic交付项目：数据转换加载设计说明书数据映射（DataMapping）说明书数据转换加载脚本（ETLScripts)加载流程控制（ETLProcessControl),数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,2.7数据清洗方法,在源系统上进行清洗（数据析取前）在加载服务器上进行清洗（数据析取后、加载前）在数据仓库里进行清洗（数据加载后）,源系统,ETL服务器,数据仓库,2.7数据转换常用手段,析取Extracting条件Conditioning剔除Scrubbing合并Merging浓缩Enrichment确认Validating加载Loading评分Scoring关系识别Householding,2.8前端应用开发,主要任务：前端应用体系结构设计OLAP应用设计(Summary/Fact表及Cub的产生）前端应用开发（随机查询、预定义报表、OLAP应用）撰写用户使用手册用户测试验收使用工具：查询报表工具(Hyperionperformancesuit)OLAP工具（Essbase)基于Web的开发工具(J2EE)其他开发工具,如:Portal交付项目：前端应用体系结构设计说明书应用模块设计说明书用户使用手册,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,2.10元数据管理,元数据(Metadata)是指关于数据的数据，即用来描述数据的类型、来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。,主要任务：定义元数据使用功能设计元数据环境逻辑结构设计元数据环境物理结构选择合适的元数据管理工具建立元数据仓库（MetadataRepository)建立和测试元数据接口使用工具：ETLTOOLS交付项目：元数据管理说明书,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,2.10元数据开发,元数据的开发应该包含在数据仓库实施过程的每一步骤中，下图是元数据各部分内容与数据仓库开发过程的对应关系：,2.11数据仓库管理,主要任务：设计和开发数据仓库支持体系结构开发和测试数据仓库日常运作流程开发和测试性能监视程序开发和测试数据备份与恢复程序开发和测试安全系统设计和开发操作人员/最终用户培训计划建立用户支持和培训材料使用工具：系统监控工具和管理工具交付项目：数据仓库管理过程说明书数据备份过程设计说明书安全管理模块设计说明书用户培训计划及用户使用手册,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,2.12解决方案集成,主要任务：建立并执行集成测试计划建立并执行数据仓库平台测试计划建立并执行系统验收测试计划移植开发系统到生产系统执行用户培训计划实施数据仓库管理基础设施项目实施完成回顾项目状态交付项目：数据转换管理系统测试报告数据访问和信息发布系统测试报告数据仓库平台测试报告数据仓库管理过程测试报告系统回顾报告,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,总结：主要步骤及文档间关系,BusinessDiscovery(业务探索)业务需求说明书(BRL)概念数据模型(CDM),物理数据库设计物理数据模型(PDM)数据库描述语言(DDL)数据转换加载(ETL)数据加载设计说明书数据映射（DataMapping)转换加载脚本（ETLScripts)加载流程控制（ETLControl)前端应用设计前端应用体系结构前端应用设计说明书Summary/Fact表设计Summar