数据仓库BI实施方法论.ppt

主讲人 黄侃湖北电信数据仓库项目组2006年12月 湖北电信经营分析与决策支持系统数据仓库实施方法论 2 实现功能 实施计划 总体目标 成功因素 组织架构 议程 3 基本情况 项目名称 湖北电信经营分析与决策支持系统项目周期 启动时间 2007年01月08日 暂定 初验时间 2008年02月29日终验时间 2008年08月29日项目范围 地域跨度 省公司 17个本地网时间跨度 06年本地网老系统数据 BOSS上线后所有数据数据跨度 省公司 BOSS 结算 渠道 财务 综合统计本地网 97 计费 10000号 HOT 4 NCR数据仓库实施方法论 5 数据仓库管理 物理数据模型 数据转换 应用开发 数据挖掘服务 系统体系结构设计 元数据管理 解决方案集成 项目具体实施步骤 项目前期准备 业务探索 信息探索 逻辑数据模型 1 项目前期准备2 业务探索 BusinessDiscovery 3 信息探索 InformationDiscovery 4 逻辑数据模型设计5 系统体系结构设计6 物理数据库设计7 数据转换加载ETL8 前端应用开发9 数据挖掘服务10 元数据管理11 数据仓库管理 处理流程与操作 12 解决方案集成 测试验收与试运行 项目具体实施步骤 6 主要任务 项目启动会议 Kick offMeeting 确认项目范围和主要目标确认项目阶段性验收及总体验收标准确认项目实施计划成立项目组确定各项目小组的成员及各自的工作职责确定各项目小组的阶段性工作目标确定教育训练计划确定服务流程及方式交付项目 项目组织机构 项目人员组成 项目前期准备 业务探索 信息探索 逻辑数据模型 1 项目前期准备 7 主要任务 确定重点用户与数据源用户需求调研与确认数据源确认用户需求和数据源的筛选和分析交付项目 业务需求说明书BRL BusinessRequirementList 项目前期准备 业务探索 信息探索 逻辑数据模型 2 业务探索 8 主要任务 分析用户需求数据源分析进行工具评估系统安全性设计系统命名规范设计交付项目 系统安全性设计说明书 系统命名规范说明书 数据质量分析 项目前期准备 业务探索 信息探索 逻辑数据模型 3 信息探索 9 主要任务 进行原始数据分析建立实体模型建立实体间依赖关系完善并填入所有属性建立数据库逻辑模型利用工具 ERWin交付项目 功能需求列表FRL FunctionalRequirementList 数据仓库逻辑数据模型LDM 逻辑数据模型说明书 项目前期准备 业务探索 信息探索 逻辑数据模型 建模方法 第三范式3NF 4 逻辑数据模型设计 10 4 逻辑数据模型设计实例 11 主要任务 源系统现况NCR可扩展数据仓库框架结构定义数据仓库成功的关键因素定义数据仓库的实施原则对系统体系结构各个组件进行详细设计交付项目 系统体系结构设计说明书 数据仓库管理 物理数据模型 数据转换 应用开发 数据挖掘服务 系统体系结构设计 元数据管理 解决方案集成 5 系统体系架构设计 12 用户类型拓扑结构网络存取与互连组织机构安全性数据体系结构逻辑数据模型元数据数据质量命名规范数据采集与转换用户存取及工具备份系统操作管理 5 系统体系架构设计内容 13 主要任务 转换逻辑数据模型 LDM 为物理数据模型定义主索引 次索引非正规化处理 demoralizations 数据库建立设计优化数据库功能测试使用工具 ERWin交付项目 物理数据模型 PDM 物理数据模型说明书 数据库描述语言DDL 数据仓库管理 物理数据模型 数据转换 应用开发 数据挖掘服务 系统体系结构设计 元数据管理 解决方案集成 6 物理数据模型设计 14 6 物理数据模型设计实例 15 主要任务 数据源及其特性定义数据析取 转换和加载策略设计构建和测试初始加载的程序和处理流程构建和测试日常加载的程序和处理流程60 70 的工作量在数据转换与加载上使用工具 Teradata数据加载实用程序 C Ksh Perl交付项目 数据转换加载设计说明书 数据映射 DataMapping 说明书 数据转换加载脚本 ETLScripts 加载流程控制 ETLProcessControl 数据仓库管理 物理数据模型 数据转换 应用开发 数据挖掘服务 系统体系结构设计 元数据管理 解决方案集成 7 数据抽取转换与加载 ETL 16 主要任务 前端应用体系结构设计OLAP应用设计 Summary Fact表及Cube的产生 前端应用开发 随机查询 预定义报表 OLAP应用 撰写用户使用手册用户测试验收使用工具 查询报表工具OLAP工具 Brio Cognos MicroStrategy 基于Web的开发工具 InterDev ColdFusion 其他开发工具交付项目 前端应用体系结构设计说明书 应用模块设计说明书 用户使用手册 数据仓库管理 物理数据模型 数据转换 应用开发 数据挖掘服务 系统体系结构设计 元数据管理 解决方案集成 8 前端应用开发 17 知识发现和知识应用 找到隐藏在数据背后的信息 并将发现的知识应用于某种目标 主要任务 业务理解和需求理解数据挖掘体系结构设计和技术准备数据理解和数据准备分析建模和模型评估知识应用和知识转移使用工具 TeradataWarehouseMinerSASClementine交付项目 数据挖掘需求说明书 分析模型设计说明书 分析模型及分析过程 数据仓库管理 物理数据模型 数据转换 应用开发 数据挖掘服务 系统体系结构设计 元数据管理 解决方案集成 9 数据挖掘服务 18 Teradata数据挖掘方法论 19 元数据 Metadata 是指关于数据的数据 即用来描述数据的类型 来源 定义 存储位置 使得业务用户可以正确地使用数据仓库 主要任务 定义元数据使用功能设计元数据环境逻辑结构设计元数据环境物理结构选择合适的元数据管理工具建立元数据仓库 MetadataRepository 建立和测试元数据接口使用工具 TeradataMetadataService交付项目 元数据管理说明书 数据仓库管理 物理数据模型 数据转换 应用开发 数据挖掘服务 系统体系结构设计 元数据管理 解决方案集成 10 元数据管理 20 主要任务 设计和开发数据仓库支持体系结构开发和测试数据仓库日常运作流程开发和测试性能监视程序开发和测试数据备份与恢复程序开发和测试安全系统设计和开发操作人员 最终用户培训计划建立用户支持和培训材料使用工具 系统监控工具和管理工具交付项目 数据仓库管理过程说明书 数据备份过程设计说明书 安全管理模块设计说明书 用户培训计划 及 用户使用手册 数据仓库管理 物理数据模型 数据转换 应用开发 数据挖掘服务 系统体系结构设计 元数据管理 解决方案集成 11 数据仓库管理 21 主要任务 建立并执行集成测试计划建立并执行数据仓库平台测试计划建立并执行系统验收测试计划移植开发系统到生产系统执行用户培训计划实施数据仓库管理基础设施项目实施完成回顾项目状态交付项目 数据转换管理系统测试报告 数据访问和信息发布系统测试报告 数据仓库平台测试报告 数据仓库管理过程测试报告 数据仓库管理 物理数据模型 数据转换 应用开发 数据挖掘服务 系统体系结构设计 元数据管理 解决方案集成 12 解决方案集成 验收与运行 22 Methodology 进度 需求 成本 风险 风险 项目 客户期望 NCR业务目标 项目管理环境在客户的期望值和NCR所要达成的业务目标中之间持续进行平衡在需求 进度和成本三者同时制约条件下交付项目成果 数据仓库项目管理 23 方法论本地化 TSM5 0 以TSM5 0为基础 在项目实施过程中总结出9个关