TD员工入职技术培训之Teradata项目实施方法论V课案课件

1、Teradata Trainee Technical Booklets Course 2 Teradatay项目事实方法论By：Yang Ronghua第1页，共23页。技术面业务系统的数据质量历史数据量用户人数应用类型系统维护运行扩展性能投资面使用成本购买成本管理和运行成本故障成本时间面何时能看到成果整体规划度身订制分步实施应用需求面市场开放给竞争者带来的压力客户的需求远景和经营理念业务发展重点主管机关的要求建立数据仓库需要考虑的主要因素第2页，共23页。数据仓库是一个过程，不是一个产品数据仓库建设及成功的关键因素解决业务问题得到领导的支持使用已经证明的 .过程方法学Teradata技术第3

2、页，共23页。?规划解决方案支持数据仓库管理(处理流程与操作)物理数据库设计数据转换应用开发数据挖掘服务设计与实现支持与增强解决方案体系结构设计元数据管理数据仓库评估应用增强逻辑数据模型回顾物理数据库回顾性能调整容量规划解决方案集成定制解决方案规划详细数据分析解决方案准备就绪解决方案实施建议现成解决方案规划数据仓库策略开发业务探索业务探索解决方案定义逻辑数据模型设计修改逻辑数据模型验证解决方案数据仓库的循环过程Teradata数据仓库实施方法论?规划解决方案支持数据仓库管理(处理流程与操作)物理数据库设计数据转换应用开发数据挖掘服务设计与实现支持与增强解决方案体系结构设计元数据管理数据仓库评估

3、应用增强逻辑数据模型回顾物理数据库回顾性能调整容量规划解决方案集成定制解决方案规划详细数据分析解决方案准备就绪解决方案实施建议现成解决方案规划数据仓库策略开发业务探索业务探索解决方案定义逻辑数据模型设计修改逻辑数据模型验证解决方案数据仓库的循环过程第4页，共23页。数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成项目具体实施步骤项目前期准备业务探索信息探索逻辑数据模型项目具体实施步骤1. 项目前期准备2. 业务探索（Business Discovery)3. 信息探索（Information Discovery)4. 逻辑数据模型设计5. 系统体系结构

4、设计6. 物理数据库设计7. 数据转换加载ETL8. 前端应用开发9. 数据挖掘服务10.元数据管理11.数据仓库管理（处理流程与操作）12.解决方案集成（测试验收与试运行）第5页，共23页。1 项目前期准备主要任务： 项目启动会议(Kick-off Meeting) 确认项目范围和主要目标 确认项目阶段性验收及总体验收标准 确认项目实施计划 成立项目组 确定各项目小组的成员及各自的工作职责 确定各项目小组的阶段性工作目标 确定教育训练计划 确定服务流程及方式 交付项目：项目组织机构项目人员组成 项目前期准备业务探索信息探索逻辑数据模型第6页，共23页。2 业务探索主要任务： 确定重点用户与数

5、据源 用户需求调研与确认 数据源确认 用户需求和数据源的筛选和分析 交付项目：业务需求说明书BRL ( Business Requirement List ) 项目前期准备业务探索信息探索逻辑数据模型第7页，共23页。3 信息探索主要任务： 分析用户需求 数据源分析 进行工具评估 系统安全性设计 系统命名规范设计交付项目：功能需求列表FRL ( Function Requirement List )系统安全性设计说明书 系统命名规范说明书数据质量分析项目前期准备业务探索信息探索逻辑数据模型第8页，共23页。4 逻辑数据模型设计主要任务： 进行原始数据分析 建立实体模型 建立实体间依赖关系 完善

6、并填入所有属性 建立数据库逻辑模型 利用工具： ERWin交付项目： 数据仓库逻辑数据模型LDM逻辑数据模型说明书项目前期准备业务探索信息探索逻辑数据模型第9页，共23页。4 逻辑数据模型(LDM)示例第10页，共23页。5 系统体系结构设计主要任务：对业务、技术环境及企业文化的充分了解，从技术、组织、教育和支持等方面对系统进行全面评估定义业务驱动力定义数据仓库成功的关键因素定义数据仓库的实施原则对系统体系结构各个组件进行详细设计交付项目：系统体系结构设计说明书数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第11页，共23页。5 体系结构设计内容用户

7、类型拓扑结构网络存取与互连组织机构安全性数据体系结构逻辑数据模型元数据数据质量命名规范数据采集与转换用户存取及工具备份系统操作管理第12页，共23页。主要任务：转换逻辑数据模型（LDM）为物理数据模型定义主索引、次索引非正规化处理（denormalizations）数据库建立设计优化数据库功能测试使用工具：ERWwin交付项目： 物理数据模型（LDM）物理数据模型说明书数据库描述语言DDL6 物理数据库设计建模方法： 第三范式 3NF 星型结构 雪花状结构数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第13页，共23页。6 物理数据模型（PDM）第1

8、4页，共23页。7 数据转换与加载（ETL）主要任务：数据源及其特性定义数据析取、转换和加载策略设计构建和测试初始加载的程序和处理流程构建和测试日常加载的程序和处理流程40%的工作量在数据转换与加载上使用工具：Teradata数据加载实用程序、C、Ksh、Perl交付项目： 数据转换加载设计说明书数据映射 （Data Mapping）说明书 数据转换加载脚本 （ ETL Scripts) 加载流程控制（ ETL Process Control)数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第15页，共23页。7 数据清洗方法在源系统上进行清洗（数据析

9、取前）在加载服务器上进行清洗（数据析取后、加载前）在数据仓库里进行清洗（数据加载后）源系统ETL服务器数据仓库SQL, C, ShC, ShSQL第16页，共23页。主要任务：前端应用体系结构设计OLAP应用设计(Summary/Fact表及Cub的产生）前端应用开发（随机查询、预定义报表、 OLAP应用）撰写用户使用手册用户测试验收使用工具：查询报表工具OLAP工具（Brio,Cognos,MicroStrategy)基于Web的开发工具(InterDev,ColdFusion)其他开发工具交付项目：前端应用体系结构设计说明书应用模块设计说明书 用户使用手册 8 前端应用开发数据仓库管理物理

10、数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第17页，共23页。9 数据挖掘服务知识发现和知识应用 - 找到隐藏在数据背后的信息，并将发现的知识应用于某种目标主要任务：业务理解和需求理解数据挖掘体系结构设计和技术准备数据理解和数据准备分析建模和模型评估知识应用和知识转移使用工具：Teradata Warehouse MinerSASClementine交付项目： 数据挖掘需求说明书 分析模型设计说明书分析模型及分析过程数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第18页，共23页。10 元数据管理元数据(Metadat

11、a) 是指关于数据的数据，即用来描述数据的类型、来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。 主要任务：定义元数据使用功能设计元数据环境逻辑结构设计元数据环境物理结构选择合适的元数据管理工具建立元数据仓库（Metadata Repository)建立和测试元数据接口使用工具：Teradata Metadata Service交付项目： 元数据管理说明书数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第19页，共23页。10 元数据开发元数据的开发应该包含在数据仓库实施过程的每一步骤中，下图是元数据各部分内容与数据仓库开发过程的对应关系： 第20页，共23页。11 数据仓库管理主要任务：设计和开发数据仓库支持体系结构开发和测试数据仓库日常运作流程开发和测试性能监视程序开发和测试数据备份与恢复程序开发和测试安全系统设计和开发操作人员/最终用户培训计划建立用户支持和培训材料使用工具：系统监控工具和管理工具交付项目：数据仓库管理过程说明书数据备份过程设计说明书安全管理模块设计说明书用户培训计划及用户使用手册数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成第21页，共23页。12 解决方案集成(系统验收与试运行)主要任务：建立并执行集成测试计划建立并执行数据仓库平台测试计划建立并执行