电信数据仓库设计ppt

1、陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 陕西电信综合数据仓库平台陕西电信综合数据仓库平台 总体设计方案总体设计方案 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 议程议程 概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 总体架构总体架构 EDW ODS 数数 据据 总总 线线 ADB 使用使用 人员人员 CIF 语义层语义层 综合综合 统计统计 分析分析 平台平台 E D A CIF CRM计费 业业 务务 及及 管管 理理 系系 统统。数

2、据总线数据总线 业 务 操 作 数 据 客户 资料 业务运 营数据 业务运 营数据 统一经营 数据共享 统一经营 数据共享 业务分 析结果 统计分析数据源 统计分析数据源 统计分析数据源 统计分析数据源 决策信息 业务查询结果 业务分析结果 业 务 操 作 数 据 客户 资料 业务运 营数据 业务运 营数据业务运营数据 业务分析结果 业务分 析结果 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 整体目标整体目标 打破信息孤岛，实现数据共享数据共享，构建企业数据全集企业数据全集 综合统计分析平台的数据支撑综合统计分析平台的数据支撑，建立从数据转换为价值的体 系，让数据发挥

3、出企业核心资源的效用，实现数据的增值， 彻底改善彻底改善IT对于业务的支撑能力，尤其是对分析决策的支持对分析决策的支持 能力能力 提供统一的数据支撑和标准规范的对外接口 统一数据管理，保证数据准确和可追踪管理，支持内控，构 建企业统一的数据管理平台企业统一的数据管理平台 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 系统定位系统定位 按照陕西电信规划模型，整合各业务系统按照陕西电信规划模型，整合各业务系统 的数据，实现企业范围的数据统一视图的数据，实现企业范围的数据统一视图 通过技术和管理手通过技术和管理手 段，实现面向经营段，实现面向经营 分析决策的企业级分析决策的企

4、业级 统一共享的数据管统一共享的数据管 理平台理平台 通过对数据的组织加工，实现从数通过对数据的组织加工，实现从数 据到信息的转变；提供对综合统计据到信息的转变；提供对综合统计 分析平台和其它系统的数据支撑分析平台和其它系统的数据支撑 综合数据仓库平台（综合数据仓库平台（EDW）定位：）定位： 打破信息孤岛，实现数据共享。打破信息孤岛，实现数据共享。 数据支撑与价值提升。数据支撑与价值提升。 构建企业级数据管理平台。构建企业级数据管理平台。 E D A EDW 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 建设范围建设范围 数据范围数据范围：企业级数据整合和组织，以支撑

5、综合 统计分析平台中各主题分析、分析查询、报表统 计等和其它系统的数据需求。 功能范围功能范围：数据组织管理、ETL管理、元数据管 理、数据质量管理、数据整合等。 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 与综合统计分析平台与综合统计分析平台-分工界面分工界面 综综 合合 统统 计计 分分 析析 平平 台台 数数 据据 管管 理理 综综 合合 数数 据据 仓仓 库库 平平 台台 数据整合数据整合 业务应用业务应用 业务分析业务分析 分工界面分工界面 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 议程议程 概述 功能架构 数据架构 ETL架构

6、集成架构 安全架构 平台架构 实施方法论 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 功能架构功能架构 数数 据据 处处 理理 数数 据据 管管 理理 文件完整文件完整 性检验性检验 接口文件接口文件 管理管理 接口文件接口文件 异常处理异常处理 数据数据 获取获取 清洗转换清洗转换 合并合并 细节数据细节数据 生成生成 汇总数据汇总数据 生成生成 数据数据 异常处理异常处理 集市数据集市数据 生成生成 ETL调度调度 和监控和监控 数据数据 备份备份 数据数据 检验检验 数据数据 提供提供 数据模型数据模型 管理管理 元数据元数据 管理管理 数据质量数据质量 管理管

7、理 安全性安全性 管理管理 系统系统 监控监控 系统备份系统备份 和恢复和恢复 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 逻辑架构逻辑架构 综合结算 系统 统一客户 资料 智能网 计费帐务 系统 10000号 手工 录入 数据 数据源 财务系统 综合受理 预 处理 抽取 清洁 转换 装载 ETL-1 细节细节 数据层数据层 汇总汇总 数据层数据层 临时区临时区 错误数据 数 据 仓 库 接 口 数据采集接口 文件格式管理 ETL规则管理 商业 元数据管理 数据仓库 元数据管理 报表 元数据管理 系统监测/告警安全管理日志管理接口管理 元数据 管理 系统管理 统计 报

8、表 立方 体 数据 生成 抽取 转换 汇总 装载 ETL-2 格 式 检 查和 转 换 应用应用 集市层集市层 综合 统计 分析 平台 XX 系统 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 数数 据据 获获 取取 细节数据层 CRM、计费帐务、 结算、10000号、财务等系统 数据文件临时存放区数据文件临时存放区 通知重传通知重传 读取读取 数据格式转换数据格式转换 数据获取数据获取 临时区临时区错误数据错误数据 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 ETL-1 细节数据层细节数据层 汇总汇总 数据层数据层 ETL-2 数据提供模块数

9、据仓库连接控制 数数 据据 整整 合合 元 数 据 系 统 管 理 ETL-1抽取规则 ETL-2抽取规则 ETL-1日志 ETL-2日志 数据仓库元数据 商业元数据 ETL-1/2/3规则管理 ETL-1/2/3日志管理 商业元数据管理 数据仓库元数据查看 ETL-1/2/3过程监控 数据仓库数据访问日志管理 数据仓库数据更新调度管理 数据整合数据整合 临时区 应用集市层应用集市层 ETL-3 ETL-3抽取规则 ETL-3日志 ETL-3 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 抽取数据抽取数据 元 数 据 系 统 管 理 根据转换规则根据转换规则 转换数据转

10、换数据 确定数据格式确定数据格式 按既定方式按既定方式 提供数据提供数据 EDW 网络传送地址及安全数据 数据传送日志 数据抽取、转换规则 传送目录及格式 抽取、转换规则管理 传送格式管理 传送日志管理 传送目录及安全管理 提供的数据 数 据 提 供 数据提供数据提供 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 议程议程 概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 数据分层设计数据分层设计 业务需求的满足从上到 下是分析逐步深入、数 据需求细化的过程 数据处理的过

11、程从下到 上是粒度加粗、更加面 向应用的过程 数据分层是根据数据处 理、需求满足过程的特 点，并考虑系统效率、 数据稳定性而设计的。 应用集市层应用集市层 （高度汇总数据）（高度汇总数据） 业务业务业务业务 数据数据数据数据 业务需求满足的过程 数据处理的过程 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 临时区临时区 以表的形式存放生产系统传送过来的数据以表的形式存放生产系统传送过来的数据 生产系统包括：统一客户资料、综合受理、计费帐务、综合结算、 10000号、财务、IN等 用于进行数据整合的过程处理和异常处理用于进行数据整合的过程处理和异常处理 原则：原则： 采用

12、同生产系统相同的表结构 去掉与分析无关的属性字段 增加时间属性字段 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 细节数据层的主题域细节数据层的主题域 资源资源 产品产品 客户客户 市场营销市场营销 帐务帐务 企业企业 事件事件 供应商供应商/合作伙伴合作伙伴 服务服务 通用通用 实体实体 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 ER概念模型总图概念模型总图 资源资源 市场营销市场营销 产品产品 事件事件 服务服务 帐务帐务 客户客户 企业企业 供应商供应商/ 合作伙伴合作伙伴 企业发起市场营销 客户接受 市场营销 企业提供产品 客户购买产

13、品 客户发起/ 经历事件 营销类事件 产品付费关系 客户指定帐务关系，为产品付费 产品提供 相应服务 客户使用服务 产品类事件 帐务类事件 服务类事件 服务使用 产生帐务 企业提供 服务 服务使用 资源 产品使用 资源企业拥有 资源 供应商提 供资源 企业与 供应商 合作 供应商 帐务 企业帐务 通用实体通用实体 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 细节数据层建模细节数据层建模 数据仓库数据仓库 数据源数据源 陕西规划数据模型陕西规划数据模型 源系统模型 源系统数据分析 陕西电信规划数据模型 适合数据仓库的 主题域 层面 实体 属性 关系 建模原则：建模原则：

14、 去掉与分析无关的实体、属性 将影响效率的竖表（如属性表等） 变为横表 增加时间属性 记录变更历史 增加映射字段或映射表 反正则化处理, 增加冗余信息 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 第三范式（第三范式（ER图）图） 第三范式要求第三范式要求 1、每个属性的值唯一，不具有多义性； 2、每个非主属性必须完全依赖于整个主键，而非主键的一部分； 3、每个非主属性不能依赖于其他关系中的属性，因为这样的话，这种属性 应该归到其他关系中去。 不满足第三范式的举例不满足第三范式的举例 class(class_id, class_name, teacher_id, tea

15、cher_name) 规范化后规范化后 class(class_id, class_name, teacher_id) teacher(teacher_id, teacher_name) 总结总结 确定主键和非主键属性的关系 关注逻辑层面上的实体和关系，不考虑可用性问题 需物化为表后，方可在DW创建、使用 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 反正则化处理反正则化处理 处理方法处理方法 增加冗余列增加冗余列 避免查询时进行表连接操作 增加派生列增加派生列 避免查询时连接和使用聚合函数 重新组表重新组表 提高性能和效率 处理策略处理策略 对订单，增加“市场活动ID

16、” 对产品实例，增加“订单ID” 对话单、帐单，除原有的“产品实例ID”，增加“客户ID” 对话单，增加“帐务周期ID、时段ID、开始时间”等 对客户/用户/帐户，分为当前信息表和历史信息表 对话单、帐单，采用按“业务本地网”分表的方式 对客户，分为“社会属性ID、自然属性ID、消费属性ID” 其它 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 汇总数据层汇总数据层 存放数据存放数据 资料汇总、清单汇总、关联汇总、 宽表等 用途用途 提高性能，防止大量的细节数据访 问 数据沉淀，粒度较粗的数据可以保 存更长时间 承上启下，连接数据驱动的3NF细节 数据和需求驱动的Sta

17、r-Schema数据 原则原则 将客户基础资料变更的时间粒度增 粗 对清单/帐单类数据在客户/用户/帐 户级别上汇总 对经常使用的关联操作，提前进行 关联汇总，以表的形式存放 单条记录包括用户基本信息、产品 选择和使用量、费用信息，方便业 务人员使用 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 应用集市层应用集市层 以多维模型、宽表、3NF等方式存放高度汇总数 据 直接支持前端分析应用 应用集市设立的原则： 按相同处理功能：如KPI集市、报表集市等 按业务分析主题：如市场竞争集市、市场营销集市等 按特定分析目的：如数据挖掘集市、收入保障集市等 其它 陕 西 省 电 信

18、 有 限 公 司陕 西 省 电 信 有 限 公 司 雪花模式雪花模式 是对星型模式的扩展（维度） 日期、地区等多层次的维度均可类似扩展 业务量事实表 PK,FK3 呼呼叫叫类类型型 PK,FK2 对对端端类类型型 PK,FK1 长长途途类类型型 PK,FK4 日日期期 通话时长 计费时长 通话次数 通话费 长途费 优惠费 呼叫类型维表 PK呼呼叫叫类类型型 呼叫类型描述 长途类型维表 PK长长途途类类型型 费率 长途类型描述 对端类型维表 PK对对端端类类型型 对端类型描述 日期维表 PK日日期期 日 月份 季度 年份 FK1节日 日期描述 节日维表 PK节节日日 节日类型 庆贺形式 FK1民

19、族 节日描述 民族维表 PK民民族族 名称 聚居地 喜好 禁忌 描述 优点：在每个维中最小的数据冗余；增加建模的灵活性（维层次 结构可以增加，无需改变事实表）；对复杂的维是非常有用的 缺点：复杂的查询，包含很多连接；性能可能会较差 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 星型模式星型模式 优点：强调容易使用和性能；消除或降低雪花模型的缺点 不足：数据准备慢，随业务变化的能力差 一种多维的数据关系，由一个事实表和一组维表组成。 每个维表表达一个维度维度，所有维度字段组成事实表的复合主键。 事实表的非主属性称为事实事实，都是汇总出来的数值型数据。维大都是 文字、时间等

20、类型的数据 业业务务量量事事实实表表 PK,FK3 呼呼叫叫类类型型 PK,FK2 对对端端类类型型 PK,FK1 长长途途类类型型 PK,FK4 日日期期 通通话话时时长长 计计费费时时长长 通通话话次次数数 通通话话费费 长长途途费费 优优惠惠费费 呼叫类型维表 PK呼呼叫叫类类型型 呼呼叫叫类类型型描描述述 长途类型维表 PK长长途途类类型型 长长途途类类型型描描述述 对端类型维表 PK对对端端类类型型 对对端端类类型型描描述述 日期维表 PK日日期期 日期描述 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 平衡星型和雪花的方法平衡星型和雪花的方法 Store S

21、ales Time Product Customer 对仅牵涉到简单的单层 维度的事实表，采用星 型模式 对牵涉到多层维度但纬 度深度仅在一个方向增 加的事实表，采用星型 模式；在纬度深度超过 3层的情况下，采用雪 花模式 对牵涉到多层维度且纬 度深度在多个方向增加 的事实表，采用星型和 雪花混合模式 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 应用集市层建模应用集市层建模 需求建模需求建模 时间变化建模 MDDM模型优化和增强 容量估计 确定维度、指标 建立事实和维 R-OLAP 设计优化 多维模型多维模型 业务分析模型业务分析模型 面向过程的需求 面向信息的需求

22、用户需求用户需求 数据仓库模型数据仓库模型 Store Sales Time Product Customer 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 议程议程 概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 ETL架构与流程架构与流程 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 根据业务和数据情况，采用不同的数据整合路线根据业务和数据情况，采用不同的数据整合路线 应用集市层应用集市层 T1 F1 S1 T2 D1 F2 S2 业务业务

23、数据数据 数据建模数据建模 数据建模数据建模 数据建模数据建模 数据建模数据建模 D2 “急用先行”ETL DW正常ETL 数据建模 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 DFD顶层图顶层图 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 数据抽取策略数据抽取策略 源源 数数 据据 分分 类类 方方 式式 数据数据 操作操作 分类分类数据特征数据特征主要数据内容主要数据内容 流水型增长（INSERT） 数据按增量方式产生，不 涉及对已有数据的更新操 作 清单、帐单、定 单等 变化更新（UPDATE）对已有数据进行更新资源配置信息等 两者结合

24、 （INSERT/DELETE+UPDATE） 按增量方式产生新数据的 同时，还对已有数据进行 更新 客服记录等 数据数据 量量 大清单、帐单等 相对较小 资源管理、系统 管理类数据 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 数据清理过程数据清理过程 数据分析和业务逻辑理解数据分析和业务逻辑理解 通过通过ETL过程进行数据整合过程进行数据整合 错误数据反馈回业务系统错误数据反馈回业务系统 业务系统数据问题整改业务系统数据问题整改 分析数据源 理解业务规则 格式处理 、统一编码 字段取舍和上下文处理 数据校验和稽核 对问题数据导出： a、数据重复 b、属性值错误 c、

25、数据不一致 数据质量的管控 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 数据整合原则数据整合原则 “基础资料（三户、产品实例等）基础资料（三户、产品实例等）”的统一的统一 确定主系统、数据流向和逻辑关系 以统一客户资料为准 对计费帐务、综合结算、10000号、IN等系统的基础资料进行整合 系统冗余数据的处理：以主系统为主，其它系统做为补充，按照数据流向和逻辑关系 进行整合，确保数据的一致性和完整性 “产品、商品产品、商品”等关键业务编码的统一等关键业务编码的统一 以综合受理为准 对各系统的业务编码域标准编码之间进行映射 “产品实例到达数、计费时长产品实例到达数、计费时

26、长”等统计指标的统一等统计指标的统一 统一统计指标的含义、单位、周期、统计方法等 建立不同主题域之间的关联关系建立不同主题域之间的关联关系 建立不同域之间的关联关系，如客户域与产品域、事件域、帐务域、资源域、市场营 销域等之间的关联关系 业务系统的中间汇总结果会纳入综合数据仓库平台，用于快速支持分析应用的开 发和进行数据稽核。 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 ETL开发开发 创建Repository 创建Project 创建Data Store 创建Job 创建Data Flow 创建Work Flow Job部署 Job执行 运行监控 Repositor

27、y Project：XX平台 Job执行 Job部署 运行监控 Project：综合数据仓库平台 Data Store：源和目标定义 计费帐务/统一客户资料 EDW Job1：用户整合 Work Flow1：用户清洗转换 Data Flow1：用户清洗 Data Flow2：用户转换 Work Flow2：记录合并 Job2：产品整合 Data Flow：产品整合 示例：示例： 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 ETL开发考虑的几个方面开发考虑的几个方面 文件接口格式的统一制订与正确性校验文件接口格式的统一制订与正确性校验 采用增量、全量等灵活的抽取时机与策

28、略，减少对业务系统采用增量、全量等灵活的抽取时机与策略，减少对业务系统 的影响的影响 分段并行处理，提高系统性能分段并行处理，提高系统性能 负载均衡，提高可靠性和系统性能负载均衡，提高可靠性和系统性能 合理合理ETLETL在专业工具和数据库之间的分配，大数据量汇总利用在专业工具和数据库之间的分配，大数据量汇总利用 数据库性能数据库性能 合理设计合理设计ETLETL时机和策略，确保数据产生的准时性和可用性时机和策略，确保数据产生的准时性和可用性 统一的统一的ETLETL流程调度、监控和维护，实现流程调度、监控和维护，实现ETLETL的集中管理的集中管理 陕 西 省 电 信 有 限 公 司陕 西

29、省 电 信 有 限 公 司 数据质量原则数据质量原则 完整性完整性：对一个业务，一个客户，一个产品，一个营销活动，一个客户 的性质等进行缺失考察。 有效性有效性：数据包含了一个有效的数据格式或值 一致性一致性：数据仓库系统内数据定义的统一、口径的一致性 唯一性唯一性：经营分析系统数据定义的唯一性 正确性正确性：ETL过程正确性/加工过程正确性/数据整合正确性/模型正确性/ 展现正确性/查询正确性/核对过程是否充分 准确性准确性：在准确性基础上的精度和近似规则 可用性可用性：主要体现在使用的效率上 时效性时效性：能够按照业务需求集市产生所需的数据 清晰性清晰性：清晰定义每一个数据的来龙去脉，没有

30、歧义。 充足性充足性：在保证数据正确性和准确性基础上是否能对主要业务专题提供 足够的数据进行足够精度的分析需求 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 数据质量保障数据质量保障 汇总数据层汇总数据层 应用集市层应用集市层 细节数据层细节数据层 临时区临时区 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 议程议程 概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 集成架构集成架构 综合数据仓库平台（综合数据仓库平台（EDWEDW） 统一数据仓库

31、平台统一数据仓库平台 BSSBSS业务系统业务系统 ADBADB MSSMSS业务系统业务系统 ADBADB OSSOSS业务系统系统业务系统系统 ADBADB ETLETL 数据数据ETL ETL 业务系统业务系统 EAIEAI平台 平台/ /数据接口数据接口 综合统计分析平台综合统计分析平台 元数据管理ETL管理数据质量管理 数据提供 其它应用其它应用 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 议程议程 概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 数据仓库的

32、安全控制类型数据仓库的安全控制类型 业务用户业务用户 CCRC Intranet 用户界面用户界面 CCRC Intranet 安全检查安全检查 中间信息服务系统中间信息服务系统 相应的用户访问和存取权限检查相应的用户访问和存取权限检查 Web权限权限 Brio Server用户权限用户权限 Prop服务接口用户权限服务接口用户权限 Teradata 数据库数据库 用户必须是合法的用户必须是合法的Teradata用户用户 用户必须拥有数据库和视图的存取权限用户必须拥有数据库和视图的存取权限 Teradata审计跟踪审计跟踪 对于关键数据的存取，如帐户资料表，系对于关键数据的存取，如帐户资料表，

33、系 统记录用户对这些表的使用情况。统记录用户对这些表的使用情况。 业务用户业务用户 CCRC Intranet 用户界面用户界面 CCRC Intranet 安全检查安全检查 中间信息服务系统中间信息服务系统 相应的用户访问和存取权限检查相应的用户访问和存取权限检查 Web权限权限 Brio Server用户权限用户权限 Prop服务接口用户权限服务接口用户权限 Teradata 数据库数据库 用户必须是合法的用户必须是合法的Teradata用户用户 用户必须拥有数据库和视图的存取权限用户必须拥有数据库和视图的存取权限 Teradata审计跟踪审计跟踪 对于关键数据的存取，如帐户资料表，系对于

34、关键数据的存取，如帐户资料表，系 统记录用户对这些表的使用情况。统记录用户对这些表的使用情况。 Intranet Web 权限权限 AP服务权限服务权限 用户用户 IBM DB2 IBM DB2 IBM DB2 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 用户分组授权用户分组授权 数数据据库库表表数数据据库库视视图图用用户户组组用用户户数数据据库库表表数数据据库库视视图图用用户户组组用用户户 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 访问角色与安全模型访问角色与安全模型 获取增、删、改权限获取增、删、改权限 查询数据库查询数据库 修改数据库

35、修改数据库 表数据库表数据库 修改用户组修改用户组 修改用户修改用户1修改用户修改用户2 查询用户组查询用户组 访问用户访问用户1访问用户访问用户2 维护用户组维护用户组 维护用户维护用户1维护用户维护用户2 查询请求查询请求 增、删、改请求增、删、改请求 获取查询权限获取查询权限 查询请求查询请求 创建、删除表；备份与恢复创建、删除表；备份与恢复 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 议程议程 概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 物理拓扑图物理拓扑

36、图 存储 综合数据仓库平台综合数据仓库平台 DCN网络网络 SAN交换机 SAN交换机 各地市各地市各地市各地市 数据库服务器ETL/OLAP服务器BOE服务器 WEB 服务器 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 DI软件架构软件架构 设计器设计器 (Windows) 元数据报告元数据报告 (Web) 管理器管理器 (Web) 资料库资料库 作业服务器作业服务器 (Unix) 引擎引擎 访问服务器访问服务器 (Unix) 实时服务实时服务 本地资料库本地资料库1本地资料库本地资料库2本地资料库本地资料库n 中央资料库中央资料库测试资料库测试资料库 生产资料库生

37、产资料库 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 DI软件部署软件部署 DI服务器 (Job Server) Local Repository C e n t r a l Repository 项目组1开发客户端项目组2开发客户端项目组3开发客户端 Job ServerJob ServerJob Server Repository DB 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 DI的统一管理及开发的统一管理及开发 本地 资料库 测试 资料库 中央 资料库 生产 资料库 1. 开发者Check Out 2. 开发者Check In 3.

38、 管理者Check Out, 进行测试 4. 测试通过，管理者Check Out， 部署生产 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 BOE+EPM软件架构软件架构 ADBODS 数据源数据源 综合数据仓库平台 安全服务调度和预警服 务 元数据存取服务 发布和分发服务缓存和失效切换服务 审核服务指标管理引擎协作服务系统管理服务业务规则和指标管理 J2EE SDK.NET SDK Web Services WEB服服 务层务层 平台平台 服务层服务层 (BOE) 数据数据 获取层获取层 Universe OLAP Server 企业仪表盘 DashBoard 即席查

39、询 WebI 企业报表 CR 预警预测 EPM OLAP分析 OLAPI 展现层展现层 综合统计分析应用其它应用 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 BOE+EPM软件部署软件部署 BO服务器1（主） BO服务器2（备） J2EE服务器1 J2EE服务器2 BO Repository EPM Repository BO服务器集群J2EE服务器集群 CR客户端客户端 （Administrator） （Designer） 分析应用门户（IE） 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 BOE部署架构部署架构 BI Platform: S

40、erver 2BI Platform: Server 1 System repository Audit repository Web服务器服务器 Web 连接器 应用服务器应用服务器 Web 组件接口 安全服务 调度和预警 服务 元数据存取服务 发布和分发服 务 缓存和失效切换 服务 审核服务指标管理引擎协作服务 系统管理服务业务规则和指标 管理 发布和分发服 务 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 BOE+EPM的统一管理及开发的统一管理及开发 综合统计分析平台的 工作目录 XX平台 的工作目录 XX平台 的工作目录 统一的语义层及统一的语义层及 工作目录

41、管理工作目录管理 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 综合数据仓库平台涉及的规范综合数据仓库平台涉及的规范 命名规范 与源系统的接口规范 ETL开发规范 数据质量规范 数据提供规范 系统测试规范 数据仓库管理规范 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 主机配置主机配置 类型类型配置配置软件软件说明说明 数据库主机 2*Superdome 每台8CPU、32G RAM IBM DB2 8.2 两台主机组成一个集群；每台 主机上 由8个DB2节点，两台共16个节 点。 ETL主机 1*Superdome 8CPU、32G RAM B

42、O DI XI ETL主机和OLAP主机互为热备 OLAP主机 1*Superdome 8CPU、32G RAM Hyperion Essbase BOE主机 2*PC Server 每台2CPU、4GRAM BOE由BO软件实现负载均衡 WEB SERVER和其它系统共享IBM WebSphere 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 存储与备份存储与备份 存储类型存储类型容量容量说明说明 数据库空间10.5T2T RAID0+1,其余RAID5 ETL空间0.9TRAID5 OLAP空间0.6TRAID5 存储总计：存储总计：12T12T在SAN上进行存储划

43、分；能够确保131月的存储 备份容量 = 存储容量*4 = 12T*4 = 48T 能够确保： 两次综合数据仓库平台全备份 最少四次综合数据仓库平台增量备份 最少二次数据集市、多维数据库（OLAP）全备份 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 议程议程 概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 MPDS在本项目中的应用：在本项目中的应用： 从管控、业务、数据和系统四个维度,考虑如何促进IT系统由产品为中心向客户为中心的转变 CRM计费帐务MSS综合结算ED

44、W M_管控模式 P_业务流程 D_数据 S_系统 . 管理驱动:后期引入 业务驱动:主要驱动力 数据驱动:建设过程中的重要因素 系统驱动:系统规划阶段的主要因素 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 分析操作互动 全面精确管理 整合关键视图 展现整合信息 完善分析应用 完整企业视图 分解分解 1. 构建陕西EDA统一模型 2. 整合经营分析数据，构建企业级数据仓库 3. 初步建立数据仓库平台管理机制及相应应 用 1. 构建数据组织管理平台 2. ETL应用及调度应用 3. 信息整合应用 4. 业务应用：全力配合综合统计分析平台，实现 综合统计分析平台的主题分析

45、、统计报表、查询 等； 1. 公用数据管理平台搭建 2. 系统架构 3. ETL规则、流程与调度 1. 增加元数据管理 2. 提供数据挖掘的支撑功能 3. 完善数据管理监控平台功能 4. 完善ETL、OLAP应用 1. 系统、存储评估与升级 2. 和操作性系统交互 1. 结合陕西EDA统一数据模型完善数据源， 逐步纳入其它域，如资源域、服务域等的 数据 2. 支撑数据挖掘的数据需求 3. 初步构建企业数据仓库 4. 完善数据仓库平台管理及相关应用 1. 支撑数据挖掘专题的深化、支撑全部跨 部门、跨专业的综合分析 2. 建立完备的元数据管理、数据质量管理、 ETL调度管理等一系列数据仓库平台的应

46、用， 并建立完备的数据管理办法 1. 交互接口实现 2. 数据仓库上的应用模块构建 3. 管控流程的任务流机制实现 1. 有效降低营销成本，通过专题分析减 少客户流失、寻找商机、提升企业价值 2. 完善数据仓库平台所有数据源，构建 企业级数据仓库 3. 建立完备的元数据管理、数据质量管 理、ETL调度管理等一系列数据仓库平 台的应用，并建立完备的数据管理办法 1. 陕西电信企业数据模型在EDW的落实 2. ETL业务规则 3. 数据准备和质量管控 1. 数据质量日常管控 2. 定期经营分析报告制度 3. 专业分析队伍建立 4. 分析应用流程评估和固化 1. 评估管控分析操作互动应用 2. 企业

47、绩效指标体系管控 3. 定制化运营的管控 1. 数据主要是客户类、产品类、帐务类、财务 类、营销收益等相关数据 2. 客户、产品、帐务、财务、营销收益等相关 数据清理，保证基本准确度 3. 初步完善指标口径 1. 客户、产品、帐务相关数据清理，提高准 确度 2. 完善财务类、市场营销类、收入类数据 3. 增加事件类、投资与资源、服务类等相关 数据 4. 完善指标口径 1. 客户、产品、帐务相关数据清理，完 全保证数据准确度 2. 继续完善的数据主要是与财务、资源 类相关数据 3. 增加运维类、人力资源类数据 目标目标 建设目标建设目标 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有

48、限 公 司 业务驱动和数据驱动相结合的建设方式业务驱动和数据驱动相结合的建设方式 采用“统一规划、分布实施”的建设模式。 业业 务务 数数 据据 DemandSupply 自顶向下自顶向下 需求定义需求定义 Phase DM Enterprise DM 自底向上自底向上 源系统分析源系统分析 差距分析差距分析 - Prioritize and Plan Phases Scoping Study & Operational Change DW技术架构定义技术架构定义 Implement 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 1. 项目启动 2. 需求分析 3. 源

49、系统数据调研 4. 逻辑设计 5. 系统总体设计 6. 物理数据库设计 7. 数据转换加载ETL 8. 元数据管理 9. 数据仓库管理 10.系统部署上线 项目具体实施步骤 数据仓库管理 物理数据模型 数据转换 系 统 总 体 设 计 元 数 据 管 理 系 统 部 署 上 线 项目具体实施步骤 项 目 启 动 源系统 数据调研 逻辑设计 需求分析 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 主要任务：主要任务： 项目启动会议 确认项目主要目标 确认项目实施计划 成立项目组 确定各项目小组的成员及各自的工作职责 确定各项目小组的阶段性工作目标 交付项目：交付项目： 项

50、目进度计划 项 目 启 动 需求分析 源系统 数据调研 逻辑设计 1 项目启动 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 主要任务：主要任务： 确定重点用户与数据源 用户需求调研与确认 数据源确认 用户需求和数据源的分析 交付项目：交付项目： 需求规格说明书 项 目 启 动 需求分析 源系统 数据调研 逻辑设计 2 需求分析 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 主要任务：主要任务： 数据源分析 数据量分析 数据结构分析 数据质量分析 数据更新分析 交付项目：交付项目： 源系统数据调研说明书 项 目 启 动 需求分析 源系统 数据调研

51、 逻辑设计 3 源系统数据调研 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 主要任务：主要任务： 对业务、技术环境及企业文化的充分了解，从 技术、组织、教育和支持等方面对系统进行全 面评估 定义业务驱动力 定义数据仓库成功的关键因素 定义数据仓库的实施原则 对系统体系结构各个组件进行详细设计 建立系统测试方案 交付项目：交付项目： 系统总体设计说明书 1. 系统测试方案 数据仓库管理 物理数据 模型 数据转换 系 统 总 体 设 计 元 数 据 管 理 系 统 部 署 上 线 4 系统总体设计 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 主要

52、任务：主要任务： 进行原始数据分析 建立实体模型 建立实体间依赖关系 完善并填入所有属性 建立数据库逻辑模型 DFD 利用工具：利用工具： Oracle Designer 交付项目：交付项目： 数据仓库逻辑数据模型LDM，即ER图 逻辑数据模型说明书 DFD 项 目 前 期 准 备 需求分析 源系统 数据调研 逻辑设计 5 逻辑设计 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 主要任务：主要任务： 转换逻辑数据模型（LDM）为物理数据模型 定义索引 反正则化处理（Denormalizations） 数据库建立 设计优化 备份和恢复设计 使用工具：使用工具： Oracl

53、e Designer 交付项目：交付项目： 物理数据模型（PDM） 物理数据模型说明书 数据库描述语言DDL 备份和恢复方案 建模方法：建模方法： 第三范式 3NF 星型结构 雪花状结构 6 物理数据库设计 数据仓库管理 物理数据 模型 数据转换 系 统 总 体 设 计 元 数 据 管 理 系 统 部 署 上 线 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司 主要任务：主要任务： 数据源及其特性定义 源系统数据接口定义和协调 数据析取、转换和加载策略设计 构建和测试初始加载的程序和处理流程 构建和测试日常加载的程序和处理流程 交付项目：交付项目： 源系统数据接口方案 数据转换加载设计说明书 数据转换加载脚本 （ETL Scripts） 流程控制（ Process Control） 7 数据抽取转换与加载