仓库管理_数据仓库体系培训课件

数据仓库体系培训 2 主题 数据仓库体系规划 数据仓库实施方法论 Q A 3 数据仓库规划步骤 3 现状分析 体系规划 实施路线 基础数据平台与分析型系统现状总结银行现有数据仓库体系差距 规划数据仓库系统总体技术方案蓝图制定相关管理制度与工作流程 规划数据仓库体系分阶段落地方案与实施路线图 指导方针承前启后 着重考虑对前期工作的承接和规划成果的落地实施敦本务实 实施公司 同业经验与银行实际相结合远近兼顾 立足长远与满足当前需求相结合 4 数据仓库典型体系架构 星型 EDW SASB YHT CMS PMS 调度软件 Control M Automation ETL PLUS 前端软件 管控平台 DM 信用卡集市 DM 信贷集市 DM 风险管理集市 DM 前端软件 前端软件 前端软件 5 数据仓库典型体系架构 集中型 EDW SASB YHT CMS PMS 调度软件 Control M Automation ETL PLUS ETL软件 Powercenter Datastage 文本脚本 前端软件 BIEE Congnus BO Microstrategy DB TD DB2 Oracle 缓冲层 模型层 汇总层 集市层 管控平台 6 数据仓库典型体系架构 混合型 EDW SASB YHT CMS PMS 调度软件 Control M Automation ETL PLUS ETL软件 Powercenter Datastage 文本脚本 前端软件 BIEE Congnus BO Microstrategy DB TD DB2 Oracle 缓冲层 模型层 汇总层 集市层 管控平台 库外集市 库外集市 7 数据仓库体系规划 从数据体系 技术体系 应用体系 运维体系和管控体系五个方面阐述数据仓库规划 8 BI环境内的数据架构 不同层次应用场景 9 审计 风险管理等需要未经加工的业务原始数据源数据质量检查规则 常规报告 应用用户 决策用户会访问特定应用 业务人员通过设定业务检查规则来明确模型可用性业务部门人员多数需要常规报表供日常呈报 业务人员参考整合规则来验证业务正确性POWERUSER通常需要访问第二层对数据进行深入分析 ODS EDW特点比较 ODS 与源系统保持一致基本不进行转换和整合当前最新数据EDW 第三范式模型进行数据整合和转换当前数据和历史数据 ODS 状态类数据保存当前最新数据日志类数据保存3个月针对及其特殊的需要可以考虑对数据保留一定时间段的历史EDW 一般最长在线保存7年 事件类数据在线保留时间会短一些 13个月左右 ODS 全部源系统不重复保存已经入EDW的Event类数据EDW 全部源系统的原始细节数据 不接入派生和汇总数据 ODS 时效性要求高的不需要需历史数据需要访问最始数据 审计 稽核类 的应用EDW 模型区时效性可以满足要求的需要访问历史数据的基于多个系统整合数据的不是必须访问原始数据的应用 数据模型 数据接入 数据存储 数据应用 ODS特点面向数据的非集成的易变的当前数据的详细的 EDW特点面向主题的集成的稳定的随时间变化的详细的 EDW OLTP1 OLTP2 OLTP3 任务的连续性 ODS EDW价值和定位 ODS 最佳数据架构 ODS和EDW是互为补充的 12 ODS层模型 偏源系统模型部分数据保留全量少量数据保留短暂历史 简单处理不考虑整合考虑保留策略 基础层模型VS 汇总层模型 应用集市层模型 15 数据仓库体系规划 从数据体系 技术体系 应用体系 运维体系和管控体系五个方面阐述数据仓库规划 统一数据交换 16 统一调度架构 17 统一监控架构 18 统一信息发布 统一信息发布定位 统一信息发布平台定位为广发银行数据仓库体系的展现平台 用于展现银行的基础数据平台及所有分析型应用资源 分析型应用资源的集成包含前端界面的整合和各应用后台数据及权限的整合 19 登录首页公告 页面调用功能分析型应用集成 角色管理授权管理 系统管理 日志管理会话管理 应用模式 固定报表即席查询数据挖掘 用户身份管理统一认证单点登录安全审计 认证管理 统一信息发布内容 统一入口 权限管理 应用集成 统一数据管控架构 20 元数据管理 数据标准管理 数据质量管理 影响分析 血缘分析 代码标准落地 提供检核对象 定位检核问题 检核指标存储 提供映射源 数据标准存储 数据标准信息模型 数据标准文档 提供检核规则 提供检核问题 检核规则 指标模型 源系统 源系统 源系统 ETL Stage FDM ADM 数据平台 应用系统 元数据 元数据 元数据 业务元数据 操作元数据 技术元数据 综合信息服务管理 数据标准需求 数据质量需求 元数据需求 银行业务需求 21 数据仓库体系规划 应用体系应用主题 应用模式 应用方案 实施规划 数据体系数据架构 ODS 基础层 汇总层 集市层 技术体系统一交换 统一监控 统一调度 统一发布 统一管控 运维体系数据存储 数据质量 元数据 安全 组织架构管控体系 组织架构 管控流程 管控内容管控体系 从数据体系 技术体系 应用体系 运维体系和管控体系五个方面阐述数据仓库规划 国内银行商业智能应用 客户管理 支持国内银行的数据仓库应用种类超过40余个 主要分布如下 运营管理 风险管理 财务管理 信息管理 客户信息管理系统 CIM 分析型客户关系管理系统 ACRM 操作型客户关系管理 OCRM 个人积分计算客户贡献度计算 模型客户流失概率模型 客户聚类细分模型产品购买关联度模型 业务统计分析信用卡分析渠道分析 中间业务分析 平衡计分卡经营指标快报 KPIDashboard 利润贡献度 客户经理绩效考核产品绩效分析 1104监管报表人行反洗钱人行征信 非现场稽核五级分类数据加工内部评级法 定价系统客户违约概率模型信用卡申请评分模型 资本充足率资产负债管理关联交易应用支持 人行集中金融统计内部财务信息分析管理会计 数据标准企业数据架构 数据质量管理元数据管理 Metadata 数据访问安全管理 23 常见的应用模式及其演变发展 报表发生什么事情 预定义报表 操作智能是决策智能向业务系统和流程的延伸 业务需求 分析和应用模式的关系 挖掘模型 用途 提供日常业务管理统计 辅助发现业务发展趋势 场景 客户分布发生变化或者某项业务趋势呈现异常 转而使用其他分析手段 以 客户交易金额和笔数分布发生变化 为例 用途 提供解决那些无法预先定义的查询分析需求以及查找问题时的详细钻取 场景 客户交易金额和笔数分布发生变化 的详细分析 比如 哪些客户的哪些交易有了变化 是交易种类 金额 笔数还是交易场所 这些客户的特征是怎样的 他们在我行持有的产品分布如何 用途 数据挖掘通过模式识别与数学模型技术从数据仓库中的大量明细数据中发现隐藏的模式与趋势 场景 经过随机分析发现那些属于 交易金额和笔数分布发生变化 的客户群中发现部分客户最近有销户或者已经很长时间不发生往来的倾向 因此需要利用 客户流失模型 进行评分 结合 客户等级 确定需要进行挽留的客户名单 用途 支持综合 复杂业务逻辑的应用 提供前端的用户使用界面 场景 设计营销活动进行客户挽留 输入该营销活动的 执行策略 日期 预计成本 以及具体的 沟通计划 和 渠道使用规则 等信息 上述各模式的使用顺序与逻辑仅是示例 依赖于具体的使用场景 应用系统 分析人员 应用规划考虑维度 IT部门除了考虑数据质量 数据可用性 投资预算规模之外 更重要的是考虑应用实施能否满足业务用户目前收益心理预期等因素 要想的大 全面 具体 全局观 数据仓库建设规划 要分步骤进行实施 起步从小做起 不同业务部门对业务应用的优先度要求不同 必须综合考虑不同部门对业务应用的策略价值和投资回报评价 形成初步的规划后 再经数据仓库管理委员会讨论确定 数据仓库建设规划 通常从以下三个方面进行评估 实施难度 IT部门评估策略价值 决策层评估投资回报 应用部门评估 实施路线规划 27 数据仓库体系规划 应用体系应用主题 应用模式 应用方案 实施规划 数据体系数据架构 ODS 基础层 汇总层 集市层 技术体系统一交换 统一监控 统一调度 统一发布 统一管控 运维体系数据存储 数据质量 元数据 安全 组织架构管控体系 组织架构 管控流程 管控内容管控体系 从数据体系 技术体系 应用体系 运维体系和管控体系五个方面阐述数据仓库规划 运维体系规划 从现有的经验看 数据仓库体系的运行维护主要是通过合理的组织架构 制定易于执行的运维管理流程和规范 通过完善的管理工具 对系统监控 问题处理 系统变更等常规问题进行系统化的处理 并在知识库中予以记录 日常监控 变更管理 问题处理 容量规划 备份恢复 需求管理 服务水平 组织架构 管理工具 主管部门技术支持部门生产运行部门数据支持部门资源管理部门 资源监控服务监控应用监控 运行性问题非运行性问题 变更规范变更流程 设计原则备份内容备份策略备份管理 技术缓冲层整合模型层共性加工层应用集市层 制定SLA标准落实标准周期性考核 数据标准管理平台元数据管理平台数据质量管理平台综合信息服务平台问题管理系统 项目需求临时数据类需求 组织架构 日常监控 问题处理 变更管理 备份恢复 容量规划 服务水平 管理工具 需求管理 运行维护规划 系统安全管理 29 系统安全管理综述 鉴于数据仓库中数据的商业性和保密性 需要一个安全的系统来加强数据仓库管理服务 在保证数据安全的基础上 提高数据仓库运作效率和准确性 数据安全保证需要从技术和管理两个层面实现 技术层面主要是通过技术手段保证系统的安全 管理层面主要系统的安全策略由安全处理流程和安全制度组成 通过定义安全需求 同时定义处理流程和规章制度以满足这些需求 数据安全 系统安全 30 数据仓库体系规划 应用体系应用主题 应用模式 应用方案 实施规划 数据体系数据架构 ODS 基础层 汇总层 集市层 技术体系统一交换 统一监控 统一调度 统一发布 统一管控 运维体系数据存储 数据质量 元数据 安全 组织架构管控体系 组织架构 管控流程 管控内容管控体系 从数据体系 技术体系 应用体系 运维体系和管控体系五个方面阐述数据仓库规划 数据管控核心要素 数据管控核心组成部分 通过建立相应的数据管控组织架构 梳理完善的管控工作流程 通过系统工具支撑日常工作 使数据管控治理工作能够落到实处 全面提升银行数据运用水平和数据质量 数据标准管理组织架构和职责 负责制定数据标准化工作计划 负责数据标准制定 评审 发布 执行 变更 复审等工作的具体组织与协调 负责数据标准执行情况的监督检查 协助制定数据标准化工作计划 负责IT系统开发流程中标准核检工作 协助数据标准执行情况的监督检查 负责数据标准管理平台的日常运营和维护 用户设置与管理 负责标准版本在平台上的发布 各业务部门标准管理员负责本部门数据标准相关需求的收集 整理 并在需求管理平台提交数据标准新增 变更需求 计划财务部数据标准专员根据收集到的标准需求 牵头开展定制相关标准 评审标准和审核落地计划等工作 信息技术部在日常软件开发流程以及变更流程中根据实际情况协助将标准进行落地 数据标准制定流程 标准提出方 分行 总行部门 数据标准管理员 业务部门 数据标准管理专员 计划财务部 数据标准平台管理员 计划财务部 标准新增 变更需求 是否提交 组织相关人员评审标准 标准提出 需求审批 标准评审 标准发布 岗位 职责 比对现有标准 否 是 数据标准咨询项目组 收集标准需求 组织标准可行性 必要性评审 是否通过 否 建立 变更数据标准 制定标准 是 牵头申请标准立项 制定工作计划 是否通过 结束需求 否 是 标准发布 说明 是否立项 是 否 建立 变更数据标准 数据管控系统界面 标准管理系统 标准浏览 八大类信息项 目录树 产品分类 映射到PMS中INDV BASC NFO的EDU LEVEL 学历标准代码 小类信息项 明细信息项 标准与系统映射 映射到具体字段 元数据管理系统 数据字典浏览 选择具体系统 选择具体表 查看卡状态代码 是否代码字段 为1 表示有代码注释 数据质量管理系统 检核规则 检核结果 质量分析 检核字段 OPERATERID记录总数 3397问题总数 285 检核字段 COLNUMBER检核类型 非空 检核频度 规则基本属性 规则扩展属性 指标趋势分析 非空问题 31 长度问题 31 一致性问题 38 趋势分析 问题数 3 问题数 7 类型分析 检核对象 规则定义 报警渠道 38 主题 数据仓库体系规划 数据仓库实施方法论 Q A 需求分析 系统设计 开发与测试 上线与维护 企业基础数据平台项目实施方法论 业务调研 业务访谈 业务需求编写 业务需求分析 信息调研 应用概要设计 应用详细设计 应用模型设计 应用设计 应用开发 逻辑模型设计 物理模型设计 系统体系架构设计 ETL开发 系统测试 投产试运行 系统管理运维 数据访问服务 数据管控 元数据 数据质量 数据标准 数据需求 项目管理 项目前期准备 项目结束回顾 项目启动会议确认项目范围与目标确认项目实施计划确定工作小成员职责确定工作小组阶段性目标工作场地与环境准备项目管理规范准备 圈定调研业务部门准备业务访谈与调研计划策略性规划应用系统确定系统重点用户业务需求调研与分析源系统调研与分析样本数据质量分析数据缺口分析 建立实体模型逻辑数据模型客户化LDM转换PDM系统总体架构设计数据 ETL体系运维体系设计应用概要 详细设计数据接口设计系统界面设计用户权限设计应用数据模型设计 ETL策略与体系结构设计ETL设计和开发应用功能模块开发用户访问权限开发企业门户集成开发开发 测试系统软硬件设备安装制定系统 UAT测试计划系统 UAT测试验收 上线投产文档准备生产系统软硬件安装制定数据仓库日常管理与操作流程验证数据备份与恢复程序用户培训现场投产 项目总结与汇报项目下阶段工作规划 模型物理化 总体原则 物理模型是数据仓库基础建设中模型建设的一部分 是逻辑模型的最终物理实现 所有的业务间逻辑均体现在逻辑模型中 物理模型仅仅反映逻辑在数据库中的具体体现 物理模型原则上与逻辑模型保持一致 在进行模型物理化时 需要注意以下共性环节 模型物理化原则 表与字段物理命名 选择字段数据类型 确定字段大小写敏感 选择及调整索引 选择表分区字段 表英文名全部字母大写 单词之间用下划线分开 字段英文名单词第一个字母大写 单词间用下划线 长度不超过30字符 字段长度要足够存储源数据 考虑到源系统升级的因素 字段长度适当冗余 外键字段数据类型与主键字段保持一致 索引选择主要有三种 查询常用原则 JOIN一致原则 对于