银行数据仓库解决方案.ppt

银行数据仓库解决方案 内容提要 2 总体体系数据支撑平台数据交换平台数据中心数据缓冲层基础书局整合层公共指标汇总层数据集市层历史数据中心管理应用整合平台主要管理类应用系统示例附件 cognos简介 总体体系 3 源数据 核心系统 中间业务系统 国际业务系统 信贷业务系统 银行卡系统 资金业务系统 财务系统 电子渠道系统 综合柜面系统 数据中心 数据交换平台 文件服务器 数据总线 数据缓冲层 基础数据整合层 公共指标数据加工层 数据集市层 管理应用整合平台 管理类应用系统 数据支撑平台 历史数据中心 数据支撑平台 4 数据支撑平台 作业调度工具 元数据管理 批量文件传输工具 etl工具 数据质量保证 运行日志监控 作业调度工具一般须具备作业调度 监控 管理 调试功能 需具备集群部署的特征 支持负载均衡 目前的市场上的作业调度工具主要有 ictrl m 各主要etl工具中集成的调度工具 如datastage的jci 国内厂商的专业调度工具 为满足某项目而临时搭建的脚本类作业调度等 我们建议选择专业的支持主流etl工具的调度软件产品 批量文件传输工具一般须具备端到端 域内 跨域 的文件高速 可靠传输 支持文件传输的断点续接 支持文件传输的自动化组合 支持同步 异步传输 支持传输过程的全程监控 支持集群部署 目前的市场上的作业调度工具主要有 ibm的sterling 国内厂商的文件传输工具 如前lft的ftms 元数据管理 元数据一般分为业务元数据 业务指标 业务术语 业务规则 和技术元数据 模型 erwin pd 元数据 应用报表元数据 etl元数据 源系统元数据 仓库元数据 元数据管理功能上大致划分为 元数据模型定义 元数据信息采集 元数据信息存储维护 元数据信息应用 影响分析 血缘分析 全链分析 活力分析 孤立对象分析 一致性分析 版本比对 质量分析等 元数据管理的难点在于元数据模型定义的质量和etl元数据信息的自动采集 etl工具 目前数据仓库项目使用的主流etl工具有 datastage ibm powercenter informatica owb oracle etlautomation teradata 存储过程 基于c的etl等 一般etl工具的选择须按etl作业的类型 对某型etl工具的熟悉程度等来选择 最好能固定特定的etl工具 数据质量保证 主要包括银行标准数据字典的定义 数据质量标准定义 数据质量管理流程的制定和执行 清晰规划功能和数据的关系 运行日志监控 主要系统运行日志 主机 存储 网络等 和应用日志监控 数据交换平台 5 数据交换平台 本质上是文件服务器 存储各it系统上传的数据文件 文件服务器文件组织形式 x1系统 备份策略 清理策略 命名规则 文件传输监控 文件服务器 x2系统 x3系统 xn系统 上传下载 上传下载 上传下载 上传下载 文件存储组织 数据平台的作用 作为各系统之间的文件异步传输通道备份各系统上传文件供各数据消费系统回溯 消除各系统间批量数据依赖死锁 数据中心 数据缓冲层 6 数据组织策略 数据加载策略 数据质量检查策略 数据保存策略 为什么设立数据缓冲层隔离数据中心和文件服务器 降低文件服务器和数据中心的耦合度避免在建立基础数据层数据模型时 对于源业务系统数据文件的多次重复操作 通过直接操作数据库表的方式 提高操作效率 同时简化后期基础数据层进行数据的分类整理时的逻辑操作 通过建立与原系统一致或类似的数据库表 便于保持和检查与原系统数据格式 内容的一致性和完整性 数据中心 基础数据整合层 7 基础数据整合层的目标是按主题构 轻度汇总的 统一数据标准的 与源数据粒度基本一致的企业级 非部门级 数据信息 主题模型 这里只列出第一层级模型 公用主题 团体主题 产品主题 渠道主题 协议主题 事件主题 总账主题 基础数据整合层部分特点 数据存储粒度贴近源系统数据数据按从企业角度按主题重组 按主题进行轻度数据汇总解决数据语义的统一 解决部分数据质量问题 部分数据缺失 部分数据冗余 部分数据错误等 按主题 非跨主题 进行部分指标的轻度汇总 按主题进行部分数据拉链存储 数据中心 公共指标数据加工层 8 公共指标数据加工层主要进行应用集市层和管理应用所需要的企业级公共指标加工 部分汇总模型 仅供参考 账户汇总 产品汇总 客户信息汇总 卡信息汇总 渠道汇总 机构汇总 客户汇总 公共指标数据加工层部分特点 为应用集市层和各类管理类应用系统提供企业级的公共指标数据 降低上层应用etl工作量 避免各自加工带来的可能的公共指标的不一致 从而提高数据质量 本层数据模型设计尽可能遵从第三范式 无数据冗余 数据保留策略以数据聚合度和业务要求为基础设计 签约信息汇总 汇总 数据中心 数据集市层 9 数据集市层是面向管理应用的 同时也是根据对管理应用类系统的分类结果而设计的 数据集市层的数据具有数据冗余和数据连续性的要求 其数据来源于数据中心的所有下层数据和历史数据中心数据 为什么需要数据集市层 没有数据集市层的管理类系统架构场景 加入数据集市层的管理类系统架构场景 银行应用集市层设定 供参考 风险数据集市 财管数据集市 客户营销数据集市 另外 汇总数据也不适合直接供给应用系统 为了保持相对稳定和降低数据冗余需遵循第三范式 数据中心 数据集市层 10 数据集市层样例 风险 问题 我们该怎样科学合理的规划应用集市 历史数据中心 11 历史数据中心可以看作数据中心的历史数据归档备份 数据中心清理的数据一般被迁移到历史数据中心 为了减轻生产系统数据压力 生产系统的部分数据也会归档到历史数据中心 历史数据中心会向数据集市层和管理类应用系统供数 也会提供部分历史信息查询服务 历史数据中心 管理决策系统 生产系统 通过文件服务器 数据中心 应用集市层 集成报表工具的管理应用整合平台 j2ee应用服务器 websphere jboss 其他厂商 数据库 db2 informix 其他厂商 业务流程库 业务规则库 报表设计 报表引擎 银行行业管理类主要应用系统 13 综合报表监管报送 工具 部门业务报表1104报表征信报表国际收支申报反洗钱 风险管理经济资本管理信贷风险市场风险流动性风险操作风险产品定价 营销管理acrm客户信息挖掘 内部管理事后监督稽核系统人力资源oa办公 全员绩效考核 其他知识库管理档案管理数据维护管理 管理驾驶仓 附件 cognos简介 应用架构 14 即席查询 灵活报表 多维分析 权限管理 元数据建模管理 即席查询灵活报表 元数据建模管理 报表与查询 多维分析 建模 附件 cognos简介 技术架构 展现层 报表用户 分析用户 普通报表制作 专业报表制作 企业门户 脱机olap web层 网关 开发接口