银行商业智能系统规划初步建议书.doc

银行商业智能系统银行商业智能系统银行商业智能系统 规划初步建议书规划初步建议书规划初步建议书 20052005 年年 5 5 月月 规划建议书 2 文档版本文档版本 1 0 修订历史修订历史 日期版本号描述作者 2005 5 241 0创建 杨志雄 规划建议书 3 目目 录录 一 引言一 引言 5 1 1 编写目的 5 1 2 适用范围 5 1 3 文档概述 5 1 4 术语 定义和缩写 5 二 银行建设现状分析二 银行建设现状分析 7 2 1 建设现状 7 2 2 存在的问题和需求 7 2 3 商业智能平台建设的可行性分析 8 三 商业智能平台总体规划三 商业智能平台总体规划 10 3 1 系统规划的总体目标 10 3 1 1系统技术深度建设 11 3 1 2系统应用广度建设 13 3 2 系统总体架构 14 3 2 1架构说明 15 四 系统实现阶段四 系统实现阶段 16 4 2 第一阶段 建立数据中心与数据集市 16 4 2 1实现目标 17 4 2 2主题的确定 17 4 2 2 1 绩效考核系统 18 4 2 2 2 大客户分析 18 4 3 3主题选择的风险 19 4 2 4解决方案 19 4 2 4 1 多维分析模型技术 OLAP 服务器 20 4 2 4 2 前端展现 20 4 2 5本阶段达到的收益与不足 21 4 3 第二阶段 企业级的商业智能平台 21 4 3 1实现目标 21 规划建议书 4 4 3 2解决方案 22 4 4 第三阶段 数据挖掘与预测 24 4 4 1实现目标 将信息升华为知识的过程 24 4 5 阶段总结 26 五 系统实施五 系统实施 27 5 1 风险识别与评估 27 5 2 开发方式 27 5 2 1自上而下 27 5 2 2自下而上 28 5 2 3元数据驱动 螺旋上升 28 5 3 实施原则 30 六 结语六 结语 31 附录附录 1 每一阶段涉及的软件产品说明 每一阶段涉及的软件产品说明 32 第一阶段 数据中心与数据集市 32 第二阶段 企业级的数据仓库 32 第三阶段 数据挖掘 32 附录附录 2 效果图效果图 34 规划建议书 5 一 引言一 引言 1 1 编写目的 银行商业智能平台规划建议书是通过对银行现有的业务系统和信息管理系统的建设现 状等分析 结合同业银行及国外先进银行的优秀管理经验 提出在 数据大集中 的背景 下的商业智能平台的蓝图 设计出支持各种业务主题分析 基于先进技术架构的高度可扩 展性商业智能平台系统 及其配套的设施架构和开发管理流程 最终逐步地在数据仓库的 基础上建立的商业智能平台 1 2 适用范围 本文档适用于商业智能平台系统规划阶段和建设初期 供商业智能平台项目组人员及 管理人员参阅 1 3 文档概述 本文档介绍了商业智能平台领域的一些概念和关键思想 并描述了商业智能平台项目 策略设计 实际商业智能平台项目开发中方法和流程 元数据管理 各种产品功能 特性 案例介绍 1 4 术语 定义和缩写 BI Business Intelligence 的缩写 DSS Decision Support System 的缩写 ETL Extract Transform Load 的缩写 数据抽取 Extract 转换 Transform 装载 Load 的过程 DW Data Warehousing 根据 Bill Inmon 的定义 数据仓库是面向主题的 集成的 稳定的 随时间变化的 主要用于决策支持的数据库系统 Metadata 元数据 描述数据的数据 指在数据仓库建设过程中所产生的有关数据源 定义 目标定义 转换规则等相关的关键数据 ODS Operational Data Store 业务数据存储 为信息查询或业务查询提供准实时数 规划建议书 6 据的临时数据库 它在尽可能提供即时数据的同时尽量减小对生产或业务系统的影响 也可用作处理进人数据仓库的数据的工作区 OLTP On Line Transation Process 的缩写 联机业务处理 OLAP On Line Analytical Processing 联机分析处理技术 Tiancom 广州天维数码技术有限公司英文名称 规划建议书 7 二 银行建设现状分析二 银行建设现状分析 2 1 建设现状 广东发展银行致力于为社会公众和中国经济发展提供优质金融服务 成立十七年来 始终坚持严格规范 开拓进取 坚定不移地走 特色经营 之路 严格按照现代商 业银行的经营管理原则进行规范经营 稳健发展 面对新的竞争与挑战 广东发展银行将 继续发扬与时俱进 开拓创新的时代精神 推进各项业务稳健协调发展 努力建设成为管 理先进 服务优良 信誉卓著 竞争有力的现代商业银行 总行的各个业务系统都已实 现电子化 这为建立商业智能平台奠定了一定的数据基础 2 2 存在的问题和需求 从建行到现在 随着银行的业务不断拓展 信息化应用的不断深入 因此也会有不 少的系统陆续投产 这些系统的投产一方面支持了银行业务和信息化的发展 但另一方面 也暴露出一些新的问题 通过对这些系统进行分析 问题主要表现在以下几个方面 1 大量的业务数据难以充分利用 传统的业务系统产生的业务明细数据 虽然包含着大量对决策非常有价值的信息 但 由于它们的组织方式是面向业务应用而不是面向管理 从中抽取有价值信息的难度非常大 所花费的代价很高 投入的 IT 人员和时间 而且 随着基础业务系统将来不断的改进和 扩充 这些数据将逐渐具备如下的特点 异构的数据结构 不同的数据库 分布存放 备份到各种介质 数据量极大 这将造成难于全面 综合地掌握和利用在经营过程中得到的信息 2 基于传统联机业务处理技术的查询系统 开发周期较长 3 基于传统联机业务处理技术的查询系统 面对分析人员随时发生变化的需求 不 够灵活 不能即时地动态生成报表 4 面对海量数据 基于传统联机业务处理技术的查询系统在执行复杂 大量计算的 查询 分析 监控方面将表现出极低的效率 规划建议书 8 5 查询系统和基础业务系统相互干扰 6 多个业务系统 可能导致多个查询系统 使用起来非常不方便 7 多个查询系统会导致统计口径存在差异 从而引起数据的不一致性 甚至错误数 据 可能误导决策 8 同时从多个查询系统中发掘有价值的数据 需要通过人工的方法汇总加工 这样 势必降低时效性和准确性 9 查询系统不仅在统计和报表方面缺乏灵活和自由 而且缺乏对数据的分析和挖掘 功能 不能发现隐藏在数据后面的有价值的信息 10 查询系统不能够监控和预测风险 传统的联机业务处理业务系统是帮助企业运行业务的 它所能提供的传统报表的模式 具有非实时的局限性 而且由于它的静态性和可调整的困难性 极大地限制了业务的发展 综上所述 目前迫切需要搭建一个符合银行特色的商业智能平台 把需要的数据和信综上所述 目前迫切需要搭建一个符合银行特色的商业智能平台 把需要的数据和信 息集中起来 统一管理 在此基础上进行多角度 全方位的分析 如绩效考核 大客户分息集中起来 统一管理 在此基础上进行多角度 全方位的分析 如绩效考核 大客户分 析 经营指标分析 关系营销分析 风险分析等 提升企业的运营能力 增强企业的竞争析 经营指标分析 关系营销分析 风险分析等 提升企业的运营能力 增强企业的竞争 力 更进一步是对信息灵活地进行深度加工 分析 实现对风险监控 风险预测 决策分力 更进一步是对信息灵活地进行深度加工 分析 实现对风险监控 风险预测 决策分 析等工作的支持 达到寻找潜在市场 潜在客户和和发掘商机的目的 为银行开拓业务 析等工作的支持 达到寻找潜在市场 潜在客户和和发掘商机的目的 为银行开拓业务 降低风险提供依据 降低风险提供依据 2 3 商业智能平台建设的可行性分析 1 银行经过多年业务经营和电子化建设 积累了丰富的历史数据 具备良好的数据 基础 2 利用传统的数据库技术 远远不能满足银行经营管理的要求 利用成熟的商业智 能技术对现有历史数据进行整合 运用多维分析技术从多角度 多层次对银行数据进行统 计和分析 将分析结果以丰富 直观 形象的图形工具进行展现在银行经营者面前 从中 发现市场商机 及时调整市场策略 为决策行为提供科学的依据和保障 3 金融市场开放 市场竞争加剧 国内众多商业银行纷纷进行商业智能平台的建设 银行要想在 WTO 体制下赢得头筹 建立商业智能平台势在必行 通过对国际银行业的信息化建设情况的了解及对我国金融市场的前景分析 我们对 规划建议书 9 银行建立商业智能平台的必要性 可行性 难点 风险 切入点及目标等问题进行了多次 研讨后 认为 根据现有的资源以及今后发展的方向 采用分阶段 循序渐进地实施商业 智能平台的方式 不仅能够很好地降低和控制风险 而且还能够迅速地使银行在市场竞争 中处于领先地位 规划建议书 10 分析平台 信息平台 业务平台 金融企业网的三个平台 环境 政策行业基建 TMN 服务 财务 人事 会计 其它业务系统 交易系统 三 商业智能平台总体规划三 商业智能平台总体规划 银行商业智能平台的建设规划 紧紧围绕 整体规划 分段实施 循序渐进整体规划 分段实施 循序渐进 的思 想进行 这样的优势在于 整体规划 可以综合考虑系统的可扩展性 保证信商业智能平台到企业级的平滑 过渡 及前端应用由浅及深的充分扩充能力 分段实施 避免了一次投资金额过大所带来的压力 能够较好地降低和控制风险 并且能够迅速取得系统实际应用上的成功 循序渐进 保证在商业智能平台上的应用有良好的基础 既能够保护前期的投资 又能够保证在后期的建设中降低风险 缩短时间 节约成本 3 1 系统规划的总体目标 银行商业智能平台的总体目标是 以现代计算技术 统计技术 人工智能技术和管理以现代计算技术 统计技术 人工智能技术和管理 技术为核心的现代金融企业经营管理决策支持平台和经营管理作业系统 最终建立银行企技术为核心的现代金融企业经营管理决策支持平台和经营管理作业系统 最终建立银行企 业级数据仓库 业级数据仓库 通过建立商业智能平台系统 辅助全分行在经营方面达到以下目的 1 提高防范和化解经营风险的能力 2 辅助全分行提高经营管理水平 3 增强全分行的市场竞争力 4 更加深入地了解市场的发展规律 5 辅助发现新的利润区 6 优化全分行的资源和管理模式 7 帮助全分行更加稳健地实现经营目标 运用商业智能技术 以银行经营管理为中心 完善银行信息化应用 图 1 1 金融企业网 规划建议书 11 业务平台业务平台 通过几年的建设 各个业务系统建设日趋完善 目前覆盖了综合业务系统 信贷管理系统 信用卡系统等各个业务领域并实现了帐务集中处理 统一的信息平台统一的信息平台 通过对不同来源系统的数据进行整合 按照数据一致性和完整性的原则 对 数据表达不一致的字段进行统一定义 为银行管理层提供一个 真真正正涵涵盖盖全全部部业业 务务的的统统一一视视图图 从物理和逻辑上满足项目建设要求 实现数据完全共享 分析平台分析平台 在商业智能平台的基础上 根据业务部门需要 满足自主查询和在线分析数据 的功能 3 1 1 系统技术深度建设 在逐步满足业务部门需求的同时 从最迫切的分析主题着手 最终目标是建立 银 行企业级数据仓库系统 见图 3 1 图 3 1 商业智能技术的纵向发展 5 个步骤图 第第一一步步 报报表表 查查询询 统统计计 回回答答 发发生生了了什什么么 报表 查询 统计是多年以来 IT 技术辅助企业管理决策最常用的技术应用模 式 商业智能技术首先覆盖这种成熟应用模式的所有功能 让企业管理决策者的思 维习惯和应用模式可以平滑地进行过渡 同时必须在报表 查询 统计方面体现出 规划建议书 12 比传统技术和应用更加强大的特点和功能 比如让用户自己去做一些复杂的自定义 查询 让企业管理决策者体会到商业智能技术的与众不同 集成 集成 商业智能平台 把所有异构的企业数据源整合为一个全面 完整 一致 准确的数据中心 并且容纳了所有的历史数据和实时数据 这种集成性能够为企 业管理决策者提供全面的经营分析信息 面向主题 面向主题 商业智能平台 以企业管理决策者关心的各个问题领域 即面向主题 的方式组织数据 而不同于一般的企业 IT 运营系统面向企业基本业务流程来组织 数据 因此 商业智能平台是更加适合企业经营分析与决策领域的软件技术 第第二二步步 数数据据分分析析 回回答答 为为什什么么发发生生 在线分析处理技术 OLAP 通过业务建模 把原来二维的信息转换为多维的 信息 以此为基础 OLAP 提供切片功能 即从多角度 多层次 多剖面地观察分 析数据的手段 让企业管理决策者能够更加深入地掌握企业的经营状况 同时 OLAP 提供钻取功能 即从任一角度自上而下的层层钻取 深入分析到问题源头的 功能 反之 也可以自下而上层层汇总信息 OLAP 动态 灵活的特征能够从容地 面对不确定性的随机分析 并且提供良好的实时性 以及支持大批量用户并发查 询 同时 OLAP 应用提供友好的交互特性 以及通过图形用户界面 GUI 和语 义层直接访问数据仓库的能力 OLAP 能够帮企业改善决策的质量和速度 第第三三步步 数数据据挖挖掘掘 回回答答 未未来来会会怎怎样样发发生生 数据挖掘使用诸如神经网络 规则归纳和决策树之类的技术 用来发现数据 之间的关系 做出基于数据的推断 这些推断的结论往往隐藏在数据之中 不十 分明显 或者过于复杂以致采用一般的统计分析方法难以奏效 数据挖掘用于帮 助银行发现经营活动中有关于客户消费行为 市场发展趋势等各种规律 让 银行 更深入地把握未来环境的动向 协助银行更为积极地制定 实施和管理银行的战 略 第第四四步步 运运营营导导向向 现现场场决决策策 上述第一步到第三步的商业智能都以支持银行内部战略性决策为重点 第四 步则重在战术性决策支持 商业智能对战略性决策的支持是为 银行长期决策提供 必需的信息 战术性决策支持的重点则在银行对外的业务活动 为在业务现场执 规划建议书 13 行银行战略的一线业务人员提供实时的决策支持 随着市场的成熟 竞争的加剧 全球化的挑战 市场细分 个性化服务 以客户为中心的经营思想对 银行所提供 的服务提出了向精细化转变的挑战 这种挑战让 银行的服务活动需要更多的现场 实时决策 同时也让银行面临更大的经营风险 商业智能技术能够帮助银行从容 面对这种挑战 它为银行的前端运营提供导向功能 使得每项业务最优化 从而 整体提高了银行业务的质量 为银行的利润最大化提供了最有力的保障 第第五五步步 运运营营自自动动化化 自自动动决决策策 随着电子商务技术 通讯技术 CallCenter 技术 CRM 的迅速发展及在银行 应用中的普及 产生了各种各样的自动化销售 供应及服务模式 这一模式对 银 行的经营会随着时间的推移越来越重要 这一复杂的过程在无人介入的情况下自动 发生 响应时间以秒或毫秒计 面对这种客户与 银行 IT 系统的互动 银行需要十 分个性化的客户关系优化决策过程 为了寻求决策的有效性和连续性 银行可以 选择自动决策 随着技术的进步 越来越多的决策由事件触发 然后自动发生 商 业智能技术允许用户采用事件触发和复杂决策支持功能 以最佳方案逐个产品 逐 个机构作出决策 在 CRM 环境中 利用商业智能技术 可以根据每一位客户的情 况做出个性化的决策 从第一步到第五步的建设过程 是商业智能技术从支持战略决策到支持战术决 策的拓展 是从为银行局部提供信息和决策支持到为整个银行提供信息和决策支 持的拓展 第四步和第五步商业智能的运营导向和自动决策 是第一至第三步开 发的银行战略能够得以执行的保证 它是一个逐渐演变的过程 每个阶段都面向 不同的用途 我们不能从第一步直接跨进第五步 当商业智能平台发展到具有战 略决策支持功能时 必然会提出战术决策的更高要求 不过 这都依赖于一个高 扩展性 高性能 高可用性 先进的商业智能解决方案 3 1 2 系统应用广度建设 商业智能平台广度的建设 体现在基于成熟业务的初初级级企企业业商商业业智智能能应应用用 过渡到 包括企业所有数据源的中中级级商商业业智智能能应应用用 最终实现完完整整企企业业商商业业智智能能应应用用 见图 3 2 规划建议书 14 图 3 2 整体框架结构图 3 2 系统总体架构 商业智能平台的建立 与实现目标和架构是分不开的 设计的 银行商业智能平台体 系的总体架构如下图所示 图 3 2 银行商业智能平台总体架构图 规划建议书 15 3 2 1 架构说明 1 采用先进技术手段 提取银行现有的各类业务数据和以后的追加数据 如传统业务 国际结算业务 信用卡系统及其它外部数据源中的数据 对数据进行整理 清洗 加 工 转换 搭建一个具有统一规范的 可扩展的商业智能平台框架 实现银行所有业 务数据集中存储和管理 2 根据需求建立面向部门和主题的数据集市 同时可以把一些预聚集数据存放在 OLAP 服务器中 利用灵活的前端分析展示工具 对数据进行分析和处理 形成市场经营和 决策工作所需要的科学 准确 及时的业务信息和知识 3 体系的各个应用都是建立在元数据层之上 由统一的元数据驱动 真正实现元数据管 理 4 建立信息门户 让用户通过统一的入口 个性化的 Web 浏览器界面 访问需要的信息 规划建议书 16 四 系统实现阶段四 系统实现阶段 商业智能平台的实施本身是一个循环往复 螺旋上升的过程 商业智能平台的实施本身是一个循环往复 螺旋上升的过程 根据银行需求的迫切 性 投资的低风险性 同时考虑技术实现的可行性 再利用性及可扩展性 及兼顾到银行 发展过程中不断涌现出的新的需求 为保证实施效果最优化 我们将整体目标分成四个阶 段来实现 这四个阶段满足的目标及涉及的技术如下 第一阶段 建立数据中心与数据集市 1 满足的目标 实现了绩效考核系统及大客户分析等主题 支持用户自主组合查询 制定报表及 分析 2 涉及的技术 掌握前端展现方法 运用多维分析技术 完成数据映射过程 实现数据的统一管 理 第二阶段 企业级的商业智能平台 1 满足的目标 逐步实现其他业务主题的分析 建立统一的信息门户 2 涉及的技术 掌握业务模板的设计方法 完成企业级数据仓库建设 第三阶段 数据挖掘与预测 1 满足的目标 实现各项业务的风险预测 辅助管理层进行决策 2 涉及的技术 掌握数据挖掘技术 每个阶段需要运用不同的技术 同时在业务上不同的阶段也有不同的需求 商业智能 平台是一个循序渐进的过程 必须遵循整体规划 分段实施 循序渐进的原则作为系统建 设成功的保证 4 2 第一阶段 建立数据中心与数据集市 规划建议书 17 通过数据抽取逐步积累原始数据的基础 并在此基础上建立 完善数据中心 采用商业智能技术 搭建部门级的业务主题应用 建立数据集市 运用数学模型 通过灵活的前端展现完成第一阶段建设 4 2 1 实现目标 1 基于前端展现功能 分行可以自主 灵活 便捷的访问所需数据 2 构建统一的数据中心数据中心 逐步实现全分行数据的统一管理 3 选择实现 1 2 个迫切的业务分析主题 将与该业务主题相关的数据进行标准化 统一设计 实现灵活多样的报表展现和分析 满足组合查询 OLAP 分析和领 导信息查询的要求 图 4 2 第一阶段完成后的架构图 EIS 领导信息查询系统 OLAP 联机在线分析 4 2 2 主题的确定 遵循投资低 见效快 实施风险小 迫切性高的原则 建议以绩效考核系统和大客户 分析系统为主题 着手建立银行的数据分析集市 选取这两个主题的原因主要是考虑到数据的可靠性和完整性 经营数据和大客户资料 规划建议书 18 大部分基于总账 分户帐以及客户基本信息等 这些数据经过多年系统积累 已经相对完 善与丰富 从而降低实施风险 4 2 2 1绩效考核系统 1 绩效考核的迫切性需求 绩效考核的迫切性需求 1 内部需求 高层领导依然无法及时获得全分行的各项经营指标 难以对全辖的经营情况进行 全面的了解 也无法对各下属机构关键经营指标进行分析 从而给银行的经营带来很 大的风险 2 外部要求 人民银行及银监会等金融机构需要银行定期或不定期的报送各种报表 因为数据 分散在各个系统中 耗费大量的人力和时间才能够满足这些报表的要求 2 绩效考核系统的功能 绩效考核系统的功能 1 统计报表功能 2 常规报表查询与打印分发 3 即席查询和自定义报表 4 资产负债 损益指标及趋势分析 5 费用指标分析及监控 6 单项指标查询 7 存 贷款查询分析 8 机构业绩查询 9 高级领导信息系统功能 1 10 0 用户权限管理 11 手工录入功能 4 2 2 2 大客户分析 1 大客户分析的需求 大客户分析的需求 1 如何找出银行最大利润的创造者 20 的优质客户往往能给银行创造 80 的利润 各银行都在采用各种手段 挖 竞争对手的优质客户 如何在银行众多的客户里 找出优质客户 是银行经营管理者 急需解决的问题 2 运用差异化的销售策略留住优质客户 其实 发展一个新客户的成本往往是留住一个老客户的 5 倍 通过对优质客户群 体的行为分析 忠诚度分析 构成分类进行分析 采取差异化的销售策略 提供个性 规划建议书 19 化的金融产品及服务 在留住优质客户的同时 增加银行的利润增长点 3 从大客户分析着手 逐步实现全分行的客户关系管理 从大客户分析开始来进行银行的客户关系管理建设 对银行来说 投资小 见效 快 因为大客户资料相对比较完整 客户经理的信息采集工作量小 开发周期短 把 有限的资源放在为银行带来最大利润的客户群上 从而以较小投入带来最大的回报 在条件成熟时 实现全分行的客户关系管理 2 大客户分析的功能 大客户分析的功能 1 大客户资料档案管理 2 大客户界定 3 大客户查询 4 大客户报表 5 大客户分析 1 大客户贡献度分析 2 大客户群金融产品结构分析 3 大客户构成分类分析 4 大客户资料组合分类分析 4 3 3 主题选择的风险 尽管从以上的原则上选择了经营指标分析及大客户分析主题 但在实际建设过程中 还存在以下风险 1 信息量不够 信息量不够 大部分数据相对完整 但还需要补充一部分数据 如果数据的补充 更新不及时 会 降低业务主题分析的准确性 从而影响用户对系统的信赖与使用 造成项目建成后用户使 用的积极性不高 2 业务规则 流程改变频繁 业务规则 流程改变频繁 各业务系统规则 流程频繁发生改变 未能及时传递给智能平台 有可能导致数据抽 取错误 从而影响了分析结果 3 高层领导与用户的参与与配合 高层领导与用户的参与与配合 高层领导及用户的积极参与与配合 对于系统开发及系统投产后的推广应用起到关键性 作用 4 2 4 解决方案 通过以下两种技术应用实现第一阶段的目标 规划建议书 20 4 2 4 1 多维分析模型技术 OLAP 服务器 OLAP 服务器是企业用于作报告 分析 作模型和计划应用的策略平台 它能支持多 用户的读写访问 大规模的数据容量 强健的分析计算和复杂的 OLAP 查询 能在以网络 为中心的计算环境中提供直观的多维数据探询和连续快速反应的时间 它还能支持这些主 要操作系统 例如 Windows NT UNIX 和 AS 400 并且能和多个客户服务器以及 Web 环境 下的报告 分析 应用开发工具集成 具体应满足以下功能 1 分析能力 2 直观的数据探询 3 丰富的数据模型 4 复杂的 OLAP 计算 5 强健的分析能力 6 复杂的 OLAP 查询 7 属性分析 8 时间智能 9 财务智能 10 连接的报告对象 11 多用户读写访问 12 对查询的快速反应 13 多线程的结构 14 灵活的计算 15 完备的安全性 16 支持众多前端工具 4 2 4 2 前端展现 系统对用户应提供方便的图形化应用工具 除前面提到多维分析工具外 还包括报表 及查询工具等 考虑到应用环境的多样性 前端展现应用应支持 Client Server Browser Server 以 及 Excel 等多种应用环境以及以下功能 1 强大灵活的报表 2 强大的交互式分析和灵活的钻取功能 规划建议书 21 3 分析应用开发 强大的信息发布功能 4 客户端零管理 5 支持多种数据源 6 为最终用户设计 7 信息门户 集成的 统一的信息视图 4 2 5 本阶段达到的收益与不足 收益 收益 本阶段通过在数据中心 进行部门级主题分析的建设 达到了分行领导及时 准确的 获取分行及下属机构所有汇总经营数据及明细数据的关键指标 为领导了解全分行的经营 情况有一个很好的帮助 同时 解决了目前市场竞争中留住大客户 发展优质客户的关键 性问题 给银行带来更大的效益 不不足足 数据中心建立以后 满足了全分行大部分业务数据的集中 还不能实现面向主题的 集成化的 稳定的 随时间变化的所有数据集合 用以支持管理决策 同时需要采用企业 信息门户达到所有用户的集中管理 协同工作 及个性化设计 4 3 第二阶段 企业级的商业智能平台 4 3 1 实现目标 1 构建数据仓库数据仓库全面建立各业务主题分析 如下表 2 搭建企业信息门户 利润分析利润分析关系营销分析关系营销分析风险分析风险分析资产负债管理资产负债管理 业务运作性能 渠道利润分析 客户生命期价值 客户利润分析 不同地区利润分析 机构利润分析 机构网点绩效网点评估 产品分析 利润分析 产品利润分析 交易分析 市场策划分析 交叉销售分析 客户流失分析 客户行为分析 客户投诉分析 客户欠款分析 客户沟通分析 客户忠诚度分析 个人客户信息 销售商机分析 市场分析 投资行为分析 授信权限分析 信用风险分析 汇率敏感度分析 参与者风险 地理位置风险 流动资金风险分析 不良贷款分析 透支分析 信用组合风险分析 安全分析 资本分配分析 资本募集 信贷呆坏帐准备 央行报表 财务管理分析 资金到期分析 收入分析 利率敏感度分析 流动资金分析 边际利率变迁 短期资金管理 规划建议书 22 银行数据仓库系统是银行的信息平台的骨干 它可以简单理解成为企业经营管理而建 设的企业中央数据库 它包含了一个金融企业经营 财务 人力资源等方方面面的历史和 当前的信息 围绕着金融企业经营管理的各个主题组成一个个管理业务模型 每一个业务 模型为金融经营业务的主体服务 图 4 3 第二阶段完成后的架构图 4 3 2 解决方案 1 1 采用成熟的业务模型 采用成熟的业务模型 运用业界成熟的业务模型 可以针对应用需求快速实现数据仓库的建模工作 降低由 于缺乏经验所带来的项目风险 一个典型应用银行数据仓库解决方案模型的结构图 它提供 规划建议书 23 图 4 4 典型业务应用模型 1 包含具有银行自己特定要求的数据集市结构 2 基于已经被证明是成功的数据仓库技术 3 提供包含详细数据和汇总数据的 灵活的数据仓库架构 4 预先定义的数据抽取程序 它能完成从某些广泛应用的核心银行系统到数据仓 库的数据抽取 2 搭建企业信息门户 搭建企业信息门户 企业信息门户 Enterprise Information Portal EIP 就是针对实现大量企业信息 资源的有效共享需求而产生的应用框架 通过它可以有效地实现信息的发布和共享 企业门户是一个集成化的应用平台 可以为企业提供一个单一的访问企业各种信息资 源的入口 企业的员工 客户 合作伙伴和供应商等都可以通过这个门户获得个性化 的信息和服务 企业信息门户能够将用户所需的各类信息存贮起来 并提供给客户访 问 它能够使未经培训的用户很快能获取到他做决策所需要的全部信息 包括结构化 数据 数据仓库 数据集市 多维数据库 关系数据库等 非结构化数据 PDF Word Video Audio 等 门户强大的内容管理功能 使用户只需通过层次性 的目录架构及强大的搜索引擎就可以很快找到他们所需的信息 而不需要知道这些数 据来自于什么系统 并存放在哪里 企业信息门户特点体现在单一的访问方式 集成 性和个性化等方面 统一身份认证和单点登录统一身份认证和单点登录 实现身份信息的统一管理 构建整个银行内部的 统一认证体系架构 对银行现有的应用系统的认证方式根据实际情况的需要评 估是否需要做出调整和修改 选择一种合适的方式改造现有系统各自独立的认 规划建议书 24 证流程 实现跨系统 跨应用的统一身份认证 认证方式经过整合后 实现应 用的单点登录就是水到渠成的事情了 分析型应用仪表盘分析型应用仪表盘 按不同的主题和部门需求 构建分析型应用或集成原有的 分析型应用 报警仪表盘报警仪表盘 根据领导层的需要 定义出企业层及不同部门的 KPI 关键性能指 标 并定义出其的上限及下限 企业报表预定义企业报表预定义 构建各类参数化报表 并实现订阅 个性化展现方式个性化展现方式 提供的个性化服务可以使用户来创建自己喜欢的门户页面 My Favorite Pages 选择其需要的组件 可视化地设置组件在页面中的布 局 并选择整个门户页面的风格 即主题 theme 门户管理员可以控制授予 用户的个性化权利 4 4 第三阶段 数据挖掘与预测 4 4 1 实现目标 将信息升华为知识的过程 利用各类挖掘工具及数学算法 通过建立各种挖掘和预测模型 进行深层次挖 掘 发现商业活动中各个因素之间的内在关系 并对其产生的影响进行预测分 析 帮助银行的决策层掌握银行即将发生的动向 提前采取相应的手段制定实 施战略 规划建议书 25 图 4 5 第三阶段系统架构图 运用数据挖掘技术 在两三年内 争取完成全分行各项业务主题分析及信息分析 使 整个系统达到一个全新的高度 为全分行的蓬勃发展提供最好的服务和支持 数据挖掘的方法可以归纳为 4 类 预预估估模模型型 分分割割分分类类 链链接接分分析析和和预预测测模模型型 在 银行应用方面数据挖掘的步骤包括 9 个方面 既定目标的确定 数据源的确定 数据的收 集和整理 数据筛选 数据质量的检测 数据的转换 数据的挖掘和分析 结果的解释和 应用的推荐 数据挖掘的方法和技术主要有以下几个方面 目标销售 主要是利用预估模型来确定和选择销售的对象和目标 风险分析 数据挖掘的方法已被广泛地用于风险模型的建立 包括审批模型 行 为模型 逾期模型 破产模型等 客户利润贡献度分析 根据预估模型及客户的贡献度分析 确立黄金客户 创利 客户及非创立客户的分布 银行关键经营指标的分析 包括存款 贷款 不良资产等指标的变动对比分析 信用价值 潜在价值的预估 在北美已被广泛地使用 主要通过对客户潜在价值 的分析 有利于银行根据客户信用价值和潜在价值高低采取不同的策略 规划建议书 26 预测分析 预测主要用于销售的预测 利率预测以及成本费用的预测等 数据 挖掘方法的使用将极大地提高银行未来规划管理水平 4 5 阶段总结 从实现数据仓库的经验来看 数据库模式是动态的模式 大部分数据仓库一旦展开便数据库模式是动态的模式 大部分数据仓库一旦展开便 迅速发展并不断地完善 在完成装载数据和训练最后一组用户之前 解决来自新用户的要迅速发展并不断地完善 在完成装载数据和训练最后一组用户之前 解决来自新用户的要 求已经迫在眉睫 求已经迫在眉睫 这是因为项目初期 需求具有不明确性或不知性 随着应用深入 不同 阶段和程度的进展 新需求又层出不穷 必然会根据业务和应用环境的发展和变化 呈现 为易变性和多样性 因此商业智能项目的建设不可能一蹴而就 一劳永逸 因此我们分成 四阶段建设商业智能平台 可以边开发边见效 减少系统建设的整体投资 同时降低系统开 发风险 我们在分步骤进行数据仓库的建设过程中 首先考虑的应该是设定目标 设定目标 在开始每一个 主题分析之前 首先要清楚每个人期望的目标是什么 在目标设定后 开始设计数据仓库 设计数据仓库 一个成功的数据仓库就像一只鸭子 它的两掌可 能在水下费劲地划着 但在外人看来它却似乎正悠闲在水面上游戈 由这个观察结果得到 两个非常重要的涉及原则 1 不要花费你 100 的时间去做 90 的幕后工作 用户看到的只是浮出水面的 10 的 工作 如果你在前端展现和大纲设计选择做出了错误的决定 那么项目的其余部分的质量 将根本不会被人承认 2 由始至终要记住你是为终端用户的利益而建立数据仓库的 设计数据仓库的目的是 使终端用户能够依靠他们自己来读取并分析数据 设计完成后 着手实现数据仓库实现数据仓库 采用小步长 逐步地建立数据仓库是一个明智的策 略 众多的小成功项目立刻显示了数据仓库的价值 同时也提供了快速的回报 试图一次 性地建立一个亿万字节的数据仓库和供成万终端用户使用的系统 这本身就是一场灾难 在小的系统中用少量的数据供用户进行学习和实践是明智之举 正确地使用数据仓库可实现一个有价值的的目标 它使得用户可随时根据公司的数据 作出更好的决策 他使用户能够通过发掘和分析数据而得到真知灼见 规划建议书 27 五 系统实施五 系统实施 5 1 风险识别与评估 N No o 描描述述 发发生生 概概率率 影影响响 程程度度 防防范范计计划划 1 高层领导的支持 MH 建议成立由行领导牵头的领导 小组 2 详细的数据映射完成后发现有 些数据项不存在 MM 检查数据映射以尽快发现差异 如果某些数据项确实无法从数 据源中得到 那就要改变数据 仓库的装载例程 3 数据仓库没有按时间表准备好 MM 加速 ETL 的开发过程 尽快建立包含基本数据的数据 仓库和数据集市 4 数据源专家没有按时到位 MH 尽可能与数据源专家按时间进 度进行讨论 如果数据源专家 不能按时参加讨论会 应及时 向上级主管领导反映 5 业务规则不明确 HH 尽快明确业务规则的定义 6 缺乏数据抽取和转换的标准 HH 尽快建立数据标准 5 2 开发方式 商业智能系统应用的开发 一般而言 有三种方式 5 2 1 自上而下 把数据仓库定义为一个大系统 全局考虑 全面实施 建立适合银行业务需求的 通用数据模型 然后从业务运营系统中提取数据 进行数据的清洗 合并 规范化和 合理化 并加载到数据仓库中 形成银行统一的数据集成平台 最后可以根据分析需 要将数据仓库的数据应用到面向主题的数据集市中 自上而下开发方法的优点包括 建立企业级数据共享中心 实现全分行的商业智能平台与决策分析系统 为管理层提供统一的管理视图 共享数据易于快速应用到数据集市中 快速建立部门级决策分析系统 自上而下开发方法的缺点包括 开发过程复杂 费用高 规划建议书 28 开发时间长 难以满足快速变化的业务需求 需要进行大量的业务需求分析 需要大量的资源 结构比较僵化 比较难以扩展 5 2 2 自下而上 大量的旧系统 要想在短时间内进行数据的合理性和完整性统一是相当困难的 而 市场变化和银行决策规则变化不允许花大量的时间和精力去建立一个满足日后需求 但不满足现在变化的系统 自下而上的开发方法就是根据特定的业务主题 分部门考 虑 分部门实施 可以在很短的时间内实现部门级的数据集市 多个数据集市组成银 行的数据仓库 自下而上开发方法的优点包括 可以并行开发 见效快 分散化的资源和管理控制 自下而上开发方法的缺点包括 很难协调各个数据集市的建设 可能存在着部门之间的政治斗争和数据集市归属问题 如果采用不同的技术建立起来的数据集市 最终造成多个相互独立 互不兼容的 烟囱式 数据集市 给维护和数据共享带来很大的障碍 多种数据源采集系统 可能造成对业务系统的冲击和数据的不一致 5 2 3 元数据驱动 螺旋上升 元数据是描述数据的数据 用以了解我们有什么信息 信息在什么地方 以及整个 业务系统如何利用信息的管理方式 元数据管理在商业智能平台开发建设中有很重要 的作用 元数据驱动 螺旋上升的数据仓库建立的过程就是 建立元数据 构造数据仓 库 集市 的不断循环 不断上升的过程 如下图所示 建立元数据构造商业智能平台 规划建议书 29 图6 1 不断循环 螺旋上升的商业智能平台开发过程 元数据驱动的商业智能平台开发过程可以细分为以下阶段 1 建立元数据 定义元数据的数据源 定义元数据的内容和属性 定义元数据使用规则 声明元数据联合使用的规则 2 构造数据仓库 集市 基于元数据进行数据抽取 清洗 转换 聚合 加载 分布 基于元数据进行前端界面定制 建议基于元数据管理 利用元数据驱动的方法 根据业务需求和业务发展 构造 全银行商业智能平台的整体架构 全局考虑 然后根据实际的投入成本和成效 分阶段实施 逐步完成银行商业智能平台的建设 分阶段实施 更重要的是 在 实施的每个阶段 每一阶段内的每个步骤 都由元数据进行统一的管理和协调 因 此 每个新的实施阶段都能和前些阶段通过统一的元数据实现良好的对接和数据共 享 保证各建设阶段成果的连续性和有效性 图6 2 以元数据为中心的商业智能平台开发方法 元数据驱动 螺旋上升的商业智能平台开发方式优点包括 银行数据的统一视图 统一的元数据管理 规划建议书 30 灵活的体系结构 可扩展的架构 分步式开发 螺旋式上升 既能快速看到效果 又保证系统的连续性 统一 性 一致性 根据以往的经验以及一段时间以来与银行科技部相关技术专家的深入交流后 对银行 有了一定的了解 我们建议银行的商业智能平台采用 大处着眼 小处着手大处着眼 小处着手 的元数据驱 动的螺旋上升的开发方式 5 3 实施原则 总体规划原则总体规划原则 整个项目建设应该统一进行规划 建立一个能够支持行业长期发展的数据模型 为将 来的应用打下坚实的基础 分阶段 循序渐进的原则分阶段 循序渐进的原则 任何一个项目的实施都是一个发现问题 解决问题 积累经验 又遇到新问题 再解 决 再积累的循序渐进的过程 项目可以根据现有的资源以及今后发展的方向 分阶段 循序渐进的实施方案 实用原则实用原则 在第一阶段 尽可能用统一 简单 易于使用的方式来实现 避免追求片面的复杂和 完美 知识原则知识原则 由于项目采用的技术比较新 技术人员对多维分析 数据挖掘等系统涉及的知识往往存 在着不足或偏差 实际应用经验也比较欠缺 在实施过程中结合专家培训和服务 逐步培 养出自己的系统管理 维护和开发人员 同时 业务人员采用各种分析方法面对最基层最 核心的数据 对用户而言 也需要一个熟悉和一个积累的过程 所以这些 其实就是即人 才培养 对于像银行这样一个大企业 将来应该培养出有一批专业的数据分析人才 规划建议书 31 六 结语六 结语 商业智能平台在国内还是一个崭新的领域 随着市场环境的成熟和竞争的加剧 商业 智能也逐渐成为国内金融 电信 证券等行业关注的焦点 国内金融业发展的一些银行进 行了一些尝试 从实施效果来看 商业智能技术能给客户管理和业务拓展带来革命性的提 升和巨大回报 本文为银行提供的应用规划 是在深入分析银行电子化现状的基础上 提出了建立商 业智能平台的总体目标 从系统建设的广度和深度方面提出切实可行的系统总体规划 充 分考虑了业务需求 技术实现 投资风险等因素之后 我们把总体目标分解为三个阶段目 标 力求环环相扣 循序渐进 在系统实施方面 我们充分考虑了风险的规避和风险管理 定义了风险识别的条件 力图用我们的经验和技术为客户降低和化解实施数据仓库和商业 智能技术项目所面对的众多风险达到系统效果最优化 俗话说 良好的开端是成功的一半 提交切实可行的系统规划只是迈出了第一步 接下来我们还要秉承脚踏实地的工作态度 为银行提交 信息技术发展一日千里 商业智能这种新兴信息技术上投资的长期性和分步性 随着 客户所面对的市场的发展和变迁 客