商业银行数据仓库建设及数据服务价值.pdf

17 中国金融电脑2010 7 专题Special Topic 随着信息化的飞速发展 服务行业 特别是金融业在 客户需求与市场环境的共同作用下 信息支撑服务逐步彰 显其强大的生命力和不可替代性 如何从纷繁复杂的银 行运营 渠道等交易系统中将松散部署的基础数据集中 加工 清洗 转换 存储 并建立逻辑关系索引 驱动数据 转化为管理信息 使其在银行业务服务 管理决策中发挥 关键作用 中国光大银行 以下简称 光大银行 近年来 在 以客户为中心 以服务为导向 的发展战略背景下 规 划并完成了数据仓库以及商业智能领域等多个项目的建 设 逐步筹划 构架起全行数据服务体系 初步将业务流 程数据转化为管理信息 为业务管理 决策分析提供了重 要支撑 一 企业级数据仓库的建设 进入新世纪以来 随着我国国民生活水平不断提高 银行业在客户需求及市场竞争的双重压力下 必须加强 优化内部管控机制并不断进行业务创新以便及时应对快 速发展的客户需求及市场变化 这样必然带来大量新系 统的开发 上线 并为银行带来一系列新的难题 散落在 各业务系统中的数据如何达到信息对称 为了对业务系统 运营价值进行有效评价 以及对各级监管部门进行准确 数据报备 如何将不同业务系统中存储的业务实点数据进 行关联并保存较长的数据变化历史记录 如何从毫无规 律的业务数据中发现业务创新线索 解决这些问题的方 法都不约而同地指向数据仓库技术 1 企业级数据仓库概述 建设E D W E n t e r p r i s e D a t a Wa r e h o u s e 企业级数据 仓库 业界有两个比较通用的模型架构 I n mo n 提出的 C I F C o r p o r a t e I n f o r ma t i o n F a c t o r y 企业信息工厂 和 K i m b a l l 提出的总线架构 两种架构的E D W构建方法侧重点不同 其间也存 在着很大的争论 C I F 架构主张在建立口径统一的中 商业银行数据仓库建设及数据服务价值 中国光大银行信息科技部 王靖雯 刘锦淼 18 中国金融电脑2010 7 专题 pecial Topics 心DW的基础上建设面向业务主题的数据集市 Da t a Ma r t 它要求满足三范式存储要求 避免了冗余数据 存储 总线架构则主张先面向业务主题 按照星形模型 建立基于多维数据模型数据集市 再逐渐整合各个集市 维度和主题 达到一致性维度和一致性事实 从而建立 虚拟E D W 无论哪种E D W架构 其最终目的都是要将多个数据 源的操作型数据进行整合 提供给业务部门口径一致的 分析型数据来支持B I 应用 包括K P I 报表 O L A P 分析 数据挖掘 业务即时查询等 2 光大银行数据仓库建设概况及特点 2 0 0 5 年前光大银行就在业务需求驱动下 基于 E s s b a s e MO L A P 技术以及B I o f f i c e 前端报表工具 建设 了面向单个业务部门 业务主题 的相关数据集市 包括 国际结算统计分析系统 对公 同业 业务数据统计分析 系统 对公风险统计分析系统等 这些集市的建立为当 时国际结算 对公 同业以及对公风险业务管理提供了快 速 准确的分析数据支持 虽然从符合K i m b a l l 的总线架构E D W建设模式起步 但基于以下两方面考虑 光大银行最终还是选择了建设 符合I n mo n C I F 架构的企业级数据仓库 首先 作为全国 性商业银行 业务复杂度较高 建立集中的E D W平台有利 于业务口径的统一和梳理 其次 面向监管报送等B I 应用 集市需要众多源系统数据支持 总线架构E D W建设需要 长期积累才能完成多数据源整合 无法满足快速实施要 求 因此 光大银行于2 0 0 5 年开始启动建设企业级数据仓 库调研 并根据银行科技建设规划 于2 0 0 6 年采用以重点 系统全面入仓为目标 以建设银监会非现场稽核1 1 0 4 系统 为切入点的建设方针 利用数据仓库技术搭建全行基础 数据平台 并围绕基础数据平台构建出一套全行信息管 理服务体系 2 0 0 6 2 0 0 9 年 光大银行先后将核心系统 S AP 系 统 信用卡V 系统 网上银行系统 国际结算系统 对公 信贷风险系统 现金管理系统等全行3 3 个重要源系统入 仓 并在整合数据基础上建设了银监会非现场稽核1 1 0 4 系统 K P I 经营指标快报系统 信用卡业务数据统计分析 系统 对公 对私C R M系统等1 9 个B I 应用系统 二 数据服务体系及其应用 1 数据服务概述 当运用数据仓库技术将分散存储在各处的业务数据 用1 0 大金融主题进行整合加工清洗后 数据就已经呈现 出其转化为信息的特质 数据仓库驱动数据转化为有价 值信息需要数据服务来体现 只有建立健全整套数据服 务体系 才能将存储转化的数据信息变为银行管理及金 融营销活动行为的驱动力 数据服务是通过数据语义层封装 调用底层结构化 或非结构化的数据集合 并通过应用集成 过程管理 服 务集成 为用户提供商业智能应用 适合于一家企业的 全面合理的数据整合映射及数据支持技术应用体系可称 作数据服务体系 2 数据服务体系 1 数据服务模式 建立有效的数据服务体系应从数据服务模式入手 这里说的数据服务模式是指广义数据服务架构中应用集 成层 也就是通过应用集成结合符合企业要求的流程 管理提供行之有效的服务集成 数据服务模式可分为 四类 随机查询 A D H O C 固定报表 R e p o r t B I 及多维分析应用 B I O L A P 以及数据挖掘 D a t a Mi n i n g 其中随机查询尤为重要 在通过其他三类模 式完成数据服务的过程中都需配以随机查询 如当根据 业务要求建设数据挖掘模型时 需要运用随机查询技术 进行历史数据探索 发现数据存在的规律 业务报表定 制后也需要使用随机查询技术来验证报表数据的准确 性 数据服务体系建设应紧密围绕这四类数据服务模式 来进行 2 光大银行数据服务体系 光大银行2 0 0 9 年推出了阳光服务年 要求全行一线 19 中国金融电脑2010 7 专题Special Topic 业务部门服务于全行客户 全行二线部门服务于一线部 门 由此催生了信息科技阳光服务 数据服务体系也应运 而生 数据服务体系归纳了相同技术范畴的不同数据支持 模式 并为其发展提供了体系依托 光大银行数据服务体系是以全行基础数据平台为基 础 集成多种商业智能技术应用 建立统一数据服务规 范 流程 辅以数据管控平台及数据安全策略管理 为 全行全辖业务部门在客户管理 运营管理 风险管理 财务管理 信息管理等方面提供无差别化的数据服务 这个体系包括技术架构与业务架构两个层面 技术架 构涵盖 服务团队支持 整合应用产品平台支持 统一数 据支持规范 适宜的服务流程管理 业务架构涵盖客户管 理 运营管理 风险管理 财务管理 信息管理等方面 如 图1 所示 从技术架构视角诠释 面向不同数据服务模式建 立专业数据服务团队支持 以全行数据服务MI S 平台为 图1 数据服务体系架构 个贷巴塞尔客户细分 信贷分险管理单一视图监管报表 业务架构 客户管理客户管理运营管理 风险管理 财务管理 数据支持规范 服务流程管理 团队服务支持 平台整合支付 数据质量管控 数据标准管理 技术架构 企业级数据库 系统 网银核心 系统 风险 系统 信贷 系统 个贷 系统 国结 系统 资金 系统 存管 系统 系统 20 中国金融电脑2010 7 专题 pecial Topics P o r t a l 集成全行统一报表平台 全行统一数据补录及参 数维护平台 全行统一数据挖掘平台等整合应用平台 提 供数据服务支撑 深入区别数据服务模式 建立数据服 务管理办法 包括数据查询管理办法 分行数据开放管理 规范 敏感数据信息屏蔽规范等 根据数据服务流程要 求制定管理流程 如随机查询需求管理流程 监管报送应 用需求管理细则等 从业务架构视角诠释 数据服务体系涵盖全行重要 业务领域 从客户管理领域的客户细分及活动管理平台 行为分析与评分模型到运营管理领域的渠道及柜员绩效 管理和关键指标 从风险管理支持新资本协议合规平台 建设到财务管理领域的新会计准则信息披露 3 数据服务与数据仓库的关系 建设数据服务体系切勿忽视数据仓库的基础作用 因 为完整 高效的数据服务体系离不开数据仓库的技术支 撑 光大银行数据仓库最初以T D 经典模型进行构建 为 更有效支持数据服务开展 引入了语义层建设 语义层基 本可视为T D 数据仓库中间层与应用层的集合 当然其最 突出的特点在于紧密结合了A D H O C 服务技术 为数据应 用人员在数据仓库中开辟了业务语义视图封装 简单地 说 就是每当数据分析人员进行数据随机查询时 对于业 务口径进行的S Q L 初步封装 通过视图方式进行存储 日 积月累 大量的业务口径逻辑以视图的方式在数据仓库语 义层中进行了存储 为日后快速 有效进行数据服务进行 了知识积累 数据仓库在提供B I 应用的服务模式中 数据接口是 一种不可或缺的手段 光大银行在经典模型的基础上引 入了O D S 数据层 通过视图影射和数据加工两种手段从 S D A T A 数据层中加工出数据接口或应用所需的业务源系 统前日数据结构全量数据快照 满足接口单一性 时效性 数据接口要求 3 光大银行数据服务的应用实例 信用卡客户生命周期管理是近年来信用卡业务的战 略业务目标 旨在从客户接触光大银行完成开户开卡到信 用卡激活 首次刷卡 再到客户成长 成熟 并在客户产生 流失风险时的客户全生命周期对客户进行营销关注 提高 客户忠诚度 增加客户收益率 为覆盖客户生命周期的全过程 数据服务利用数据挖 据 策略支持应用 活动定制应用等技术构建生命周期管 理应用的技术架构 利用数据挖掘技术针对客户生命周 期不同阶段定制激活倾向模型 首刷倾向模型 行为评分 模型 挽留倾向模型等 通过挖掘数据预测驱动营销策略 定制 各项营销策略的定制均通过活动管理平台应用输 入并运行 实现客户筛选与策略定制配合 而多维统计分 析应用则为业务管理提供营销策略 活动的后评价 由此 对相关定量模型进行修正和调整 如图2 所示 信用卡生命周期管理是数据服务支持的典型案例 管理要求随机性较强 而且需要通过多种数据服务模式 协调配合才能完成定制 因此 只有建立健全数据服务体 系才能有效支持此类精细化管理业务需求 4 数据服务与数据管控体系 为保障高效 准确的数据服务持续推进 除了不断加 强基础数据平台建设外 还需从数据标准 数据质量 数 据准确性 数据安全以及知识共享积累等方面进行全面 管控的框架 这一体系就是数据管控体系 数据管控平台是集成元数据管理 数据质量管理 数据安全策略 数据标准管理于一体的应用平台 使本来 独立的管控应用有了一个关联整合的平台 其内在要求 为 数据标准既需要元数据提供支持也会将标准定义运用 于业务元数据管理中 数据质量的数据条件是通过数据 标准定义的 而数据质量检查报告又是保证数据标准执 行的重要手段 数据安全策略的定制离不开数据标准的 定制和元数据管理的支持 银行制定数据标准需要适时将其落地 数据标准的 制定规范了全行I T 系统建设的数据模型 建立严格的系统 数据模型设计管控流程 首先需要建设企业级元数据管 理系统 统一维护管控全行I T 应用系统数据模型字典 以 21 中国金融电脑2010 7 专题Special Topic 确保数据标准切实执行 三 数据仓库与数据服务的价值分析 对企业来说 数据仓库属于基础类项目 其价值不言 而喻 数据服务是数据仓库价值体现的最佳途径 弄清 数据仓库与数据服务价值的目的在于在未来的体系建设 中更具针对性 从而能够正确把握其发展方向 1 尝试将数据仓库价值评估分为间接价值和直接 价值 直接价值通过实施数据仓库项目与没有实施该项 目而获得的成本节省得出相关财务指标 间接价值则是 数据仓库及数据服务为业务带来的指标的提升 2 直接收益可以通过计算数据仓库支持相关数据 服务应用建设获得的成本节省收益得到收益财务指标 即投资收益率 R O I 3 间接价值通过增加收入 降低成本 提升管理 提供信息四个象限维度收集业务提升指标 间接体现出 数据仓库潜在价值 商业银行要想在激烈的市场竞争中立于不败之地 业务创新是必由之路 数据服务则能够确保业务创新的 科学性 有效性 建立健全有效的数据服务体系 确保其 有条不紊的发挥效能 必须不断寻求数据仓库技术的发 展和突破 数据仓库技术的发展直接影响着数据服务的 支持能力 未来 动态数据仓库 虚拟存储技术乃至云计 算处理模式等领域的技术发展趋势都值得持续关注 此 外 数据服务能力的提升是业务创新的直接驱动力 事件 式营销 分行数据开放 B I 应用