新一代分布式核心系统建设

招商银行新一代分布式核心系统建设 2016 12 23 杨勉 招商招商银银行高行高级级架构架构师师 杨杨勉勉 文文 杨杨勉勉 招商银行在发展过程中一直秉持科技兴行的发展战略 立足于市场和客户需求 致力于建设全行统一的信息系统 建行近三十年来 招商银行 IT 系统经历了会计电算化 业务电子化和全行主机 大集中等三个阶段 已基本建成覆盖客户 渠道 产品 账务 管理等领域的较为 完整的银行信息系统 在支撑业务发展和管理变革中发挥着重要的支撑作用 一 一 项项目背景目背景 随着业务快速发展和二次转型工作的推进 招商银行需要对现有的 IT 系统架构 业务体系进行重构和优化 打造运行高效 长期可用 满足专业化经营要求的新 一代系统 技术面对的挑战主要表现在以下几个方面 1 移移动动互互联时联时代的代的业务业务快速增快速增长长 从 PC 互联时代进入了移动互联时代 移动终端用户和交易量大幅增加 移动应 用的客户接触是随时随地的 越来越多的第三方系统接入到银行 这些趋势都造 成银行业务逐年翻番 传统单主机集中式架构无法继续支持上亿客户 日均数亿 请求的业务量 2 利率市利率市场场化的化的业务产业务产品品创创新加速新加速 随着利率改革逐渐深入 利率市场化呼之欲出 为了在存款利率市场化到来的第 一时间响应需求 银行系统要足够灵活 要实现配置化的产品工厂 3 业务连续业务连续性要求日性要求日趋趋苛刻苛刻 招商银行作为大型零售银行 对重要业务系统运行连续性要求异常苛刻 如停机 超过半小时造成的业务损失 声誉损失估值可达数亿元人民币 双 11 等交易高 峰期对银行核心系统的处理能力也不断提出新的挑战 二 二 项项目研目研发发概况概况 招商银行新一代分布式核心系统于 2010 年启动规划 从规划到投产历时 3 年 项目作为一个超大型项目集群 分为核心解耦 银行卡 CIF 等项目群 项目群下 分为多个大项目片区 每个片区立项数十个 项目群管理分为技术组和业务组 各自成立 PMO 项目管理办公室 负责各自方向把控 资源协调 工作推动等 同时为了加强两个工作组横向沟通 成立以相关技术 业务部门领导为成员的执 行管理组 整个项目新建和改造数据表数万张 新增 改造程序多达数万个 新增和改造代 码数百万行 项目投产过程历时半年 按先小型分行投产 后中小型分行投产 最后大型分行 投产的顺序逐步推进 数据迁移量均衡分布 稳步投产 三 三 实实施成果施成果 1 技技术层术层面面 1 解耦核心系解耦核心系统统 打造层次清晰 运行高效 长期可用的核心框架 对未来业务 系统落地实施奠定了基础 重构业务体系 建设满足专业化经营要求的业务系统 集群 提高产品定价能力和盈利水平 降低运营成本 控制操作风险 2 统统一客一客户户信息信息 建立统一的客户视图和配套的管理系统 实现客户基本信息的 集中和统一管理 并在统一的客户标识项下 关联客户在各系统中的产品开通 产品使用 客户行为等信息 形成 360 度客户视图 同时通过完整的客户信息管 理 治理体系 明确客户信息的收集 维护和使用的策略 制度 满足客户经营和 管理中各环节对客户信息的需要 3 打破渠道打破渠道竖竖井井 加强渠道整合 从架构上改变目前渠道的竖井状结构 建立多 渠道协同体系 统一客户接触 统一客户任务 统一客户认证 使客户获得连续 一致的服务 让客户真正体验 ONEBANK 服务 不断提高价值客户的忠诚度和 满意度 4 提升性能指提升性能指标标 从根本上解决主机性能压力 目前日均交易量大幅高出设计标 准 各项非功能指标仍然优异 2 业务层业务层面面 1 提高柜面效率提高柜面效率 对系统进行了一次全面梳理和优化 简化操作流程 减少业务 菜单 强化系统自动控制 提高单笔业务效率 2 提升客提升客户户体体验验 扩大免填单业务范围 以回单替代申请 方便客户业务办理 创 新业务处理模式 将凭证挂失等 11 类业务受理范围调整至全行所有网点 便利 客户业务申请 3 增增强强事中事中风风控控 通过拍照仪 短信通知 密码键盘确认交易等手段强化业务操 作事中风险控制 降低银行操作风险 4 业务业务基基础础支持支持 在利率定价 利率灵活设置 结构化存款方面建立了先进的底 层技术支持机制 并将客户价值贡献引入到定价过程 在收费定价 收费统一管 理方面也做了大量改进 5 加加强强管理信息支持管理信息支持 从业务维度定义了 产品 事件 任务 模型 系统详细记录 柜员每次操作 为柜台的成本分摊和柜面行为管控提供精细化的数据支持 6 推推进进数据数据标标准全面落地准全面落地实实施施 面对大数据时代的来临 数据标准的实施是全行 管好 用好数据的基础 借助新一代核心系统项目 招商银行在数据标准全面落 地实施方面也扎扎实实地迈出了一大步 四 四 创创新特点新特点 1 基于基于 AS400 集群的分布式核心集群的分布式核心 业内对分布式系统的探讨大多基于开放式架构 而招商银行选择的基于 AS400 主机集群的分布式系统为业内独创 招商银行一方面倚重 AS400 的高可用性和易维护性 发挥自身在 AS400 管理 开发 运维方面的知识积累优势 另一方面通过以 AS400 主机系统为基础的集群 获得了足够的可扩展性 并保障了分布式架构下的数据一致性 AS400 主机与普通 86 服务器相比 单机性能强大 分布式集群的规模较小 集 群的可维护性高 以本项目为例 86 集群可能需要上百台服务器 而 AS400 的 集群仅需要几台主机 由单主机向分布式架构的转变势必会带来数据库的拆分 招商银行采取垂直分 片方式将业务分为借记卡和其他业务 在保障简单但巨量的借记卡业务的同时 将借记卡业务按分行来分表 从而实现了业务集群化基础上的可扩展性 2 AS400 集群内的事集群内的事务务保保护护 对于银行核心系统而言 业务数据事务一致性的重要性不言而喻 在银行核心系 统的场景下 互联网公司经常采用的最终一致性方案是行不通的 招商银行自行设计的双机间的交易穿透和双机事务保护机制 在集群的不同主 机间采用强事务一致性 在账务层实现了交易穿透 应用开发人员可以完全不用 知晓账户所在的位置 由核心底层自动完成集群中主机间的账务穿透 账务交易 成功则双方同时确认 任意一侧不成功则双方同时回滚 由于实现了交易的自动穿透 招商银行在 AS400 上几十年积累的 80 的应用得 以不修改或者小修改就能适应新的架构 有效保护了信息资产 3 分分钟级别钟级别的主的主备备切切换换 新一代分布式核心集群的高可用方案采用深沪两地 生产主机 本地热备 远程温 备 的方案 主备切换方案按分钟级别设计 在极端情况下提供秒级切换 首先 主机要快速切换到备机 快速切换的前提是主备数据已经同步到同一点 实现快速同步技术的前提是将联机和批量的同步通道分离 分布式架构已经将 同步数据进行了一次切分 再通过批量和联机的通道分离 使联机需要同步的数 据量进一步减少 延迟保持在秒级 其次 批量交易由于会带来数据库的大量读写 往往延迟较长 通过应用设计中 的可重入等机制 在批量同步时间预计过长的情况下同步数据可以直接丢弃 在 备机上重新跑批 以减少灾难场景下切换所需的延时 最后 在系统中保存了一个几分钟的交易缓冲池 以在数据未同步的情况下 进 行事后交易核对 在极端环境下直接切换时 可凭借这几分钟数据的事后核对保 障业务的完整性和正确性 4 虚虚拟拟子子账户账户 热点账户是目前互联网高频交易环境下带来系统冲击的主要原因之一 双 11 支付宝的相关交易账户在秒杀等场景下极易产生热点 招商银行通过虚拟子账 户技术从核心层面提供了互联网高频交易的分散策略 虚拟子账户把额度先分配到所有的虚拟子账户上 日间交易时只锁定子账户而 不锁定主账户 子账户对业务不可见 而业务查询主账户实时累计子账户余额呈 现 虚拟子账户的设计不仅很好地分散了热点 而且由于虚拟子账户可以按商户 设置 在清算上提供了额外的便利 5 渐进渐进式的灰度投式的灰度投产产策略策略 为了保障更好的业务服务和风险可控 新一代核心系统投产过程需逐步切换 支 持灰度发布 系统支持必要时完全回退到老的核心系统 此外 系统上线的业务 中断服务的时间需要控制在 2 小时以内 不能对业务产生影响 为满足上述约束条件 新一代核心系统为投产做了专门的设计 投产过程历时半 年 按先小型分行 后中