银行金融领域数据大集中之路课件.ppt

金融领域数据大集中之路 内容提要内容提要 数据大集中的背景 工行数据大集中的建设历程 数据大集中过程中的关键技术及 难点 工行数据大集中带来的好处 工行实施数据大集中后面临的挑 战及对策 数据大集中的背景数据大集中的背景 为什么要实施数据大集中? 数据大集中的前提条件 为什么要实施数据大集中为什么要实施数据大集中 客客 户户 需需 求求 经经 济济 全全 球球 化化 行行 业业 竞竞 争争 技技 术术 进进 步步 外部驱动力 为什么要实施数据大集中为什么要实施数据大集中 公公 司司 治治 理理 经经 营营 管管 理理 风风 险险 控控 制制 成成 本本 控控 制制 内部驱动力 业业 务务 拓拓 展展 安安 全全 运运 行行 为什么要实施数据大集中为什么要实施数据大集中 n 业务驱动：业务发展和创新速度不断加快，新业务 的技术实现和市场化速度要求越来越快 n 技术驱动：软硬件产品成熟度以及通讯网络质量稳 定性不断提高，一个集中、统一、整合的技术平台 可以更好地为业务发展与创新提供强有力的支持， 可以更好地为客户提供统一服务水平和质量的标准 化服务 n 管理驱动：成本、效益、质量、风险管理；企业内 部变革和管理流程再造，要求全面打造决策支持、 经营管理、业务操作三个层面的企业核心竞争力 n 服务驱动：真正实现“以客户为中心”，借助于先进的 技术手段“不断拓展新的服务渠道”，为客户提供优质 高效的服务 为什么要实施数据大集中为什么要实施数据大集中 关键键要素分行独立运行模式数据大集中模式 应用开发 分散开发：需求不统一 全国推广：速度慢 异地互联：环节多 版本控制：难度大 统一规划 统一设计 统一开发 统一应用推广 生产运行 技术平台不统一，运行维护管理难度高 应用程序处理环节多，效率低 对外服务质量和水平参差不齐 不便于实现标 准化、规范化的生产运行管 理 技术和应用平台标准化 服务水平和质量标准化 生产运行操作标准化、自动化 生产运行管理的规范化、程序化、制度化 管理服务 客户和数据分散，不便于集中统一管理 处理环节多，时效性、准确性差 统一集中的客户信息和经营数据存储与处 理 为经营 管理和业务决策提供及时准确的服 务 成本管理 分散投资，资源不能实现有效共享 大量重复性建设造成投资的巨大浪费 集中投资实现 投资效益最大化 集中采购实现 采购成本最低化 集中建设实现资 源共享最优化 风险管理 分散管理，风险控制能力低，系统可用率 低 集中管理，风险防范能力高，高可用性管 理 综上所述：企业规模越大，实施数据大集中的紧迫性越高，效益越显著，但实施的难度也越大。 数据大集中的前提条件数据大集中的前提条件 n 技术方面 n 管理方面 n 业务方面 n 项目管理 数据大集中的前提条件数据大集中的前提条件 n 技术方面 n 高可用性技术平台设计 n 选用成熟可靠的软硬件产品 n 关键资源的冗余配置设计 n 快速高效的故障恢复能力 n 应用体系的配套改造 n 可靠的外部基础设施支持 n 选用两家以上电信运营商提供网络接入 n 确保外部双路供电，ups及自备发电机的强有力基础 设施保障 n 必要的外部产品和技术支持服务 n 产品维护和二线技术支持 n 生产问题和重大故障的现场支持 n 通过合同确保服务的水平和质量 数据大集中的前提条件数据大集中的前提条件 n 管理方面 n 管理流程的标准化、规范化、制度化 n 运行操作流程的标准化和自动化 n 配套管理制度的建立和修订，有效防范各类风险 n 做好科技队伍建设和人才培养 n 业务方面 n 实现业务需求的统一归口管理 n 业务流程再造与技术平台集中建设的协调发展 n 项目管理 n 建立强有力的项目管理组织体系，确保各项工作的有序开展 n 统筹规划、分布实施 n 充分的测试和必要的验证 n 重点做好风险控制和应急处理机制，最大程度上减少项目实施对客 户的影响 工行数据大集中的建设历程工行数据大集中的建设历程 n中国工商银行简介 n信息系统规模 nit战略 n历程 n 中国最大及最具影响力的商业银行 n 截至2004年末： u资产总额近57000亿元人民币，占中国境内银行业金融 机构资产总和的18%，位居中国第一。 u全年经营利润达746亿元，位居中国第一。 u英国银行家杂志按一级资本排序，名列全球1000家 大银行的第25位，连续五次入围美国财富全球500强 。 中国工商银行简介中国工商银行简介 n 中国信息化建设领先的银行 n 截至2004年末： u信息化建设水平均处于国内领先地位和国际先进水平。 u国内率先实现全国数据大集中的商业银行。 u国内率先实现千公里级最高安全等级异地灾难备份系统 。 u国内信息化建设水平最高、电子化覆盖全行的商业银行 。 u中国电子银行和网上银行规模最大和发展最快。2004年 电子银行交易额达38.44万亿元，网上银行交易额34万亿 元。连续三年被国际主流媒体评为中国最佳网上银行。 行业信息系统领导者行业信息系统领导者 信息系统规模信息系统规模 数据中心 7x24x365 21000个营业网点 3400万笔联机交易/天 17000台atm 230 万笔存取款交易/天 80000台pos 63万笔交易/天 674万信用卡 11000万借记卡 280万笔交易/天 消费金额160亿/月 1100万网上银行个人客户 85万笔交易/天 15.35万网银企业客户 31万笔交易/天 电话银行 客户1818万户 71万笔交易/天 n 15800mips生产主机处理能力（two sysplex) n 100t生产存储容量（主机） n 近千台开放系统服务器 n 千公里级异地主机灾备系统（北京/上海） n 系统运行状况 u主机系统可用率达99.95%。 u系统高峰时间交易率超过1000笔/秒/1 sysplex。 u主机系统交易平均响应时间约0.1秒。 信息系统规模信息系统规模 信息系统主要配置主机侧侧硬件开放平台侧侧硬件 主机生产环境使用 ibm的z990 主机2084-b16 高、中、低端unix服务器 （sun、ibm） 测试、灾备环境ibm的z900- 110、9672-zz7、9672-zy7等 高、中、低端pc服务器（ sun、ibm、hp） 生产、灾备环境主要采用ibm 磁盘 磁盘机（hds、hp、emc 、ibm） 测试、研发、数据交换平台环 境采用了ibm、hds、emc等 不同公司的磁盘 磁带机（stk、hp），交换 机（cisco、brocade） 等 整合后主机灾备架构整合后主机灾备架构 生产生产 系统系统 primaryprimary (24tb)(24tb) sdmsdm 系统系统 secondarysecondary (24tb)(24tb) tertiarytertiary (24tb)(24tb) 恢复恢复 系统系统 生产中心生产中心灾难灾难/ /测试中心测试中心 cntcnt cntcnt flashcopyflashcopy 测试测试 test test dasddasd (30tb)(30tb) sys+tempsys+temp (6tb)(6tb) temptemp (6tb)(6tb) 主机系统灾备架构 xrc/ficonxrc/ficon 办公 用户网 办公 用户网 extranet 接入网 extranet 接入网 ge gsrgsr 2.5g 2.5g ge 数据中心（主）数据中心（备） 15454154546509firewall6509firewall 业务 内网 业务 内网 atm线路1 （10m） atm线路2 （10m） 业务内网 二级分行 拨号线 atm终端 服务器 atm 直连 atm 营业 网点 ddn专线 extranet 接入网 一级分行 二级分行 拨号线 atm终端 服务器 atm 直连 atm 营业 网点 ddn专线 办公/业 务内网 一级分行 atm线路2 （20m） atm线路1 （20m） atm2（4m）atm1（4m）atm2（6m）atm1（6m） 测试 网 业务内网 测试 网 extranet 接入网 办公/业 务内网 工行全国网络系统连接图 经营分析型应用 业务管理 应用架构 客户关系 企业级数据仓库 财务管理风险管理 资产管理 绩效管理 人力资源资产管理内部管理 办公管理 科技管理 说明： 报文 文件 总行（数据中心） 系统整体架构 atm pos 自助终端 internet电话 邮件及应用服务 ie浏览器 noteclient 档 案 后 督 报 表 报 送 分行数据平台 分行外连前置 合作伙伴方（前置） 总行外连前置 企业级数据仓库 文件传输平台 统一认证 总行业务大前置 办公管理 通用报文 交换平台 分行综合 大前置 文件传输平台 总行数据平台 电子银行 业务管理 核心业务处理 企业级客户信息 柜员终端 n 用创新、灵活和成熟的技术方案支持银行的成长 n 以稳定、安全、高效和可靠的it结构提供具有竞 争力的业务运行环境 n 建立一支具有核心研发能力和管理世界级数据中 心的技术和运行团队 n 实现由集中式信息系统向单一管理视图的高度集 成的简约的信息系统的演变 it it 战略战略 银行需求 技 术 架构标准及流程 业务方案 员工技能培养 平台和工程 业务部 门 客户 项目定义与业务案例 开发 集成 运行 支持 it it 战略战略 icbc it价值链 工行信息化建设发展历程工行信息化建设发展历程 技术体系从分散到集中 n1996年，从县支行到地市行，再到省分行和总行，共拥有几千个计算中心。 n1999年大机延伸工程竣工后，全行数据中心数目减少为47个。 n2002年10月，数据集中工程提前两年竣工，北京、上海两大集中式数据中心全面 投入使用，承担全行核心银行系统的运行任务。 n2004年9月，通过数据中心整合工程的实施，数据中心（北京）主机生产系统顺利 迁移至上海，全行生产运行管理集中到数据中心（上海）。 n在2005年，完成全行生产、灾备、测试、研发体系建设和组织机构调整工作，最 终实现全行科技一体化管理。 数据大集中建设历程数据大集中建设历程- -人员组织人员组织 n 科技一体化管理体系 n 科技管理流程价值链 全行科技一体化管理体系全行科技一体化管理体系 数据中心（上海） 一级分行信息科技部 （处） 总行信息科技部 软件开发中心 研发部 数据中心（北京） 一级分行信息科技部 （处） 二级分行 科技科 二级分行 科技科 总行 总行业务部门 一级分行业务部门 海外数据中心 海外分行 科技管理流程价值链科技管理流程价值链 北京上海珠海、广州等北京 规划分析设计开发集成交付生产运行 北京软件开发中心上海一级分行 数据中心整合以后各机构在软件价值链中的作用 n 制度 n 标准 n 规范 n 培训 n 顾问服务 建立了以生产运行管理、科技项目管理、科技行政管理三条主线的制度体系 。 通过管理制度、技术标准、操作规范实现了对管理、技术和操作三个层面风 险的有效防范。 数据大集中建设历程数据大集中建设历程 制度流程制度流程 n 管理办法与实施细则 u问题管理 u变更管理 u安全管理 u应急管理 u操作管理 u数据管理 u机房管理 u性能管理 u网络管理 u变更测试 u计算机资源管理 u科技档案管理 u考核管理 信息制度生产运行管理制度范例信息制度生产运行管理制度范例 重点工程建设情况介绍重点工程建设情况介绍 n大机延伸工程（1996-1999） n数据集中工程（1999-2002） n全国骨干网络改造工程（2003） n数据中心灾备工程（2003） n企业总控中心工程（2003-2004） n数据中心整合工程（2004-2005） n应用系统开发与推广 n核心业务系统 n综合业务管理系统（2002年5月） n全功能银行系统（2003年11月） n经营管理与决策支持系统 n信贷管理系统 n综合报表统计系统 n n电子银行 n网上银行/一体化电话银行系统/ 工程规划设计与实施：思路清晰、统筹规划、分布实施、组织有力、执行到位 。 数据大集中过程中的关键技术及难点 关键技术应用 主要难点 关键技术应用关键技术应用 n 高可用性系统结构设计 n 系统：并行耦合体（parallel sysplex）技术 n 联机应用：cicsplex技术 n 数据库：数据共享（datasharing）技术 n 网络：负载均衡技术 n 操作管理和维护自动化 n 并行批量处理系统（opc） n 系统网络自动化监控系统（netview/sa/openview） n 7*24小时不停机系统维护 n 生产备份系统建设 n 主机异地灾难备份系统（rto2小时，rpo2分钟） n 远程异地磁带库备份系统 n n+1/ha/workload balance备份系统 关键技术应用关键技术应用 n 数据迁移技术 n pprc/xrc/pprcxd/srdf技术的合理使用 n 应用系统分层负载均衡技术 n cmc/tor/aor/for(db) 主要难点主要难点 n 系统建设容量和规模大，系统复杂度高，新技术应用多， 没有可借鉴成功经验，外部技术支持和服务环境不成熟 n 涉及系统多、范围广、环节多，项目管理和风险控制难度 大 n 如何实现平稳迁移、最大限度地减少停机时间，是工程组 织和技术水平的一个挑战和难点 n 与技术体系建设的高水平相比，科技人员管理和技术水平 的提高相对滞后，风险意识需要进一步加强 n 技术体系和组织结构的快速变化，对制度体系建设的时效 性和适应性要求更高 主要难点主要难点 n 非规范数据的整理清洗转换迁移和加载(可控的停机时间) n 新旧系统的混合运营 n 业务员工操作技能和管理技能调整培训 n 端对端的集成测试和压力测试 工行数据大集中带来的好处工行数据大集中带来的好处 n 统一的技术平台和服务水平管理，实现了“以客户为中心”的服务理念 ，更好地为客户提供全天候全地域高质量的标准化服务。 n 通过实现应用产品的四统一，大大缩短了应用开发和推广的周期，提 高了应用产品市场化的速度和质量。 n 通过数据的集中存储和处理，实现了客户信息的集中统一管理，通过 技术手段实现了对全行业务操作的集中授权管理，实现了对经营管理 的硬控制，为全行决策支持提供了及时、准确、高效的信息化服务。 n 通过全行科技一体化体系的建立，实现了全行科技管理和技术的优势 资源的高度集中，可以更好地为业务发展和创新服务。 n 大大降低了整个信息系统的运维和管理成本 n 为业务系统的整合级流程再造提供了稳定的技术平台 n 银行业务和管理处于重大变革和转型期 u需求的不稳定性（尚未形成稳定的业务体系） u组织的不稳定性（正在变革的治理结构） u技术架构的不稳定性（正在进行中的系统重构和整合） n 复杂庞大的信息系统规模 u15000mips主机和100t需有效管理的数据 u需要管理由数以百计的开放系统服务器组成的几十个分 布式应用系统 u始终处于高负荷运行中的信息处理平台 n 外部支持单位和业务合作伙伴的有效合作 u技术产品供应商缺乏有效及时的服务 u业务合作伙伴技术体系的不完善 数据大集中后面临的挑战及对策数据大集中后面临的挑战及对策 n it部门尚未形成稳定的管理框架和运作流程 n 技术管理团队缺乏成熟的技术和管理技能 n 大量的高密度的技术变更 n 计划内停机的有效控制和减少 n 高度集成的应用系统和集约化的研发体系与区域 客户差异化服务需求的矛盾 数据大集中后面临的挑战数据大集中后面临的挑战 数据大集中后面临的挑战数据大集中后面临的挑战 n 系统故障分类统计 u硬件和系统平台原因 55% 这些原因在开发、测试系统均未发生，均由于硬件系统热备 份失效，ptf缺失，容量参数评估不足引起 u应用软件原因 17.5% 集成测试不足，问题经常重复发生（问题未有效解决或解