银行金融领域数据大集中之路.ppt

金融领域数据大集中之路,内容提要,数据大集中的背景 工行数据大集中的建设历程 数据大集中过程中的关键技术及难点 工行数据大集中带来的好处 工行实施数据大集中后面临的挑战及对策,数据大集中的背景,为什么要实施数据大集中? 数据大集中的前提条件,为什么要实施数据大集中,外部驱动力,为什么要实施数据大集中,内部驱动力,为什么要实施数据大集中,业务驱动：业务发展和创新速度不断加快，新业务的技术实现和市场化速度要求越来越快 技术驱动：软硬件产品成熟度以及通讯网络质量稳定性不断提高，一个集中、统一、整合的技术平台可以更好地为业务发展与创新提供强有力的支持，可以更好地为客户提供统一服务水平和质量的标准化服务 管理驱动：成本、效益、质量、风险管理；企业内部变革和管理流程再造，要求全面打造决策支持、经营管理、业务操作三个层面的企业核心竞争力 服务驱动：真正实现“以客户为中心”，借助于先进的技术手段“不断拓展新的服务渠道”，为客户提供优质高效的服务,为什么要实施数据大集中,综上所述：企业规模越大，实施数据大集中的紧迫性越高，效益越显著，但实施的难度也越大。,数据大集中的前提条件,技术方面 管理方面 业务方面 项目管理,数据大集中的前提条件,技术方面 高可用性技术平台设计 选用成熟可靠的软硬件产品 关键资源的冗余配置设计 快速高效的故障恢复能力 应用体系的配套改造 可靠的外部基础设施支持 选用两家以上电信运营商提供网络接入 确保外部双路供电，UPS及自备发电机的强有力基础设施保障 必要的外部产品和技术支持服务 产品维护和二线技术支持 生产问题和重大故障的现场支持 通过合同确保服务的水平和质量,数据大集中的前提条件,管理方面 管理流程的标准化、规范化、制度化 运行操作流程的标准化和自动化 配套管理制度的建立和修订，有效防范各类风险 做好科技队伍建设和人才培养 业务方面 实现业务需求的统一归口管理 业务流程再造与技术平台集中建设的协调发展 项目管理 建立强有力的项目管理组织体系，确保各项工作的有序开展 统筹规划、分布实施 充分的测试和必要的验证 重点做好风险控制和应急处理机制，最大程度上减少项目实施对客户的影响,工行数据大集中的建设历程,中国工商银行简介 信息系统规模 IT战略 历程,中国最大及最具影响力的商业银行 截至2004年末： 资产总额近57000亿元人民币，占中国境内银行业金融机构资产总和的18%，位居中国第一。 全年经营利润达746亿元，位居中国第一。 英国银行家杂志按一级资本排序，名列全球1000家大银行的第25位，连续五次入围美国财富全球500强。,中国工商银行简介,中国信息化建设领先的银行 截至2004年末： 信息化建设水平均处于国内领先地位和国际先进水平。 国内率先实现全国数据大集中的商业银行。 国内率先实现千公里级最高安全等级异地灾难备份系统。 国内信息化建设水平最高、电子化覆盖全行的商业银行。 中国电子银行和网上银行规模最大和发展最快。2004年电子银行交易额达38.44万亿元，网上银行交易额34万亿元。连续三年被国际主流媒体评为中国最佳网上银行。,行业信息系统领导者,信息系统规模,数据中心 7x24x365,21000个营业网点 3400万笔联机交易/天,17000台ATM 230 万笔存取款交易/天,80000台POS 63万笔交易/天,674万信用卡 11000万借记卡 280万笔交易/天 消费金额160亿/月,1100万网上银行个人客户 85万笔交易/天 15.35万网银企业客户 31万笔交易/天,电话银行 客户1818万户 71万笔交易/天,15800MIPS生产主机处理能力（two sysplex) 100T生产存储容量（主机） 近千台开放系统服务器 千公里级异地主机灾备系统（北京/上海） 系统运行状况 主机系统可用率达99.95%。 系统高峰时间交易率超过1000笔/秒/1 sysplex。 主机系统交易平均响应时间约0.1秒。,信息系统规模,信息系统主要配置,整合后主机灾备架构,生产 系统,Primary (24TB),SDM 系统,Secondary (24TB),Tertiary (24TB),恢复 系统,生产中心,灾难/测试中心,CNT,CNT,Flashcopy,测试,Test Dasd (30TB),Sys+Temp (6TB),Temp (6TB),主机系统灾备架构,XRC/FICON,办公 用户网,办公 用户网,Extranet 接入网,Extranet 接入网,GE,GSR,GSR,2.5G,2.5G,GE,数据中心（主）,数据中心（备）,15454,15454,6509,FireWall,6509,FireWall,业务 内网,业务 内网,ATM线路1（10M）,ATM线路2（10M）,业务内网,二级分行,拨号线,ATM,终端,服务器,ATM,直连 ATM,营业 网点,DDN专线,Extranet 接入网,一级分行,二级分行,拨号线,ATM,终端,服务器,ATM,直连 ATM,营业 网点,DDN专线,办公/业务内网,一级分行,ATM线路2（20M）,ATM线路1（20M）,ATM2（4M）,ATM1（4M）,ATM2（6M）,ATM1（6M）,测试网,业务内网,测试网,Extranet 接入网,办公/业务内网,工行全国网络系统连接图,经营分析型应用 业务管理,应用架构,客户关系,企业级数据仓库,财务管理,风险管理,资产管理,绩效管理,人力资源,资产管理,内部管理,办公管理,科技管理,说明： 报文 文件,总行（数据中心）,系统整体架构,ATM,POS,自助终端,Internet,电话,邮件及应用服务,IE浏览器,NoteClient,档案,后督,报表,报送,分行数据平台,分行外连前置,合作伙伴方（前置）,总行外连前置,企业级数据仓库,文件传输平台,统一认证,总行业务大前置,办公管理,通用报文交换平台,分行综合大前置,文件传输平台,总行数据平台,电子银行,业务管理,核心业务处理,企业级客户信息,柜员终端,用创新、灵活和成熟的技术方案支持银行的成长 以稳定、安全、高效和可靠的IT结构提供具有竞争力的业务运行环境 建立一支具有核心研发能力和管理世界级数据中心的技术和运行团队 实现由集中式信息系统向单一管理视图的高度集成的简约的信息系统的演变,IT 战略,银行需求,技 术,IT 战略,ICBC IT价值链,工行信息化建设发展历程,技术体系从分散到集中 1996年，从县支行到地市行，再到省分行和总行，共拥有几千个计算中心。 1999年大机延伸工程竣工后，全行数据中心数目减少为47个。 2002年10月，数据集中工程提前两年竣工，北京、上海两大集中式数据中心全面投入使用，承担全行核心银行系统的运行任务。 2004年9月，通过数据中心整合工程的实施，数据中心（北京）主机生产系统顺利迁移至上海，全行生产运行管理集中到数据中心（上海）。 在2005年，完成全行生产、灾备、测试、研发体系建设和组织机构调整工作，最终实现全行科技一体化管理。,数据大集中建设历程-人员组织,科技一体化管理体系 科技管理流程价值链,全行科技一体化管理体系,科技管理流程价值链,北京,软件开发中心,上海,数据中心整合以后各机构在软件价值链中的作用,制度 标准 规范 培训 顾问服务,建立了以生产运行管理、科技项目管理、科技行政管理三条主线的制度体系。 通过管理制度、技术标准、操作规范实现了对管理、技术和操作三个层面风险的有效防范。,数据大集中建设历程 制度流程,管理办法与实施细则 问题管理 变更管理 安全管理 应急管理 操作管理 数据管理 机房管理 性能管理 网络管理 变更测试 计算机资源管理 科技档案管理 考核管理,信息制度生产运行管理制度范例,重点工程建设情况介绍,大机延伸工程（1996-1999） 数据集中工程（1999-2002） 全国骨干网络改造工程（2003） 数据中心灾备工程（2003） 企业总控中心工程（2003-2004） 数据中心整合工程（2004-2005） 应用系统开发与推广 核心业务系统 综合业务管理系统（2002年5月） 全功能银行系统（2003年11月） 经营管理与决策支持系统 信贷管理系统 综合报表统计系统 电子银行 网上银行/一体化电话银行系统/ 工程规划设计与实施：思路清晰、统筹规划、分布实施、组织有力、执行到位。,数据大集中过程中的关键技术及难点,关键技术应用 主要难点,关键技术应用,高可用性系统结构设计 系统：并行耦合体（Parallel Sysplex）技术 联机应用：CICSPlex技术 数据库：数据共享（DataSharing）技术 网络：负载均衡技术 操作管理和维护自动化 并行批量处理系统（OPC） 系统网络自动化监控系统（Netview/SA/Openview） 7*24小时不停机系统维护 生产备份系统建设 主机异地灾难备份系统（RTO2小时，RPO2分钟） 远程异地磁带库备份系统 N+1/HA/Workload balance备份系统,关键技术应用,数据迁移技术 PPRC/XRC/PPRCXD/SRDF技术的合理使用 应用系统分层负载均衡技术 CMC/TOR/AOR/FOR(DB),主要难点,系统建设容量和规模大，系统复杂度高，新技术应用多，没有可借鉴成功经验，外部技术支持和服务环境不成熟 涉及系统多、范围广、环节多，项目管理和风险控制难度大 如何实现平稳迁移、最大限度地减少停机时间，是工程组织和技术水平的一个挑战和难点 与技术体系建设的高水平相比，科技人员管理和技术水平的提高相对滞后，风险意识需要进一步加强 技术体系和组织结构的快速变化，对制度体系建设的时效性和适应性要求更高,主要难点,非规范数据的整理清洗转换迁移和加载(可控的停机时间) 新旧系统的混合运营 业务员工操作技能和管理技能调整培训 端对端的集成测试和压力测试,工行数据大集中带来的好处,统一的技术平台和服务水平管理，实现了“以客户为中心”的服务理念，更好地为客户提供全天候全地域高质量的标准化服务。 通过实现应用产品的四统一，大大缩短了应用开发和推广的周期，提高了应用产品市场化的速度和质量。 通过数据的集中存储和处理，实现了客户信息的集中统一管理，通过技术手段实现了对全行业务操作的集中授权管理，实现了对经营管理的硬控制，为全行决策支持提供了及时、准确、高效的信息化服务。 通过全行科技一体化体系的建立，实现了全行科技管理和技术的优势资源的高度集中，可以更好地为业务发展和创新服务。 大大降低了整个信息系统的运维和管理成本 为业务系统的整合级流程再造提供了稳定的技术平台,银行业务和管理处于重大变革和转型期 需求的不稳定性（尚未形成稳定的业务体系） 组织的不稳定性（正在变革的治理结构） 技术架构的不稳定性（正在进行中的系统重构和整合） 复杂庞大的信息系统规模 15000MIPS主机和100T需有效管理的数据 需要管理由数以百计的开放系统服务器组成的几十个分布式应用系统 始终处于高负荷运行中的信息处理平台 外部支持单位和业务合作伙伴的有效合作 技术产品供应商缺乏有效及时的服务 业务合作伙伴技术体系的不完善,数据大集中后面临的挑战及对策,IT部门尚未形成稳定的管理框架和运作流程 技术管理团队缺乏成熟的技术和管理技能 大量的高密度的技术变更 计划内停机的有效控制和减少 高度集成的应用系统和集约化的研发体系与区域客户差异化服务需求的矛盾,数据大集中后面临的挑战,数据大集中后面临的挑战,系统故障分类统计 硬件和系统平台原因 55% 这些原因在开发、测试系统均未发生，均由于硬件系统热备份失效，PTF缺失，容量参数评估不足引起 应用软件原因 17.5% 集成测试不足，问题经常重复发生（问题未有效解决或解决方案未形成规范文档） 管理原因 27.5% 系统监控不及时，技术人员技能不足，变更文档不完整，缺乏有效的应急操作手册和回退方案 大多数问题由于前一天晚间系统变更引起,对策,系统思维 提高整个系统的可用性必须从涉及IT价值链的各个环节整体分析规划入手，找出关键失效因素 分步实施 如何利用有限的资源先解决关键问题 风险和成本的最佳平衡,对策,实施各中心功能定位优化计划 对各数据中心和开发中心就设计、开发、测试、运行、支持、灾备等功能进行重新定位，理顺技术架构和管理流程 在系统设计时严格遵循以下原则 没有单点故障 更强调系统的横向扩展性（更多的LPAR而非更大的LPAR) 动态系统维护 多对多的系统连接 负载均衡技术和动态路由技术等等 在系统恢复技术中考虑突发问题 加强变更管理 将各类技术变更固定安排在每周六晚进行,对策,平台标准化工作，减少系统复杂性