某人寿保险IT系统基础架构容灾经验分享PPT课件

xx人寿IT系统基础架构容灾经验分享,XX人寿保险股份有限公司系1996年8月22日经中国人民银行总行批准成立的全国性、股份制人寿保险公司。截至2012年，XX人寿总资产超4100亿元，净资产近210亿元，在全国设立了北京、上海、湖北、山东、广东等35家分公司，各级机构超4200家，构建起完整的服务网络为客户提供及时和周到的服务，累计为2776万个人客户和25万机构客户提供过服务，累计理赔客户927万人次，累计理赔金额99亿元。XX人寿旗下拥有XX资产管理有限责任公司、XX养老保险股份有限公司和XX之家投资有限公司。XX资产是国内资本市场大型机构投资者之一，受托资产管理总规模超4600亿元，综合投资收益率居于行业前列。2012年，XX人寿和XX资产分别通过“保监会不动产投资能力和投资计划产品创新能力备案”，成为保险资金投资不动产暂行办法实施以来，行业内第一批取得不动产直接投资、不动产金融产品设立与发行双重资格的保险集团化公司。未来，XX人寿将坚持专业化经营，深耕寿险产业链，为广大客户提供“从摇篮到天堂”持续一生的全方位金融保险服务，致力于让保险更便捷、更实惠，让XX人寿成为人们生活的一部分。,客户简介,2,.,1.客户急需解决的问题与需求2.什么是容灾3.容灾方案的选择4.容灾技术5.数据远程容灾软件6.容灾演练,3,.,客户需求,ECM系统作为XX人寿重要的在线业务支撑系统，为一线业务人员提供在线的电子文档、电子保单等服务。主数据中心：金融街数据中心，运行所有重要系统的核心机房，满足所有重要系统的数据备份、恢复需求。ECM系统是金融街数据中心中最重要的系统之一。在2008年部署了EMC与HDS存储，作为高速存储负责OLTP事件型oralce数据库核心并且同时存放海量影像文件。为ECM系统提供了一个高性高效率能的存储池。由于现在地址灾难和各种火灾停电等因素造成只有一个数据中心的xx人寿数据安全性相对较低，而随着国家法律法规对于金融保险行业的要求，在同城建设数据容灾中心成了重中之重的任务。规划本地容灾中心：亦庄容灾数据中心，满足ECM系统的本地数据级容灾需求，通过40Mbit带宽传递容灾数据（每天的新增数据），实现了数据级容灾。同时由于本套系统为客户的核心业务数据库存放的系统，所以在保障数据安全性的前提下对存储系统的性能有很高的要求，不能因为部署容灾中心增加了容灾传输的性能压力后就影响当前的客户数据正常访问。,4,.,客户现状,金融街数据中心,主业务存储,主机群集,主机群集,主机群集,主业务存储,5,.,性能情况,6,.,什么是容灾,容灾备份系统就是防止意外情况而采取的一种解决方案，其目的只有一个，那就是保证数据安全。根据DisasterRecoveryJounal的调查表明，在受到灾难袭击的5个公司中，将有2个公司无法从灾难中重新开始工作。而那些即使是重新开张的公司中，也将有至少1个将在两年后关张建设容灾系统的目的就是保护所有的业务数据，保证业务的连续性,7,.,什么是业务连续性,业务持续性（ContinuousBusiness）=保证业务的稳定保证企业可以面对计划的和意外的事件发生的时候继续维持运作受到对下面两个方面的理解的驱动业务影响：考虑如何避免对商业的影响业务流程与风险：考虑计划和意外事件发生时的情况数据的可用性保护只是操作灵活性的一部分，最终的解决方案将会围绕着其它方面（例如人员、流程和架构等）,8,.,(恢复策略),Backup策略,Replication策略,GeoCluster,SynchronousReplication,AsynchronousReplication,DBlog,9,.,性价比,WhataboutApplicationavailabilityandbusinessaccessavailability,Application,Data,BusinessAccess,CMCC,10,.,两种方式,11,.,两种方式,12,.,同级设备容灾主机处理能力与生产中心相等存储设备与生产中心配置相等容灾中心系统可靠性与生产中心设置级别相当，如主机集群等投资高，与生产中心平台投资接近降级设备容灾主机处理能力低于生产中心存储设备配置低于生产中心容灾中心系统可靠性低于生产中心设置级别，如不考虑主机集群等投资低于同级规模,CMCC,设备配置策略,13,.,存储级数据库级(Oracle)IPStor第三方软件(VVR)LVM(VxVM),数据复制策略,14,.,Recovery-timeObjective(RTO)多长时间内关键应用必须恢复我能承受多长时间宕机?Recovery-pointObjective(RPO)哪一个时间点之前的数据必须被恢复我能容忍多少数据丢失?被选定的切实可行的灾难恢复方案必须基于成本和恢复时间的平衡如果我花费多一点，我的恢复过程会快多少?如果我花费少一点，我的恢复过程会慢多少?,预定的恢复目标决定相关解决方案,15,.,需要对中心机房所有的主机系统都有进行改造，改为使用VeritasVolumeManager。而这种方式需要把IBM主机上的VG信息都铲掉，即所有的数据库都要首先备份到磁带库上，然后把IBM主机的卷管理软件改为VeritasVolumeManager，然后重建VG，再把数据从磁带库上恢复出来。系统风险极大！在实施阶段很容易造成现有系统的不稳定、数据丢失项目实施周期长，并且需要每个业务主系统都要多次停机，社会影响较大VeritasVVR通过主机实现，对主机系统和应用系统影响较大性能不可预测、难于优化、需要在每台主机上都进行配置和优化如果采用VeritasVVR解决方案，需要对生产中心的8台IBM主机、将近20个分区、容灾中心将要购买的所有主机和分区都要进行改造，工作量可想而知！如果进行软件升级，则所有的主机则都要重新调整，不但工作量大，而且风险高！如果采用VeritasVVR解决方案，将来的新建系统都要进行相同的工作，工作量很大VeritasVVR是按照CPU个数计算License，成本不菲而采用IBM硬件容灾方案，是与主机无关的；如果采用IBM存储解决方案，那么只对2台存储进行操作。将来微码升级、系统配置也只针对2台存储。,软件解决方案,16,.,硬件解决方案,17,.,SynchronousRemoteReplication同步复制,实时镜像，数据同步系统快速恢复，最少数据丢失理论极限值100km，距离越长，时延越大高带宽需求（I/O峰值计算）对生产端I/O响应时间冲击备份端存储处理能力要求足够好否则会连累生产端，导致宕机Cache、Destaging,Synchronous,1-Writetoprimary2-Writetosecondary3-Writecompleteonsecondary4-I/OCompletion,1,生产主机,可以无需备份主机,3,4,2,100公里,P-VOL,S-VOL,18,.,同步数据复制的理想条件,网络带宽光纤1000Mb/sATM622Mb/s距离10公里，最长不超过30公里,19,.,TheRollingDisaster.(IBM,4/8/94),“Exceptinatotaldisaster,(explosion,earthquake)youshouldNEVERexpectyourentiresystemtofailatthesamemoment.Failureswillbeintermittentandgradual,andthedisasterwillactuallyoccurovermanyseconds,evenminutesThisistheRollingDisaster”.除了地震，爆炸等完全毁灭性灾难外，你根本不可能碰到系统同时瘫痪的情况。故障总是间断的，渐渐的累积起来的，整个灾难的过程会持续数秒钟，甚至几分钟，这就是我们所谓的RollingDisaster。,同步方式的挑战:RollingDisaster,RollingDisaster,数据保持I/O的一致性,数据结构可能被破坏，数据不可用,第一波故障,灾难结束计算终止,Corruptioncanoccur,20,.,保证数据一致性和完整性TimestampwritesequencingConsistencygroup最小的响应时间冲击低带宽（平均I/O计算）很少的数据丢失没有0数据丢失,Asynchronous,1,生产中心,容灾中心,PrimaryHost,3,4,2,1-Writetoprimary2-I/OCompletion3-Writetosecondary4-Writecompleteonsecondary,任何距离,S-VOL,P-VOL,AsynchronousRemoteReplication异步复制,21,.,容灾方式的采用,同步容灾的理想条件距离30公里两地有光纤连接或者622Mb/sATM异步容灾没有距离限制在实际银行、电信的应用中，同步容灾对联机事务处理类的业务会增加响应时间，对批处理业务处理速度也有很大的影响技术的选择是性能，投资和RPO等指标的平衡应用级容灾，需要针对容灾对应用做出相应的调整,22,.,cache,5nanoseconds/mspeedoflightinFiber,2microseconds/switch,upto1mswriteintocachememory,upto30mswritetoback-enddisk,时延考虑,=1ms1,000IOPSforlocalwritetocache,23,.,synchronousconsiderations,cache,cache,100kmFCdirect1ms(ROT)DWDM250s/devFCIPEurope19msFCIPtransatlantic81msFCIPNorthAmerica44msFCIPSing.US210ms,=3.3ms303IOPS100km=83ms12IOPSIPLondon-NY,24,.,数据远程复制软件,25,.,26,.,27,.,28,.,29,.,30,.,移动BOSS/BAS系统容灾(原有系统),CRM计费结算营业帐务经营分析DB2OLAP数据挖掘,SAN,经营分析系统,SAN,SAN,DWDM,钦洲北路机房金桥机房,31,.,关于容灾链路的问题,目前情况看，容灾链路主要有以下方式将长波口放置在大交换机上（湖南、上海移动）将长波口放置在小交换机上大、小交换机不互联（辽宁移动、江苏移动）大、小交换机互联（ISL）容灾链路到底需要多少对光纤需要采集现有生产系统的数据对现有生产系统进行先期优化非常重要如果没有裸光纤，那么可以通过SANRouter，把FC转换为IP，但只能走异步容灾方式,32,.,容灾链路的容量,具体情况、具体分析EMC有ETWizard工具协助进行容灾规划需要收集数据、统计数据变化率，主要影响写操作的响应时间，估算最大写吞吐量。通过数据分析工具可以得出每秒的写操作IO数和写操作IO量（MB）现有系统的容量规划非常重要，ETWizard会根据时间间隔分析每个LUN的IOPS变化情况，然后分析该LUN上的SRDF同步写对系统性能的影响不同距离、不同存储类型、不同微码、不同BlockSize大小根据经验，两边都是IBM存储、5771code、32KBBlockSize、20公里内，RDF单链路可承载的IOPS为3200左右（吞吐量为32KB*3200=102.4MB/s）（最近湖北移动的实施中，RDF单链路初始同步速率达到60MB，此时I/OSIZE为32K，接近2000IOPS，故在正常生产中可达到更高）,33,.,IBM解决方案,34,.,建设容灾系统我们所关心的问题,业务需求的SLA、特定应用系统的RTO、RPO、KPIIT蓝图整体系统架构鲁棒性、灵活性与最佳实践经验差距分析数据恢复、容灾切换、回切流程业务连续性包含更广的内容主动性更强业务连续性流程危机管理人力资源管理IT系统恢复,一石激起千层浪,35,.,IBM拥有最完善的存储产品线,DS8000,DS4000,DS3000,DS6000,DS5000,36,.,2009,DS8000XIV,SANVolumeController,多种类型访问需求,异构环境虚拟引擎,高端服务器,向外扩展,向上扩展,向外扩展,通用存储,DS3000,DS4000,DS5000,N系列,IBM磁盘存储定位,37,.,DS高级拷贝服务技术,FlashCopyPointintimecopyAvailableon:DS8000,DS6000,ESSSANVolumeControllerDS4000NSeries,WithinStorageSystem,38,.,39,IBMDS8000创新的革命,创新延续了DS8000世界级的性能，提供绿色存储POWER5+处理器支持4,900,000IOPS，业界第一支持固态硬盘,性能提升8倍！存储池条块化新增卷配置选项可以无须特别优化即可获得最大性能AMP领先的缓存专利技术可以显著地提高性能（成倍提高RAID5的性能），减少备份时间、商业智能/数据仓库的处理时间、流媒体、以及批量处理z/OS全球镜像多线程读IBM独有的创新技术可以提高z/OS远程镜像的性能业界目前唯一的支持磁盘加密功能的厂商支持重复数据删除创新以简化并提高效率IBMFlashCopySE(spaceefficient)可以通过减少容量来减少成本，更少的磁盘、更少的能耗、更绿色DynamicVolumeExpansion更简单、在线、卷扩展来支持发展SSL-新的安全性连接协议选项，为回拔支持额外的审计记录IBMSystemStorageProductivityCenter增强的用户管理图形化界面，支持单一的管理平台管理多台DS8000设备混插磁盘提供内部层次化存储分区（LPAR）-扩展性能与性能的完美结合，相对单一存储提高TCO创新与服务器协作以提高数据中心效率IBMDS8000运行DB2和AIX在IBMSystempTM平台上可以支持统一的自动化功能和集成的有效性和性能更有效地利用p服务器与DS8000中的缓存，可以提高整个系统的性能而无需增加管理的复杂,39,.,DS8000TurboHardwareOverview,40,.,DS8300Turbo(4-Waywithfourexp