金融领域存储方案设计说明

1、.专业整理 .金融领域存储方案设计殷擎俞彦琪. 学习帮手 .专业整理 .近年来计算机网络信息系统在社会生产和生活中发挥着越来越大的作用。基于计算机技术的网络信息系统在很大程度上改变了社会对信息的处理能力，因而得到了广泛的应用。对于金融企业来说，信息的高度共享、数据的安全可靠是系统建设中优先考虑的问题，基于此 ，建设高性能的数据存储网络意义重大。第一章 领域介绍和数据存储需求分析1.1 领域介绍“十八大 ”提出将金融改革列为未来十年发展的重中之重，中国主要金融企业也都制定了“十二五 ”发展规划 ，将依靠构建智慧型的数据分析体系（ MIS ）充分挖掘业务规律，以支持业务创新与服务创新。从未来发展看

2、，中国金融行业在“十二五 ”时期将重点实现发展方式转型 ：一，中国金融行业将建立全面的风险管理体制，向严监管转型；二，从粗放式管理向精细化管理转型，信息化重点也将从业务信息化向管理信息化转变；三，从 “利润为中心”和 “保单为中心 ”向 “客户为中心 ”转型 。 由此，未来几年中国金融行业的IT 投资规模将会持续增长 。1.2 数据存储需求分析金融大数据需要可扩展性开放架构做支撑。 大数据量必然要求金融企业IT 基础设施更易于数据的整合与集中 、扩展与伸缩 ，以及管理与维护，同时还必须具备良好的可靠性、可控性 、安全性。. 学习帮手 .专业整理 .大数据在加强风险管控、精细化管理 、业务创新等

3、业务转型中将起到重要作用。首先 ，大数据能够加强风险的可审性和管理力度，支持业务的精细化管理。当前中国银行业利率市场化改革已经起步，利率市场化必然会对银行业提出精细化管理的新要求。其次 ，大数据支持服务创新，能够更好地实现“以客户为中心”理念 ，通过对客户消费行为模式进行分析（比如事件关联性分析）， 提高客户转化率，开发出不同的产品以满足不同客户的市场需求 ，实现差异化竞争。在高频金融交易、小额信贷 、精准营销等领域加速推进。目前大数据应用已经在金融业逐步推开 ，并取得了良好的效果，形成了一些较为典型的业务类型，如高频金融交易、小额信贷 、精准营销等 。 高频金融交易的主要特点是实时性要求高和

4、数据规模大。最后 ，大数据在金融机构的精准营销方面也有着巨大的价值。基于以上需求，金融行业对于大数据的存储和应用有着很大的需求。灾备需求银行业已经基本完成了省级业务和数据的大集中，具备了比较强的容灾能力，但各地分行存储备份系统还需要进一步加强。一旦全国这个数据中心发生灾难事件，那么全国范围内的分支机构和开户企业、个人都将失去自己的存款记录、贷款记录 ，不能开展业务，这样的影响不是在一个市、一个省 ，而是在全国的范围，后果难以想象 。? 国外一些发达国家，如：美国 ，在银行业的存储网络建设上起步早，早在上个世纪 70年代就有灾难备份的概念和服务。在信息技术发达的欧美国家均对银行在保证数据完整性及

5、业务连续性的责任上作出了明确的规定，在新加坡 、中国香港金融管理局也对灾难备份提出了要求，由此可见银行业数据的安全存储对于银行的生存至关重要。? 由于使用ATM 机取款和刷卡消费越来越普及，这就要求银行必须 保证 24X7 的. 学习帮手 .专业整理 .不间断运行 ，以满足超大量用户的实时访问，一旦宕机或者系统发生故障，不仅严重影响银行业务的运营，更将严重影响客户满意度。所以建议租用网络存储空间，保证您 24X7 的在线服务 。? 目前 ，银行缺乏足够的网络维护人员。因此 ，高效的网络存储建设十分必要。构建网络式存储 ，避免了巨大的额外支出，大大提高了存储系统的利用率。具体需求1、应用数据的全

6、自动备份：减少系统管理员的工作量；增加备份效率 、压缩备份时间 ；使数据备份工作形成制度化、科学化 ；消除备份过程因操作不当导致的严重损失；声称远程保留的为灾难恢复目的的介质。2、对介质的有效管理：增加软件对介质存储的限制，防止读写操作错误；保留介质内容的电子记录 ；对数据形成分门别类的介质存储，使数据管理更加细致、科学 ；自动校验介质，确保介质上的数据安全无误。3、实现数据的集中管理：按备份服务器形成数据中心，对各种应用系统及其他信息数据形成集中的备份，减少每个应用业务人员的工作负担，免除客户端备份的投资；形成数据管理策略 ，保证数据的安全性。4、实现数据的自动恢复：业务人员可容易地自动恢复

7、文件的误删除；维护人员可以自动恢复损坏的整个文件系统。. 学习帮手 .专业整理 .5、建立历史数据归档：保留大量历史数据到电子介质，为商业竞争和企业发展保留第一手分析和历史资料；有规范地归档 ，清除系统中被占用的空间以保证主机处于运行状态。6、实现数据的分级存储管理（ HSM ）。7、防毒安全备份管理。第二章 数据特点分析和数据访问特点2.1 数据特点分析1、及时性有效性2、准确性可靠性3、连续性可扩性4、开放性多功能性5、安全性保密性2.2 数据访问特点快速增长的金融行业不光面临着市场变化快，产品更新快 、营销策略变化快、业务运作变化快等挑战，还面临这信息安全存储和及时访问、信息的集中化存储

8、 信息存储整合、. 学习帮手 .专业整理 .信息和数据的有效备份、及时的恢复 、信息和数据的归档等技术应用层面的难题。相比其他行业，他们要在一个集中的点上，管理全国乃至全球极大的交易数据需要瞬间数据访问 、高安全性和异地存储等功能，金融机构对于灾后恢复时间的容忍度是所有行业中最小的 。第三章 存储系统设计3.1 磁盘选择选用 DELL MD3600f磁盘阵列其规格为3.5 英寸- 7,200 RPM近线 SAS 硬盘 ，容量规格为2 TB接口类型因为采用近线SAS 硬盘 ，所以其接口为串行SCSI 接口 。. 学习帮手 .专业整理 .盘块个数由于 该领域某单位或企业当前实际数据量为2TB，预计

9、该系统的数据每年增长量是30%按未来 5 年的需求设计 ，所以五年后数据量增加到2*(1+30%)5=7.5TB。考虑到此项目我们考虑使用RAID10 存储，所以应增加磁盘数量 ，所以数据量增到7.5*2=15TB所以此处在只考虑存储数据，而不考虑业务连续性设计方案的情况下，应购买 MD3600f的数量为8 个3.2 选择 RAID 级别3.2.1 RAID10 和 RAID5比较RAID10 和 RAID5 对比 ，这里拿同样多驱动器的磁盘来做对比(4个相同的磁盘)，RAID5 可以选择 3D+1P 的 RAID 方案， RAID10 则可以选择 2D+2D的 RAID 方案 。从读写性能比

10、较 ，读方面两者差异不大，但在写性能方面 ， RAID5的写代价为 4，而RAID10 写代价只有2 ，写性能角度 RAID10 要好于 RAID5.从安全性角度考虑 ， RAID10 的安全性高于 RAID5 。比如当盘1 损坏时 ，对于 RAID10 ，只有当盘 1 对应的镜象盘损坏，才导致 RAID 失效 。 但是对于 RAID5 ，剩下的 3 块盘中 ，任何一块盘故障 ，都将导致 RAID 失效 ， 在恢复的时候 ， RAID10 恢复的速度也快于RAID5 。要求较高的空间利用率，对安全性要求不是特别高 、大文件存储的系统采用RAID 5 比较好 。 相反，安全性要求很高 ，不计成本

11、 ，小数据量频繁写入的系统采用RAID10 的方式比较好 。 此处 RAID10 更加贴近于金融数据的存储，因为金融服务类领域小数据量频繁写. 学习帮手 .专业整理 .入，而且其数据对安全性的要求更高。综上：选择 RAID103.3 网络存储架构选择介绍SAN （ Storage Area Network存储局域网络）采用光纤通道（ Fibre Channel ）技术通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。在 iSCSI 出现以后 ，用以 IP 技术搭建的存储区域网络应运而生。以光纤搭建的存储网络是FC SAN，以 iSCSI 技术搭建的存储网络叫IP SAN

12、 。 IP SAN 基于十分成熟的以太网技术，使用标准的 TCP/IP 协议，数据在以太网上进行传输。新建立的 SAN 不但可以连接光纤通道设备，而且可以连接SCSI设备 ，这样保护了用户以前的投资 。数据的可靠性和安全性在实际应用中十分重要。 在 SAN 中可以采用双环的方式，建立存储设备和计算机之间的多条通路，提高了数据的可用性；建立虚拟专用网络可以提高数据的可靠性和安全性；同时在SAN 中也可以通过建立双机容错、多机集群 ，实现 RAID 校验等方式进一步保证数据的安全性和作业的连续性。的优缺点1.采用光纤通道（ FibreChannel ）技术 ，通过光纤通道交换机连接存储阵列和服务器

13、主机，建立专用于数据存储的局域网络。. 学习帮手 .专业整理 .2.专用存储网络协议，传输速率高且稳定性好，高扩展性 ，配置灵活 。3.热插拔性 、高速带宽 、远程连接 、连接设备数量大。4.成本高 ，不能提供跨平台文件共享。与 FC-SAN 的比较1 ）数据传输性能方面的比较在实际的对比测试中表明在同样的1Gbps的光纤链路 （FC）与 1Gbps的千兆以太网（IP）中进行数据传输时， FC 的实际利用率在70%80% 左右 ，最高可达90% ；而在千兆以太网中 ，其实际利用率平均在20% 左右 ，最高也只能达到30% 左右 。 在以太网中并不能提供针对存储大数据量以及I/O应用中所需要的好

14、的性能。这也是在存储局域网设计之初没有考虑IP 存储的原因 ，虽然 TCP/IP 传输协议的出现较FCP 传输协议出现得早。2 ）存储设备的结构比较一般来说 IP-SAN 存储设备的磁盘控制器不是采用FC-SAN 存储设备中的硬件RAID 芯片 + 中央处理器的结构 ，而是每个磁盘柜中分为多个磁盘组 ，而每个磁盘组有一个微处理芯片控制所有的磁盘 RAID 操作 （采用软件计算 ，效率较低 ）和 RAID 组的管理操作 。这样一来 ，每一次磁盘 I/O 操作都将经过 IP-SAN 存储内置的一个类似交换机的设备从前端众多的主机端口中读取或写入数据 ，而这些操作都是基于 IP 交换协议 ，其协议本

15、身就要求每一. 学习帮手 .专业整理 .个微处理芯片工作时需要大容量的缓存来支持数据包队列的排队操作，具有海量存储的时候，不可能所有的数据均载入到系统缓存中这个时候就需要大量的磁盘I/O 操作来查找数据，而 IP-SAN 存储所采用的 SATA 磁盘在这一块性能非常弱，而且还涉及到一个在 IP 网络上流动的 ISCSI 数据向 ATA 格式数据转化的效率损失问题。 也就是说 IP-SAN 存储存在一个缓存 Cache 到磁盘的数据 I/O 和数据处理瓶颈 。而采用 FC 磁盘的 FC-SAN 存储设备就不存在这样的问题。 通过 2 条甚至 4 条冗余的后端光纤磁盘通道 ，可以获得一个非常高的磁

16、盘读写带宽，而且 FCP 的磁盘读写协议不存在一个数据格式转换的问题 ，因为他们内部采用的都是SCSI 协议传输 ，避免了效率的损失 。而且 FC-SAN 存储设备由于光纤交换和数据传输的高效性，并不需要很大的缓存就能够获得一个好的数据命中率和读写性能，一般 2Gb 或者 4Gb 即可满足要求 。 另外由于具备专门的硬件 RAID 校验控制芯片 ，所以磁盘 RAID 性能将比软件RAID 性能好很多 ，并且可靠性更好 。3.）从存储能够相应的并发操作能力来看从应用上来说，相对于IP-SAN ， FC-SAN 可以承接更多的并发访问用户数。当并发访问 Storage 的用户数不多的情况时 ， F

17、C-SAN 对比 IP-SAN 二者性能相差无几 。 但一旦当外接用户数呈大规模增长趋势时 ， FC-SAN 就显示出其在稳定 、安全以及高性能传输率等方面的优势 ，不会像 IP-SAN 由于自身传输带宽的瓶颈而导致整个系统的被拖垮。面对大规模并发访问 ，无论是从外接用户数规模来说还是从传输性能和稳定性来说， FC-SAN 都有着IP-SAN 不可比拟的优势。综上：. 学习帮手 .专业整理 .选择 FCSAN ，由于金融服务业数据并发性强，且数据价值量大，采用 IPSAN 无法满足对于速度 、并发性 、安全性的要求，相比之下 ， FCSAN 使得数据传输过程受外界影响小，对大规模数据请求也可以

18、快速响应，满足金融服务领域要求，所以选择FCSAN.存储架构设计图示第四章 业务连续性保障设计 ，给出备份及恢复方案4.1 方案选择选择 “两地三中心 ”的方案策略 。. 学习帮手 .专业整理 .首先消除单点故障. 学习帮手 .专业整理 .根据国家要求以及银行业灾备标准选择RPO/RTO. 学习帮手 .专业整理 .此项目设计采取本地备份与远程备份相结合的策略同城灾备场景中采用FC SAN 实现数据同步复制，可以达到PRO=0 ， RTO 较小，因为采取光纤通道 ，数据传输速度快，可以尽快恢复数据。异地灾备场景中采用FCIP 技术，此技术是的可以封装本地FC SAN 的协议包 ，从而可在 IP

19、上传输 ，远程则有一FCIP 网关 ，将包转换成FC 协议包 ，此处选择PRO=0.5 hours，RTO=2 hours 。所以可以满足两地三中心的要求。4.2 本地备份基于 FC SAN 的网络容灾架构图对应的备份和恢复方案从上图中可以看到，备份恢复管理服务器处于主SAN 的应用服务器与容灾SAN 的应用. 学习帮手 .专业整理 .服务器之间 。 其功能主要有以下两点。数据备份 ：当主 SAN 所属的磁盘数据改变时，主应用服务器给备份恢复管理服务器发出备份命令，然后备份恢复管理服务器给主SAN 发送备份指令 ，同时给容灾应用服务器发出接收指令。主 SAN 收到备份指令后，通过 FC 备份通

20、道把改变了的数据传输到容灾SAN 中，然后再存储在容灾SAN 所述的磁盘上 。 备份恢复管理服务器的加入，使得在备份数据时主应用服务器不再从事备份工作，而只是提供备份数据信息。整个备份工作带来的负载从主应用服务器上剥离 ，备份恢复管理服务器完成了整个的备份数据传输过程。从而避免了备份数据流对正常 LAN 应用的影响 ，解决了在进行备份工作时业务网络数据拥塞的问题。其备份的流程如下图所示 。数据恢复 ：当主 SAN 所属的磁盘中的数据遭到破坏时，主应用服务器给备份恢复管理服务器发出恢复命令 。 然后备份恢复管理服务器再把恢复命令传递给容灾应用服务器，接着容灾应用服务器发送确认信息给备份恢复管理服

21、务器。备份恢复管理服务器收到确认信息后，向容灾 SAN 发恢复指令 ，然后容灾 SAN 通过 FC 恢复通道把备份数据传送给主SAN ，如此就完. 学习帮手 .专业整理 .成了数据的恢复。其恢复流程如下图所示。4.3 远程备份架构图对应的备份和恢复方案采用异步备份，即定时同步更新两地的数据。由于此前我们确定的RPO=0.5hours ，所以每隔半个小时定时更新远程数据。. 学习帮手 .专业整理 .恢复方案 ，本地 FC SAN 发出恢复请求，通过 IP 网络传递给远程FC SAN ，远程备份响应请求 ，发出数据传输信号，本地接收信号后，准备接收数据 。 远程将数据打包通过IP 传输给本地存储阵列。采用 FCIP 的好处综合了光纤与IP 的好处 ，保存了光纤网低延迟、高可靠性的优点，又利用的IP 网络对于传输距离的优势，解决了 F