银行业对象存储平台规划

1、银行业对象存储平台规划对象存储在银行业非结构化数据存储的作用目 录 TOC o 1-3 h z u HYPERLINK l _Toc524643337 一、企业非结构化数据存储的现状与难点 PAGEREF _Toc524643337 h 3 HYPERLINK l _Toc524643338 面临的问题： PAGEREF _Toc524643338 h 3 HYPERLINK l _Toc524643339 二、非结构化数据存储的优化思路 PAGEREF _Toc524643339 h 3 HYPERLINK l _Toc524643340 对象存储方案的思路 PAGEREF _Toc5246

2、43340 h 4 HYPERLINK l _Toc524643341 对象存储与传统集中式存储的对比 PAGEREF _Toc524643341 h 4 HYPERLINK l _Toc524643342 三、对象存储的测试方案 PAGEREF _Toc524643342 h 5 HYPERLINK l _Toc524643343 测试内容： PAGEREF _Toc524643343 h 5 HYPERLINK l _Toc524643344 测试过程和结果： PAGEREF _Toc524643344 h 5 HYPERLINK l _Toc524643345 测试案例二：存储资源池展现

3、 PAGEREF _Toc524643345 h 8 HYPERLINK l _Toc524643346 测试案例三：对象存储日常操作 PAGEREF _Toc524643346 h 11 HYPERLINK l _Toc524643347 测试案例四：对象存储性能容量监控 PAGEREF _Toc524643347 h 14一、企业非结构化数据存储的现状与难点随着本行业务的不断发展以及客户需求的不断丰富，本行非结构化数据呈现爆发式增长。目前，使用非结构化数据的主要系统包括内容管理平台、后督影像系统以及呼叫中心系统的录音文件。系统上线伊始，监管部门的要求并未完善，非结构化数据增长相对缓慢，采用

4、 SAN+NAS 存储完成能够满足需求。近两年，数据增长迅猛，几乎呈现指数式增长态势， 随着录音录像系统的近期投产，使用传统集中式存储解决非结构化数据存放出现了性能和容量的瓶颈。急需探究一种新的解决方案满足当前非结构化数据爆发增长的业务需求。现状：目前我行非结构化数据主要包括影像图片和录音文件两部分。影像图片多为几十 k 到几百 K 的小文件，主要服务内容管理平台、后督影像平台等业务系统，身份验证、柜员办业务扫描件等都需要用到影像图片，因此，访问效率和数据安全性需要得到保障；录音文件主要服务于呼叫中心系统，电话客服的录音保留是重要的监管材料，需要长期保存并高效访问。目前，我行的非结构化数据主要

5、存放于 SAN 存储，部分存放于 NAS 存储。内容管理平台采用 IBM 的 CM（content manager）对影像文件进行管理，通过 CM 将影像文件存放至由 SAN 存储搭建的文件系统中，根据业务系统和时间进行目录的划分。系统已上线七年，全部为在线数据，我行所有在线影像数据大约 70TB 容量，近两年都在以 15T/年的速度爆发增长。面临的问题：随着影像文件越来越多，通过 SAN 存储管理上亿个小文件是巨大的困难，遍历文件需要极大的资源消耗，文件目录打开需要很长的响应时间，严重影响了业务系统的服务水平。存在于 NAS 存储的数据同样面临相似问题，基于文件系统的架构，内部均采用树形目录

6、结构，文件达到上亿级别时就会出现性能严重下降的问题，系统的响应时间直线下线，严重影响我行对外服务，制约业务发展。此外，数据作为银行最重要的资产，需要通过多种备份方式进行数据保护，但数量庞大的影像文件在备份过程中也面临着巨大的挑战，传统的备份软件和备份方式已经不能对影像文件进行备份，更多采用存储级别的备份方式。通过存储底层的复制技术达到数据保护的目的，但这种方式不能规避逻辑错误，不能规避人为的误操作， 不能准确的恢复到具体时间点。正是基于以上这些非结构化数据面临的问题，企业急需对当前存储架构进行调整，选择适合非结构化数据存储的整体解决方案，解决当前存在的问题， 提升业务系统的服务。二、非结构化数

7、据存储的优化思路当前我行非结构化数据存放于传统集中式存储。传统集中式存储在处理结构化数据方面有着非常高的性能，但是在处理非结构化数据方面体现出性能的不足，尤其是非结构化数据爆发增长后，传统集中式存储在海量小文件处理方面表现出严重的性能下降，非常影响业务系统的使用，长此以往，会给客户造成不可预知的后果，对我行未来发展极其不利。面临着如此问题，我行着手探究应对非结构化数据的解决方案。互联网行业巨头每天需要处理的非结构化数据比银行数量更多、容量更大，但是并未发生传统集中式存储出现问题，经过前期的咨询和交流，互联网行业通过采用分布式存储的方式进行处理，高并发高性能地应对越来越大的非结构化数据量。分布式

8、存储领域中，目前金融企业采用的是对象存储。对象存储作为稳定的分布式存储，正是对非结构化数据的应对之策，因此，我行逐渐由传统集中式存储向对象存储转型，以应对非结构化数据爆发带来的问题。对象存储方案的思路对象存储并不是最近诞生的一种新技术，而是经过十几年的技术沉淀产生的。正是近几年大数据、互联网的发展，人民对数据的需求越来越大，对象存储真正有了发挥作用的地方。通过对象存储替代传统集中式存储可以解决海量小文件的访问性能问题和存储问题，能够极大程度提升非结构化文件的访问效率，非常有效的提升业务系统对外服务的支持。此外，对象存储作为分布式存储，本身可以通过更细颗粒度的算法将数据分散在不同的存储节点中。根

9、据自身优点，对象存储可以保证数据不丢失，版本管理可以规避逻辑错误。对象存储采用扁平化的架构，其扩展性极强，从几十 TB 最高可扩展 PB，甚至 EB 级别，扩容操作十分方便，对生产存储并无任何影响。对象存储较传统集中式存储来说，其价格十分低廉，存储成本成倍的下降，能够将传统存储的性能有效利用。综上所述，采用对象存储处理非结构化数据在运维性能、数据安全性有个质的提升，同时运维成本也下降了很多。采用对象存储，对我行有深远影响。完善存储架构。根据我行制定的未来五年存储规划，逐步落实落地存储体系架构。目前全部使用传统集中高端存储，并未根据业务系统的相关重要性进行分层。不仅非结构化数据影响整体存储性能，

10、同时长期存放于高端存储对存储的高 IOPS 性能也是一种浪费。因此对存储架构进行了规划，对于影像平台进行调度管理的数据库使用传统集中式的高端存储，保证数据库的高响应，非结构化的数据使用对象存储进行存储。根据对象存储的扩容优点，将对象存储制作成存储资源池，所有非结构化数据存放于“池”中。二层存储架构的落地，使存储性能得到最优的利用，也降低了存储的使用成本。提升数据可靠性。目前我行使用传统集中式存储存放海量非结构化数据，在备份方面存在困难，只能使用存储级别复制技术来进行数据保护。对象存储不仅可以提供多副本功能， 根据不同的需求进行副本数量的设定；还提供多版本的功能，这样可以规避逻辑错误，保证非结构

11、化数据被误删除后可进行恢复。对象存储中根据多节点方式部署，某存储节点发生故障，对象存储池并不受影响。对象存储也可以按节点部署三中心，哪怕某一中心全部出现故障，对象存储也依然可对外服务，数据可靠性得到了很高的提升。对象存储的引起为海量非结构化数据提供了可靠的存储介质和方式，同时，也带来了一些问题。对象存储采用分布式存储的方式，访问协议为 S3、REST、SWIFT 等对象存储协议， 传统的集中式存储为 FC 和 NFS 等协议，应用程序对数据的访问方式需要进行调整，根据对象存储协议对接口进行调整，对于更改应用程序是不小的挑战。我行采用的方式为新上系统对非结构化数据的访问采用对象存储，对于存量的系

12、统，逐步推进变更方式。对于存量的内容管理平台等影像平台，目前的数据量庞大，迁移过程是个严峻的挑战，迁移至对象存储需要进行详细的方案设计，保证对系统的影响最小，提高系统的业务连续性。对象存储与传统集中式存储的对比我行在使用 SAN 存储+文件系统处理非结构化数据出现性能拐点后，考虑过使用 NAS 存储进行替代，这样对应用程序几乎无影响，不用过多的进行接口调整，不过其他企业使用 NAS 在处理海量非结构化数据时同样出现了性能问题。为此，我行对 SAN+文件系统、NAS 存储和对象存储三种存储方式进行了对比。SAN+文件系统NAS对象存储优点处理性能快；适用于结构化数据或少量非结构化数据；无需调整接

13、口。处理性能适中；适用于文件共享；无需调整接口。高速处理非结构化数据；分布 式资源池化充分发挥性能；扩 容便捷；优秀的数据保护机制；丰富的访问协议。缺点树形结构存储，无法处理多级目录和海量非结构化文 件；存储资源的浪费；无法进行备份。树形结构存储，无法处理多级目录和海量非结构化文件；依赖带宽要求。应用程序接口需要进行调整； 分布式架构下需关注每个节点的运维。经过详细的对比与测试，得到对象存储的几个优点：高效处理非结构化数据：根据其扁平化的架构特点，对象存储较传统集中式存储应对海量非结构化有着非常高的处理性能。节省存储成本：对象存储采用通用的 X86 服务器搭建而来，其成本较传统集中式存储节省很

14、多，同时可以保证集中式存储全部处理结构化数据，使存储性能得到充分利用。提高数据可用性：传统集中式存储采用 RAID 技术对数据进行保护，若 RAID 组中一块盘失效， 需要通过 RAID 算法进行重建，不仅重建速度慢，而且会影响存储整体性能；对象存储采用纠删码技术，将数据更细颗粒度的打散在整个存储资源池中，倘若一个节点的磁盘失效，根据纠删码技术，很快就可进行修复，整个过程在几分钟内便可完成，同时，存储的性能分布在不同节点，整体并未受影响。三、对象存储的测试方案为了充分了解对象存储，我们通过线上的方式对 IBM 的 clever safe 进行了功能测试，经过测试和使用，我们记录了整个测试过程，

15、在操作过程中感受到对象存储的性能非常强大， 下面介绍一下我们的测试过程。测试内容：本次通过连接到 IBM 实验室进行测试，时间有限，我们做了如下测试：1、产品部署的过程和方式。主要测试跨站点部署，部署操作的可行性等。2、产品的基本功能。主要包括日常的基本操作，上传、下载等。3、产品的可靠性测试。主要测试产品的性能能否达到需求。4、产品的可维护性。包括操作界面是否人性化，软件版本升级以及监控功能的管理。测试过程和结果：测试案例一：部署测试。案例场景描述：分三站点进行部署，三站点分别部署三地，此场景充分验证对象存储部署的灵活性，三站点的部署方式有效的规避了单机房或单站点的风险。通过 WEB 界面进

16、入管理界面，点击 Configure 进入配置界面。创建 1 个访问节点，3 个存储节点。访问节点部署北京站点，3 个存储节点分别部署北京、上海、深圳三个城市。1 严 ; J/ 172 . 1 6 . 1 5 7 . 115 / manage,/home.adm#pend;ng 氏 eReg ,st,at, o ns, .,. om c 的 卫彻 叨_0比 3, s 邓 “e印gm盓它“gg, LVo v 心 1 氏 叩 氏 e1 Mooa 伪 , o, mOA 邸 书 仅 汛h0 如心, 幻O M roo 沁心 氏=心 o c a安on以O , s ysre m (U) , Ha mware

17、 (U) , so 咄 are (U) ,v mt (U)C却 缸ma心n 灼!I 氐 ha,e ap, p 到 S 忙es 如 d亟 es, l. , , , s femT 恼 ,e a,e ro ooe,a Eveat Co nsole已co, o ot F啦, ( Show心 l( Fcom 201的 31 06003 5 )如 四 泗 I(j o o, oooc m 叩 如T氐, 归 oc oee a 心 ,o 伈式手 焚S邸 = P炽. 扣闭e m pe四S这,， 笠 WO心 沁 四 m 论 岱 u印 汛(l) o凶 垃心 O红T眼 叩 肛 IBM O ooO bJ钗踩SSJOO J

18、划 句 Jo com, p,1 u. 咋 prnbJe m 仅汀SIS飞 p汜as e coOJac Gosome S讥心 几, . ,加 = a 忒 沁， 父 廿 mos = ce md 创 s 出ru NTP a过 ew as = 呤 叮Oa aad aow = 中 ,e, Este m, a The s,s tem NTP 艾切 上 比 d - - 引 ss 6 mi s 叨 o i 叩u叩 mS G 屈 区 rm ,e m m /m 心,.开;,=,;o ,s tb o,g_,h 22d 632617013凡082TM m acec艾.,.rn = md ed.灿., aooo was

19、d沁 岛 Key忙归 汕 过 片 叩 1它。 / hom o odm吐I，心Coo fi中 ，e C如 d a b xf-C 仑 玉石 歹I 严 动 17 2.1 6. 1 57.115 /maoagec/b lkDe ceReg lstcatlon.admI:-f-iQrns rityMomtenanAdmm ostm的 ,CloudOb二二：二Id -. 一一 氏 仅 , 旬 F 叩e 中172.16 157119172.16 1571 17ss, esrn, , , es to 6 cda 17 7bcde, Od 沁 m 5n , 仑 11m m, ,e 84 00k, 61oo a1

20、 d3 8e DbJI b7139c09 rn.51Sb61 65R改 巳1m改沁 1&-0S 310 7.03 46G MT 沁 1&-05 31 D71 D53 GMT 2il1&-05 31 0706 53G MT 171.16 157118s廿 d7 4e.a0以：）61 3 21 81 7, 3998 的 27 04 92 欢 a 7b3 33 &兀 1&-0今 31 070 72 9 GMT 兰, .O o 氏 n 凡 I 0 Cl e 劝谗 叩 汕 e 咋 心 欢 区 阮 压 w S, oo 耳 - 幻 盯 , 心 ,o m 咋 s ysee mn，s00 11P(”“ee $

21、，cg g压,. 句,ePo s (O)C环W叩 M 2009 201BIBM Ce 囚 ,000 , ., . ,眨心”的16M Trao,m 丙 a叩 e, 飞可四 e 笠 = d201 0ffi-0700 1035G MT lmm 1 石 16 157115, 313035I 严 动 172 1 6 .1 57 115/m aoaget/b lkEd,t De ceSlte adm mode0 app m,a l, .,. co, o 中 rn C如 da b xf-C 仑 玉石歹bI:气 rn6 11S)括 比氐ros e.O 眨 s ,a 心 e s忱立厄 ne a, n ealea

22、 aewsae 忙 1he 父 比 d 氐 Id 妞 es兰c 如 20181BM Co 心 hoo 氐记 ”的田呤 page= 幻 沁 1 -0700 11 52G MT1 叩 17216157 115313035I 严 动 172 1 6 .1 57 115/m aoaget/b lkEd,t De ceSlte admmode0appm,alJ, ;. coo, gorn C 如 da b xf-C 仑 玉石歹b fiQrns rityMomtenanAdmm ostm的 nCloudO二二：二I e,o, Ed;t Oev,oe s,1,llf!lll 的s, 沁 ct dea , t

23、o assoo lliemtos s,te 邸旧3 (17216157 118)A岱 比 父缸 t改 Id e邓 氐 k沁比e 邸s归心沺创,., s 氐立e o, cceatea oew s ie focthe此 es兰Copy,心, o ,oo,o,平s ,a,M,ca ,_.a, oo M, ., ,., 函”的顷,.可阳 ,e oo , 卫 妇 7 00.2.24 GMT 的m, 石 至此集群创建完成，可以看到三中心三站点的部署方式，将集群完全拉开，点击 Devices可以查看集群中所有节点的分布信息和健康状况。测试案例二：存储资源池展现案例场景描述：依据三站点的存储节点创建存储资源池

24、，包括 storage pool、access pool和 vault。创建 storage pool。将三站点的存储节点加入存储资源池，每个站点 25G 空间，存储资源池创建完成有 75G 空间。创建 access pool。由于本次测试只创建了一个访问节点，故访问存储池中只包括一个节点，选择多种 API 可对此进行访问。码 ; J/ 172.16_1 57.115/ma oagec/ceateAm ss PooladmNa 示 广囚P _TES T_ZS, , . ,. o, o 中 如 da b x, f-C 仑 产“的 吹厂 邓 一l I，55 ”2 00 贮 mo1m如 T叩 I C

25、lo, dS I心 a, g Objecl I 80 HHP 443 HH PS 8000 HTTP 巴 3 HH PS生 成 e AfIP 扣 8337 田 S3 芘 Hn PS心 m ooal S的1oct M, ma咄 NamesEm p坦 ;t,m , 汀 ， 彻 m2, 的Em p比：P， 100 01, , e 00 02 , DNS e心 mo, , 女 四 n com饥叩l 氏 沁 0 釭 ,灿 ma如 沁- ,AccmDrncos,am,f Do ,e, cm o ,Op msM 兀 织可的C 加 11, m rype尸 orn mo 云沁片占-和-si e de = O 8

26、ele1ed ile rn, ooot o沁片占-和-si e de = O 8ele1ed ile rn, ooot oI 严 动 172 1 6 . 1 57 115/m aoagec/coo fig uceAccessP oo la d m 1d0 2J , ;. ,e , _ m _zs Coo 什 go Xf-C 仑 玉石歹 fiQrn.,.,.,. o SoragePo s ll) OAm ss Pools()的踩4 巳 P_TEST_ZSI II ace1. Nom忱 oro.汛冲 ITypeta , 凶 Stoc 芍 ObS ct HTTP . 80, 80aJ HTTPS 3

27、 , S 3 HTTP-S E的 CE (3330HTTPS-SERVICE (83戏）NIA= 芷,.心 8 q oct Afmma, ,a Nam岔WA de Def lttPs n 8切oc, 凡t= o,e Na= s tnre，扣心(Accm Oo, lm (!), .苏戊 I)LMo 氏 ， 忙e lO.p loy od Va, lt,芷 ，e ate oo .a 阳 衣 p 切 ed oo thtsa tt ess p 过运泗Aoom Pool HTTPS c. rt,fioatoI Co I, HTTPS , r oc,小 ,ae essp Yoo,ea rn,m叩 仆 兀 的oo