医疗行业非结构化数据混合云存储及大数据分析解决方案

1、医疗行业非结构化数据混合云存储及大数据分析解决方案设计单位:建设单位: 编制日期:目录 TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 第一章项目背景3 HYPERLINK l bookmark6 o Current Document 第二章需求分析5 HYPERLINK l bookmark14 o Current Document 第三章解决方案7 HYPERLINK l bookmark16 o Current Document 1.存储技术分析7 HYPERLINK l bookmark18 o Current Docume

2、nt 3. 1. 1.块存储、文件存储、对象存储几种方式的对比7 HYPERLINK l bookmark20 o Current Document 3. 1.2.对象存储简介13 HYPERLINK l bookmark24 o Current Document 3. 1.3.对象存储选型对比14 HYPERLINK l bookmark26 o Current Document 3. 2.系统现状16 HYPERLINK l bookmark28 o Current Document 3. 3.IBM GPFS 解决方案173. 3. 1.GPFS Server 集群18 HYPERLIN

3、K l bookmark30 o Current Document 3. 3. 2.系统基本结构193. 3. 3. GPFS 系统优势203. 3. 4. GPFS典型配置举例213. 4.IBM Cleversafe对象存储解决方案223. 4. 1.IBM Cleversafe 对象存储223.4.2. IBM Cleversafe对象存储与传统存储髙可用性对比243. 4. 3.IBM Cleversafe对象存储纠删（擦除）码技术253. 4. 4.IBM Cleversafe对象存储软硬件配置263. 4. 5.IBM Cleversafe 对象存储扩容283. 4. 6.Clev

4、ersafe对象存储实现PACS系统的灾备建设28 HYPERLINK l bookmark40 o Current Document 5.大数据分析29 HYPERLINK l bookmark42 o Current Document 第四章总结32 HYPERLINK l bookmark44 o Current Document 1.采用Cleversafe对象存储技术的新架构用户取得的收益33第一章项目背景医院是集医疗、教学、科研、预防为一体的现代化国家三级甲 等综合医院。医院现有A、B、C三个主体院区，编制床位1500张，开 放病床3000 张。在领导班子的带领下，医院全面实施“数

5、字化医 院”建设，首创医疗质量管理信息系统、建立城乡协同医疗服务网络。 医院作为某市的龙头医院，其整体业务呈现快速增长的态势，当前 医院正在扩建新的住院病区，随着住院床位数的增加，医院的业务 必然会有一个明显的增长，而医院的存储基础架构已经相对老化，其 现有的EMC系列存储已经表现出性能瓶颈，医院当前的核心数据库存 在性能不均衡的情况，如果要求应用软件开发商进行软件和数据库 性能调优，可能需要花费大量人力物力，但却不能保证调优的效 果。医院业务量的增涨带来了数据量的增张，PACS系统海量的非结 构化数据安全高效的存储是目前亟需解决的问题，在做好非结构化 数据存储的基础上，结合结构化数据存储与A

6、pache Spark数据分析 处理引擎对接实现临床操作和研发两个方向的大数据分析，从而更好 的服务于病人并且促进医疗行业从业人员专业技能的提升，实现数 字化医院为全民健康奠定基础。综合比较不同的传统存储技术与云存储技术后，选择 IBMGPFS+C1 eversafe对象存储实现了 PACS系统 海量的非结构化数 据的存储和容灾备份。医院综合各方面因素，提出了构建医院“大数据云存储”平台 的建设目标。1）构建一套安全、稳固的大数据云存储平台，集中统一承载医院 所有业务数据；2）为医院数据交换平台提供高性能、稳定可霏，并具有足够弹性 的存储平台；3）为PACS影像类数据提供大量低成本的存储空间并

7、具有足够 的扩展能力；4）未来扩容应该可以基本做到不停机（停机时间在可接受范围 内）；5）提高业务系统的可靠性和可用性，实现容灾备份，保障业务连 续性。第二章需求分析医院的核心业务系统是医院数据交换平台（包括PACS系统、HIS 殳记 regtslrattonHIS系统、RIS系统、LIS系统等）。report序人馆患 patent WormabonnrdRfw pUnRd冷推合report roposoyit th工ft诂 diagnostic workstationpucdjif M4iedukMjPACS认 xdi filed图丘取images rolriovedEB存储 image s

8、toredimages printedacquisition compleied图匕理与归恃Image munagm and archiveacqucsikxi cx)mplelod3工作列舉设釜 modabty v/orikst rnoInteIXeonFroceMr 2. S3CHz 13331出 FSB. 1MB Kit (4iM) 1.5V 咖 RD1U 內秤IP1 300GB Id 25 * SAS2 Glga Bthemet PH-E cr4LinuiI hl Clutter Syttcft lanaceoent (0) KiCATici s/ws/irs/MCP/rnp/XTP/

9、IM Director terverII/O节克INI See X3SMW3嚴务-o Liertae #300 82.5 ” SASWft1TB 7.2K 2.5* NLLir*u/!ntl Hm* Kltt 4- Sy PartitioMIM Stordcc larksceoent GFFS ATP4TQ4I?im wr2卜24口千盹以机2件CPfS Lice冷为Server 10 Cllmt WlfHcira*.不 网 W-tWC amter.XR 更一台GPFS ServerBT10CPFS ClientGFfS SerwIOCHenOFAr力TO PVU / Ce釆用IBM GPFS的

10、AFM功能，可以有效迁移原有NAS系统中存储的数据，在迁移过程中对应用透明，不影响应用的正常运行。34 IBMCIeversafe对象存储解决方案根据医院PACS系统现在存在的问题和建设目标，采用IBM Cleversafe对象存储技术实现海量的非结构化数据的存储和容灾备 份。IBM Cleversafe对象存储IBM Cleversafe对象存储由三部分组成，包括CS Manager管理 节点、Accesser访问节点和Silcestor存储节点，其中管理节点安装 Cleversafe软件实现对Cleversafe对象存储系统的监控和管理，访 问节点提供 对外的用户访问，存储节点用于代替原有

11、的NAS系统 保存海量的数据。Cleversafe 组成CS Manager切片訂徒 m曲够畑h于言冷的定偷利豪切片SlicestorxIBM Cleversafe具有以下特性:IBM Cloud Object Storage安全性钮0-內助慮可扩議怪多100PBULt护U孕EBU上的 耕事决构可口&性可口型个说B4.可用性中卜9的可需性-G个9AW翻5.tsm，耶縛初. K1DR成本.成本MKtt80% IX件楓方砂 在任何帧丽的 x86*ftif7可扩展性，多家100PB以上的客户，扩展至EB以上的 无共享架构。安全性，零接触、运营商级别的安全性且内置加密功 能。可管理性，每名管理员可管理

12、25PB数据，零宕机时 间。可用性，提供9个9的可靠性，6个9的可用性。经济效益，消除复制、镜像和DR成本，成本降低80%,软件解决方案可在任何供应商的X86硬件上运行。IBM Cleversafe对象存储与传统存储高可用性对1 p 可用 tmQiiiui 可矗竦?J6占* IFTt 缰人存17 tt .IFTt 无L采用传统的存储在RAID6架构下1PB的原始数据要占用1. 2PB的存 储空间，为了实现数据安全做本地镜像和同城复本后数据要占用 3.6PB (1.2*3)的存储空间，那么膨胀因子就是3倍，采用 IBMCleversafe对象存储1PB的原始数据要占用1. 7PB的存储空 间，C

13、leversafe对象存储使用1.7倍的膨胀因子就可以实现建设与 RAID6相同或是还要高可靠的存储系统，Cleversafe对象存储占用更 少的磁盘，占用更少的机架，节约机房空间，降低了运营成本，降 低了运维管理的难度，无需其它软件就可以实现高可靠性和高可用 性。IBM Cleversafe对象存储纠删（擦除）码技术0Q0QCleversafe 软件 加空、应用信息 海散法IDA （ 即擦除码）对数 齬切片00QQQ mcACT与RAID和复制 方法不同无需副本自带容灾5片分布在隼強的UE之中rUMfi 于苦个堆理位M行业馳x86 ilW年之中.为了如.為缓地懺财38位 。诟C苻定义的切片孑

14、U. Split a file into k pieces (7)IDA=7/12Encode the pieces to n (12)Any k of n pieces can be used to get back the fileIBM Cleversafe对象存储使用纠删码技术实现存储系统的高可 靠和高可用，纠删码技术首先对原始数据进行分段（每段4M）,之 后对一个分段进行切片，例如一个分段切7片，之后通过ECC校验算 法变换为12片，这样膨胀因子就是1.7, 1PB的原始数据就占用了 1.7PB的存储空间，这1.7PB的存储空间由12个切片 组成，把这12个 切片均匀的部署在多个站点

15、的每一台服务器中，例如在三个站点每 个站点部署4台服务器，这样在这三个站点中只要有7台服务器是正 常运行的，数据就是完好的可以正常读取，可以避免服务器硬件故 障或断电，网络故障，甚至1个站点故障都不会影响数据的可靠性和 可用性，任何一个站点的任意一台服务器硬盘损坏后，只需插入一 块新硬盘而无需做RAID就可以正常使用了。可借助12个切片中的佟阿7个执行读取操作写入时创建的切片数称为霓度（歧处为12）读取时H要的5片徽称为渎取福值（此处为7）该示例为*12个” ffiSXMX法（IDA）中的7个删节点MlM2X3在该IDA中，仍可借助 任何5个无效的存储节 点执行读取。存68节点、.即使整个站点

16、中断（外加 另一个存储节点中断）也 无影响.IB M CI eve rsaf e对象存储软硬件配置CSManager管理节点和Accesser访问节点可以选用1U或是2U的 X86服务器，配置大内存如128GB,256GB,对其它硬件没有特殊要求。S订cestor存储节点服务器可以选用4U高密度x86服务器，该服 务器满配48块硬盘，每块硬盘配置8Tb,这样一台服务器的裸容量 就是384Tb, 12台服务器可以提供4. 5Pb的裸容量，冗余系数是17,那么可用容量有2. 6Pbo下图是硬件配置建议清单:-ATWBfl可m/m可用/可 ffi/wa1trans点1U X86服拓1NA1NA1NA

17、2访问按入节点 (Accessor)1U X86碾务器2NA3NA3NA3warn点 iceStPj)勞器3(12MTB)72TB/144TB6(12*10T B)52OTB/72OTB12(48*8TB)2.6PB/4.5PB4咖交换以电口 x 2 * 10GEX162NA2NA2NA5磧件负fit均檢 设备F 5脫司工功館设 备1NA1NA1NA下图是Cleversafe的管理界面:gdeversafd35視卑安全性维护 ttpHelp | Sign OutQGOSummaryICpecyOQprAi 0 Cow Al * aNttEvaiwMnSMrigtPocis(l) AecmPoo

18、lip) |g(2)omcM(2J)23D*m1 esMeuraorDtv(Accm&rS OrrcM IfSkMaortOMoM41C/witzStoigtmC/wiefiywt2ACOSS POOHCrtMtACMMOt2Sfl4CMtsdsNet Capacity3&.S5TB57156 TBMocaMimaoom RQoiayOpen IndMi (1)Sit: CIMcigo.DC.ICibirwt CortSitt-RicDevic: QchWfpOC$ApCWMhlQS：pOMrorfmtMd201Q2919386 COT基于Web的访问RBAC支持 配可用的API通过Cleve

19、rsafe管理界面可以实现对Accesser访问节点和 Silcestor存储节点的运行状态进行监控和维 护管理。IBM Cleversafe对象存储扩容当用户的访问量很大时无需关心存储节点，只需关心访问节点 就可以了，增加访问节点的数量就可以提升用户的访问速度。当存 储节点的容量不足时，去除购买并加电服务器的时间只需要十几分 钟就可以实现存储的扩容。访问C1 ever safe对象存储有如下三种方式：访问方式-RESTful API- TCP/IP-Objects* 可式.REST APIsff用HTTP协议対Jgifi行KMTCreate PUT* . Read Gef . Update*

20、 PUT* . Delete DeLETE*-Objects%府放conUiner*( 乂叫ftbuckeudlBvault)-名弼砸I -pfehxes*用于帧文ft夹结构-9AM PUT httpy/server name/contamer name/prefix/filename *-读取*GT httpy/server ruime/container name/prefix/6lename IW谆條蘇中哥个对跑NW9URL-http$V/dalO5 objectstorage.softiayer net/vl/AUTH 7c79cbO262/example/Smiley.pdfAmaz

21、on S3OpenStack SwiftSimple Object兼容三种主流API格式Cleversafe对象存储实现PACS系统的灾备建设灾备建设正是Cleversafe的强项所在，对比传统存储，因为纠删码的算法，从而无需副本、RAID方式，就能够在配置合理的情况下，允许对应40%的节点失效，这40%的节点数会大于我一个站点所包含的节点，这样的失效场景也不会影响业务系统的正常工作。 同时，可以做到纠删码算法后的切片能够分发到异地，因此 Cleversafe如果多站点的部署情况下，不需要做任何数据同步备份 即可实现灾备系统的建设，（多站点的部署可以根据医院的实际情 况选择是同城多站点还是异地

22、多站点的部署）灾备架构图如下： -pMUura杭州3.5.大数据分析医疗行业大数据分析包括临床操作和研发两个大方向，临床操 作包括医疗数据的透明度、远程病人监控、临床决策支持系统，比 较效果研究等；研究方面包括预测建模、疾病模式的分析和提高临 床试验设计的统计工具和算法等。本方案在做好非结构化数据存储的基础上，结合结构化数据存 储与Apache Spark数据分析处理引擎对接实现临床操作和研发两个 方向的大数据分析，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载，Spark的运行速度是 HadoopMapReduce的100倍，而且它还结合了SQL、流处理和

23、复杂情况分析。使用Stocator和OpenStack Keystone,前者是一个用作驱动程 序的开源软件，后者提供了身份验证功能。Stocator利用了对象存 储语义，而且与以前专为处理文件系统而设计的Spark存储连接器 相比，Stocator显著提高了性能。Stocator釆用JOSS （一个开源 Java客户端）生成HTTP REST命令，这些命令通过OpenStack Swift 接 口访问 IBM Cleversafeo下图是 IBM Cleversafe Stocator与 OpenStack Keystone 之 间的关系图：首先，安装和配置Spark,可以将Spark配置为

24、一台独立机 器，或者在集群上使用YARN、Mesos或Spark的独立集群管理器。其次,安装和配置IBM Cleversafe,为IBM Cleversafe设置 了 Keystone身份验证。最后，安装和配置Stocator,为了从Spark访问 IBMCleversafe,我们使用了开源驱动程序软件Stoca- torc Stocator是Spark的高性能的对象存储连接器，它利用了对象存储语 义。它提供了OpenStackSw辻t API的完整驱动程序，可轻松地扩展 它来支持其他对象存储接口。我们利用了 Stocator通过其Swift API 将Spark与IBMCleversafe相连的能力，从而实现了医疗大数据分析 的功能。第四章总结以现在医院的需求和目标为基础，对存储技术进行分析对比发 现对象存储技是最适合医院PACS系统海量非结构化数据的存取和分 享的解决方案。采用IBM GPFS实现原有NAS系统中的数据到IBM Cleversafe对象存储的迁移，最终实现PACS系统海量非结构化数据 的对象存储，满足未来五年数据增长与业务发展的要求。采用