医院全院级统一存储方案.doc

全院级数据中心统一存储方案规划建议书郑州儿童医院全院级统一存储平台方案规划建议书V1.0HDS2013年1月目 录第1章 方案综述41.1 存储建设需求分析41.2 系统整体建设技术路线61.3 全院级存储建设原则7第2章 存储选型方案优势论证102.1 高端存储选型论证102.2 未来PACS的高性能 NAS方案论证14第3章 集中存储方案183.1 统一存储平台解决方案183.1.1 统一存储架构设计183.1.2 存储逻辑分区223.1.3 全院业务数据100%安全保障243.2 生产数据本地近线备份方案253.3 集中存储虚拟化扩展规划273.4 同院区容灾规划31第4章 未来更高级别容灾系统规划方案344.1 长远三中心容灾规划344.2 HDS 同步方式说明354.3 HDS UR异步方式说明374.3.1 吸收式复制技术384.3.2 数据一致性保证394.3.3 解决通信线路故障修复后的数据“再同步”问题394.3.4 利用“存储虚拟化”技术支持异构存储系统之间的复制404.3.5 基于存储系统实现的数据远程复制技术的比较40第5章 方案总结与介绍425.1 HDS存储方案特点425.1.1 节约知识成本425.1.2 成熟的存储体系架构425.1.3 可靠的数据保护机制425.1.4 最先进的存储技术435.1.5 广泛的开放性435.1.6 易维护性445.2 成熟先进的容灾技术44第6章 配置说明45第7章 HDS部分成功案例介绍467.1 HDS医疗行业部分成功案例列表467.2 国家疾控中心云存储及容灾平台497.3 郑州大学附属第一医院全院级统一存储平台507.4 吉林大学附属第一医院全院级统一存储平台517.5 青医附院全院级PACS系统存储平台527.6 中国银行多数据中心容灾系统537.7 中国电子商务部三数据中心容灾系统-中国第一例三数据中心用户54第1章 方案综述1.1 存储建设需求分析随着医院信息化进程的快速推进，几乎所有的医院都在考虑优化和建设更专业的HIS、CIS、LIS、PACS等应用系统，并将其做为提高医诊效率、规范病历管理、提高医院核心竞争力的重要手段。在建设专业医疗应用系统的过程中，呈爆炸式增长的医疗数据的大容量承载和安全存放无疑是保障业务稳定运行的关键要素，如何保障医疗数据信息的存储安全、保证就诊业务的持续不间断运行已经成为各医院信息科主任关注的重中之重。郑州儿童医院本次项目是建设全院级大集中数据中心，采用统一计算、统一存储的先进理念，逐步构架存储平台、主机平台、应用平台，将来所建设的数据平台能够为HIS、CIS、LIS、PACS等众多业务提供各种资源服务和数据交互。统一存储做为其中重要的子集和基础设施是整体平台建设的关键因素，做为底层数据承载设备，它将配合计算平台和各种应用系统并提供数据集中存放的服务和数据资源共享访问和分配的服务。郑州儿童医院的全院级数据平台业务将包含众多子业务，如HIS、CIS、LIS等，未来还将包括全院级PACS等，这些业务要求系统具有数据量大、存储时间长、数据读取延迟短、数据安全性要求高等特点。因此，建立统一大集中存储、整合数据，来保证以数据服务为核心的系统建设已成为郑州儿童医院数据平台发展的必经之路。同时，数据容灾备份建设也是重点，郑州儿童医院需要建立高级别数据保护和系统保护的容灾系统。当然，在未能整合本地数据、改变存储条件的情况下，难以实现更高级别的数据容灾。总之，在整体存储规划中，数据存储层需要解决的问题包括：1、全院级数据平台架构问题：当前医院的应用系统，由于历史原因还都是按照业务要求分别部署和建设的，经常是独立的HIS系统、独立的CIS、LIS系统、独立的PACS系统等，当然还有很多其它的应用系统，数据分布在不同的存储阵列甚至是内置磁盘，数据完全物理隔离，整个存储资源不能达到很好的利用和按需分配，系统之间也不能协调统一。2、全院级数据平台可靠性问题：全院级的数据存储是一个大规模、高并发的访问要求，普通的中低端存储阵列可靠性达不到100%的要求，性能无法满足多业务并发访问的要求，存储扩展性无法满足目前数据快速增长的需要，因此需要更大规模和更高可靠性的高端存储平台。3、未来PACS大数据问题：“全院级数据平台除了HIS、CIS、LIS等是传统的数据库系统，未来还将包括PACS等非结构化数据，且这些影像数据增长迅猛，文件数量众多，导致存储和访问的困难，单一存储架构难以应付大数据量的集中存储共享访问的需求，在建设全院级统一存储平台时我们应该对其做出长远规划。4、数据备份容灾的问题：当各系统的数据不断集中存储后，将对整体的数据安全性提出更高的要求，同机房备份、同院区容灾乃至未来的异地容灾是系统的重要组成部分，如何在统一架构下平滑实现的容灾，是系统规划时需要重点考虑问题。针对这一系列的问题，HDS建议为通过采用高性能的高端存储来实现统一存储平台建设，一方面通过HDS存储全球领先的卓越性能来满足大数据量混合式的业务访问，另一方面将来可通过高端存储平台强大扩展能力来满足业务数据承载和容灾的长远规划。l 对于全院级数据平台架构问题，HDS建议采用先进交换式架构的高端存储HUS VM建设统一存储平台，VM可以采用虚拟逻辑分区技术对HIS、CIS、LIS及未来的PACS等各业务系统间的数据进行有效隔离及灵活调配；保证各业务的QoS；同时采用虚拟化技术在统一数据平台上实现HIS、CIS、LIS、PACS等业务数据的快速备份及PACS数据的分级存储；l 对于全院级数据平台可靠性问题，VM采用多控制器并行冗余架构，提供了100%高可用性，保证HIS、CIS、LIS、PACS等业务的7X24小时不间断运行；l 对于未来PACS大数据问题，HDS建议采用高性能HNAS及分层存储方式来统一管理PACS非结构化大数据，将PACS数据分为在线及近线，以HNAS特有适合于非结构化数据共享存储的方式来解决PACS文件、图像数据的存放问题，同时HNAS特有的硬件文件系统带来的超高性能和扩展能力又成为PACS快速访问的基础；l 对于容灾的问题，考虑系统长远发展和容灾建设，HDS建议同院区容灾方案从全局出发，充分利用HDS特有的容灾技术，并以VM 存储为基础进行磁盘底层的远程复制，实现最高数据保护的实时容灾，为建立满足国家灾备要求四级以上的数据中心奠定基础。总之我们对郑州儿童医院数据平台的整体规划是一个数据中心的完整规划：一方面满足现有业务的运行发展和安全可靠，另一方面也考虑整体结构中服务器集群、SAN网络、数据存储有效衔接和适度耦合，保证每个层面可以横向扩展同时不影响其它层面的运行。HDS依托其自身在国际IT行业和医疗行业的地位以及多年来的存储领域成功经验，根据系统的实际需求，专为系统信息化建设提出了存储解决方案。1.2 系统整体建设技术路线对于系统的长期建设，我们建议首先在郑州儿童医院新数据中心实现统一数据存储平台和同时按照先同院区容灾、后异地容灾的步骤，最终实现可靠的大型数据平台建设，整体的建设步骤为： 第一步：数据中心统一存储平台建设 采用高端存储阵列建设高可用、可扩展的存储平台 实现业务数据的统一集中存储建设 实现本地生产数据的快速备份及恢复 第二步：构建可靠的同院区灾备中心容灾系统 基于存储的实时容灾建立统一平台的同院区灾备系统 数据级实时灾备实现 最少的数据丢失 关键应用容灾保护，配合主机实现应用级系统切换 第三步：构建可靠的异地灾备中心容灾系统 基于存储的底层容灾在分院区建立异地灾备系统 灾备中心可靠切换，最少的数据丢失，最短的时间恢复业务根据以上总体技术路线，系统设计的重点应明确为：统一存储平台和备份容灾平台规划。第一步及第二步将在本次一期建设中同步实现，同时规划第三步为远期建设目标。1.3 全院级存储建设原则根据规划，郑州儿童医院的全院级数据平台系统建设不仅是一个简单的物理设备升级的问题，更主要的是一个全新大规模的设备集中、数据集中、处理集中、管理集中的统一数据中心的建设，同时还要保证系统是一个先进的架构，保证系统在稳定运行的前提下可持续发展、可平滑扩展。具体到集中存储建设就是说不仅满足当前业务数据存取需求，还要建设一个先进稳定可扩展的统一存储平台，实现高业务连续性的异地灾备建设。整体存储建设应遵循以下建设原则：1. 采用高端存储架构满足全院级数据性能，安全性、扩展性要求通过论证分析，在大规模的信息系统集中后，郑州儿童医院HIS、CIS、LIS、PACS等业务数据都需要逐步部署到新存储平台上，简单的1台乃至几台中低端存储设备都无法满足大集中的数据存取和可靠性、扩展能力的要求，因此应考虑具有高交换、高性能、高可靠性、高扩展能力的多控制器高端存储来满足新系统建设，体现在：l 高端存储为多控制器设计，可同时并发几十路的数据吞吐，远超过一般的中低端存储，因此带来的性能包括IOPS和带宽吞吐量上的极大提升，多控制器的扩展也为系统的平滑升级打下基础，而一般双控制器的中低端阵列只有冗余的二路并发，且不能扩展，性能受到极大限制，二者的性能差距达到几十倍，因此传统双控制器的中低端阵列无法满足大集中的要求；l 高端存储为关键业务数据中心集中存储设计，同时有多冗余部件设计，单一部件损坏有多个冗余部件备份，因此达到更高的可靠性级别，甚至可以到100%的可靠性标准，郑州儿童医院数据信息集中后，安全可靠性要求将大大提升，尤其HIS等系统要求更高，而高端存储近乎100%可靠性的设计将更满足这一要求；l 高端存储同时能够保证系统在线应用不停止的升级、扩展、维护，而普通中低端存储达不到这样的业务连续性要求，一旦更换部件可能造成停机和停业务，这对郑州儿童医院数据大集中存储是不可行的选择；l 高端存储在重要的阵列组件上的横向扩展能力远超过中低端存储，如高端存储缓存可达到200GB以上，远超中端存储的32GB，高端上千个磁盘扩展能力也远超过中端存储的几百个磁盘扩展，而郑州儿童医院数据中心建设需要这样的高扩展能力集中存储。2. 采用存储虚拟化满足全院统一数据平台建设要求郑州儿童医院当前已有存储设备，未来也会有新的设备，所有设备需要整合为统一数据平台，对众多业务有统一的数据访问接口，因此设计采用虚拟化技术建设高可用的统一云存储平台，异构的多台阵列整合为一个存储池，实现多业务系统数据的整合，同时保障原有存储的利旧。3. 采用集中存储架构下的分区单元化设计郑州儿童医院集中系统将包含众多业务如HIS、CIS、LIS、PACS等，这些业务数据会集中到统一存储平台上来，但同时这些业务尤其是一些关键业务需要保留各自的存储资源如磁盘、缓存、端口，同时需要好的隔离手段实现各自的数据访问安全和各自的管理，选择各自物理阵列当然可以实现这一要求，但为每一个业务配置一台阵列有是根本不现实的，这就需要我们首先考虑根据业务条件和关键程度进行合理范围的分组，同时针对每个组提供满足隔离需求的存储单元，这些单元应体现为集中存储的虚拟分区。4. 未来采用高性能NAS实现PACS数据高可用访问郑州儿童医院未来的PACS系统将是整体系统最大数据量业务，同时文件数量众多，采用服务器管理这些非结构化数据在可靠性和访问性能上无法满足要求，同时PACS中90数据为非活跃数据，需要采用分级和分层存储摆放，按照在线PACS数据和近线PACS数据对存储平台在统一资源池中进行合理摆放。因此设计为采用专用HNAS文件服务平台可提供超大规模的文件共享与管理能力，单个文件系统可支持200TB以上，单个目录可支持超过1000万个文件。同时可通过动态文件分层功能，对PACS系统数据在两级存储资源（在线存储与近线存储）之间做到自动透明分层存储，提高各类存储资源的利用率。5. 采用更加绿色节能设备满足机房环境要求本次郑州儿童医院数据中心建设的一个重要宗旨是建设更加绿色环保的数据中心，因此在集中架构下的存储单元，无论是统一存储的逻辑分区单元组合，还是磁盘阵列的组合，都要求在满足环保标准如RoHS等的前提下，提供最小的功耗和热耗，进而满足绿色节能环保的要求。因此本次配置的单体存储阵列设备应保证占地面积在一个标准机柜。第2章 存储选型方案优势论证通过需求分析，郑州儿童医院集中存储系统建设需要采用高起点的先进技术来架构，因此以下两个重要环节我们需要重点论证：l 新数据中心整体采用什么样的数据存储架构保证系统长远发展和平滑建设；l 未来PACS的大量非结构影像文件如何处理这些重点环节将决定整个存储系统的建设成败，同时对系统的长远发展起着决定性作用，其中又以第一个环节为重要基础，因此以下将进行详细选型论述。2.1 高端存储选型论证郑州儿童医院全新系统建设中包括了大量业务数据需要统一承载，因此系统建设的关键是如何保证存储平台能够提供充分的数据吞吐、数据备份和安全运行的支持，建议考虑采用一台高端存储设备HUS VM，构成统一存储平台，原因如下：1. 高端存储有更高的性能价格比从性能的量化指标上看，高端存储高于中端存储达到数倍，见下列对比：u IOPS即每秒处理IO数量是衡量存储性能的重要指标，推荐的高端VM达到20万以上IOPS，而一般的中端存储基本为5万万左右的IOPS，相差可达到5倍差距；u 并发带宽即内部同时读写数据量也是存储重要衡量标准，高端VM的并发带宽达到128GB，而中端存储一般带宽只有10GB，同样差距达到10倍；u 高端存储采用多达32路以上并发的多通路负载均衡设计，中端存储采用2个控制器设计，见下的详细分析。针对项目，如果我们比较1台高端VM和多台中端存储的部署模式，高端统一存储平台比中端阵列的性能提高数倍，具有最高的性能价格比。2. 中端存储与高端的结构差异中端和高端存储的性能差异主要源于其硬件架构设计和扩展，如下图所示：中端存储（含IBM、HDS、EMC的中端产品）全部为双控制器结构设计，当主机访问中端存储的磁盘空间LUN时，LUN属于其中一个控制器，另一个控制器为备份。针对多应用数据访问时需要在2个控制器之间平衡；而高端存储采用多通路负载均衡的设计，多生产IO访问可以采用不同的多个端口和通路（VM可达到并发16路以上），更大程度的解决了IO的性能瓶颈和将来的容灾规划等问题。3. 集中高端存储使调配容量和性能更加灵活采用多台中端存储给或多台业务独立使用，可以物理隔离它们的数据访问，但也面临一定问题：容量和性能无法有效调配，很可能产生其中一个存储大量消耗磁盘和性能，而另一个很空闲，比如目前有HIS业务和电子病历业务都建立各自的中端存储和磁盘空间，但实际运行可能产生数据容量和访问性能的预计偏差，采用二台中端存储需要在之前更多的考虑它们之间平衡，一旦完成就不易更改。HDS的高端存储逻辑分区很好的解决了这样的问题，如果采用统一存储平台，完全可以在同一存储的二个分区之间动态调整磁盘和缓存等资源，保证容量和性能在的HIS业务和电子病历业务上的最大发挥。4. HDS高端存储特有逻辑分区帮助生产区和共享区动态调整资源HDS VM高端免费含特有的逻辑分区功能，它可以在核心系统使用集中存储后，解决核心生产、一般业务、备份归档等应用对存储前端主机口、缓存、后端磁盘RAID的资源抢占问题，即可以将VM至少划分为HIS业务区、CIS业务区、LIS业务区、电子病历业务区等4个以上存储逻辑分区，每个分区的端口、缓存、磁盘逻辑隔离，保证各应用的QOS，同时可随时动态调整，即在线情况下针对多个分区调配缓存、端口等重要资源。5. 高端存储有更高的安全可靠性高端存储采用更加严格的安全可靠性设计，因此更多的应用在各大数据中心核心系统，具体的安全可靠设计包括：l 一般中端存储是对2个控制器散热，高端存储会针对控制单元的主要部件板卡、磁盘、缓存有更细致的通风散热设计；l 在冗余性上：中端存储是双控制器冗余，一个控制器出现故障会损失50%性能和安全性，而高端存储中控制单元的主要部件如前后端接口、缓存都采用多个模块化板卡设计，如前端接口板可高达数对，因此是多冗余可靠性，同时维护粒度很细，也很方便，因此高端存储具有比中端更细致和可靠的设计；l 中端存储在磁盘RAID配置上更随意，2-16个盘都可以组成RAID，而高端存储后端磁盘的RAID以4或8个为一组，保证每个磁盘对多个后端接口的冗余和性能，因此高端的磁盘配置方法更可靠。业内各厂商都承认高端存储比中端有更高的可靠、可用性，这正是郑州儿童医院数据中心需要的，业务不允许系统长时间停机，高端存储的100%高可靠性是新系统运行的基础。HDS甚至可以提供高端存储100%可用性承诺：如用户采用HDS高端存储出现故障，可以提供一定金额的赔偿。这也充分体现了HDS做为存储生产厂商对产品的信心。6. 中高端存储扩展性对比中端和高端存储由于在设计上的差异，高端扩展性会大于中端扩展：l 高端存储主机接口可达40个FC以上，超过一般中端存储的16个（含IBM、HDS、EMC）；l 高端存储缓存可扩展为256GB，超过中端存储的32GB（含IBM、HDS、EMC）；l 高端存储可管理磁盘容量达到50PB（50000TB），远超中端存储的几百TB。可见高端存储在保证将来系统在线扩展和系统延展方面，有更好的支持能力。7. 中高端存储的IT发展架构分析 集中存储（高端）是大势所趋的先进架构采用多台中端存储给多个应用使用是物理隔离系统的做法，这样可能产生多系统的孤岛，而高端存储是集中主要应用数据在一个存储上，这样能够统一的维护和配置管理，因此有理由相信存储和数据集中是未来先进的存储架构，对于郑州儿童医院系统来说，应该从创建开始就采用先进的集中存储设计，保证对统一数据的整合、灾备，统一存储平台的维护和配置管理。8. HDS高端存储特有虚拟化技术实现整合HDS存储支持中端和其它高端所不具备的虚拟化技术，它的智能控制器可以虚拟化其它IBM、EMC、HP等存储为一个虚拟化存储池，在统一管理异构存储的同时，实现数据在虚拟化存储池内的流动，进而实现在不同存储上的数据迁移、数据复制和分级管理，在本方案中推荐的HUS VM可以融合二级存储，使其上数据平滑融入整体虚拟池，无需改变任何数据形式和SAN拓扑，这也是本次方案设计的基础。9. HDS高端存储容灾技术比中端有明显优势，它的顺序号保证容灾数据一致性、带宽最小需求等特点，会为将来共享数据容灾打下坚实基础，使系统具有了更长周期的平滑延展。总之，高端存储具有更高的性能价格比、更高扩展性、更高的可靠可用性、更好的无瓶颈交换式结构，更多更好的功能设计，如HDS的虚拟化、存储分区、高级容灾技术都是在高端存储上才具备的，另外集中存储架构可以保证面向未来的平滑扩展，可以统一整合管理，也可以在多个应用中动态调整资源，在本次项目建设中，重点建议选型高端存储平台。2.2 未来PACS的高性能 NAS方案论证郑州儿童医院未来PACS系统业务包含的数据主要是非结构化的各类影像数据，如果采用传统的文件服务器处理方式，在容量和访问性上面临极大的问题。对于几十TB甚至更大的数据量，文件服务器将难以处理，因此建议未来采用在现有HUSVM平台上增加高性能硬件级NAS处理网关，最终架构SAN+NAS的统一存储平台方案。NAS作为一个成熟的技术是解决大型文件访问的重要方案，而随着NAS技术的不断发展，性能和功能都逐步得到大幅提升，尤其是当前HDS的高性能HNAS系列产品，通过硬件文件系统和FPGA的并行处理模式，使NAS共享文件的处理能力和可靠性都达到了最高级别的要求。在本系统建设中，包括大数据量的图书、影像、文档文件需要并行处理和访问，文件的存放空间也需要在线的扩展，HNAS的高性能、高可靠性、高可用性将为本系统提供最好的解决方案。其主要优势体现在：1. 架构先进性，HNAS在成熟的NAS技术上不断创新，通过其高性能和高可靠性彻底解决了传统NAS的处理瓶颈，结合不断扩展的功能扩展，使其解决方案代表了当前的先进技术：l 硬件文件系统架构，HNAS通过基于多个可编程控制器（FPGA）的硬件内部结构，是系统的性能和可靠性都达到了最先进的水平；l 采用硬件处理共享文件系统，单文件系统达到256TBl HNAS与HDS的HUS VM存储构成开放式架构，HNAS作为一个主控节点于SAN存储构成了透明的结合，我们可以横向的分别扩展HNAS节点和SAN存储单元，使系统轻松的达到最大的扩展能力；l 支持多种网络共享协议，包括：CIFS、NFS、iSCSI和NDMP等l 支持单节点运行，同时也支持多节点集群功能，最大可以到8个节点。每个集群支持Active-Active的Failover功能。在几年前，一些共享文件系统的用户需求受限于NAS传统的处理能力，随着HNAS的推出，更多的用户转向并选择成熟先进的HNAS作为大型共享文件的解决方案；2. 功能先进性，NAS作为一个成熟的技术，本身的功能已经非常完善，H NAS在此基础上扩展了更多的基于文件处理和访问的功能，这将帮助本系统实现虚拟存储、大型文件系统、数据保护等更高的目标：l 虚拟化服务。HNAS的虚拟化服务包括：虚拟服务器，虚拟卷，虚拟存储池。通过虚拟化，存储管理员能够为不同应用和用户迅速分配所需的存储类型。虚拟卷掩盖了底层物理磁盘的复杂程度，同时还能对用户的容量变化做出反映。虚拟服务器能够对存储资源进行分区管理，在发生故障或工作负载超过负荷时，通过虚拟服务器的自动调整，满足故障切换和负载均衡的要求；l 可选的分层存储管理，分层存储管理功能根据用户定义的文件策略将数据文件迁移到其它存储层，并将文件指针留在原有文件系统中，从而保证了对用户透明移动，不会感觉到数据在分层存储之间的数据移动；l 快照。快照是目前保护数据的主要手段，HNAS可以在1秒钟完成一个快照，并且每个文件系统支持1024个快照；l 模块化设计，用户可以根据不同的性能需求的变化，单独更换某个功能模块，最大限度的保护了用户的投资；l 支持64个虚拟服务器，每个文件系统的大小是256TB，每个目录支持400万个文件和目录，最大存储能力可以支持到2PB；l 与HDS存储资源管理套件无缝集成；l 基于用户角色的安全管理；l 支持主流的杀毒软件的病毒防护技术3. 访问性能，在有第三方权威评测的结果对比中，HNAS的访问性能是最高的，这也标明HNAS的硬件体系架构在本系统中将提供最强大处理能力：l 通过基于多个可编程控制器（FPGA）的硬件内部结构，一对集群节点可以提供高达1400Mb/s的吞吐带宽，可以提供高达80000 IOPS的SpecSFS处理能力；l HNAS同时可以从1个节点扩展为8个节点，保证了性能的线性提升，HNAS将帮助本系统在不断扩展同时的支撑能力传统方式下，采用文件服务器的用户都面临的性能和文件访问的瓶颈，如很多文件服务器系统只支持单文件系统16TB，这就很难应付300TB以上的非结构化大数据承载。HNAS的单文件系统就可以扩展为256TB，单节点可扩展为2-4PB，同时能够保证大数据量访问性能，这将为PACS系统的关键业务提供最强大的支持平台。总之，采用NAS结构相对于普通文件服务器文件资源具有如下优势：1. HNAS采用最新技术，比文件服务器系统有明显的技术先进性l 从结构上说，HNAS采用硬件体系架构来处理文件系统，而文件服务器采用软件体系的操作系统来管理存储，性能、可靠性、容量扩展都有很大局限；l 从文件系统上看， HNAS采用NFS、CIFS等标准文件系统， 文件服务器采用操作系统管理数据没有形成标准化；l 从功能上看，HNAS成熟的快照、复制等技术，文件系统自动迁移、扩展、归档，普通文件服务器系统软件功能欠缺，需要手工扩容，没有数据保护等功能；l 从技术发展上看， HNAS在成熟的NAS技术上不断创新，文件服务器一般为处理共享文件的“临时”解决方案，不适应大容量非架构化数据承载；l 从配置管理看，HNAS使用标准SAN网络和IP网络，管理员不需要专业培训 ，文件服务器所有配置均需要手动完成 安装、管理工作复杂，系统管理员需要进行多方面、长期的专业培训2. HNAS有明显的可靠性和可用性优势可靠性l HNAS是硬件级别可靠性，维护环节少，文件服务器维护相对复杂（硬件+操作系统），且文件服务器在处理上百TB的大数据量时，存在文件系统崩溃的风险；可用性l HNAS的最高第三方性能评测，文件服务器的性能无法评测参考；l HNAS的硬件结构使其在100TB大容量、高并发时性能不会下降，而文件服务器单文件系统接近20-30TB时性能几乎不可用，访问客户端超过一定限制时，性能急剧下降从以上对比可以得出结论，HNAS比普通PACS文件服务器方式系统有众多优势，HNAS也将逐步取代传统PACS文件服务器架构成为市场的主流方案，因此，在本次项目存储平台建设中，建议未来通过在现有HUS VM平台上增加硬件级NAS网关组成统一SAN+NAS平台同时为HIS、CIS、LIS等结构化数据及PACS等非结构化数据提供服务。第3章 集中存储方案3.1 统一存储平台解决方案3.1.1 统一存储架构设计根据需求分析，郑州儿童医院新数据中心存储平台规划中，我们将设计一套全新的数据集中存储平台系统，供HIS、CIS、LIS及未来PACS等众多业务系统使用。郑州儿童医院的全院级数据平台业务将包含众多子业务，如HIS、CIS、LIS、PACS等，为保证未来达上百TB的数据承载和应用，需要规划和整合为先进的虚拟存储架构，即为所有这些系统建设一个统一的数据存储平台。从业务系统角度分析，在本次系统中有HIS等的结构数据即数据库系统，这些是典型的OLTP类型，主要采用数据块存储方式，为满足其生产的具体需求，建议采用高性能的HDS VM集中存储，一方面彻底解决业务系统对存储资源要求高的瓶颈；另一方面物理集中数据实现统一管理，同时集中的存储为容灾打下坚实的基础。对于未来系统中的大量的数据是非结构化数据，主要是PACS的影像数据，还有文档、邮件系统和OA等数据等等，传统方式是在服务器层加工处理，这也增加了服务器的负担，同时在容量和性能上有很大瓶颈，因此建议未来可以在VM集中存储平台基础上，配置高性能和高可扩展的HNAS网关，一方面可以提供NFS（UNIX）或CIFS（WIN）的通用文件系统接口，PACS等服务器只要mount所提供的文件系统，就可以有共享的存储空间；另一方面更能满足系统对大容量非结构化共享文件的处理要求。对于HNAS网关的规划我们可以在二期项目中实施。集中存储平台的实际配置是我们首先需要分析和设计的，具体来说主要是VM的数据摆放空间，还有就是根据数据特性和访问量配置均衡的性能，无论是架构、空间还是性能都应满足5-10年以上的发展。未来可以考虑采用VM存储虚拟化融合技术形成一个统一的存储平台，备份通过虚拟化环境中的卷复制实现，我们的规划是：1. 首先配置高端存储VM作为核心一级在线存储，它可以直接提供数据块方式存储，满足数据库数据的直接存取，另外VM通过存储逻辑分区划分给不同业务的存储资源，按照系统业务规模，HDS建议设备选型考虑HDS VM存储（高端存储），针对HIS、CIS、LIS等的在线数据，建议配置为22块600GB/10K的高性能2.5寸SAS磁盘，其中20块数据盘2块热备盘，所有磁盘配置建议统一规划： HIS、CIS、LIS等数据库采用20块600GB磁盘的RAID1+0方式，可用容量为9TB；2. 同时利旧原EMC存储作为二级备份存储，采用HUS VM特有的虚拟化技术实现对生产数据的快速备份及恢复，磁盘容量可根据原EMC现有容量及生产数据总备份容量要求来规划，如原EMC存储容量不够，则可增加HDS HUS110存储（中端存储）配置大容量3TB近线SAS磁盘作为二级备份存储，容量根据总备份容量来规划；3. HIS、CIS、LIS、PACS等一级数据数据备份是将核心生产存储HUS VM上的数据克隆复制到备份存储原EMC上来，技术实现是通过HDS高端存储所特有的融合挂接技术，将生产存储HUS VM和原EMC进行融合，形成一个整体存储池，按照生产和备份数据分级别管理，然后通过基于磁盘的卷复制（或称克隆技术）将生产数据复制到备份存储上来，复制周期可以在小时级别完成。4. 在生产中心HUS VM统一存储平台建设完成的基础上，同院区容灾规划配置一个与生产中心阵列同档次的高端磁盘阵列HUS VM，配置与生产阵列相同的容量，放置在容灾机房并增加光纤交换机实现同院区容灾。该详细方案我们将在3.4章节中做出详细规划说明。数据中心的生产和备份系统通过独立的服务器层、存储层和统一的SAN网络来规划，如下图：统一存储架构结构说明整体的统一存储平台分为三个层次，主机层、网络层和存储层。主机层：在数据中心的生产区和交换区的业务系统中，主机主要进行信息处理和数据库运行，在主机端安装HBA卡用于建立数据访问通道。由于主业务系统是典型的OLTP应用，所以应用对数据访问性能的要求非常高，为了满足这一要求，主机端需要多块HBA卡，提供多条数据通道，通过安装HDS的数据通道管理软件HDLM，可以提供多通道之间的流量负载均衡，确保高性能的数据访问。另一方面，对于生产系统这样关键的系统，链路的安全性需要得到保证，HDLM同样可以提供数据通道之间的失败切换功能。网络层：SAN网络中网络层是非常关键的一个部分，它负责将主机和存储系统连接在一起，并且提供一个高灵活性、高扩展性的环境，以适应业务系统不断发展带来的主机和存储系统的扩展。在SAN网络设计中，我们采用冗余的网络设计，按照本项目的要求，我们全新配置2台交换机（端口数量我们将在后面讨论）构成冗余FABRIC，为主机和存储系统提供冗余的、可持续发展的连接路径。存储层：存储层或者说整个SAN网络存储系统的核心设备是磁盘阵列，在数据中心存储系统中，我们建议采用HDS公司高性能、高可扩展性、功能强大的磁盘阵列系统 VM通用存储平台，该系统的出现，完全改变了存储业界的工业标准，致使各个竞争友商的产品又一次处于落后状态。HDS公司 VM磁盘存储系统是业界唯一可以保证100数据可用性的系统，整个系统采用全冗余的交换式结构设计，没有任何单点故障，双独立供电接口与内部N+1电源模块，冗余散热风扇，RAID技术保护方式，全局动态热备份盘包，多独立Cache板设计，支持镜像写缓存技术，所有缓存都是NVS保护的，保证系统高可靠性和实现724365天不停机运行要求。HDS VM虚拟存储系统是业界性能更高的多控制器企业级存储系统。其内部结构采用高性能、无瓶颈的全交换结构，如上图。前端控制器（CHA）、后端控制器（DKA）、数据缓存cache控制器多部分组成通过系统内部交换系统（核心为HDS专利技术交换芯片）连接组成无阻塞的高速数据交换网络，提供I/O数据交换的多路由和高速的数据交换；前端（CHA）、后端（DKA）、控制缓存组成了点到点的网络结构，用于传输I/O和cache的控制信息，上述结构是目前业界最先进的存储结构设计；同时HDS VM虚拟存储系统采用全局的数据检索技术和处理机制，保证了数据CACHE中的数据高速检索和CACHE命中效率，获得全世界各权威咨询与评估机构的高度评价，并被公认为是目前业界最高性能和最好的扩展性的存储系统。HDS公司VM磁盘存储系统采用了全光纤的交换体系结构的设计，保证了系统的极大的扩充能力，系统内部最大可以扩充到1152块磁盘，内部最大扩充裸容量可以达到3PB，通过虚拟化云的扩展可以达到64PB。系统的数据CACHE最大可以扩充到256GB。HDS VM系统的前端通道最大为48个8Gb光纤通道接口。HDS公司 VM存储系统也是最易维修的系统。系统的所有部件均支持热插拔和不停机进行更换、扩容和不停机地微码升级。当微码出现问题时可以自动不停机地返回旧版本并可不停机地加入微码的Patch。这种维护特性是经过广大HDS用户证实有效的技术，也是用户选择HDS产品的原因之一，在国际著名调查公司Find/SVP举行的年度技术服务与技术支持客户满意度调查中，HDS公司连续3年获得第一。虚拟化扩展本次信息中心设计的主机负载很大，集中存储数据量也很大，无论主机还是存储随着业务膨胀都将逐步接近本身配置的扩展极限。为满足性能和容量扩展要求，规划设计为将来主机层和存储层都是虚拟化平台，具备将主机和存储设备平滑整合到统一虚拟化平台的能力，虚拟化功能将成为信息中心系统建立统一生产系统平台的重要工具，同时它也成为统一容灾平台的基础。3.1.2 存储逻辑分区建议的VM本身的基本软件包BOS 捆绑了更多的软件功能，除Resource Manager外，还包括Virtual Partition Manager的虚拟分区软件，这将直接帮助用户实现各个业务的QOS。郑州儿童医院业务种类非常多，如HIS、CIS、LIS、PACS等，总体可以分为结构化数据库业务、非结构化数据业务、其它一般业务等等。在集中存储的需求下，生产中心的数据存储需要考虑将所有主要业务数据整合在一台物理存储平台，如此众多的数据集中存放在一个存储平台，固然提高了数据集中度，也为远程容灾打下基础，但同时为各系统数据访问提出了挑战：集中存储平台的内部资源主要包括前端主机接口、缓存Cache、RAID组，当众多的机构数据同时进行业务访问和数据读取时，资源抢占的问题变得非常突出！尤其是作为存储系统中对性能影响非常大的Cache资源更无法进行有效的分配，当所有业务系统都共享同一Cache资源。在某些应用系统的业务量突然增加时， Cache资源使用量激增并被大量占用，其他应用系统的存储因没有Cache资源则性能受到影响。我们最为担心的是最为重要的核心业务无法得到最大的接口、缓存Cache、RAID组等资源供给，很可能被其它先启动的业务直接占满整个资源，导致其在某些时刻的相应急剧下降。无分区功能的高端存储系统从系统重要性和对存储系统的性能等方面考虑，这些应用系统的QoS要得到保证。为此，在数据集中存储系统中，我们引入HDS VM所提供的虚拟逻辑分区管理（VPM）功能，建议在实施规划中予以考虑。为此，在数据集中存储系统中，我们规划采用高端存储所提供的逻辑分区管理功能，建议存储平台按业务优先级进行虚拟的逻辑分区。统一存储可以分为结构化数据库业务区、非结构化数据业务区、其它一般业务区等。逻辑分区将不同应用系统所针对的存储资源进行有效的分区隔离。分区内包括主机通道端口、Cache和逻辑卷资源，在分区中的资源只能为接入到本分区内的应用系统使用，而且可以在分区内进行资源的动态调整，以适合应用系统的动态调节。HDS VM高端存储系统支持分区功能3.1.3 全院业务数据100%安全保障本次全新存储系统应用于郑州儿童医院关键业务，需要提供对外服务，存储承载业务数据因此成为最重要的设备，系统中服务器、网络设备故障可以随时更换，但存储阵列故障无法通过更换设备恢复系统，因为数据无法访问。而数据故障将导致业务系统中断和对外服务长时间中断，这将给郑州儿童医院造成巨大业务损失和社会影响。因此存储阵列需要提供接近100%的最高可靠性，保证在业务运行期不能有存储阵列的停机。HDS本次推荐给生产中心和灾备中心的核心存储是高端HUS VM 系列产品，其高质量和高可靠性是举世著名的。HDS公司的产品提供100的可用性，这也是目前全球存储系统唯一可提供100可用性承诺的存储产品，它显示了HDS公司对自己产品质量和可靠性的信心。大量采用HDS产品的用户其存储设备几乎多年都保持零服务和零维修纪录。自2001年进入中国开始，HDS公司在中国一直保持零数据丢失和零宕机记录。HDS公司存储产品所有部件提供冗余保护，大到冗余控制器，小到硬盘上的“双活”端口，无处不体现出HDS存储系统的安全可靠。在中国有大量的关键性业务的客户，在初始采用与主机厂商统一品牌的存储系统后，为提高系统的可靠性、安全性，减少系统的维护负担，纷纷改用了专业的HDS存储产品。 如中国银行原来采用某厂商的小型机加其存储设备，结果95%的故障和维护工作来自存储设备，用户最后全部更换成了HDS的存储设备，状况彻底改变；在很多其它用户，也是重复同样的情况等。改用HDS存储产品后，客户花在存储系统的维护时间几乎为零，大大解放了客户的维护工作量，客户从中也体会到选择专业存储厂家存储产品的益处。3.2 生产数据本地近线备份方案全院业务系统建设的关键一面是100%高可用性的统一存储大集中平台，另一方面是本地数据保护的备份平台建设，一般来说备份当然可以采用磁带库或虚拟磁带库的备份模式，但这种传统备份方式在当今面临着一系列挑战。磁带库或虚拟磁带库备份方式对于小数据量的备份效率暂时可以接受，但对于医院系统数据未来将面临着爆炸性增涨达几十TB的需求，随着业务数据的不断增加，磁带库或虚拟磁带库备份的效率问题将会非常突出。一般来说当数据备份量超过10TB时，备份时间将超过10几个小时，而如果数据达到20TB以上，采用磁带库或虚拟磁带库的模式基本不可实施。因此规划利用存储虚拟化解决方案，在数据分级管理的同时，利旧原有EMC作为近线备份存储，备份方法也是通过磁盘级卷克隆技术，定期将生产数据从核心存储上复制到二级备份存储上。存储系统本身能提供RAID保护机制，可以100的保证数据不丢失，但是这是在物理层面上，如果业务系统上出现逻辑错误或其它原因造成数据丢失，则RAID保护机制就没有办法恢复这些数据。因此在另一个物理存储设备上实现备份是非常必要的。根据对近线备份方式的规划，设计增加二级的备份存储，通过与生产存储的虚拟化融合，实现生产存储到备份存储的数据备份复制。各存储厂商的虚拟化和卷复制手段不同，但是都可以通过卷复制软件实现数据本地的数据保护，尤其是产生逻辑错误时，可以保护数据的完整性。卷复制软件是基于存储系统内部运行的数据复制技术，无需主机资源参与，最大程度的发挥了软件的可用性；瞬间分离得到的多个数据备份拷贝，提供了用户并行处理联机业务、批量作业、应用开发、测试、数据分析和数据挖掘、快速恢复的解决方案，节约了生产主机宝贵的资源而处理其他重要的业务，革新了批量作业、磁带备份的新策略，给本次系统存储整合建设提供了最佳投资选择最小的总拥有价值（TOC）和最大化的投资回报。根据系统的实际需求，数据备份需要与生产核心数据相当的磁盘容量，从性价比、物理存储备份、分级管理等考虑，规划利旧原有EMC存储作为二级备份存储（如容量不够我们可增加HDS HUS110中端存储配置大容量3TB近线SAS磁盘），核心存储VM通过虚拟化的方法与备份存储原有EMC（及HUS110）连接并形成分级管理，这样就在统一的虚拟化存储池中通过卷拷贝将生产数据备份到备份存储上。当生产数据出现严重故障时，备份存储的备份数据可以透明的被生产服务器直接访问，实现了快速系统恢复。见下图：本地备份方案规划的要点在于：1. 主要业务可通过一个统一的集中存储虚拟平台完成，提高业务的处理性能；2. 生产数据复制到备份存储上，是通过磁盘存储系统完成（磁盘级卷复制），效率较高，对生产系统影响较小；3. 存储平台和备份平台通过虚拟化融为一体，集中存储平台整合了所有存储资源，实现存储资源的统一分配。备份的实现和周期：生产数据从生产存储到备份存储上的备份复制，采用磁盘级别卷复制功能，初始安装实施时需要对所有数据的全卷进行拷贝。完成第一次初始化拷贝后，每次的重新复制同步只需要增量数据拷贝。备份的间隔可根据应用要求设定为很短的周期，保证最小数据丢失。3.3 集中存储虚拟化扩展规划根据建设思路，我们推荐郑州儿童医院的生产和容灾系统建设在存储统一虚拟化的建设基础上，进行数据中心存储系统进一步整合，这就需要一个高可靠和高可用的先进的存储虚拟化方案，以下将详细论证。存储虚拟化综述存储虚拟化的技术方法，是将系统中各种异构的存储设备映射为一个单一的存储资源，对用户完全透明，达到屏蔽存储设备的异构和主机的异构的目的。通过虚拟化技术，用户可以利用已有的硬件资源，把SAN内部的各种异构的存储资源统一成对用户来说是单一视图的存储资源（Storage Pool），而且采用Striping、LUN Masking、Zoning等技术，用户可以根据自己的需求对这个大的存储池进行方便的分割、分配，保护了用户的已有投资，减少了总体拥有成本（TCO）。另外也可以根据业务的需要，实现存储池对服务器的动态而透明的增长与缩减。通过存储虚拟化技术可实现数据的本地整合与远程复制，以确保灾难备份中心与生产中心的数据保持同步以实现数据灾难备份。生产中心虚拟化整合考虑到构架统一的存储平台，推荐采用HDS VM高端磁盘存储系统配置虚拟化管理软件功能，实现核心存储、备份存储、未来PACS二级存储的资源整合。而这些功能将成为系统建立统一存储备份平台的重要工具！同时它也为容灾的基础。同时虚拟化管理也是未来PACS数据分级数据管理的基础，即在一个统一的虚拟存储池中，通过HNAS软件的调度，核心一级存储HUS VM的内部磁盘上数据可以定期自动归档到二级存储上（大容量中端存储/采用大容量近线SAS磁盘），形成统一的分级管理存储池。基于以上问题的考虑，在本项目方案中我们以HDS虚拟化平台为核心系统。未来，HDS VM磁盘存储系统通过存储虚拟化的技术，可以实现将不同厂商的存储系统集合到同一个存储池中。HDS VM存储平台内部的资源为内部存储资源，与之相连的其它存储设备上的资源是外部资源。通过该功能，可以使用统一的管理平台实现对内部和外部存储资源的统一管理，统一分配，可以按照应用系统的性能要求分配相应的存储资源。从主机的角度看，内部存储资源和外部存储资源功能完全相同，而内部和外部存储资源之间的数据交换可以通过存储系统本身的数据复制和数据迁移软件来完成。具体到本项目中，我们规划系统采用全新的HUS VM作为核心的在线业务存储；在整合未来所有二级存储作为近线或备份数据的存储，在线存储和二级存储数据都可以透过VM的智能控制器映射给HNAS进行加工或直接映射给服务器。核心存储VM、备份存储