核心存储平台建设项目方案

1、核心存储平台建设项目方案HDS存储 目 录TOC o 1-3 h u HYPERLINK l _Toc508738183 第1章 项目技术方案 项目技术方案需求分析16.1.1核心生产系统：双活中心及异地容灾在前期的项目采购中，中华大街生产中心已经部署了一台VSP G1000存储，主要运行Oracle数据。同时在秦皇岛容灾中心也部署了一台VSP G1000存储，作为生产VSP G1000的容灾存储，两台VSP G1000之间通过基于底层的UR异步复制技术实现了异地数据保护。系统现状如下图所示：目前省厅泰华街新机房已经基本建成投入使用。本项目的建设目标是将核心生产系统改造为双活中心架构。也就是说

2、，部分业务运行在中华大街中心，另外一部分业务运行在泰华街中心。并在此基础上，利用先进的存储双活集群技术，实现两个数据中心的数据双活，进而实现两个数据中心的业务在线切换。本项目的建设思路是，在泰华街中心新增一台VSP G1000，与中华大街中心及容灾中心的VSP G1000组成双活存储集群，同时与秦皇岛灾备中心的VSP G1000组成3DC两地三中心容灾方案，实现更高级别的数据保护。在这种工作模式下，省厅所有的核心生产系统同时在两个数据中心运行，同时为用户提供服务，当某个数据中心的应用系统出现问题时，有另一个数据中心的应用来持续的提供服务。同时，这两个两个数据中心与秦皇岛灾备中心组成3DC，实现

3、最高级别的双活中心两地三中心架构，将三者统一在同一个容灾系统中，兼具高可用性和灾难备份的能力。这样的方案升级改造，使的核心生产系统具备了RPO=0，RTO0的双活自动故障切换能力，同城两个数据中心的任一节点发生故障时，都可完全不停机无感知地实现存储设备的自动切换。双活数据中心最大的特点是：充分利用资源，避免了一个数据中心常年处于闲置状态而造成浪费。通过资源整合，双活数据中心的服务能力是双倍的。双活数据中心如果断了一个数据中心，另外一个数据中心还在运行，对用户来说是不可感知的。而双活数据中心最大的难点是：构建双活数据中心对于任何一个企业来讲都不是一个简单的事情，真正的双活，要在数据中心的从上到下

4、各个层面，都要实现双活，如存储、服务器、网络、数据库、应用等等，各层面都要有双活的设计且紧密合作，才能实现数据中心的双活，而整合正是目前实现整个数据中心双活的难点。在双活数据中心的建设历程中，经验告诉我们需要在摸索中不断前进、不断完善，最终达到建设目标。因此，在省厅新数据中心的建设中，我们也应采取稳中求胜、逐步建设的原则来实现业务、技术的创新，即在现有数据平台架构保障业务运行正常的前提下，通过对现有数据平台的平滑升级，逐步实现业务的迁移再部署，最终实现新数据中心架构的建设。双活数据中心的衍生宗旨在于提高资源的利用率，将业务的负载部署在两个数据中心，提高了业务的访问效率；但随之而来的是两个数据中

5、心间的关系变得更为紧密，任何一个数据中心发生故障都会影响到两个数据中心，因此我们应根据业务的要求来构建数据中心，而不是一味的“双活”。具体来说对于关键性生产业务，要求高可用性、高性能的业务，采用双活架构建设，实现业务的负载均衡。这也是绝大部分具有成功建设经验用户所采用的方式，获得了广泛验证，我们将在后面的设计章节予以详细说明。16.1.2省厅虚拟化平台数据存储在前期的建设中，中华大街中心已经部署了一台HUS VM存储系统，作为内网VMWare虚拟机的存储平台。随着泰华街中心的启用，内网虚拟化平台的主机也将搬迁一部分到泰华街中心，因此需要在泰华街中心部署一台新的存储。考虑到未来内网虚拟化平台的双

6、数据中心容灾可能性，建议仍然选用HUS VM存储系统作为泰华街中心的内网虚拟化存储平台。16.1.2省厅备份及归档数据存储针对省厅的各核心业务系统数据，需要在内网、外网构建专用的备份存储系统，为核心业务数据提供数据备份及内网核心业务的归档存储系统。这些存储系统将与省厅现有的Atempo备份软件结合使用，也可以支持其他品牌的备份归档管理数据，形成基于磁盘的备份和归档解决方案。16.1.3各地市数据集中上收容灾下属11个地市，其中8个目前已经部署了HUS VM存储系统，其中4个地市部署了两台HUS VM之间实现同步复制容灾，1个地市将其HUS VM直接复制到了省厅容灾的VSP G1000，另外3个

7、分别部署了一台独立的HUS VM。下表是各地市的HUS VM配置情况说明：序号单位型号数量序列号配置备注1唐山HUS VM121169424 600GB 10K disks, 8 FC ports, 64GB Cache, BOS 20TB2秦皇岛HUS VM121272125 600GB 10K disks, 8 FC ports, 64GB CacheBOS 20TB, Local Replication license, Remote Replication license生产存储VSP G1000150393同上省厅UR容灾秦皇岛TC容灾3邢台HUS VM124 600GB 10K d

8、isks, 8 FC ports, 64GB Cache, BOS 20TB4保定HUS VM121301724 600GB 10K disks, 8 FC ports, 64GB Cache, BOS 20TB生产存储HUS VM1213011同上TC容灾5张家口HUS VM121291824 600GB 10K disks, 8 FC ports, 64GB Cache, RACKBOS 20TB, remote replication license生产存储HUS VM1213032同上TC容灾6沧州HUS VM121303824 600GB 10K disks, 8 FC ports,

9、 64GB Cache, BOS 20TB生产存储HUS VM1213036同上TC容灾7廊坊HUS VM121303924 600GB 10K disks, 8 FC ports, 64GB Cache, RACKBOS 20TB, remote replication license生产存储HUS VM1212885同上TC容灾8邯郸HUS VM124 600GB 10K disks, 8 FC ports, 64GB Cache, RACKBOS 20TB, remote replication license本项目的建设思路是在中华大街机房再部署1台新的HUS VM存储系统，作为各地市

10、集中上收容灾的存储设备，将已完成存储部署的8个地市的HUS VM存储上的数据采用基于底层的复制技术集中到这台HUS VM。由于前期各地市HUS VM的部署分为两种架构，因此针对本次数据省级集中的需求，仍然根据各地市实际情况，按照三种架构规划：对于4个已经部署了两台HUS VM的地市（保定、廊坊、沧州、张家口），将和中华大街机房新增的HUS VM实现两地三中心的3DC架构，即同城同步，异地异步，将三者统一在同一个容灾系统中，兼具高可用性和灾难备份的能力；对于1个单台HUS VM与VSP G1000实现同步的地市（秦皇岛），在此次集中容灾系统建成之后，将会断开与VSP G1000的容灾关系，重新将

11、数据容灾至中华大街机房的HUS VM，实现远程的灾难备份；对于3个已经部署了一台HUS VM的城市（唐山、邯郸、邢台），将和中华大街机房的HUS VM实现异步复制的容灾架构，即具备异地异步灾难备份的能力。我们将在后面的设计章节分别对三种架构予以详细说明。整体方案详细设计省厅核心生产系统双活中心两地三中心容灾方案根据上述需求分析，我们建议按照如下图所示思路，为核心生产系统搭建双活数据中心两地三中心的容灾解决方案。根据需求分析和对系统建设目标的理解，我们规划在泰华街中心新增一台VSP G1000，与中华大街中心的两台VSP G1000组成双活架构。在此基础上，这两套VSP G1000与秦皇岛灾备中

12、心的VSP G1000组成3DC容灾架构，实现更高级数据保护。前面提到，本次新数据中心建设将采用完整规划、逐步实施的方针来建设，即在充分利旧原有设备，保障业务系统正常运行，实施复杂度最小的前提下平滑升级到两地三中心架构。我们的建设方案是：存储设备在泰华街中心新增1台VSP G1000，配置256GB缓存，配置178块600GB磁盘，使用其中的82块磁盘提供约31TB的RAID6后可用容量。并配置40TB SVOS基础管理软件，20TB GAD双活存储集群软件、20TB同步/异步复制软件，20TB两地三中心复制软件；此外，为了便于进行应用开发测试，配置10TB本地快照/克隆软件。对中华大街中心现

13、有VSP G1000存储进行扩容，将其缓存升级至256GB，并从泰华街新购VSP G1000中取用48块600GB磁盘，使其磁盘数量可以达到83块，RAID6可用容量同样为31TB。与此同时，扩容SVOS软件至40TB，并扩容或增加软件，使其同步/异步复制软件、GAD双活存储集群软件、以及两地三中心复制软件均达到20TB。 对秦皇岛灾备中心现有VSP G1000存储进行扩容，将其缓存升级至128GB，并从泰华街新购VSP G1000中取用48块600GB磁盘，使其磁盘数量可以达到83块，RAID6可用容量同样为31TB。与此同时，扩容SVOS软件至40TB，并扩容或增加软件，使其同步/异步复制

14、软件、以及两地三中心复制软件均达到20TB。 除存储设备以外，泰华街中心还配置了2台新的Brocade 6510交换机，用于连接新增VSP G1000与核心生产系统服务器的冗余连接SAN网络交换设备为了实现两个同城数据中心的SAN网络互通，泰华街中心新购的2台Brocade 6510交换机和中华大街中心原有的2台Brocade 6510交换机各自增加4个8Gb LWL长波模块，通过两个中心之间已经铺设完毕的96芯裸光纤中的8芯，形成双中心SAN网络的冗余连接。泰华街中心部署1台Brocade 7800 SAN光纤路由器，用于实现泰华街中心VSP G1000和秦皇岛灾备中心VSP G1000之间

15、的FC/IP互连。方案实现效果在完成上述新购设备和扩容设备的安装调试之后，省厅核心生产系统的存储架构将实现如下效果：同城双活中华大街中心和泰华街中心的两台VSP G100，运行在GAD双活存储集群模式下，所有核心生产数据均会被采用镜像模式写入两个中心，时刻保持RPO=0的同步复制保护状态。同时，任意一台VSP G1000发生故障，生产服务器的访问均会被自动切换至另外一台VSP G1000，切换过程业务无感知，达到RPO0的效果。两地三中心容灾中华大街中心和泰华街中心的核心生产数据均会被自动复制到秦皇岛灾备中心（异步），任意一台VSP G1000故障，容灾复制关系都会自动被切换至另一台VSP G

16、1000，时刻保持生产数据到秦皇岛灾备中心的异步复制正常运行，使其时刻处于异步复制保护之下。一旦石家庄发生大面积灾难性事件，两个同城数据中心全部受到破坏的情况下，可以立即启用秦皇岛灾备中心VSP G1000上的数据恢复核心生产系统。由于采用了业界最先进的HUR异步复制技术，能够有效减少数据丢失量。根据目前的系统运行状态，RPO5分钟，也就是说一旦需要启用秦皇岛灾备中心的VSP G1000，其数据状态会是石家庄灾难发生前的5分钟以内的状态。本地快照、克隆本项目的3台VSP G1000均配置了10TB的本地快照/克隆软件，该功能可以在单台盘阵内部实现快速的数据卷快照和克隆，可以用于开发、测试，或者

17、备份，以及恢复演练。内网虚拟化平台存储方案内网虚拟化平台当前已在中华大街部署了一台HUS VM存储系统，运行在VMWare环境下。由于本项目规划会将部分虚拟化主机搬迁到泰华街中心，因此建议在泰华街中心再部署一台HUS VM作为虚拟化平台存储使用。内网虚拟化平台数据存储整体架构图如下：我们的建设方案是：存储设备在泰华街中心新增1台HUS VM，配置64GB缓存，配置82块600GB磁盘，提供约31TB的RAID6后可用容量。SAN网络交换设备在泰华街中心新增2台Brocade 6510交换机，用于实现新增HUS VM与泰华街中心内网虚拟化服务器之间的双冗余连接。在中华大街中心新增2台Brocad

18、e 6510交换机，用于替换原有的光纤交换机，实现现有HUS VM与中华大街中心内网虚拟化服务器之间的双冗余连接。方案实现效果虽然新增HUS VM与现有HUS VM各自独立运行，并未配置任何存储容灾复制软件。但在VMware环境下，仍然可以使用VMware的vMotion及Storage vMotion功能，实现VM虚拟机在两个数据中心之间的切换。也可以使用VMware的Metro Storage Cluster功能实现两个数据中心之间的数据同步保护。也可以在下一期项目规划中，为HUS VM配置同步/异步复制软件，通过存储复制功能实现两数据中心虚拟化平台数据的同步复制。如果希望实现更高级别的保

19、护，还可以为HUS VM配置HAM存储高可用集群功能，实现存储设备级别的自动故障切换，当其中一台HUS VM发生故障时，自动将VMware虚拟化平台的访问服务切换至另外一台HUS VM。省厅备份及归档数据存储为了实现省厅现有核心生产系统、内网虚拟化系统、以及外网系统的备份保护，本项目规划在省厅两个数据中心的内网、外网各增加一台VSP G200备份存储设备，通过省厅现有的Atempo备份软件，或者其他备份工具，将数据备份至VSP G200提供的存储空间中。除此之外，本项目还配置了一套HCP归档存储网关，利用其中容量较大的一台VSP G200提供的存储空间，能够为核心生产系统提供归档存储功能，例如

20、电子印章、或者一些扫描件图片等。使用HCP归档存储系统，这些数据将无需再做任何备份操作，即可得到永久保护。HCP底层采用磁盘阵列的存储空间，该空间底层采用RAID6技术进行保护，允许2块盘同时失效而不会丢失数据HCP存储系统配置4个网关节点，以集群模式工作，在单节点故障的情况下系统仍可正常运行，访问不会中断，数据不会丢失HCP内置数字指纹功能，会为每一个存进去的文件生成一个指纹，并定期校验文件与指纹的匹配关系，确保文件时刻处于完好状态HCP内置多副本功能，可以按照指定策略自动将写入的文件保存为多个副本，副本数量可以支持2-4个HCP内置数据自动修复功能，当校验发现文件副本和指纹不匹配时，系统会

21、自动使用完好副本对损坏副本进行修复，确保文件的所有副本时刻处于完好状态HCP内置WORM功能，可以实现文件的高级别Read Only，即一次写多次读，该文件无法被修改，也无法被删除，保证数据的可靠性HCP内置数据生命周期控制功能，可以指定文件的保存周期，在保存周期内该文件无法被删除，确保数据的时效性利用这些先进的数据管理功能，HCP能够充分保证数据的真实性、可靠性和时效性，从而用作法规审计证据。因此，归档到HCP的数据不需要再做任何保护。配置了HCP归档存储网关之后，利用专业归档软件的功能，可以将文件归档到HCP中进行保存，同时用“存根”代替文件实体，这样不仅能够达到保护数据的效果，还可以减少

22、需要备份的数据量，从而帮助备份系统提高备份任务的处理速度。当用户需要访问这些被归档的数据时，归档软件会使用“存根”自动将数据实体从HCP归档系统回调回原有位置。因此，归档操作不会影响用户的读写模式，实现透明化访问的效果。各地市数据集中容灾本项目规划在中华大街中心新增1台HUS VM存储系统，用作各地市数据的集中容灾存储。因此，8个地市的HUS VM存储上的数据可以采用基于存储的复制技术集中到这台HUS VM上，从而实现RPO5分钟的最高级别的异地容灾保护。由于下属8个地市的原有存储部署方案分为两种架构，其中4个地市分别部署了两台HUS VM之间实现同步复制容灾，1个地市部署了HUS VM与VS

23、P G1000实现同步复制容灾，另外，4个分别部署了一台独立的HUS VM，因此在本期规划方案中也有所差别，我们将分别说明。地市数据集中上收整体架构图如下：我们的建设方案是：存储设备在中华大街中心新增1台HUS VM，配置128GB缓存，配置82块600GB磁盘，提供约31TB的RAID6后可用容量。并配置40TB SVOS基础管理软件，40TB同步/异步复制软件； 对于4个已经部署了两台HUS VM实现同步的地市（保定、廊坊、沧州、张家口），现有的两台HUS VM将和中华大街机房的HUS VM实现两地三中心的容灾复制方案，即同城通过已经部署的TrueCopy实现同步复制，异地通过UR实现异步

24、复制，将三者统一在同一个容灾系统中，兼具高可用性和灾难备份的能力。为此，需要在各地市生产HUS VM上增加Remote Replication Extended两地三中心复制许可；对于1个直接将HUS VM数据复制到省厅容灾VSP G1000上的地市（秦皇岛），将会改变现有的容灾配置，将数据直接远程容灾到石家庄中华大街机房的HUS VM当中，并断开现有方案当中HUS VM与VSP G1000之间的数据复制关系。此数据中心当中的HUS VM不需要再新增其他的软件许可。对于3个已经部署了一台HUS VM的城市（唐山、邯郸、邢台），将和石家庄中华大街机房新增加的HUS VM实现异步复制的容灾架构，即

25、通过UR实现异地异步复制，具备异地灾备的能力。3个地市的生产HUS VM需要增加Remote Replication同步/异步复制许可。SAN网络交换设备为了实现中华大街中心新增HUS VM与各地市之间的FC/IP互通，需要在中华大街中心部署1台Brocade 7800 SAN光纤路由器，该路由器配置有16个FC端口和6个GE端口，最多可以同时与8台Brocade 7800进行通讯。各地市均需部署1台Brocade 7800 SAN光纤路由器，该路由器配置有4个FC端口和2个GE端口。网络方面，各地市可以继续使用现有的省厅与地市之间的专网。但由于省厅中华大街中心新增HUS VM需要同时接收8个

26、地市的上传容灾数据，因此需要较高的网络带宽，建议增加带宽至50Mbps以上。方案实现效果在完成上述新购设备和扩容设备的安装调试之后，省厅核心生产系统的存储架构将实现如下效果：两地三中心容灾（已有两台存储的地市）地市中心的两台HUS VM通过TrueCopy实现同步复制，实现RPO=0的实时同步保护；地市中心的生产存储通过HUR异步复制到省厅中华大街新增的HUS VM，实现RPO5分钟的异地容灾保护；当生产存储发生故障时，可以迅速启用同机房容灾存储，快速恢复业务，如果灾难恢复流程执行顺利，可以在1小时左右恢复业务，即RTO1小时；一旦地市发生大面积灾难性事件，两台存储全部损坏无法工作，可以立即启

27、用省厅中华大街新增HUS VM上的数据恢复业务。如果灾难恢复流程执行顺利，并且服务器、网络等硬件设备资源充足，可以在1小时左右恢复业务，即RTO1小时。即便无法提供灾难恢复服务器和网络设备，也可以保证数据不会丢失；方案收益数据100%安全保障本项目的核心生产系统存储VSP G1000，内网虚拟化存储HUS VM，以及各地市集中上收容灾存储HUS VM，应用于公司关键业务，需要提供对整个公司系统的服务，存储承载业务数据因此成为最重要的设备，系统中服务器、网络设备故障可以随时更换，但存储阵列故障无法通过更换设备恢复系统，因为数据无法访问。而数据故障将导致业务系统中断和对外服务长时间中断，这将给公司

28、造成巨大业务损失和社会影响。因此存储阵列需要提供接近100%的最高可靠性，保证在业务运行期不能有存储阵列的停机。本次推荐给公司的核心存储均为HDS的高端系列存储产品，其高质量和高可靠性是举世著名的。HDS公司的高端产品提供100的可用性，这也是目前全球存储系统唯一可提供100可用性承诺的存储产品，它显示了HDS公司对自己产品质量和可靠性的信心。大量采用HDS产品的用户其存储设备几乎多年都保持零服务和零维修纪录。自2001年进入中国开始，HDS公司在中国一直保持零数据丢失和零宕机记录。HDS公司存储产品所有部件提供冗余保护，大到冗余控制器，小到硬盘上的“双活”端口，无处不体现出HDS存储系统的安

29、全可靠。在中国有大量的关键性业务的客户，在初始采用与主机厂商统一品牌的存储系统后，为提高系统的可靠性、安全性，减少系统的维护负担，纷纷改用了专业的HDS存储产品。 如中国银行原来采用IBM的小型机加IBM的存储设备，结果95%的故障和维护工作来自IBM的存储设备，用户最后全部更换成了HDS的存储设备，状况彻底改变；在中国国际商务中心，也是重复同样的情况。改用HDS存储产品后，用户花在存储系统的维护时间几乎为零，大大减少了用户的维护工作，用户从中也体会到选择专业存储厂家存储产品的益处。充分利用现有资源，保护前期投资本项目的存储改造工作完全基于现有存储资源进行，包括：核心生产系统由现有的2台存储异

30、地容灾，改造为GAD双活存储集群+3DC两地三中心容灾复制；各地市集中上收，由各地市的单台HUS VM存储，或两台HUS VM存储同城容灾，改造为远程异步复制，或3DC两地三中心容灾；除了硬件设备以外，现有存储的容灾复制等软件许可也充分得到了利用，不需要重复购买；此外光纤交换机，以及光纤SAN路由器等设备也做到了充分利用。节约知识成本本次系统的建设非常复杂，但更为关键的是管理和维护系统的技术人员。具备易维护性的高端存储系统可以使相关技术人员经过一个非常短暂的知识升级之后，就可以投入到新建系统的管理和维护工作中，有效降低人力、财力，使存储系统尽快的为业务系统服务。本项目提供的存储均为HDS品牌，

31、与公司现有的核心生产存储、内网虚拟化存储、以及各地市核心生产存储均为同一品牌，同系列产品。这些产品的管理界面完全相同，配置方法也完全相同，公司的系统管理和维护人员完全可以不需要任何培训即可完成新购存储的管理维护工作。成熟的存储体系架构VSP高端存储系统秉承全交换体系架构，是该架构的第六代产品，是非常成熟的产品。该体系架构将原有大型主机上的技术移植到存储系统上，经过众多用户验证，全交换体系架构足以使系统在高端存储构成的存储解决方案中获益匪浅。可靠的数据保护机制高端存储系统是在主机通道控制器、Cache、磁盘通道控制器和硬盘技术等方面都实现了数据可靠性保证。首先，在主机通道控制器的设计上采用冗余设

32、计，控制器板分别位于控制柜的两个Cluster中，互为备份；其次，在Cache保护技术中，采用最成熟、最可靠的Cache写镜像保护技术，使写入Cache中的数据得到100的保护。另外，在Cache断电保护方式中提供了直接将Cache中数据降落在SSD固态硬盘上的技术，能够100的保护Cache中的数据安全。第三，在后端磁盘通道控制器的设计上，同样采用了冗余设计，保证后端磁盘通道的安全可靠。第四，在磁盘技术的应用上，采用双端口SAS2.0硬盘，而且在此基础上进一步采用独特的“DualActive”（双活端口）设计，使硬盘上的两个端口同时能够工作，一方面提高了系统整体性能并实现后端环路负载均衡，另

33、一方面在后端环路保护时，能够提供100的切换可靠性。最先进的存储技术在本次存储整合建设中，采用了业界领先的能够提供虚拟化存储管理（UVM）、存储逻辑分区（PM）、超长距离远程数据复制（UR）、和双活存储集群（GAD）技术的高端磁盘存储系统VSP G1000，这些最先进的存储技术将为项目建设带来投资保护、提升应用系统QoS，以及跨地域数据保护的解决方案。广泛的开放性连接开放性：可支持目前绝大多数的主流主机厂家系统，并与多主机厂商进行战略合作，能及时获得这些主机厂家的支持。产品的独立性与技术的连续性：规划采用独立存储厂商的产品，独立存储厂商一贯提倡和保证产品的连接开放性，而且坚持高、中、端产品线的

34、技术连续性和产品开发，所有的产品具有相同的技术概念、操作维护界面、相同的产品功能，提倡“同一产品、同一界面、同一用户”的思想，作为设计、制造产品的原厂商，能够保证技术的连续性和先进性。易维护性高端存储设备支持在线微码升级、维护、扩容，在维护的过程中对存储系统的性能影响最小，在信息服务的时代，能够保证企业724365的业务连续性。智能菜单式的控制台操作管理界面、面板上设备运行的指示灯、预警机制等提供了用户简单、易使用的系统操作，保障了用户的知情权，简化了用户的操作维护负荷，提高了企业的生产力。成熟先进的容灾技术高端存储的容灾方案是基于成熟、先进的数据复制技术构建的，为众多用户所认可并使用，能够最

35、大限度的降低远程异步数据复制时对系统资源的消耗，而且能够使用户根据自身应用系统灵活的选择RPO，从而降低用户在网络方面的投资。这些为将来的容灾规划提供先进的解决方案。结合先进的数据复制解决方案，我们提出的容灾建议是GAD双活存储集群3DC两地三数据中心解决方案，而且是最为安全的“多目标复制”方式，它将为系统构建了一个坚实的数据堡垒，确保业务系统在经受不同风险时依然能够正常运转，保证业务的不断开展。本方案在同城两个数据中心之间实现了RPO=0，RTO=0最高等级的容灾保护，同时又在异地实现了RPO5分钟的数据级容灾保护。项目实施方案交货时间在合同签订后30个日历日日内完成设备交货。交货地点免费送

36、到招标单位指定地点。投标设备安装环境准备物理规格及供电要求本次投标VSP G1000、HUS VM、HCP等设备均配置有原厂42U标准机柜,各存储的物理规格及供电要求如下：泰华街机房设备：高端存储1：VSP G1000（带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，IEC 309航空插头4路32A524422.12.2高端存储2：HUS-VM（不带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PDU电源插头10路16A188131.81.9归档存储网关：HCP（带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，IEC

37、 309航空插头4路32A192421.92.0实际使用机架高度6U空余机架高度36U中端存储1：VSP G200（不带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PDU电源插头7路16A9971.11.2中端存储3：VSP G200（不带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PDU电源插头3路16A4430.60.62台光纤交换机1：Brocade 6510（不带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PDU电源插头4路16A2220.20.32台光纤交换机2：Brocade 6510（不带机柜）重

38、量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PDU电源插头4路16A2220.20.3光纤SAN路由器1：Brocade 7800 2/4（不带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PDU电源插头2路16A1110.20.2中华大街机房设备：高端存储3：HUS-VM（带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，IEC 309航空插头4路32A323421.81.9实际使用机架高度13U空余机架高度29U中端存储2：VSP G200（不带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PD

39、U电源插头5路16A7150.80.9中端存储3：VSP G200（不带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PDU电源插头3路16A4430.60.62台光纤交换机2：Brocade 6510（不带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PDU电源插头4路16A2220.20.31台光纤SAN路由器3：Brocade 7800 6/16（不带机柜）重量机架高度功耗供电功率要求电源规格KgUKWKVA220V单项，PDU电源插头2路16A1110.20.2环境要求空气质量HDS设备安装于空调环境中，空气的温度及湿度均可调节；如从

40、室外补充新风，需经滤网过滤，以保证空气的洁净度。机房环境要求参数运行状态非运行状态运输&保存温度 ()16-32-10-43-25-60相对湿度%20-808-905-95最大凝露()262729湿度变化(/hour)101020建议：设备进风口温度小于32最佳工作环境温度：2124拆包装说明须谨慎处理设备；勿使设备从高于5mm的高处跌落；地板不平坦程度勿超过10mm；缓慢移动设备，须升起底部四颗固定螺栓以免碰撞地板斜坡。搬运说明设备最大倾斜度（整体运输）HDS存储系统底部中央到地面的距离为5.7cm。 进入机房的斜坡倾斜度不应超过5度，如果倾斜度超过10度，会发生设备底部触地或负重轮损坏的情

41、况。搬运路径及重量根据设备重量及物理尺寸大小、须要确认搬运路径、通道走廊宽度、房屋出入囗、楼房内升降机负载能力。重量及安装固定要求 设备重量因设备型号、配置的不同及产品的改进而有所不同，变化范围很大。请参考与所购设备相同的最新产品手册。安装固定位置要求安装固定位置如下图所示：机房活动地板设计要求由于设备很重，活动地板必须能够支撑设备的重量，包括静态单点承重及动态移动承重。地板的四角必须有坚固立柱支撑。对于系统的安装位置，除满足上述要求外，如有必要需对承重地板需进行额外加固，在每块承重地板的中央另加立柱支撑。静态单点承重静态单点承重的计算方法是：设备满配置重量（最大重量）/承重点数量所有机柜均有

42、4个滚轮，因此活动地板的静态单点承重= 设备满配置重量/ 4除上述设备重量外，用户应根据自己的实际情况，考虑周围设备及人员活动情况，综合计算地板的承重。动态移动承重动态移动承重是指设备移动时地板承受的重量,计算方法是：设备重量/承重点数量所有机柜均有4个滚轮，因此地板的动态移动承重=设备重量/4地板的动态移动承重能力必须满足设备在其上移动至少10次而地板不至损坏的要求。电源HDS存储设备的电源采用机柜PDU电源。因此，本项目存储设备配置的每台机柜需要提供两对两路共计4根220V电源输入，电源输入规格如下：项目单相说明电源输入单相3线相线，零线，地线电源数目2路四根冗余，分别来自不同配电盘电压2

43、00V, 220V, 230V or 240V+6% or -8%开关额定电流32A（每一路）满配置电源频率50Hz 3Hz接头和线径要求HDS机柜的电源接头类型为IEC 309航空插头，如下图所示。要求每路电源线径不低于32A。接地系统的接地应满足下面三个条件：连接系统的地线应为线长、绝缘材料和线径一致的导线，其线色为绿色或绿色加黄色条纹，并且应被作为电源分配盘的一部分来安装。在a中提到的接地线应该接到专用的接地连接上或其它可以满足要求的建筑物的地线，例如建筑物中的钢架结构上。在设备附近的接线插座必须是带有地线保护的，这些插座的地线必须连接到专用的接地连接或其他可以满足要求的建筑物的地线，例

44、如建筑物中的钢架结构上。阻抗不应超过3欧姆项目实施方案项目实施阶段划分我们把实施过程分为如下各实施阶段，如此划分主要强调了在实施方案中的结构化和阶段性方式。需求分析与方案论证。系统配置与参数定义设计工程准备到货安装和配置整体系统测试和验证整体系统投产使用系统交接和技术支持实施前期准备服务流程需求分析与方案论证目标是从用户获取信息和需求，在这个阶段也进行风险分析，以找出、管理和控制在项目生命周期中可能出现的风险。通过以下过程收集和记录信息：分析现存系统找出新系统的要求提出功能基准线和完成时间在上述工作的基础上进一步明确需求，从而确定项目的整体方案：包括主机/存储结构等方面。本阶段主要有用户方的技

45、术人员、管理人员及供应商的专家和技术人员参加，形式以研讨会、演示会、文件传递、电话等方式进行。系统配置与参数定义设计目标是根据要求分析阶段所获得的信息设计及开发一个总体结构设计。这个阶段包括的过程为：设计和开发新的总体结构提交运行管理标准和指南设计评估和验证本阶段的主要工作是根据最终确定的总体方案，为用户提供系统设计（包括系统设计、实施方案设计和测试方案设计）。完成设计方案之后，即参加由用户召集的设计会审，并应会审的要求，完善系统设计。本阶段的主要工作由：提供系统设计方案（包括存储、数据备份、数据迁移）提供系统实施方案提供系统测试方案通过设计会审本阶段的目标是经过不断的修改和完善系统设计，最终

46、通过设计会审。各部分的具体内容主要如下。需求定义HDS公司和系统集成商与最终用户一起制定以下的系统建设需求目标：讨论需求现有及未来存储容量需求划分使用SAN的应用方式实施部署进度需求系统设计在我们所推荐的建议中，本存储系统包括了以下的软硬件产品：VSP G1000存储系统。HDS存储管理软件、主机路径故障切换与均衡管理等功能软件针对以上配置，我们将根据用户提供的需求信息，定制SAN解决方案的结构设计，并确定相关的软硬件专家与工程人员来实施我们所建议的SAN架构。本阶段将分成如下几个部分：VSP G1000存储系统，配置设计确定各个系统域的应用对存储容量及性能要求确定并审查每台服务器的配置情况讨

47、论应用程序可用性要求设计动态多路径（DMP），磁盘分组和适合的RAID 方式划分方案确定磁盘逻辑卷划分格式、应用分区大小和文件系统的命名规则确定VSP G1000整机系统的存储管理提交VSP G1000存储系统配置设计文档实施方案设计根据各部分的系统设计方案，设计和编写相应部分的实施方案，实施方案包括各部分连接、各端口划分、实施方法等比系统设计更详细的内容。系统测试方案根据系统设计，确定系统测试方案，测试内容包括硬件的加电测试、断电测试、性能测试、软件功能测试等方面的内容。工程准备此阶段的主要任务是身背安装之前的设备机房准备等工作。主要有：场地准备场地检查货物到达现场及开箱检查场地准备及场地准

48、备检查HDS公司为了确保本存储系统项目系统之长期正常操作，在项目开工之前，要对用户的场地进行检查，并可协助用户完成场地的准备工作。场地检查HDS工程师将根据用户购买的设备进行卸货场地、搬运通路和机房环境确认。同时提供“HDS设备场地及环境要求”文档。该文档包括电源容量、地板承重等。同时提交“用户环境调查表”，完整填写该表是顺利完成设备安装的必备条件。一：服务器信息服务器类型操作系统版本补程序HBA类型微码驱动程序本集群软件名称和版本二：光纤交换机信息交换机名称型号微码版本端口类型用端口数量三：用户环境中其他特殊情况要求请将上述表格填写完整后以传真或电子邮件方式返回HDS公司。确定配置及安装日期

49、HDS工程师将依据用户应用要求，确定HDS设备的详细配置：与主机或存储交换机的连接拓扑结构、分配磁盘的容量和地址及存取权限的设定等等。同时确定安装日期，如需要，预定由HDS技术支持中心提供远程支援。设备安装、测试、验收及交接服务流程到货HDS工程师在到货后，加电安装前会按照合同清单与用户进行货物清点及移交。如需要，建议将HDS设备放置24小时后加电，使其适应机房环境。安装调试硬件安装调试HDS存储设备安装与配置HDS存储设备通电自检HDS存储系统管理终端设备连接安装HDS存储RAID组方式格式化根据应用系统对存储容量及性能要求进行逻辑分区捆绑定义SVOS管理软件激活与配置卷标主机端HBA联调与

50、配置连接与激活主机和HDS磁盘设备及交换机端口配置HDS磁盘阵列与主机系统卷标配置主机系统与HDS磁盘阵列HA功能系统连接软件安装调试HDS SVOS管理软件套件安装软件。启动软件。配置卷标。使用LUN MANAGER。使用SANtinel。演示性能和配置参数。演示性能数据。显示日志数据。显示错误警告信息。HDS Dynamic Link Manager工具软件安装DLM软件。验证DLM设备的配置。启动DLM。测试负载均衡。测试通道切换。整体联调测试在各部分安装完成之后，作相应的整体联调测试，并作相应的性能调优等工作。设备测试单项测试HDS 磁盘阵列高可用性测试1测试目的：测试单机系统的高可用

51、性。测试方法：切断一路电源。期望结果：单机系统正常运行。测试结果：HDS 磁盘阵列高可用性测试2测试目的：测试单机系统的高可用性。测试方法：按规定步骤抽取盘组中的一块盘包。期望结果：单机系统正常运行。测试结果：HDS 磁盘阵列高可用性测试3测试目的：测试单机系统的高可用性。测试方法：按规定步骤抽取一边控制器。期望结果：单机系统正常运行。测试结果：HDS 磁盘阵列高可用性测试4测试目的：测试单机系统的高可用性。测试方法：按规定步骤抽取控制器一条接交换机光缆。期望结果：单机系统正常运行。测试结果：HDS 磁盘阵列硬盘损坏测试测试目的：测试当磁盘损坏时，数据不丢失。测试内容：在一个RAID组内，使一

52、块磁盘不能工作，测试数据的一致性。测试方法：在控制台上，执行联机磁盘更换操作，将RAID组中的一块磁盘拔出。期望结果：主机仍然可以访问数据。测试结果：交换机故障测试（包括交换机上的端口故障,HBA卡故障，光纤故障）测试目的：一台交换机故障，主机仍可以访问存储系统。测试内容：当关闭一台交换机电源，主机可以通过另一台交换机继续访问存储系统。测试方法：关闭一台交换机的所有电源。期望结果：主机仍然可以访问存储系统。测试结果：系统测试磁盘系统存取测试测试目的：测试主机对存储系统的正常访问。测试内容：通过操作系统命令列出所看到的设备，并能正常进行读写操作。测试方法：利用ioscan、cfgmgr等命令发现

53、系统中所定义的设备并与预先的规划进行检查，并对设备进行读写。 期望结果：与预先的规划完全符合，并能够进行读写操作。测试结果：动态链路管理功能测试（HDLM）HBA卡故障测试测试目的：当一块HBA卡故障时，主机仍可以访问数据。测试方法：利用HDLM命令停止某一个HBA卡的工作。期望结果：主机仍然可以访问应用系统。测试结果：测试报告下述分工界面为HDS存储（中端和高端）测试标准界面，根据项目具体测试目标可以做适当调整。VSP G1000测试报告：编号测试项目描述测试步骤说明合格标准与期望目标测试程序说明(指令与执行动作)测试结果公司测试人员用户测试人员备注相关软件一测试架构说明二存储系统重要组件，

54、均须有冗余设备及自动故障切换能力在线更换高速缓存、RAID控制器、磁盘驱动器、电源、风扇等设备时，可不须关机直接置换当系统其中任一组件故障时须能维持系统正常运作提供在线维护 (Non- disruptive system operation)能力1电源冗余功能测试（无预警状态）在线切断储存系统其中任意一个电源，查看系统状态系统正常运作，电源热插拔,且可在线维护当Host 进行读写操作时，由客户(随时)指定拔除一个Power Supply(模拟故障发生) ，透过SVP察看存储系统的状态在线重新安装散热风扇装置，查看系统状态系统正常运作当Host 进行读写操作时，透过SVP执行Fan Replac

55、e动作(模拟故障回复)三RAID磁盘组的可靠性和可用性基于硬件的、工业标准的RAID保护模式无单点故障，保证数据可用性提供在线100%数据储存可靠能力1在同一储存系统内同时支持RAID-1 以及 RAID-5（包括31和71）的磁盘保护模式将磁盘驱动器组上部分硬盘指定 RAID-5(3+1)和（71）保护，查看经 RAID-5 (3+1) 和（71）保护后可供 Host A 存取的磁盘空间经 RAID-5 磁盘保护后供 Host 存取磁盘空间至少为原始容量的70%（31）和85（71）利用HDS Resource Manager设定出所需的RAID group，并经由Host验证2RAID-5

56、 的数据保护测试将磁盘驱动器组上16块硬盘设定为三个RAID5保护模式的RG1（71）及RG2和RG3（31），并指定供 Host 存取(1)当Host 进行读写操作时，删除RG1、RG2和RG3中的各一个硬盘，查看读写操作过程是否有异常并注意Host读写性能的影响在测试过程之中，Host读写操作无异常状态，且重新安装硬盘后，系统自动重建 RAID-5 保护模式, 不会因单一硬盘故障而造成数据流失当Host 存取档案时，由客户(随时)指定拔除三个不同Raid Group的各一个硬盘(仿真故障发生) ，透过SVP察看存储系统的状态四灵活的扩展能力和兼容性提供最大的兼容性, 扩充弹性与能力1多平台

57、支持是否支持各种主机平台 (Host/Server Platform) 与操作系统 (O.S.)应可支持各种现行市场上主机平台 (Host/Server Platform) 与操作系统 (O.S.), 且无兼容性问题资料证明及实际用户举例五软件功能1虚拟端口（HSD）和LUN Security 逻辑卷存取安全机制测试(1) 储存系统透过一条信道光纤 (Fiber Channel HBA) 与SAN SWITCH 连接，SAN SWITCH 再各透过一条信道光纤分别与 HOST A、HOST B 连接逻辑卷存取安全机制动作时，超过一台以上的 HOST 可同时透过一个通道连接磁盘驱动器组储存系统，

58、但无法使用不属于自己的逻辑卷 (LUN)2主机通道负载均衡和故障切换测试(1) 在 HOST B (or HOST A) 安装两条数据通道连接储存系统。(2) 在HOST B (or HOST A)上安装HDLM软件。(3)HOST B (or HOST A) 开始存取数据，查看HOST B (or HOST A) 至储存系统之光纤通道负载是否均衡(1) HOST B (or HOST A) 至储存系统之光纤通道 I/O负载均衡。(2)执行HDLM软件测试时，所占用 HOST B (or HOST A) CPU 和 Memory 资源均须小于10%3通道冗余测试(1) 接续上一测试，在 HOS

59、T B (or HOST A) I/O时，删除 HOST B (or HOST A)的一个通道，查看 HOST B (or HOST A) 存取数据时，可否自动由另一个信道正常存取数据删除其中一个通道，HOST B (or HOST A) 仍运作正常4(2) 重新安装通道，查看HOST B (or HOST A) 至储存系统之光纤通道是否恢复负载均衡故障切换及自动恢复六管理和性能1图形化的操作界面，并且提供基于WEB的管理接口需安装相应软件集中管理存储系统，降低管理成本。是否提供透过Web Browser的接口让使用者得到存储系统的完整信息并且容易操作的管理接口八服务和支持1自动报警系统自动报

60、警系统1面板指示灯2Hi-Track自动报警验收验收的主要内容用户现场设备的型号、数量及相应软硬件与购货合同相符HDS设备工作正常，设备的配置与用户要求相符，主机系统可以访问存储系统用户验收后，安装完成，请用户签收安装报告。保修期开始。安 装 报 告客户名称：公司地址： 邮政编码：联系人： 联系电话：设备型号： 系列号：安装日期：HDS公司工程师已经完成上述设备的硬件安装调试，按照客户的要求进行了客户化配置，已连接主机进行测试和使用。同时，HDS公司工程师已经向客户提交了设备客户化配置信息。现场工程师：客户负责人： 工程师签名： 签名（盖章）：日 期： 日 期：安装报告提交安装文档并建立用户档