HDS 高端USP VM磁盘存储产品介绍

1、1.1 hds 高端usp vm磁盘存储产品介绍1.1.1 hds usp vm磁盘存储产品硬件介绍hitachi tagmastore网络存储控制器usp vm是hds2007年最新推出的机架式设备，符合企业的成本要求。它采用了hitachi universal star network交换架构，提供由业内领先的hitachi tagmastore通用存储平台带来的，经过验证的企业级功能：外部存储虚拟化、逻辑资源分区和通用复制。hds tagmastore usp vm为hds公司的第四代全光纤交换式企业级磁盘存储系统，内部仍然延续了hds的crossbar的交换式结构（通过cache sw

2、itch，实现前端主机接口控制器、后端磁盘通道接口控制器数据到cache的数据快速交换），采用了hitachi自主研发hi-star iii交换芯片,具有更高的数据交换能力，因此可以提供更高的内部带宽。正是因为这样的传承，usp vm为用户带来了前所未有的性能、可用性和可靠性，以及先进的存储管理和数据复制功能。用户可以把各种异构存储系统整合为一个虚拟池，通过一个中央控制台，使用一套通用的工具进行管理，从而简化存储环境，最大限度地利用现有资源，降低总体拥有成本。 一个新的存储类型根据idc的研究，通用存储平台代表了一种新型存储技术，能够“潜在影响”存储解决方案市场变化的产品。usp vm是这种类

3、型的入门级产品，可以提供： 基于控制器的虚拟化管理，最多可管理96pb内部和外接存储 8个逻辑分区、专用高速缓存、端口以及内部和外部容量，以保证应用服务质量(qos) 在异构存储系统之间实现通用复制，保证业务连续性 hds tagmastore usp vm提供虚拟化技术hds tagmastore usp vm hds提供存储虚拟化的技术，可以实现将不同厂商的存储系统集合到同一个存储池中。hds tagmastore usp vm内部的磁盘为内部存储资源，与之相连的其它存储设备上的资源是外部资源（可外连的磁盘存储设备包括lightning storage 9900v, 9900, 7700e

4、、thunder storage 9500v&9200、ibm shark、emc symmetrix&dmx、emc cx系列等）。通过该功能，可以使用统一的管理平台实现对内部和外部存储资源的统一管理，统一分配，可以按照应用系统的性能要求分配相应的存储资源。从主机的角度看，内部存储资源和外部存储资源功能完全相同，而内部和外部存储资源之间的数据交换可以通过存储系统本身的数据复制和数据迁移软件来完成。hds tagmastore usp vm通过虚拟化技术，外连sata磁盘存储设备，即可为一些应用提供sata的磁盘访问。hds usp vm目前可以对包括emc dmx/cx、ibm ess/ds

5、8000/ds6000/ds4000系列、以及hds的9500v、9900v等磁盘存储产品作为外部存储资源，统一进行管理。外部存储可通过以下三种方式与usp vm进行连接：光纤直连方式、光纤交换机方式、通道延展器（距离较远）。用户因此可以在新的框架内部署应用，充分利用现有投资并使之增值，使it和业务计划更加紧密地结合。作为hds的application optimized storage（面向应用优化的存储）解决方案不可分割的一部分，usp vm为在开放系统和大型机环境中的各种存储满足应用需求奠定了基础。 主要特性 提供企业级嵌入式虚拟功能 内部容量可扩展为72tb 通过一个控制台能够管理16

6、pb的内部和外部存储 以一种对用户透明的方式，实时调整并平衡工作负荷 允许为各种应用创建8个专用虚拟存储系统、并配给专用容量、高速缓存和端口来保证服务质量 支持异构多平台连接性：光纤通道、ibm escon、ficon、nas和iscsi 提供一套全面的存储管理服务，包括以应用为中心的存储域管理 实现在异构存储层面之间透明有序地移动数据 使用hitachi universal replicator（通用复制）软件支持异构数据复制 利用第三代universal star network架构 以模块化机体提供企业级功能，符合国内大中型企业数据中心的需要usp vm型号规格连接性：主机端口最小/最大

7、数量16/48个光纤通道、16个ficon、16个escon虚拟主机最大端口数6,144lun最大数量16,384最小/最大磁盘数量5/240磁盘类型（光纤通道）73gb、146gb、300gb最大内部容量72tb最大内部和外接容量96pb最小/最大高速缓存4gb/64gb最小/最大控制内存4gb/16gb专用虚拟存储系统81.1.2 hds usp vm磁盘存储产品软件功能介绍1.1.2.1 resource manager系统资源管理、性能监视套件resource manager是hds公司设计的存储系统资源管理的软件包，实现对存储系统的配置、定义、性能监视、状态报告等管理功能。帮助用户简

8、化存储系统设置管理操作流程，直观表现存储系统工作状况和配置状况，提供用户实时监控、历史数据分析报告和变化发展的趋势预估报告，帮助用户优化存储系统性能，合理分配和利用存储系统资源，提高系统管理的生产效率，释放管理员的生产力，帮助客户规范的、安全的实施和管理生产流程和管理流程，为用户的容量评估、容量扩展、资源使用提供了详细的数据积累和报告，使客户的投资回报率最大化。整个系统软件包由remote console、lun manager、lun expansion、flash access、santinel、graph track软件组合构成。主要功能l 提供用户友好的图形用户界面（gui）和web浏

9、览器的管理方式，从本地（存储系统上）或远程（企业内部网络）通过windows工作站以web方式远程管理hds的企业存储网络系统l hsd功能是业界唯一的多主机共享存储系统物理端口的解决方案，提供异构主机系统或多个主机共享同一个物理通道端口访问lun，提供主机更广泛、灵活的san连接性，节约大量的投资l flash access通过在指定的cache中进行读写i/o操作，以接近于主机通道数据传输的速度，来提高具有特殊要求的数据存取访问的速度，为应用系统提供了高速、安全的特殊虚拟存储区域和数据读写方式，通过应用系统的合理设计和使用，可以帮助用户提高整体性能系统l lun manager对磁盘存储系

10、统进行系统配置和定义，lun分配，raid定义和管理，cache管理和配置，报告磁盘系统的配置信息l 监视存储系统工作情况，报告磁盘系统运行状态，提供错误预警和报警l 报告磁盘组性能情况，自动调整存储系统的性能，支持数据库性能表现l 提供直观、醒目的图形和报表方式监视存储系统资源和系统性能，并提供预先设计的格式化的报告和趋势分析报告l 完成shadowimage系统软件和truecopy远程备份系统件的控制与定义操作l 具有zone分区安全管理l remote console远程控制台软件，包括local user interface和storage navigator软件n local us

11、er interface本地用户控制接口软件n 管理存储系统的门户，基于java的开放管理平台n 对存储系统进行简单的本地化操作和管理n 可以线性的管理8个相同种类的存储系统n 简单易用的集中管理所有与存储系统相关的软件，包括商业连续性处理、性能、备份/恢复等软件，简化用户的操作流程n 提供远程访问功能，增强存储系统的控制和管理的可用性和灵活性storage navigator存储管理导航软件l 基于java的独立的管理机制和平台，用户使用具有java插件的浏览器，通过安全许可进行hds usp/usc/usc系列的存储管理，无需客户端软件，远程管理存储系统l 通过java gui直观清晰的定

12、义和控制逻辑卷（virtual volume）与物理磁盘的布局l 通过java rmi提供虚拟管理服务器功能，内置web server,支持远程访问l 通过raid java rmi和主机代理引擎提供逻辑卷的管理l lun manager磁盘逻辑单元管理软件l 提供简单易用的物理磁盘矩阵的集中管理功能，可以通过远程控制台灵活、方便的配置磁盘矩阵组l 通过减少调整平衡i/o负载的工作时间，提高雇员的生产力l 配置fc光纤通道的属性，包括fc-al和光纤通道的拓扑l 定义scsi端口与lun的映射关系，可以随时动态增加、删除scsi pathl 给lun分配scsi path、lun #、scsi

13、 id，fibre path等配置定义l 通过减少逻辑设备的竞争访问，提高数据访问的性能，减少主机i/o排队时间l 可以将open 9s、open 3s、open ks聚合成extended lunl 支持open ks(1.9gb), open 3s(2.4gb), open 8s(7.3gb), open 9s(7.3gb) 的lun模式1.1.2.2 lun expansion(luse)lun卷容量扩展软件l 对于某些接口访问lun数量有限制的主机操作系统，luse提供了访问大容量存储系统的解决方案l luse提供在开放系统的主机上使用较少的lu数目解决方案l 允许将最大36倍于标准o

14、pen-x容量大小的lu绑定为一个逻辑lu1.1.2.3 santinnel & hsd存储区域网安全管理软件l hsd功能是业界唯一的多主机共享存储系统物理端口的解决方案，提供异构主机系统或多个主机共享同一个物理通道端口访问lun，提供主机更广泛、灵活的san连接性，节约大量的投资l hds系列产品通过新增加的微码功能率先实现逻辑虚拟端口软件定义功能（hsd），在原有的多物理通道支持多操作系统主机平台连接的基础上，通过在单个物理端口上定义多个虚拟端口（最大为128个）来支持在同一个物理通道上的不同操作系统多主机平台的连接l 在开放系统、多平台或san环境中通过使用world wide nam

15、es,控制每台主机仅可以访问事先定义的lun，达到san结构中zone 的安全管理功能和数据保护功能。l 支持开放系统和os390系统l 在hsd功能支持下，允许wwn群组访问lun或lun群组功能，每个组最多可以有128个wwn访问一个lun 或者lun群组l hsd最大配置：n wwns per port: 128n luns per hsd: 256n hsds per port:128n luns per port:512n hsds per system:4096 (32 x 128)1.1.2.4 graph track性能监控软件l 实时采集存储系统运行信息，通过图形、报告的方式

16、帮助用户监视、分析存储系统性能和资源使用情况l 将实时和历史性的监视数据以图形方式显示，并将峰值、趋势等关键信息重点显示l 实时监控存储系统的整机、控制单元、部件等的使用情况和性能,包括短期和长期的cache命中比率,读写操作比率,i/o次数统计l gt可以在array group和ldev层面收集和显示详细的i/o统计数据l gt对某些指定的部件提供了可调整的警告级别监视机制，gt监视chip、acp、ldev等控制单元的活动，当超出用户设定的阈值，gt将在监控图形中变换颜色警告用户l gt 提供了内部日志功能，详细记录内部gt程序的操作，便于客户核实操作、调查问题、监视gt的操作情况l 为

17、用户预先设计了格式化的报表，可以对存储系统上的磁盘配置、逻辑卷分布、主机的连接情况分别作出报表统计等工作l 用户可以自己设置的采样频率，graph track还可以根据用户设定的其他参考值自动的管理有关性能和资源使用情况的数据l 可以显示subsystem id、subsystem和ldev配置的详细信息，直观展示存储系统的配置情况1.1.2.5 flash access逻辑盘常驻缓存，快速存取软件l 通过在指定的cache中进行读写i/o操作，以接近于主机通道数据传输的速度，来提高具有特殊要求的数据存取访问的速度，为应用系统提供了高速、安全的特殊虚拟存储区域和数据读写方式，通过应用系统的合理

18、设计和使用，可以帮助用户提高整体性能系统l 所有对flash access area写操作的i/o，都是双写的操作模式，同时写入cache和磁盘中，保证数据的完整性和安全性l 允许用户将逻辑卷的数据保存在指定的cache区域中（占系统总cache的容量）l 可以动态的增加或删除flash access区域的大小l 不用中断正在运行的flash access设置，而可以动态的扩张容量l 在用户人为的删除flash access area中的数据之前，系统保证cache中的数据不会丢失，如果删除flash access area，所有写i/o都会保存到受影响的磁盘上，数据不会丢失l 每一个ldev

19、可以有最大1024个flash access extent1.1.2.6 hdlm通道负载均衡与故障自动切换软件hdlm（hitachi dynamic link manager）是hds公司提供的安装在主机端的存储工具软件。hdlm提供主机到存储系统的i/o通道负载平衡和故障切换功能；增强了主机系统的数据可得性。虽然存储系统通过raid技术对数据进行了保护，但是单纯的存储系统是不能够提供整个i/o系统的端到端的保护的。主机端到存储系统的整个i/o路径中发生了故障如：hba失效、fc交换设备故障、连接电缆断开等会中断主机端对数据的访问；hds公司提供的hdlm软件，通过对主机到存储的冗余i/o

20、路径的管理实现负载均和故障切换；保证了247业务不间断的运行。hdlm能够提供l 支持scsi和fc的连接方式l 在san环境中能够自动的发现主机到存储的路径l 支持i/o路径的自动故障切换和恢复回切l 支持多通道的负载均衡技术l 支持命令行图形界面api接口l 支持所有的hds存储系统hdlm软件的特点l 高可靠：通过服务器的多条通道实现i/o通道自动的故障切换和恢复回切提高了服务器端数据访问的安全性和性能。l 高性能：通过多条i/o通道的负载均衡提高了应用系统数据访问的性能，进而有效改善了应用系统的性能。l 易安装：hdlm能够自动查寻主机端到存储端的路径，这种查寻无论是直连的das结构还

21、是复杂的san结构都可以自动完成。因此hdlm安装完成后不需要复杂的配置就可以使用了。hdlm的工作方式 hdlm对i/o通道进行实时控制，检测每个通道的状态；当有任何一个通道发生故障时自动将i/o切换到其它健康的通道上；同时，hdlm会自动记录整个操作过程。hdlm能够支持所有的hds存储系统，并且在功能上基本相同。对于hds usp/usc/usc系列和thunder 9570v系列，在实现负载均衡的时候会有所不同。由于thunder 9570v系列中的luns是由两个控制器分别控制的，因此服务器通过不同的通道同时连接两个控制器时会存在两种类型的通道 owner或non-ower的通道如下

22、图：在owner path之间可以实现负载均衡。1.1.2.7 shadowimage“业务连续性”解决方案shadowimage是hds公司深入研究当今商业社会业务连续性处理流程、7 x 24 x 365服务、数据可靠性、数据可用性、数据保护等一系列需求后，全力开发的、业界公认的、技术领先的数据复制软件。基于存储系统内部运行的数据复制技术，无需主机资源参与，最大程度的发挥了软件的可用性；瞬间分离得到的多个数据备份拷贝，提供了用户并行处理联机业务、批量作业、应用开发、测试、数据分析和数据挖掘、快速恢复的解决方案，节约了生产主机宝贵的资源而处理其他重要的业务，革新了批量作业、磁带备份的新策略，给

23、客户提供了最佳投资选择最小的总拥有价值（toc）和最大化的投资回报。配合hds公司的truecopy和freedom智能存储系统，为客户提供高度安全的、高度灵活的、高度统一的数据保护、容灾、数据备份的解决方案。主要功能l 高速的、无需主机处理资源参与的数据复制技术，不依赖于任何的主机操作系统、文件系统、和数据库系统的限制，以存储系统内部的软件操作，完成基于磁道的逻辑卷复制l 本地镜像、数据同步（异步方式）处理机制，在保证不增加主机i/o响应时间的前提下，保护关键联机生产数据的高度安全性、应用系统的可靠性、数据的完整性，保护用户的商业信誉l 立即获得连续性业务处理的不同时间段（pit）的数据拷贝

24、，确保灾难或故障发生时的最新时间段的数据拷贝备份和数据的一致性，提供客户灵活、快捷、安全的恢复方法l 通过shadowimage，可以在一个系统内立即访问关键业务数据的拷贝，立即共享对时间比较敏感的相关数据，保证业务处理流程的并行处理，确保企业为客户提供实时的服务，提高客户对企业的忠诚度，提升企业对客户和市场的的敏捷反映程度l 革新数据备份策略，提高操作流程的效率，彻底清除连续性业务处理流程中的“备份窗口（backup-window）”时间和缓慢的磁带备份时间，满足日益增长的业务量和数据急剧增长的需要，在日趋激烈的竞争中获取宝贵的空间l 在磁盘拷贝操作中提供快速的恢复技术和数据拷贝的高可用性，

25、完全提升数据恢复的速度和可靠性，摒弃缓慢的、因磁带质量问题引发故障的磁带恢复机制，提升了企业对人为事故、灾难的快速恢复能力和应变能力l 通过快速数据拷贝技术和连续的pit数据拷贝技术，可以快速、有效的准备开发和测试环境，大大缩短新的商业应用程序的开发、测试的时间和周期，为用户快速推出业务品种提供强有力的保障，缩短业务创新的周期。l 通过快速数据拷贝技术，快速的复制真实用户环境，大大简化灾难恢复测试的步骤计划、流程演练、例行测试，确保容灾计划的可实施性l 提供高可用的、灵活的操作性，客户可以自行配置和操作，无需hds工程师参与；无需预留专用的逻辑盘池，节约磁盘资源，提高了存储系统的利用率 l 经

26、过shadowimage复制的所有数据拷贝都是raid保护的，本地镜像机制磁盘矩阵raid技术给用户提供了双重的数据保护l 支持开放系统和os390系统l 开放系统下1个源逻辑卷最多可以获得10个拷贝（包括源卷），os390系统总共支持4个拷贝（包括源卷）l hds usp/usc/nsc系列最大支持8192 pairs（镜像磁盘对）本地磁盘镜像功能与快速数据恢复l shadowimage是存储系统内部的数据复制技术，磁盘的镜像功能对于主机系统是不知情的处理，异步方式数据复制技术在不增加主机i/o响应时间的前提下，提供了逻辑卷的实时（异步方式）数据保护功能，提高了系统的可靠性l 通过shado

27、wimage，可以定义生产数据逻辑盘与备份逻辑盘的镜像复制关系，实时的（异步方式）保持2个逻辑磁盘的数据同步。可产生一个或多个与生产主机数据库所在的盘卷(p-vol)完全相同的一个备份镜像卷（s-vol），备份镜像卷中的数据和生产数据库中的数据完全相同。l shadowimage是实时镜像写与盘组raid保护，因此在同一usp/usc系统内可得到2份或多份数据拷贝，并当存放生产数据盘组发生故障不能恢复运行时可通过备份卷的数据(两边是实时一致的)与切换地址定义恢复应用，相比磁带恢复方法，si有无可伦比的快速性、简便性、可靠性革新数据备份策略，缩短业务处理流程中的“备份窗口（backup-wind

28、ow）”l 通过shadowimage可以快速获得多个生产卷的pit数据拷贝，由此革新了业务处理流程的并行处理的新策略和解决方案，不但保持7x24连续服务，并且消除了数据备份窗口，引发了lan-free, server-free的数据备份的革命，节约了宝贵的cpu和内存等资源、网络资源，大大缩短了应用系统因数据备份等原因的脱机时间l 备份卷（s-vol）是一个可独立寻址的盘卷，通过分离磁盘镜像对等操作，马上可以获得多个与生产数据完全一样的数据拷贝备份卷，这些卷可以立即在同一系统内使用，或者通过装载等操作被其他的系统使用l 用户应用系统几乎无需“0”秒的下机时间，即可利用其他主机备份通过shad

29、owimage得到的时间段（pit）的数据拷贝l 由于备份主机系统直接连接存储系统，可以访问si的数据拷贝，因此备份主机与磁带库构成了lan-free的备份体系，释放了传统备份方法所占用的局域网带宽l 兼容任何的主机备份软件完全的、自动化的兼容veritas netbackup 等备份软件pit(point in time)拷贝的并行应用l shadowimage pit解决方案为用户提供了业务并行处理的新思路和实际可行的操作流程，不但可以继续生产系统的运行，还可以同时处理以前无法并行处理的业务，极大的提高了生产效率和生产力l 缩短了应用测试过程中环境准备、测试失败后的数据恢复的时间和周期，通

30、过si的瞬间分离技术、本地镜像、多个pit拷贝等功能，上述复杂、麻烦、危险性极高的操作可以快速、安全的实施l si的pit拷贝解决方案可以帮助缩短应用开发周期，应用环境的准备瞬间可以获得，提高应用测试、开发的效率，加快产品创新周期，保持市场的竞争力，是系统程序员、数据库管理员的福音l 解决了长期困绕用户的大量数据传输的问题。用户的数据分析和数据挖掘业务将无需耗费大量的时间进行生产数据、历史数据的传输与迁移，pit拷贝的使用可以保障客户快速、实时的分析营业数据，极大的提升了商业价值，是用户最好的投资回报shadowimage是hds提供的独特系统件，既可以在主机上通过cci(command co

31、ntrol interface)控制操作，也可以在hds存储系统本地的服务控制台（svp）操作。它使主机系统和设备管理者能够在后台状态下，为主机处理的数据在hds usp/usc系统内部实时创建可独立寻址的多copy卷。这些copy卷是应用数据存放的现用生产卷的镜象，可同时并行运行任务。一旦生产数据的copy卷建立后，通过命令可以与其生产卷分割开，应用系统数据库可通过生产卷继续做联机应用，与此同时，备份系统可利用copy卷进行备份、报表生成和应用开发测试等工作。shadowimage安全、经济、有效的数据容灾解决方案l shadowimage本地镜像技术提供本地关键数据的实时（异步方式）的镜像

32、备份解决方案，在保证正常的i/o响应时间的前提下，用户可以将关键的生产数据实时保持镜像备份，长时间的保持数据同步，镜像操作由hds智能存储系统内部完成，对主机操作系统是不知情的正常的i/o操作；一旦生产卷故障，应用系统可以快速的使用相同内容的备份卷恢复生产系统。配合hds磁盘系统的raid技术，给用户提供了双重的数据保护l shadowimage的快速pit(point in time)拷贝技术，保障了用户连续、快速、完整、可靠、灵活的获得连续时间的关键数据拷贝；当由于误操作、测试、或者灾难对原始数据造成破坏，pit拷贝可以帮助客户快速的、戏剧性的恢复最接近时间段、或者客户指定的时间段的数据；

33、快速的复制、同步、分离、恢复机制为客户提供了安全的、快速的、灵活的数据恢复保障，极大的缩短故障恢复的时间，最大限度的降低灾难的冲击，减少用户的损失l shadowimage提供了全新的、经济的、可实施的容灾测试解决方案，可以在保持本地生产系统和远程拷贝不受影响的情况下，通过远程si的pit拷贝，进行实时的、模拟真实数据环境的灾难恢复计划的测试。l truecopy+shadowimage配合使用为用户提供了“终极”数据保护的解决方案，实现了多重媒介、多重备份、异地容灾、本地镜像、本地恢复、异地恢复的立体数据保护解决方案。l 与hds的远程拷贝软件truecopy配合使用，可以非常灵活按照不通的

34、需求和具体环境情况组合各种异地容灾备份方案，提供具有高度的灵活性、高度的安全性、高度的数据一致性、高度的可靠性的容灾数据保护解决方案注：目前，hds的truecopy软件其独有的时间戳（timestamp）和一致性组（consistency group）技术，是目前存储业界唯一可行且安全的存储系统之间的异步数据备份方案并被广大用户采用。1.1.2.8 truecopy-数据远程容灾解决方案truecopy数据远程容灾解决方案是hds公司在全面分析各种操作系统、各种容灾技术、仔细研究客户对容灾的需求和理念之后，结合hds usp/usc 智能存储系统的特点推出的数据远程容灾解决方案；彻底解决长期

35、困绕用户的、难于进行容灾方案的真实演练、真实数据测试的问题，最大限度的减少数据丢失问题；truecopy是基于磁盘存储系统运行的软件包，不依赖任何的主机操作系统和其他第三方厂商软件，为用户提供了最安全、最开放、最经济、最实用的远程容灾解决方案。hds公司作为全球最大的独立的磁盘存储生产厂商，专注于单一化产品生产的优势，拥有熟悉ibm、hp、sun、compaq、sgi、dell、window nt/2000以及linux等平台和远程灾备实施的经验丰富的服务工程师，向用户提供全方位的灾备方案设计、技术咨询和实施服务。目前，hds的ur软件其独有的时间戳（timestamp）和一致性组（consi

36、stency group）技术，是目前存储业界唯一可行且安全的存储系统之间的异步数据备份方案，保证异步处理方式下的数据一致性和完整性，最大程度的减少数据的丢失，并被广大用户采用。主要功能l ur异步数据拷贝软件，是hds公司独有的创新技术，是世界第一也是唯一的在开放环境中基于存储硬件系统的、无需主机系统的、异步处理方式的、能够保证数据一致性的远程拷贝软件，它可以在重复发生的灾难中保护数据，在任何远的距离保持数据库记录被修改顺序的完整性l truecopy可以在在任何距离下，提供完整的、可靠的异地或同城灾难数据恢复和应用系统快速重新启动的解决方案，先进的处理技术能够最大程度的减少灾难时的数据丢失

37、，提升企业对事故和灾难的应变能力和快速反应能力。l 通过与hdsshadowimage（本地数据镜像拷贝软件）配合，可以用pit拷贝获得真实的生产环境数据，不必中止生产系统的运行，能够频繁的启动低廉花费的灾难模拟测试，最大的限度提升用户的投资回报率(roi)，确保容灾计划的可操作性，提高用户的商业信心，免除客户的后顾之忧l 简化、减少用户计划用于设备维护、数据迁移、数据集中、备份的业务停顿时间l 通过减少用户对缓慢的、高强度劳动的、基于磁带的数据备份技术的依赖，线性化的提升it业务操作的效率l truecopy sync同步数据拷贝软件，为用户的任何数据提供了实时的、同步的远程“镜像”保护功能

38、l truecopy sync软件支持开放系统和os390系统环境truecopy synchronous远程容灾同步方式数据备份软件l 远端的数据拷贝与本地的数据拷贝或生产数据永远保持一致，远端拷贝永远是本地数据盘的“镜像”l 备份存储系统总是与生产存储系统数据同步，本地存储系统与备份端存储系统同步进行相同的i/o更新，备份端存储系统在更新时总是与生产端存储系统保持完全一致的顺序，以保证数据的一致性和完整性。当生产中心发生灾难时，不会出现数据丢失。l 不依赖于主机系统、文件系统、数据库系统，基于存储系统的工作机制，利用存储系统控制器的控制台来启动、监控、控制远程数据备份的操作。节省主机系统的

39、cpu资源，提供用户开放的高可用性 l 任何厂商的同步处理方式对应用系统的响应时间都会有冲击。在进行远程数据备份时，生产主机的应用程序系统发出写i /o指令，生产中心的存储系统同时向本地磁盘和备份端的存储系统发出写操作的指令，必须等候备份端存储系统回复写操作完成以后，生产中心的存储系统才向主机应用程序回复i/o完成，因此主机应用程序每次i/o将承受备份端存储系统i/o确认的延迟，以及由此带来的主机系统处理能力降低和资源消耗的冲击。l 受应用系统i/o读写的活动频率、网络带宽、可以容忍的交易响应时间和其他因素的影响，远程同步工作方式有距离的限制，一般小于25公里1.1.2.9 hur远程异步容灾

40、软件hds 通用复制软件universal replicator，是基于hds最新一代的通用存储平台实现的异步远程数据复制软件。通过hds通用存储平台的虚拟化功能，hds通用复制软件可以实现同构或异构存储系统之间的远程数据复制功能。hds通用复制软件采用基于磁盘日志文件的技术，可以保证远程数据的一致性和完整性，同时，极大的降低了存储系统cache和通信链路带宽的需求。它是对hds原有的异步远程复制软件的补充。hds通用复制软件的原理如下图所示：当服务器端发出一个写操作时，写i/o按照写发生的顺序保存在主存储系统的日志卷（jnl）中，远端的存储系统通过发出读日志命令从主存储系统的日志卷（jnl）

41、中读取记录并将其写到本地的日志卷（jnl）中，然后将该记录更新到本地的数据卷中。在异步远程数据复制时，如何保证远端存储系统的数据一致性是一个非常重要的课题。hds通用复制软件通过时间戳和顺序号技术，保证了在远端的存储系统中接收到的记录能够按照其写操作的发生顺序更新到远端的存储系统数据卷中。而这种技术已经在日立原有的远程数据复制软件中使用，并已经经过实践证明。同时，hds通用复制软件还支持数据一致性组技术，可以保证跨多数据卷的数据的完整性和一致性。hds通用复制软件引入了pull（拉）机制实现数据的复制，使用这种技术，主存储系统不需要特定的资源将数据推（push）到远程存储系统中，而是远程存储系

42、统到本地存储系统来读日志卷。这样就解除了主存储系统用于数据远程复制的资源消耗，使得主存储系统的资源100%的服务于生产系统，从而提高了存储系统的性能。hds通用复制软件也节省了通信链路的带宽需求，在传统的数据远程复制环境下，通信链路的带宽需求不够，则数据会累积在存储系统的cache中，当cache资源不够时，远程数据复制过程中断。采用基于磁盘日志方式的通用复制软件，可以利用磁盘日志文件缓冲对带宽的瞬时高需求，从而可以避免由于瞬间的高带宽需求造成的远程数据复制的挂起。hds 9970v不提供hur功能，仅能提供truecopy同步/异步容灾技术。而hds tagmastore usp vm不但可

43、以提供truecopy同步/异步容灾技术，而且可以提供基于日志卷的hur远程容灾技术。hds通用复制软件也有效的解决了在数据复制过程中的重新同步过程中的数据不一致性问题。在传统的数据复制方式下，当数据链路的原因造成数据不能够复制，数据远程复制自动挂起，同时对生产端存储系统的数据更新保存在存储系统的bitmap表中，当链路恢复后，存储系统根据bitmap表中的记录信息将更新过的磁道复制到备份端的存储系统，而在这个过程中备份端的存储系统的数据一致性是不能保证的，这就是数据复制的重新同步问题。由于hds通用数据复制软件采用基于磁盘日志的工作方式，当数据链路断开后，对数据的更新仍然按顺序保存在磁盘日志

44、中，这样，当链路恢复后，hds的通用复制软件仍然到生产端存储系统的日志文件中读取数据更新记录，这样就解决了数据的重新同步问题。由于hds通用复制软件是基于hds通用存储平台实现的数据远程异步复制功能，由于hds通用存储平台可以支持异构的存储系统连接和虚拟化，所以hds通用复制软件可以实现异构的存储系统之间的数据远程异步复制功能。 芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆

45、蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀

46、螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁

47、蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄

48、虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆

49、蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇

50、薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀

51、蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂

52、螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅

53、薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆

54、蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇

55、螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁

56、薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂

57、蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆

58、袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁肇芁莀蚀螆肃芆蚀衿艿薄虿羁肂薀蚈膃莇蒆蚇袃膀莂蚆羅莅芈蚅肇膈薇蚄螇莄蒃螄衿膇荿螃羂莂芅螂肄膅蚄螁袄羈薀螀羆芃蒆蝿肈肆莂螈螈芁芇螈袀肄薆袇羃芀蒂袆肅肃莈袅螄芈莄袄羇肁蚃袃聿莆蕿袂膁腿蒅袂袁莅莁蒈羃膇芇薇肆莃薅薆螅膆蒁薆袈莁蒇薅肀芄莃薄膂肇蚂薃袂节薈薂羄肅蒄薁