ClusterMode建设方案 NetAppClusterMode建设方案 NetApp

PAGEvDATE\@"MMMMd,yyyy"August27,2022 CONFIDENTIAL&PROPRIETARY PAGE21ClusterMode建设方案ClusterMode建设方案Allrightsreserved本文档包含NetApp公司的商业及技术机密。Allrightsreserved本文档包含NetApp公司的商业及技术机密。未经NetApp公司许可，不得向第三方泄漏或使用。DATE\@"MMMMd,yyyy"August27,2022 CONFIDENTIAL&PROPRIETARY PAGE5 目录TOC\o"1-5"\h\z\u1. ClusterMode概述 32. NetAppClusterMode设计要点 43. NetAppClusterMode技术要点 54. NetAppClusterMode解决方案概述 74.1DataONTAPONTAP8CLUSTERMODE统一管理和监控 74.2ONTAP8CLUSTERMODE统一命名空间 84.3DataONTAPONTAP8CLUSTERMODE存储资源全局化、自动化、透明化、最优化分配 94.4ONTAP8CLUSTERMODE性能和存储容量的线性扩展 104.5ONTAP8CLUSTERMODE自动纠错 124.6NetAppONTAP8CLUSTERMODEClusterMode解决方案优势 134.7结合服务器物拟化／集群技术构建ClusterMode平台 144.8ClusterMode环境建设的几点建议 165. XXClusterMode环境说明 175.1计算资源实现方式 175.2存储协议选择 185.3存储资源管理 185.4ClusterMode下数据保护功能 195.5设备利旧 20

ClusterMode概述所谓的ClusterMode，事实上更多的是在强调针对高性能计算方面的能力。相较传统NAS来说，具有更好的扩展能力，以及对非结构化数据的有效管理。抛开计算性能与扩展能力暂且不提，仅谈论对非结构化数据的管理，也是近年来众多存储厂商所一致关心的市场，而非只有NAS.因为种种原因，如易管理性、成本性等，让NAS在这个市场变得有着非常巨大的潜力。

ClusterMode将高性能的NAS计算资源集中起来，并由软件实现自动管理。这使得应用提供者无需为繁琐的存储细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。

有大规模整合需求的企业用户和对高性能计算有特定需求的行业用户是ClusterMode的主要受益群体。ClusterMode在这时可以凸显的优势就是实现高性能、高可扩展性，以及先进的基于文件的虚拟化。

NetAppClusterMode设计要点根据NetApp全球众多ClusterMode项目的经验，我们认为，要成功设计并实施一个ClusterMode系统，必须考虑如下要点：存储能够灵活地扩展吗？需要能够迅速且以最少的开销分配、增加、减少并重新分配存储。能够自动化存储管理流程吗？进行配置、备份和复制等常规操作的自动化程度越高，环境的可扩展性就越强。能够测量和汇报使用情况吗？将资源理解为您的服务需求的一个用户，能够汇报实际的使用情况，并且现在或将来能够按照资源的使用情况进行收费。能够自由移动数据吗？如果数据束缚在缺乏灵活性的存储里，有效性和可用性将变差。能够在确保资源足够安全的时候建立多租户吗？允许多个业务单元或独立实体分享同一存储硬件是有效ClusterMode的一个必要条件。能够提升存储效率吗？第一步是提高利用率，除此之外，削减开销、自动精简配置和消除冗余都有助于提高效率。能够有效保护您的数据吗？所有的流程，让它们变得简单、可重复和有效。具有合适的策略级别、覆盖所提供的每项服务的一致数据保护和灾难恢复流程是基本的。能够在单一网络结构上做所有的事情吗？FCoE/10Gb的到来让在单一以太网结构上整合SAN和LAN以获得更低的成本和更高的灵活性成为可能。

NetAppClusterMode技术要点 针对如上的8个设计要点，NetApp在各个方面都提供了相应的ClusterMode技术解决方案。灵活的扩展。NetApp灵活卷技术（FlexVol®）从底层磁盘里提取存储卷。不管尺寸大小，任何存储器（LUN或卷）都将自动在大量磁盘里扩展，以获得最优性能，并且能够不间断地增长或缩减。NetApp已经在共享存储环境里部署了数十PB存储，在这些环境里，当需求变化时客户能够例行地扩展或缩减卷。自动化存储流程。对于存储自动化，NetApp提供一套包括数据保护在内的简化存储操作的管理产品。NetAppProvisioningManager允许您基于您定义的策略创建可重复、自动的配置流程。一个监测仪表板让您监测包括容量利用率、策略遵从和空间管理统计在内的各种指标。NetAppProtectionManager提供与ProvisioningManager类似的功能，但是它们特别关注数据保护和复制的自动化。NetAppSANscreen®为您的整个存储环境提供一个实时、多提供商、多协议的服务级别视图。NetAppSnapManager®产品套件扩展了NetApp存储的功能，以集成包括Oracle®、SAP®、Exchange、Microsoft®SQLServer®和MicrosoftSharePoint®在内的通用应用。使用情况监测和计费（Chargeback）。通过自动将您的端到端存储基础架构与业务服务关联，SANscreen允许您监测服务级别协议，监测指标使用情况以控制目标成本和计费，并积极管理容量来维持所有资源的最佳利用率。ProvisioningManager也包括计费功能。自由地移动数据。通过使用NetAppSnapMirror®、SnapVault®软件和NDMP等，NetApp在数据保护操作期间有效地移动数据方面拥有非常悠久的历史。我们继续发掘更有效的方式，与VMware和其他虚拟化合作伙伴（如有可能）一起让数据移动变得更容易。数据移动已经被确定为基础架构的一个关键要素，我们正在专注这一领域。多租户。传统上，确保最高级别的存储隔离和安全意味着独立的硬件。私有和公共都需要肯定安全是尽可能牢靠的，并无损于效率。NetAppMultiStore®软件让您在单一存储系统上创建多个单独的、完全私有的逻辑分割区，因此您能够共享存储，并且不牺牲隐私和安全。借助MultiStore，存储能够基于您限定的范围被配置、移动和保护；虚拟存储器允许您将合适的策略应用到每个能够与特定的应用或服务客户端一致的存储器。存储效率。通过提升存储效率，您能够显著降低您的整体存储需求，这带来的是在能耗、制冷和空间方面的节省。借助NetAppFlexVol技术提供的灵活配置功能，NetApp客户定期获得60%或更高的存储利用率，而行业的平均利用率则接近30%。NetApp提供一系列额外技术进一步提升存储利用率，包括重复数据删除，精简配置管理，虚拟数据克隆等。集成的数据保护和灾难恢复。基于上面提及的Snapshot、SnapVault、SnapMirror、SnapManager套件和ProtectionManager等技术，NetApp提供完全集成和全面的数据保护和灾难恢复。这些技术卸下了从服务器到存储的数据保护负担，提供贯穿您所有应用服务的一致数据保护方法。统一结构。FCoE/10Gb的出现让您的数据中心朝单一以太结构发展成为可能，以满足您所有的存储和网络需求。尽管在现实中您将花些时间转移以支持原生光纤通道、FCoE和以太网存储。NetApp已经成为以太网存储的领导者——最先是作为NAS先驱，然后是成为基于IP的的倡导者。NetApp是唯一一家为FCoE提供原生支持的厂商，这对我们的统一存储方法来说是一个符合逻辑的进展。我们的统一存储能够在我们所有的平台上同时交付光纤通道、基于IP的和NAS。通过支持FCoE，我们为光纤通道SAN用户向统一结构迁移提供了一条简易的革命之路。

NetAppClusterMode解决方案概述Netapp利用ONTAP8CLUSTERMODE存储系统实现ClusterMode的功能，Netapp的ONTAP8CLUSTERMODE存储系统由多套位于不同物理位置的存储节点组成，每个节点包含了存储控制器和相应的存储空间。虽然ONTAP8CLUSTERMODE由这些在物理上分散的存储节点组成，但是整套ONTAP8CLUSTERMODE对外提供统一的管理和使用界面，和底层存储硬件相关的复杂性都被ONTAP8CLUSTERMODE屏蔽。因此对于外部使用者来看，整套ONTAP8CLUSTERMODE就构成了一个ClusterMode存储，该存储对外提供:统一的管理界面和监控界面统一的使用界面对内实现了存储资源的全局化、自动化、透明化、最优化分配性能和存储容量的线性扩展自动纠错 4.1DataONTAPONTAP8CLUSTERMODE统一管理和监控ClusterMode里面虽然由多套存储系统组成，但是作为一个整体，必须提供一种方式能对整个ClusterMode进行统一的管理和监控，这样就能大大简化整个ClusterMode的管理和监控。ONTAP8CLUSTERMODE存储系统提供了完全基于图形界面的管理工具，也提供了基于命令行的管理工具，两者能实现相同的目的，用户完全可以根据自己的喜好来选择合适的管理工具进行整个ONTAP8CLUSTERMODE存储系统的管理，配置，监控等任务。ONTAP8CLUSTERMODE存储系统虽然由多套物理上分散的存储节点组成，但是在逻辑上其为不可分割的一个整体，在使用和管理上就是一套独立的存储系统，ONTAP8CLUSTERMODE系统完全屏蔽了物理层的复杂性。因此用户在进行ONTAP8CLUSTERMODE存储系统管理和监控的时候，就像以前管理和监控一套独立的存储系统一样简单和方便。用户可以利用管理网络，通过浏览器或Telnet工具登录到任何一个组成ONTAP8CLUSTERMODE存储系统的存储节点的管理网络接口就可以进行对整个ONTAP8CLUSTERMODE存储系统的整体管理，配置和监控，所有的组成ONTAP8CLUSTERMODE存储系统的存储节点不需要单独进行管理，这样就大大简化了整个ONTAP8CLUSTERMODE存储系统的管理复杂性。4.2ONTAP8CLUSTERMODE统一命名空间对于外部的使用者来说，ClusterMode就是一个黑匣子，该黑匣子必须给外部使用者提供一个简单易用的使用接口，所有的外部使用者都能通过该接口来使用该ClusterMode所提供的数据存储和访问的功能而不需关心内部的结构和操作。ONTAP8CLUSTERMODE存储系统利用全局命名空间（GolbalNamespace）技术对外界提供一个统一的使用界面，这个全局命名空间规定了所有存放在ONTAP8CLUSTERMODE存储系统中的数据的逻辑位置，如下图所示ONTAP8CLUSTERMODE会自动维护逻辑位置和物理位置之间的映射，当数据存放的物理位置发生改变的时候（如一个文件系统从一个存储节点迁移到另外一个存储节点上），ONTAP8CLUSTERMODE会自动的更新这个映射，保持数据的逻辑位置不变。前端的主机在访问数据的时候，利用全局命名空间规定的数据的逻辑位置来告诉ONTAP8CLUSTERMODE它需要访问什么数据，ONTAP8CLUSTERMODE会利用逻辑位置和物理位置的映射，在相应的物理位置找到所需要的数据。因此，前端主机在进行数据访问的时候，只需要利用该全局命名空间所规定的逻辑位置来指向数据，并不需要关心数据存放的物理位置，也不需要关心数据是通过ONTAP8CLUSTERMODE存储系统中的哪个存储节点来访问，ONTAP8CLUSTERMODE会自动依据逻辑位置所对应的物理位置所在那个存储节点来完成用户的数据请求。ONTAP8CLUSTERMODE也会在数据物理位置发生变化的时候，自动更新逻辑位置和物理位置的映射而保持逻辑位置不变，因此，当数据发生物理位置变化的时候(如用户为了均衡磁盘的利用率，把一个文件系统从一个存储节点迁移到另外一个存储节点)，前端的主机不需要任何的变化，仍旧能利用原有的逻辑位置访问到新的物理位置上的数据。从上面的描述来看，ONTAP8CLUSTERMODE存储系统通过全局命名空间技术所提供的统一使用界面，对外完全屏蔽的数据物理存储上的复杂性，前端主机只需要记住数据的逻辑位置就能访问到其所需要的数据，至于该数据如何在后端存储上存储，通过哪个存储节点进行存储和访问等这些复杂的细节都被ONTAP8CLUSTERMODE屏蔽。因此，ONTAP8CLUSTERMODE存储系统通过该统一的使用界面，大大简化了前端主机对存储系统和业务数据的访问接口。4.3DataONTAPONTAP8CLUSTERMODE存储资源全局化、自动化、透明化、最优化分配就像上节所述，ClusterMode对于外部的使用者来说是个黑匣子，外部的使用者所要做的就是请求自己所需要的存储资源，如存储空间需求，数据访问的性能需求利用ClusterMode所提供的访问接口来进行数据存储和访问至于ClusterMode如何来满足其所需要的存储资源即ClusterMode内部如何给这些外部使用者分配其所需的存储资源的技术细节对这些使用者来说是透明的。因此，ClusterMode必须实现存储资源分配上的自动化和透明化，当然，考虑到ClusterMode为一个不可分割的整体，其存储资源的分配应该从全局考虑，这样才能实现存储资源利用的最大化同时，在分配存储资源的时候，ClusterMode应该结合自己内部各个存储系统的拓扑结构、外部使用者的拓扑结构、网络带宽等因素，实现存储资源的最优分配从而保证能为外部使用者提供最佳的数据存储和访问的性能Netapp的ONTAP8CLUSTERMODE存储系统，在存储资源上实现了全局化管理和分配，所有组成该ONTAP8CLUSTERMODE存储系统的存储节点所拥有的存储空间和存储控制器都被划分到一个统一的存储资源池中。当应外部使用者的请求分配其所需的存储资源时，ONTAP8CLUSTERMODE自动的从该存储资源池中给这些外部使用者分配其所需的存储资源。当然，在ONTAP8CLUSTERMODE内部，分配给这些使用者所需的存储资源最终还需要落实到相应的存储节点上，ONTAP8CLUSTERMODE可以根据用户设定的策略，实现存储资源的最优分配，如可以实现如下策略：如对于那些数据访问响应速度要求高的使用者，尽量在使用者所在站点上的存储节点分配其所需的存储资源，这样该使用者的数据存储和访问都由本地节点完成，不需要利用ONTAP8CLUSTERMODE的内部数据传输网络来在各个存储节点之间交换数据如对于那些对数据吞吐量要求较高的使用者，在尽可能多的存储节点上来分配其所需的存储资源，这样在进行数据存储和访问的时候，这些存储节点就可以并发操作，从而满足使用者高数据吞吐量的需求ONTAP8CLUSTERMODE内部对存储资源的分配细节对外部使用者来说是完全透明的，ONTAP8CLUSTERMODE对外部使用者完全屏蔽存储资源分配上的复杂性，外部使用者只需要通过ONTAP8CLUSTERMODE提供的全局命名空间这个统一使用界面来进行数据存储和访问即可。 从上描述可见，Netapp的ONTAP8CLUSTERMODE存储系统完全满足一个ClusterMode在资源分配上的全局化、自动化、透明化和最优化的要求。大大简化了存储资源的管理、提升了存储资源的利用率并保证了使用者在数据存储和访问上的性能。4.4ONTAP8CLUSTERMODE性能和存储容量的线性扩展ClusterMode作为后端的数据集中存储平台，必须具备动态扩展的能力，这样才能满足前端应用系统不断扩展的需求。ClusterMode的这种动态扩展能力必须体现在性能上的动态扩展和存储空间上的动态扩展两方面，并且动态扩展不会影响到前端应用系统的正常运行，也不会增加整个ClusterMode在管理、监控和使用上的复杂性。Netapp的ONTAP8CLUSTERMODE存储系统，不管是在性能方面还是在容量方面，都可以实现在线扩展ONTAP8CLUSTERMODE在性能上的线性扩展能力：Netapp的ONTAP8CLUSTERMODE存储系统作为一个整体，实现了多个存储节点之间的协同工作和负载均衡，目前的版本最多可以在一个ONTAP8CLUSTERMODE存储系统里支持24个存储节点，这些存储节点利用ONTAP8CLUSTERMODE内部网络进行控制信息和数据的交换，实现负载均衡。因此，ONTAP8CLUSTERMODE存储系统从逻辑上来看就是一套单独的存储系统，该套单独的存储系统的性能就是多套组成这个系统的存储节点所能提供的性能总和，当然还需要扣除很小一部分的用来进行存储节点之间进行协调的消耗。因此ONTAP8CLUSTERMODE存储系统就能完全根据用户的需要，来配置相应个数的存储节点来满足用户的存储性能需求。随着用户前端应用系统的扩展，需要后端的存储系统提供更好的数据访问的性能支持，如果ONTAP8CLUSTERMODE存储系统内原先配置的存储节点已不能够提供足够的性能支持，ONTAP8CLUSTERMODE存储系统可以利用如下的方法来在线的平滑扩展整套ONTAP8CLUSTERMODE存储系统的性能：ONTAP8CLUSTERMODE支持在线的增加新的存储节点到集群中，存储节点的增加不会对前端应用系统访问数据造成任何影响，并且新增加的存储节点可以立即和原有的存储节点之间进行负载均衡，这样，整个ONTAP8CLUSTERMODE存储系统利用新增加的存储节点提供的处理能力提升了整个系统的处理能力，满足用户的性能扩展需求ONTAP8CLUSTERMODE支持在线的利用更高端的存储控制器来替换系统中原有的存储节点的存储控制器，替换可以在线进行，不会对前端应用的访问数据造成任何影响。替换完成后，原有的存储节点就具备了更良好的处理性能从而提升了整个ONTAP8CLUSTERMODE存储系统的处理能力，满足了用户的性能扩展需求ONTAP8CLUSTERMODE在存储容量上的线性扩展能力：Netapp的ONTAP8CLUSTERMODE存储系统最大可以支持14PB（14112TB）的容量，并支持存储容量的在线扩充。在ONTAP8CLUSTERMODE存储系统中，虽然磁盘通过光纤通道被挂接到不同的存储节点上，但是所有的存储节点通过集群内部网络可以访问到任何磁盘上的任何数据（当然如果用户需要进行数据访问的隔离，可以通过配置限制某些存储节点对某些数据的访问），因此，ONTAP8CLUSTERMODE存储系统内所有磁盘所组成的存储空间是作为一个整体被系统统一管理和分配的。就像前面所提到的那样，ONTAP8CLUSTERMODE存储系统从逻辑上来看就像是一套单独的存储系统，其所提供的存储空间也就是一套完整的存储空间，用户在空间的使用和管理上感觉不到这些空间是由多套存储节点的磁盘所组成。用户可以根据现有的数据存储要求，在现阶段先配置一定的容量来满足现有数据存放的需求，如果随着前端应用系统的扩展需要更多的存储空间，ONTAP8CLUSTERMODE存储系统可以利用如下两种方式来在线的增加整个系统的存储空间：如果组成ONTAP8CLUSTERMODE存储系统的现有存储节点所配置的硬盘数量还没有达到其最大限制，则可以在线的给这些存储节点增加磁盘，这些新增加的磁盘空间就可以被ONTAP8CLUSTERMODE统一管理和分配，从而增加了增个ONTAP8CLUSTERMODE存储系统的存储空间如果组成ONTAP8CLUSTERMODE存储系统的现有存储节点所配置的硬盘数量都达到其最大限制，用户可以在线的往ONTAP8CLUSTERMODE中增加新的存储节点，然后在新增加的存储节点中挂接新的磁盘，这些新的磁盘空间就可以被ONTAP8CLUSTERMODE统一管理和分配，从而增加了增个ONTAP8CLUSTERMODE存储系统的存储空间ONTAP8CLUSTERMODE存储系统的动态扩展，不管是增加存储节点还是增加存储空间，这些新增加的存储资源都会自动的归属于ONTAP8CLUSTERMODE统一管理和分配的存储资源池，由ONTAP8CLUSTERMODE实现全局化、自动化、透明化和最优化的管理和分配，因此基本不会增加整个ONTAP8CLUSTERMODE存储系统的管理复杂性。4.5ONTAP8CLUSTERMODE自动纠错ClusterMode作为后端的集中存储平台，必须保证其能稳定可靠的运行，不然就会影响到利用该ClusterMode来进行数据存储和访问的所有应用系统的正常运行。因此ClusterMode必须具备自动纠错的能力，当其内部发生软硬件故障的时候能自动屏蔽该故障从而不影响整个ClusterMode对外提供数据存储和访问的服务。Netapp的ONTAP8CLUSTERMODE存储系统作为ClusterMode的一种实现方式，在提升整个系统的可靠性上采用了如下技术：对于ONTAP8CLUSTERMODE系统内部的每个存储节点都配置双控制器，这两个控制器之间实现故障切换保护和负载均衡，每个控制器都利用Infiniband连接来镜像另外一个控制器的控制信息，这样当一个控制器发生故障的时候，正常的那个控制器会自动的接管故障控制器所负担的所有工作。通过这种控制器之间的相互保护，整个ONTAP8CLUSTERMODE存储系统不会因为单个控制器发生故障而导致数据的不可访问，这样就大大提升了系统的可靠性底层所有的磁盘均采用了RAIDDP保护，netapp的RAIDDP采用双校验的RAID技术，保证一个RAID组内在发生两块磁盘同时失效的情况下，还能保证数据的安全性和可访问性，因此极大的消除了磁盘故障对系统和数据的可靠性所带来的威胁对于那些对数据的可靠性要求非常高的应用系统，可以实现在ONTAP8CLUSTERMODE内部的两个存储节点之间的数据镜像保护，当发生重大故障导致ONTAP8CLUSTERMODE内部的某个存储节点整个不可用时，应用系统可以自动切换到镜像节点，利用镜像数据继续进行数据的访问通过上述的这些技术，ONTAP8CLUSTERMODE存储系统整体具备了非常高的可靠性和可用性，为用户提供了一个高可用的ClusterMode环境。4.6NetAppONTAP8CLUSTERMODEClusterMode解决方案优势由于ClusterMode目前还是一个比较新的概念，目前还没有一个统一的定义，各个厂商对这个概念都有自己的阐述并在此基础上采用各自的技术来实现自己定义的ClusterMode系统。尽管对于ClusterMode目前各个厂商有自己的理解，但是他们对ClusterMode系统如下的这个基本功能还是有一个比较统一的认识：对前端使用者来说ClusterMode系统必须为一个黑匣子，使用者通过ClusterMode系统所提供的访问接口来进行数据的存储和访问，ClusterMode系统必须屏蔽数据存储和访问在物理层的实现细节，整个ClusterMode系统对外以一个整体的存储系统呈现。Netapp的ONTAP8CLUSTERMODE存储系统作为ClusterMode系统的一种技术上的实现，具备了如下的技术优势和特点：通过全局命名空间这一技术给外部使用者提供了一个简单易用的使用接口，对外完全屏蔽了内部实现上的技术细节，因此大大简化了外部使用者对ONTAP8CLUSTERMODE存储系统的使用。并且ONTAP8CLUSTERMODE存储系统不仅在管理和监控上作为一个整体存储系统来进行，而且在资源的管理和分配上也从全局着眼，因此对外呈现为一套完整的存储系统。在这点上，ONTAP8CLUSTERMODE完全满足上面所述的目前存储界对ClusterMode的比较主流的技术要求；整体性的管理和监控，并提供简单易用的基于图形化的管理和监控工具，大大简化了整个ClusterMode的管理和监控，降低了管理复杂性，减少了管理成本；全局化的存储资源管理和分配，提升了存储资源的利用率；自动化、透明化的存储资源分配方式简化了存储资源的分配过程，加速了对前端应用系统的存储要求的响应速度，提升了存储服务水平；最优化的存储资源分配方式，能最好的满足不同应用在数据存储和访问性能上的不同需求，提升了它们数据存储和访问的性能；在存储性能和存储容量两个方面都具备了良好的扩展能力，使得整个ClusterMode具备了良好的动态扩展能力，能满足前端应用不断增加的存储需求；内置的各种容错能力，使得整个ClusterMode具备了极高的可靠性和可用性，从而为前端应用环境提供可靠的无中断的存储服务打下了坚实的技术基础4.7结合服务器物拟化／集群技术构建ClusterMode平台上面一章我们介绍了Netapp在ClusterMode上的技术实现——NetappONTAP8CLUSTERMODE存储系统，该系统不仅具备了ClusterMode的基本功能，而且还具备了非常明显的技术特点和优势。ClusterMode的实现为用户实现ClusterMode环境提供了存储基础，和ClusterMode的概念类似，ClusterMode环境为外部用户屏蔽了内部的技术实现细节，用户只需要根据应用的需求，提出其所需要的计算资源，如：需要几台服务器每台服务器需要几个多少频率的CPU、多大的内存需要多大的存储空间整个ClusterMode环境就能非常快速的为用户准备好这些计算资源，并提供简单的接口供用户使用这些计算资源来运行相应的应用程序。从这个概念上来说，主机虚拟化技术结合Netapp的ONTAP8CLUSTERMODE存储系统所实现的ClusterMode可以很好的为用户来搭建一个完整的ClusterMode环境。整个ClusterMode环境内部由两个组成一个为前面章节所提到的ClusterMode，为ClusterMode环境提供数据存储和访问的服务另外一个为主机，为ClusterMode环境提供主机资源在主机中，用户可以利用主机虚拟化技术，一方面向外部屏蔽了主机内部的实现细节，另外一方面，以虚拟主机的方式向外部使用者提供一个简单的使用主机资源的使用接口。下面简单介绍利用主机虚拟技术所搭建的主机，并结合ClusterMode技术搭建的整个ClusterMode环境利用主机虚拟技术，把用户的所有物理主机按需要组织为一个多个主机集群用户可以根据需要把处于不同物理位置的所有主机作为一个主机集群，这样就可以把所有主机资源作为一个整体来管理和分配用户也可以为处于不同物理位置的主机创建独立的主机集群，这样，每个物理位置的所有主机资源作为一个单独的主机资源池来管理和分配主机利用虚拟主机作为对外提供主机资源的统一使用接口，当外部使用者提供相应的主机资源需求的时候，主机根据一定的策略，在相应的主机集群上创建满足外部使用者需求的虚拟主机供外部使用者使用。外部使用者可以非常方便的利用主机所提供的虚拟主机来使用自己所需的计算资源，其也只能通过虚拟主机这一唯一的接口来使用主机所提供的计算资源。同时计算对外部屏蔽了内部物理实现的技术细节，外部使用者除了利用虚拟主机这一个唯一使用接口和ClusterMode打交道外，根本无需关心其使用的虚拟主机是如何创建的，是在哪些物理主机上创建的等技术细节。因此，这两点很好的满足了ClusterMode环境的如下两个最基本的技术要求：整个ClusterMode环境对外部使用者提供一个统一的且简单易用的使用接口以供外部使用者使用ClusterMode环境中的相应计算资源整个ClusterMode环境对外部使用者屏蔽了内部实现的计算细节对于外部使用者所需要的存储资源，ClusterMode根据全局化、自动化、透明化和最优化的资源分配原则在ClusterMode内部分配外部使用者所需的存储资源。主机可以利用ClusterMode所提供的统一使用接口来使用这部分存储资源从上面的描述可以看到，利用主机虚拟化技术和ClusterMode技术，就可以很好的实现用户的ClusterMode环境，当然上面只是一个提纲性的介绍，要实现整个ClusterMode环境，还需要结合用户的具体需求和环境考虑很多其它方面的问题，如：主机的自动纠错机制主机的资源分配策略主机的动态扩展能力人为参与所需要遵循的规范和流程4.8ClusterMode环境建设的几点建议ClusterMode作为一项新的计算，一方面不管从概念还是技术上来看都还没有一个统一的标准和实现，另一方面也没有多少成功的经验可以借鉴。因此我们建议，ClusterMode环境的建设最好还是遵循从小到大，从简单到复杂的循序渐进的原则，如我们可以考虑：先在同一个物理位置上搭建一个小型的ClusterMode环境，并先在其上运行相对比较简单的应用系统，通过一段时间的运行以检验该环境是否符合我们的设计目标在前面成功的基础上，可以把本地的其它应用系统也迁移到该ClusterMode环境中，从而先在本地实现一个功能和性能都比较全面的ClusterMode环境在前面成功的基础上，可以搭建一个跨越不同物理位置的大的ClusterMode环境，从而实现ClusterMode环境的最终设计目标

XXClusterMode环境说明ClusterMode环境中能够与之相适应的存储架构必须满足以下要求：1、灵活的扩展能力。能够迅速且以最少的开销分配、增加、减少并重新分配存储。2、自动化存储管理。高效的配置、备份和复制等常规操作的自动化程度。3、测量和汇报存储设备的空间和性能使用情况。4、能够在不间断应用前提下自由移动数据。5、提升存储效率，实现自动精简配置和消除冗余。6、单一网络结构上实现所有功能。利用FCoE/10Gb的在单一以太网结构上整合SAN和LAN以获得更低的成本和更高的灵活性成为可能。7、存储环境支持服务器虚拟化，存储设备对应用透明。基于以上对ClusterMode环境下存储基本功能的特点，我们认为需要建立一个运行在以太网存储技术下的存储架构，建议的存储协议为基于IP的，NAS及FCoE的混合环境。目前XX应用运行于FC-SAN存储协议，服务器平台以Unix和Linux为主，应用类型以SybaseIQ(SE)等数据库应用为主。我们认为，在ClusterMode环境基于以太网存储协议的存储技术是ClusterMode平台的最佳选择。以XX应用为例，未来基于ClusterMode的中移增值业务应用平台应该是如下图构建方式，以下章节将基于应用特点对计算节点、存储协议、存储资源管理、数据保护、设备利旧等方面进行描述。5.1计算资源实现方式 计算是具有相当规模的处理单元有机集成，“”可以赋予用户前所未有的计算能力；目前构建计算大致有两种手段，分别是基于服务器虚拟化技术和基于服务器集群并通过专门的计算资源调度管理系统实现的的计算。通过服务器虚拟化技术，ClusterMode支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自计算，而不是固定某些设备。应用在计算中运行，用户无需了解、也不用担心应用运行的具体位置。同时，计算使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。基于XX应用环境可以选择服务器虚拟技术来构建ClusterMode平台，相对集群方式来说，服务器虚拟化厂商(VMWare,Citrix等)在ClusterMode有一整套解决方案，而且技术应用也比较广泛。5.2存储协议选择目前XX应用以FC-SAN架构为主，ClusterMode环境下庞大的服务器节点需要与海量的ClusterMode节点形成互连,无论从拥有成本还是从整体架构成的可扩展性,不书的建议性考虑，我们建议采用基于IP的存储协议来提供XX应用的存储协议。基于IP的存储技术目前有两种,分别是NAS和iSCSI协议。NAS（NetworkAttachedStorage）网络存储，简单的说，NAS是通过TCP/IP以太网络连接的存储设备。NAS存储设备通过标准的网络拓扑结构（Ethernet）连接到一群计算机或者服务器上，而不象FCSAN那样需要昂贵复杂的光纤交换机，NAS使用普通的以太网络交换机，即插即用。NAS所使用的是存储设备自己的文件系统，数据传输协议是TCP/IPoverGbE，交换机是EthernetSwitch，资料存取的协议则有NFS、CIFS、HTTP、DAFS。iSCSI（InternetSmallComputerSystemInterface）是由IETF（（InternetEngineeringTaskForce，国际互联网工程任务组））组织在2003年2月11日完成定义的一种基于IP网络协议的数据存储协议标准。其根本点在于应用IP网络协议承载SCSI的命令，使数据块得以在广泛成熟部署的以太网环境下进行传输。通过iSCSI协议，现有的计算平台可以从原来使用直连式存储（DAS）的环境迅速整合到网络存储（FAS）的环境，并且无需投资昂贵的SAN环境，和进行复杂的SAN管理。5.3存储资源管理FlexVol实现存储资源最优化管理NetAppFlexVol技术提供了真正的存储虚拟化解决方案，能够缩减开销和资本费用，减少业务中断并降低风险，同时还具有很高的灵活性，可以快速方便地适应企业不断变化的需求。FlexVol技术可以自动集中存储资源，便于您在一个大型磁盘池中创建多个灵活的卷。有了这一灵活性，用户可以简化操作，最大限度地提高利用率和效率，并可以快速、无缝地进行修改。利用NetApp存储解决方案，用户可以随时随地根据需要以最低成本增加存储容量，并且无需中断业务运作。我们将一个Aggregate存储池定义为给卷（Volumes）分配空间的基本单元。从管理者的角度来看，卷仍保持着对主要项的数据管理。但由于是对管理者透明，FlexibleVolumes现在面向的是逻辑项而不是传统的物理存储了。FlexibleVolumes因此不再受限于它们存在的磁盘的限制了。你可以在一个存储的“池”中定义一个你需要多大的空间的FlexVol，而不是由你创建卷所在的磁盘个数硬性规定。一个FlexVol也可以不需要