服务器群集：Windows2000和WindowsServer2003存储的最佳做法.doc

服务器群集：Windows 2000 和 Windows Server 2003 存储的最佳做法发布日期： 2005年04月14日本页内容存储拓扑Windows Server 2003 和群集中的存储功能基于硬件的存储功能存储工具和服务备份和存储存储管理存储 KB 文章存储拓扑服务器群集中支持两种类型的存储 I/O 技术：并行 SCSI 和光纤通道。随着 Microsoft Windows Server 2003 的发布，双节点的 SCSI 互连和光纤通道仲裁回路也得到了支持。对于更大的配置（多于两个节点），您需要使用交换光纤通道（结构）环境。问题并行 SCSIWindows 2000 Advanced Server 最多仅支持双节点SCSI 适配器和存储解决方案需要经过认证承载互连的 SCSI 卡需要具有不同的 SCSI ID，一般为 6 和 7。请确保设备访问要求符合 SCSI ID 和优先级应禁用 SCSI 适配器 BIOS如果设备连接良好，请确保共享总线的两个端点都正确终止使用物理终止设备，而不要使用基于控制器或设备的终止方式不支持 SCSI 集线器避免使用连接器转换器（例如 68 针转为 50 针）避免组合使用多种设备类型（单端和差分）光纤通道最多支持双节点的光纤通道仲裁回路 (FC-AL)支持所有更高组合的光纤通道结构 (FC-SW)组件和配置需要位于“Microsoft 硬件兼容性列表”(HCL) 中多群集环境容错驱动程序和组件也需要经过认证虚拟引擎需要经过认证。交换机是当前唯一未经过 Microsoft 认证的组件，建议终端用户在实施交换机结构拓扑之前，从交换机供应商处获取适当的互操作性保证。在使用了多台交换机并且交换机通过 ISL 连接的负载拓扑中，建议客户在实施阶段与 Microsoft 以及交换机供应商和存储供应商密切合作，以确保所有组件都能够良好地协作运行。支持和合格的配置所有服务器群集都必须经过资格认定才受 Microsoft 支持。合格的配置都经过了 Microsoft 硬件兼容性测试的广泛测试。所有经过认定的解决方案都会出现在以下 HCL 站点中：/whdc/hcl/default.mspx. Microsoft 仅支持 HCL 上列出的群集解决方案。整个群集解决方案都必须在“群集 HCL”中列出。完整的解决方案包括服务器、存储适配器、互联类型、存储控制器固件以及驱动程序版本。所有组件都必须完全匹配，包括任何软件、驱动程序或固件版本，解决方案才能通过认定。HCL 包含一组经过认定的群集组件。一个由合格的组件构建的解决方案并不一定是合格的解决方案。在过去，群集组件列表成为混淆的根源，因此 Microsoft 将从 Windows Server 2003 的 HCL 中删除群集组件列表（例如 Cluster/RAID）。存储互连请确保服务器群集中使用的所有存储互连都位于 HCL 中。这同时适用于为适配器和互连提供容错或负载平衡功能的任何其他软件。多路径高可用性存储：这是非常普遍的功能，几乎所有存储供应商都提供这种功能。这种功能允许用户实施多种结构（通常是两个），并在容错或负载平衡配置中使用使用这些结构。过去，每个供应商都具有他们自己的实施方式，这些实施方式之间互补相同，并且要求特定配置/驱动程序组合。随着 Windows Server 2003 的发布，Microsoft 开发并向供应商提供了一种多路径驱动程序，供应商可以使用这种驱动程序来代替客户定制的驱动程序。当然，驱动程序将会作为供应商产品的一部分同时提供，但是预计 Microsoft 支持的所有供应商产品都将集成这个驱动程序。如果他们坚持使用自己的驱动程序，那么这个驱动程序需要经过认证并且位于 HCL 中。服务器群集和 SAN现在，存储区域网络 (SAN) 越来越多地被用来承载由服务器群集托管的存储。但是群集的实施以及可能不是由群集中的节点拥有 SAN 上所有存储的事实，这些也产生了一些特定要求。一些问题可以被转换为最佳做法，它们是：确保 SAN 配置位于 Microsoft HCL（多群集部分）中。在配置您的存储时，必须实施以下内容：分区-分区使得用户可以隔离将要由群集使用的逻辑卷。存储卷和节点之间的所有互操作将被隔离到分区中，因此 SAN 的其他成员将不会受到相同分区的影响。这种功能可以在控制器或交换机级别上实现，并且用户应当在安装群集之前实现它，这很重要。LUN 屏蔽-使得用户可以在控制器级别表示 LUN 和主机之间的特定关系。理论上，其他主机将不能看到 LUN 或以任何方式操纵它。但是，不同实施的功能也有所不同，我们不能认为 LUN 屏蔽总是有效。因此，不能使用屏蔽来代替分区。不过，为了满足一些特定的配置要求，我们可以结合使用分区和屏蔽。固件和驱动程序版本-一些供应商在驱动程序和固件中实现了特定的功能，我们建议用户密切注意哪些固件/驱动程序组合与他们正在进行的安装相互兼容。这个建议不仅在构建 SAN 并将主机连接到 SAN 时有效，并且在整个系统的生命周期（主机和 SAN 组件）内都有效。同时应当密切注意在应用服务软件包或供应商特定的修补程序和/或升级时出现的问题。硬件以及软件分区-可以对控制器上的硬件/固件实施分区，也可以对主机上的软件执行分区。建议使用基于控制器的分区，因为这可以统一实施的访问策略，这种策略不会由于节点损坏或软件组件故障而中断或受损。硬件以及软件 LUN 屏蔽-一些供应商同时提供基于软件的屏蔽程序。请确保任何这种软件紧密连接到存储，并且包含在需要认证的操作系统的存储的演示文稿中。由于上述提及的原因，如果我们不能保证这种软件组件的稳定性，请谨慎使用这种功能。从 SAN 启动-这是一种需求越来越多的功能，Microsoft 将在 Windows Server 2003 中支持这种功能。要考虑的一些因素包括：这些配置要求“主机总线适配器”(HBA) 和存储供应商的支持。HBA 驱动程序需要是 Storport 驱动程序。Storport 驱动程序可提升性能，它在吞吐量和系统资源利用上都超过 SCSIPORT。它同时增加了配置的可管理结构以及基于主机的 RAID 适配器管理，并且是 Windows Server 2003 中的新功能。若要操作系统能够成功从 SAN 启动，这些功能是必需的。并且更重要的是，供应商的实施必须经过 Microsoft 的认证。这种解决方案具有有限的扩展功能，并且任何其他复杂性（例如存储复制、恢复机制等）都需要由硬件供应商解决。服务器群集可以实现一种功能，即允许启动磁盘、页面文件磁盘和群集磁盘位于相同的通道中。在实施之前，还需要考虑一些性能和运行上的建议。请同时参见 KB 文章305547“对存储区域网络 (SAN) 的启动支持”，这篇文章讨论了这个功能。存储配置和设置如果这是一次全新的群集安装，您需要确保没有应用程序正在运行。在创建群集或向群集中增加节点时，“向导”会枚举节点上的所有存储，并聚集以某种方式被确定为非可群集化的所有存储。非可群集化存储包括所有存储总线上包含任何系统文件的所有驱动器（启动、系统、页面文件、故障转储或休眠文件）、LDM 驱动器以及哪些响应 IOCTL IOCTL_SCSI_MINIPORT_NOT_QUORUM_CAPABLE 的驱动器。如果这是一个正在进行升级的现有群集，那么我们完全支持保留所有配置设置以及从 Windows 2000 进行滚动升级。服务器群集和容错磁盘 (RAID)在 Windows Server 2003 中创建容错卷（例如条带卷、镜像卷和 RAID-5 卷）要求该卷是动态磁盘。目前服务器群集中不支持动态磁盘，但是 Veritas 具有一种产品 (Veritas Volume Manager) 可以支持类似功能，并且我们支持这种产品。我们支持 NTFS 格式。如果磁盘尚未配置为基本磁盘并且格式化为 NTFS，那么群集将不能识别这些磁盘，从而无法管理它们。同时，服务器群集不支持 GPT (GUID 分区表) 磁盘，这种磁盘是作为 EFI 系统的一部分被引入的。但是，群集支持基于硬件的容错磁盘。这意味着物理磁盘的容错配置（JBOD、RAID 5、RAID 0+1 等）是在控制器级别设置的，并且这种设置能够以整体或部分（卷）的形式可见，并为主机所用。主机完全不知道这种物理实现，并会将卷视为磁盘。正是由于这个原因，我们建议您在实施 FT 设置之前要考虑使用特点。例如，如果您认为逻辑卷上承载的数据将会不断被读取和更新，那么您可能应当实施容错设置 RAID 0+1 而不是 RAID 5。另外一个要遵守的比较粗略的规则是，请将逻辑卷的大小尽量关联实际设置大小。这样，划分出更少的逻辑卷通常有助于提高性能。卷扩展也是一个一般性要求，因为数据增长并不经常被认为是向上的。如果控制器支持 LUN 扩展的话，就可以对群集磁盘进行扩展而不用重新启动。利用这种功能可以实现物理扩展，而不会产生中断，并且用户可以使用 Microsoft 提供的工具 (diskpart)，从而使得更改可以无缝应用到逻辑级别。Windows 2000 和 Windows Server 2003 分别使用不同版本的 DiskPart。Windows 2000 版 DiskPart 可以通过 web 免费下载，而 Windows Server 2003 版 DiskPart 则是随分发 CD 一起提供。处理群集中的存储电缆断开撰写本文旨在回答我们得到的一些关于 Microsoft 不支持人工断开存储电缆（作为测试故障转移机制的有效测试）的各种问题。Microsoft 软件完全支持有效性测试，但并不能保证所产生的结果。主要原因是相关设备（HBA、交换机、存储解决方案等）的反应是由第三方供应商编写的更低层设备驱动程序控制的。不同的供应商以不同方式实施存储驱动程序，主要由他们来决定是否实施允许进行此种测试的功能。在本文编写时，并非所有供应商的设备驱动程序都支持这种测试。您应当咨询您的供应商（存储和适配器），以便他们的设备驱动程序可以正确处理存储适配器电缆断开。如果他们的驱动程序满足 Microsoft 提供的规范，那么这个问题就可以得到很好的处理，并且可以进行测试。编写本文的目的是为了解决基于光纤通道的存储以及存储电缆被断开或损坏的问题，以及为了清楚说明群集产品小组对于相同问题的观点。我们可以在 SCSI 总线实施中发现类似问题，但由于当前的主要实施为光纤通道，因此我们将讨论范围锁定在这种类型的存储网络。基本上，服务器和存储之间通常会有 2 组连接。服务器和存储解决方案会被连接到交换机/集线器。因此，可能会有 2 个地方出现断开连接的情况，一个是服务器 (HBA) 与交换机之间的电缆，另一个是存储解决方案与交换机之间的电缆。并且由于发生这种事件时会涉及到很多群集和非群集组件，因此我们将尝试将事件映射到组件，以便建立清晰的责任区域。首先，服务器群集产品小组完全了解存储电缆断开会导致主机连接中断，并且这种情况也可能出现在客户站点。该产品（服务器群集）完全支持很好地处理这种事件和资源的故障转移（磁盘和相关资源）。但是，在服务器群集可以检测这种事件并进行资源故障转移之前，还需要发起一些事件。同时还需要发起另外一些事件，资源才能够故障回复到原来的节点。这些事件取决于某些不是服务器群集产品组成部分的组件（低层设备驱动程序）的行为特点。遗憾的是对于这些驱动程序的特点目前尚无一个统一的标准，因此各个配置的行为语义可能都有所不同。但是与电缆断开有关（被检测到的某种故障，会导致磁盘故障转移）的基本行为应当总是有效的。我们将在本文中说明一些要求和问题，以便让读者明白这些组件如何协调运行，以及为确保系统具有此功能应当找谁问什么问题。断开存储电缆（HBA 到交换机）我们将首先解决服务器之间的存储电缆（HBA 到交换机）被断开的问题。以下是运行 Windows 的服务器和服务器群集上的存储堆栈外观的一个简单示意图。这个堆栈可能包括 Microsoft 提供的 scsiport 驱动程序以及 HBA 供应商提供的微型端口驱动程序，或者一个具有全部功能的完整端口驱动程序并替换 scsiport 驱动器：查看大图。情况 1查看大图。情况 2在第一种情况下，当电缆被断开时，如果 HBA 微型端口驱动程序可以报告正确的状态 (BusChangeDetected这个通知表明可能有目标设备被添加到动态总线上或者从动态总线上移除），那么 scsiport 驱动程序就可以采取正确的操作，并且可以有效检测到磁盘不可用（或者可用）。如果系统报告某个设备不可用，那么 PnP 将会执行一次扫描，并拆开所有不可用的设备对象，这样服务器群集磁盘驱动程序就会得到所要求的通知。这会导致群集服务将磁盘资源故障转移到另外一个可以访问问题设备的有效的群集成员。如果 HBA 微型端口驱动程序只是报告一个一般状态 (ResetDetected这表明 HBA 检测到 SCSI 总线上发生了一次重设，在此通知之后，HBA miniport 驱动程序仍然会负责完成任何活动请求）。在这种情况下，群集磁盘驱动程序将最终检测到磁盘不再可用，在监视测试期间 (LooksAlive, IsAlive1) 它会定期执行。这将会导致检测这些磁盘不再可以访问，从而导致它将这些磁盘故障转移到群集中另外一个可以访问上述磁盘的成员。当 clusdisk（群集磁盘驱动程序）发出的一个 预约失败时，检测这种故障最少大约需要三秒钟时间。最多需要多少时间则无法预计，因为这取决于低层设备驱动程序的行为和运行特点。但是系统将始终可以检测到磁盘不可用，并最终导致磁盘被故障转移到有效的群集节点。LooksAlive 和 IsAlive 运行的频率是可以调整的，这意味着您可以增加检查的频率，这样就需要减少检测时间，但这会产生另外一些情况（资源利用），您需要谨慎考虑，尤其是在企业环境中，服务器群集需要监视大量资源时。如果现有的 scsiport 驱动程序被特定供应商的 scsiport 驱动程序替代，或者如果 SCSIport /Miniport 组合被一个完整端口驱动程序替代（如情况 2 中所示），情况是一样的。这种驱动程序是供应商编写的，目的是为了满足供应商存储解决方案的某些特定要求。Microsoft 不能保证完整端口驱动程序的功能，如果您使用完整端口驱动程序，Microsoft 支持将不能调试相关问题。断开存储电缆（交换机到存储）：还是一样，其行为取决于具体实现。在电缆断开或设备移除时，HBA 会从交换机处获得一个 RSCN，并会通知操作系统它所检测到的任何更改。检测是一个非常复杂的操作，它具有很多外部相关项，并且可能不总是有效。最坏的情形是 HBA 可能会使得 IO 失败或是返回 BUSY。在这些情况下，最坏情形意味着 LooksAlive/IsAlive 检查失败，群集服务将撤消磁盘的故障转移或者彻底停止磁盘的运转。重新连接存储电缆（HBA 到交换机）：重新连接存储电缆并让资源故障回复也是一个复杂的问题。如果 HBA 微型端口驱动程序或者完整端口驱动程序可以发送正确的状态，那么 PnP 将会重新扫描总线，创建设备对象，并为该设备分配资源（例如 I/O 端口、内存地址和中断）。这些资源会被提供给微型端口，接着后者必须使用这些资源。在这些情况下，重新连接存储电缆会被检测到，这也是资源故障回复到原始节点所需的。如果微型端口驱动程序或完整端口驱动程序不执行上述操作，那么故障回复也会进行，因为物理设备对象已存在。如果存在需要用户启动人工扫描（通过转到“磁盘管理 MMC”，然后启动一次磁盘重新扫描）的问题。那么在进行人工扫描后，故障回复应该可以正常运行。重新连接存储电缆（交换机到存储控制器）：获取从交换机处重新连接电缆的信息取决于不同情况（设备是否已更改，名称服务器是否已检测到这种情况，等等），并且不总是可以按照预期方式工作。人工扫描在这种情况下也有效。在任何一种情况下，全部功能都由微型端口或完整端口驱动程序提供（取决于正在使用什么），而这两者都是由存储或 HBA 供应商编写的。上述情况对于容错解决方案也有效，该方案实施一些功能（例如多种从服务器到存储解决方案的路径）。在某台主机上的这两条路径都失败的情况下，行为是相同的。单一故障实例应当用多路径驱动程序来屏蔽，并且不应对更高层子系统可见。总结起来，不管使用什么驱动程序，断开存储电缆都会导致服务器群集管理的磁盘被故障转移到群集的另一个成员。将磁盘故障回复到原来的节点是只能由 HBA 供应商保证的功能，原因很简单，因为供应商拥有集成了主要用来正确处理这种情况的功能的驱动程序。向群集中添加新磁盘- 向群集中增加新磁盘不要求重新启动节点或 Windows 2000 SP3 和 Windows Server 2003 中的群集服务。任何节点都可以扫描和安装新磁盘，并且当它被格式化为 NTFS 后，所要求的就是使用群集创建新的物理磁盘资源上述情况对于 Windows 2000 SP3（2 个热修补程序）和 Windows Server 2003 有效。热修补程序是由“Microsoft 支持”提供的。返回页首Windows Server 2003 和群集中的存储功能卷装入点Windows Server 2003 中的服务器群集支持卷装入点，这是卷上的一些目录，应用程序可以使用这些目录来“装入”不同卷，也就是说，对它进行设置，以供在用户指定的位置使用。Windows NT 4.0 或 Windows 2000 中不支持这项功能。EFS使用 Windows Server 2003 时，群集文件共享支持加密文件系统 (EFS)。若要在群集文件共享上启用 EFS，您必须执行一些任务以便正确配置环境：仅当虚拟服务器启用了 Kerberos 时，才能够在文件共享上启用 EFS。默认情况下，虚拟服务器上不启用 Kerberos。若要启用 Kerberos，您必须在将要用于连接群集文件共享的网络名称资源上选中“启用 Kerberos 身份验证”。注意：在网络名称上启用 Kerberos 有一些含义，在选中复选框之前您应当确保自己完全了解这些含义。所有群集节点计算机帐户以及虚拟服务器计算机帐户都必须可以进行委派。请参见联机帮助，以了解如何执行此项操作。为了确保群集中的所有节点都可以获得用户私钥，您必须为想要使用 EFS 存储数据的用户启用漫游配置文件。请参见联机帮助，以了解如何启用漫游配置文件。在创建群集文件共享并执行上述配置步骤之后，就可以使用加密文件来存储用户数据以获取增强的安全性了。磁盘配额Windows 2000 和 Windows Server 2003 支持配置共享磁盘上的磁盘配额。Autochk/Chkdsk/Chkntfs-每次 Windows 重新启动，内核程序都会调用 Autochk.exe 来扫描所有卷，以便检查是否设置了卷非正常位。如果非正常位已经设置了，autochk 会对该卷立即执行一次 chkdsk /f。Chkdsk 是本机 Windows 工具，它可以检查文件和文件系统损坏的程度。如果 Chkdsk 运行在写模式下，它会自动尝试修复磁盘损坏。Chkntfs.exe 实用工具在 Microsoft Windows NT 4.0 Service Pack 2 以及更高版本的 Windows 中提供。它设计用于在 Windows 不正常关机后重新启动时，禁止在特定卷上自动运行 chkdsk。如果计划在下一次系统重新启动时对某个活动卷运行 chkdsk 的话，Chkntfs 还可以用于取消运行 chkdsk 的计划。服务器群集中支持在特定配置中运行所有上述工具。详细解释这些过程的相关 KB 文章有：174617 - Chkdsk 随 Microsoft 群集服务器安装程序一起运行176970 - 如何在共享群集磁盘上运行 CHKDSK /F 命令160963 - CHKNTFS.EXE:您能用它做什么虚拟磁盘服务 - “虚拟磁盘服务”会随 Server 2003 一起提供。它为 SAN 中的软件卷管理、硬件 RAID 文件柜管理、多路径和设备分配提供了一个界面。服务器群集中将支持 VDS。需要其他提供程序（由类似 Veritas 这样的 ISV 提供）才能启用群集功能。虚拟快照 (Virtual Snap Shot) 和 TimeWarp - VSS 是一种 Windows 服务，它允许用户拍摄数据的快照。它在实际实施这项功能的硬件或软件提供程序的帮助下进行这项工作。VSS 协调请求程序、提供程序和编写器。VSS 是“卷快照服务”(Volume Snapshot Service) 的缩写。软件提供程序是作为用户模式组件和内核模式驱动程序实现的。I/O 会被实例化快照卷的驱动程序所截取。这种驱动程序可以是存储筛选器驱动程序或卷管理器的一个组件。编写器是在一个或多个卷上存储永久信息并参与快照同步的任何应用程序。通常，这可能是数据库（例如 SQL Server）或系统服务（例如 Certificate Server）或备份程序 (NT Backup).服务器群集完全支持在 NT 备份中实现 VSS。Timewarp 是用于未删除的简单文件的另外一种特定快照，它是 Windows Server 2003 中提供的一种功能。群集中也完全支持此项功能，并且整个功能集可以在群集和非群集磁盘中以相同方式启用。终端用户体验没有改变。返回页首基于硬件的存储功能硬件快照或业务恢复卷- 如果正确实现的话，硬件快照对于群集来说是完全透明的，并且是受支持的。唯一的要求就是快照副本和原件不能同时向快照公开。NAS 作为共享存储-我们完全支持使用称为 Server Appliance Kit 的 Microsoft NAS 产品来构建群集解决方案。这个工具包向将要发布预定义解决方案（其中一些可能是群集解决方案，例如群集文件服务器）的 OEM 提供。地理位置群集（存储建议）- 使用地理位置群集时，根据用户要求的服务级别，这种存储配置会变得非常复杂。所有解决方案均需位于“地理群集 HCT”中才受 Microsoft 支持。诸如数据复制、存储管理、恢复过程等功能则完全由实现解决方案的硬件提供商决定。我们在 web 上提供了免费下载的 HCT 测试，您可以用它来验证生产系统。复制（同步、异步）-OOB 复制机制 FRS 并不实际用在应用程序数据复制级别。服务器群集的复制是不可预知的，并且它在运行时也不会考虑这个功能。如果 ISV（硬件或软件）选择实施这项功能，那么他们就要确保服务器群集要求的语义在存储级别受到支持。他们必须确保满足关于数据复制和一致性的所有应用程序要求。返回页首存储工具和服务远程存储-服务器群集不支持远程存储服务。可删除存储-服务器群集不支持可删除存储服务。备份-“服务器群集备份”支持使用“群集备份 API”的 NTBackup 和任何备份解决方案。使用 API 使得群集配置数据的一致备份和恢复可以实现。共享磁盘只能在备份时拥有该磁盘的节点上备份。索引-服务器群集不支持索引。它同时具有有关资源利用的一些建议，以及在启用索引之前需要考虑的一些事项。分布式文件系统-服务器群集完全支持 DFS。在 Windows Server 2003 中，多个 DFS 根可以承载在一个群集中。脱机文件-在 Windows Server 2003 中，可以对群集文件共享启用客户端缓存。Windows 2000 或 NT 4.0 不提供此项功能。这项功能只能用于用户共享，不能用于应用程序数据。返回页首备份和存储与以前版本一样，使用群集备份 API 的任何备份解决方案都受支