集群系统分析与选择

集群系统分析与选择需求分析目前,计算机业正在进入一场新的革命SAN。这场革命被新的光纤通道技术(Fibre Channel)催进着飞快发展。其中包括光纤集线器,交换机技术,全新的存储区域网(Storage Area Network: SAN)概念。在某种意义上，这些技术可以被简单地想象成一个与目前流行的网络结构没有什么本质的区别,不过是通过光纤通道提高了系统访问磁盘阵列的速度。但是，如果从另一个角度来看，这项技术给海量卫星图像、遥感数据存储与分析提供了新的解决方案SAN 智能存储解决方案。科研行业应用，特别是卫星图像、遥感数据存储与分析的基础是，存储系统能够提供海量数据的文件存储和管理，同时能够解决多台服务器并发访问和分析同一份数据的问题。SAN 集中存储平台为海量数据的存储与管理提供了基础架构平台，包括光纤交换机、海量磁盘阵列、智能磁带库等硬件存储设备，而实现智能存储还需要 SAN存储软件系统，主要包括两部分 SAN共享文件系统、分层存储管理系统。下面的章节，我们将详细介绍如何为科研行业应用建立一个智能存储系统，包括存储硬件平台和软件存储管理平台。智能存储架构智能存储架构包括如下内容：光纤交换机、海量磁盘阵列、智能磁带库等硬件存储设备，能够实现 SAN文件系统共享和分层存储管理的存储软件管理系统。智能存储架构如下图所示。负责卫星图像遥感数据存储和分析的服务器，可以共享存储和访问磁盘阵列上的同一个文件。磁盘阵列上存储着应用经常访问的文件数据，不经常访问的数据由存储软件“透明”迁移到磁带库上存储，同时存储软件还能实现数据备份的功能。SAN存储架构的实现SAN是目前最成熟的集中存储系统，通过使用光纤存储交换机将存储设备（磁盘阵列、磁带库等）和主机系统通过光纤连接起来，SAN 和传统的 SCSI存储架构相比能够为应用、数据库和文件访问均提供更高的性能，具有更强的扩展性。一直以来，SAN 系统的投资较高问题成为很多中小企业采用 SAN的阻碍，但是现在 SAN的投资成本已大幅降低，近两年，越来越多的企业开始转向使用 SAN系统。SAN存储架构包括：光纤通道交换机、高性能海量磁盘阵列、智能磁带库。在 SAN系统中，各服务器、磁带库、磁盘阵列通过两个光纤交换机连接成一个 SAN的结构。通过为每个服务器配置一个光纤主机适配器（HBA 卡） ，可以将应用服务器和备份服务器通过不同的光纤交换机连接到 SAN环境。关键的应用服务器需要考虑使用冗余通道，通道的冗余不仅提高了应用服务器访问存储设备的性能，同时也提高了对存储在 SAN存储设备上关键数据的可访问性。所有需要实现冗余路径的应用服务器通过配置两个光纤主机适配器，分别连接到两个不同的交换机。新的服务器也可以采用同样的方式连接到 SAN环境。光纤通道交换机光纤通道交换机是构架 SAN存储网络的关键设备，其数据交换性能、产品的安全性和可靠性直接决定着 SAN存储架构的安全性和可靠性。应该选择主流光纤交换机产品，Brocade或 Mcdata交换机在 SAN架构中的市场占用率较高，技术比较成熟，因此建议选用Brocade或 Mcdata交换机构架存储局域网。方案推荐使用两台交换机，两台交换机互相作冗余备份。对于冗余要求不高的主机，也可以仅连接单台交换机，不使用冗余路径。主机光纤通道卡（HBA 卡）是主机和 SAN光纤交换机的连接器件，按照标书要求，光纤阵列卡的选型由系统集成商和用户商定。根据我们的经验，可以选择QLOGIC、ADEPTEC、JNI、EMULEX 等厂商的产品，也可以选择服务器配套的 HBA（光纤通道卡） 。所选择的 HBA卡必须与主机、磁盘阵列、光纤交换机等完全兼容。同时应该选择2Gb/s产品以保证性能。高性能海量磁盘阵列在 SAN存储架构中，磁盘阵列系统是关键的数据集中存储系统，磁盘阵列本身的数据吞吐量、存储容量及其扩展性，直接决定着贵单位系统的整体性能。方案应选取高速的光纤结构的磁盘阵列，提供数据的海量存储，形成 SAN存储架构，通过光纤交换机，使得各主机可以跨平台的共享存储设备。磁盘阵列选型应着重考虑以下几个方面：（1）可靠性、可用性、可维护性（2）高性能、和容量可扩展性（3）开放性和兼容性智能磁带库磁带库产品的开放型和兼容性、性能和存储容量及其扩展性，和磁盘存储系统具有同样的重要性，它直接决定着智能存储系统的性能和容量，简单的说，就是智能存储系统可以在多长时间内完成不经常使用的数据从磁盘迁移到磁带，能够存储多大的数据量。这就要求磁带库系统的设计，必须符合实际应用环境数据磁带存储速度和数据量的需求，磁带库系统的存储量在满足当前需求的同时还要随应用系统数据量的增长而平滑扩展，磁带库系统的读写速度也需符合具体业务环境的需求，既不能低于环境需求也不能过高，速度慢不能在有限的时间里完成数据存储，速度过快是以较高的投资为代价的，不利于合理的利用 IT投资。在选择具体磁带库产品厂家时，方案推荐使用美国先进数字信息公司（ADIC）公司的磁带库产品。ADIC 是一家世界领先的专门提供数据保护、数据管理和数据访问的开放系统智能化存储解决方案供应商。ADIC 公司提供满足 SAN要求的高性能磁带库、磁盘和磁带库管理软件等产品。软件存储管理平台负责科研、卫星图像、遥感数据存储和分析的服务器，可以共享存储和访问磁盘阵列上的同一个文件。磁盘阵列上存储着应用经常访问的文件数据，不经常访问的数据由存储软件“透明”迁移到磁带库上存储，同时还需实现数据备份的功能。下面就将介绍存储软件系统。包括三方面内容：SAN 共享文件系统、分层存储管理系统和数据备份系统。SAN共享文件系统，实现 SAN存储架构下的文件多主机共享；分层存储管理系统，则实现不经常访问的文件迁移到磁带和数据多版本备份的功能。SAN共享文件系统SAN共享文件系统能够使多个主机服务器通过 SAN同时对数据进行访问，实现了数据访问的高性能。SAN 共享文件系统使得存储管理服务器可以与应用服务器运行在不同的服务器上，甚至可以运行在不同操作系统平台的服务器上，当应用需要增加服务器的性能时，可以在原有服务器的基础上进行扩容，也可以增加新的服务器运行新的应用，提高了整个系统的可伸缩性。目前主流的 SAN共享文件系统软件有三种：（1）VERITAS Cluster File System；（2）IBM SANergy；（3）ADIC StorNext File System（FS） ；上述三种文件系统，各有各的优势：VERITAS Cluster File System是群集文件系统，保证主机群集中的各个主机节点可以共享访问同一个存储空间或同一个文件。但它的局限性也很高，必须要求所有共享节点为同一操作系统平台，安装统一版本群集软件，此外还有很多限制，另外，支持的操作系统有限，目前仅支持 Solaris和 HP-UX。但是由于其和存储管理软件结合的较紧密，文件共享读写性能较高，稳定性较好。SANergy对底层文件系统依赖较高，支持传统的 NTFS、UFS、EXT2 等，产品发展受上述产品的制约，产品未来发展不明朗。SANergy 采用现有 DAS文件系统管理硬件，视主机平台而定（如是 Windows就是 NTFS、Solaris 就是 UFS、Linux 就是 EXT2等）技术依赖其他厂商，在混合平台之间共享数据需要采用 NFS协议处理，不能满足混合平台、大量主机并发工作环境中的性能要求。SANergy 不是日志型文件系统，系统可靠性较差。ADIC StorNext File System （FS） 是 64位日志型文件系统，ADIC 掌握所有技术和知识产权，具有广泛的发展潜力。StorNext FS是真正的 64位文件系统，可以保证管理巨大的磁盘空间和文件数量，不同类型的主机可以同时以 FC Direct I/O方式访问数据，中间不需要任何协议转换。因此，StorNext FS可以充分利用和发挥 SAN体系结构的所有优点，完全摆脱现有文件系统产品的结构束缚（现有文件系统是为 DAS存储结构设计的，不能充分发挥 SAN的优势） ，特别是在混合平台、大量主机并发工作环境中优势非常突出。采用日志型文件系统的设计,保证了系统的可靠性、健壮性和快速恢复能力。StorNext FS目前支持 Solaris、Aix、IRIX、Linux 和 Windows。综上所述，从异构混合平台的支持能力、文件系统体系结构、性能和可靠性等方面，ADIC StorNext FS会是一个很好的选择。分层存储管理系统科研行业数据系统多拥有海量数据，未来几年数据量还将飞速增长。这些海量数据中只有少量的数据是经常被应用访问的部分，而大量的数据都具有较低的访问频率，如果将这些数据都存储在价格很高的磁盘上，则所需要的投资是巨大的。分层存储管理系统，需要实现的最主要的功能就是将大量不经常使用的数据存储到较低性能，但价格低廉的存储设备上，通常是磁带库系统。在选择分层存储管理软件时，除了考虑其本身是否能够满足需求外，我们重点还考虑了实现 SAN共享文件系统的软件与实现数据迁移的存储管理软件是否有机的集成在一起，以及选择的存储管理软件是否支持大数据量、高访问量的要求。智能存储系统需要保证关键数据始终可以访问，并具有可靠的数据完整性，而不管有任何资源限制。方案推荐使用 ADIC StorNext Storage Manager软件，通过用户定义的策略，StorNext SM 能够将关键数据存储在高性能介质上，将低优先级数据存储在较慢的介质上，从而在访问需求和可用容量之间实现平衡。对于数据完整性，StorNext SM 提供了关键的数据保护选项，例如版本确定、文件复制和介质复制。随着数据量不断增长，要求企业更好地利用存储资源的压力也在增长。通过使用 StorNext SM 的策略,根据随时间推移所需的服务质量 (QoS) 级别管理磁盘和磁带系统之间的数据移动，用户可以规划不同数据类别的整个生命周期，其结果是提供了一个可轻松地扩展，并能让用户以最大的灵活性和最小的中断处理不断增长的数据量的系统。特别是，StorNext Storage Manager (StorNext SM) 能够与 StorNext File System 配合工作，提供自动化的数据放置和保护。StorNext SM 具有一个实时策略引擎，能使企业为不同的数据类别设置预定义的服务级别。这些策略能够随时间推移确定将数据存储在什么地方（RAID、ATA 磁盘或磁带上） 。具有文件复制、版本确定和离线介质管理等功能，提供增加的数据保护。结果是一个可靠的自动化系统，能够为用户带来如下好处：（1）释放管理员时间（2）优化存储资源利用率（3）保护数据完整性（4）提高数据安全性 软件存储平台选型实现 SAN共享文件系统与数据迁移有多种相应的存储管理软件，但将具有两种功能的存储管理软件实现有机集成却不是每一种产品都能够满足的，有些还是相互排斥的。采用日志型文件系统是实现故障快速恢复的基础，是数据中心海量文件系统的最基本的要求，如 IBM SANergy就不是日志型文件系统，因此我们不予采用。另外，海量数据的迁移，对数据保护的要求也很高，例如，分层存储系统是否支持离线介质管理、支持磁带拷贝和存储介质迁移、文件可以同时复制到多盘磁带中、文件可以保留多种版本，这些都是需要考虑的问题。有的文件系统配合使用的数据迁移软件本身不具备数据保护的功能或者数据保护的功能不能完全满足需求，需要其它的产品配合等，也不能采用。考虑到上述问题，方案推荐使用 ADIC StorNext Management Suite（SNMS）智能存储管理系统。ADIC StorNext Management Suite（SNMS）包括两个组件：StorNext File System（SAN 共享文件系统） ；StorNext Storage Manager（基于策略控制的数据存储管理） 。ADIC StorNext Management Suite（SNMS）将 SAN共享文件系统与数据迁移，特别是数据保护技术有机的结合在一起，实现了智能存储系统所需的各个需求的有机整合。解决方案特点1. 各 SAN主机高速共享访问大型多媒体文件2. 优化组合各种磁盘资源，并发访问多个磁盘设备，使系统充分利用 SAN的高性能3. 同时支持不同的主机平台（ UNIX，Linux，Windows）4. 支持 XDSM数据管理规范5. 可以存储和管理海量大型多媒体文件6. 支持大量 SAN主机以本地 I/O方式，同时访问同一个文件7. 快速访问可移动存储介质（磁带）当中的数据：充分发挥高速磁带机和 SAN存储网络的能力。8. 管理多级存储空间的能力（昂贵磁盘阵列、廉价磁盘组、磁带库和磁带架）9. 支持多种类型的磁带机驱动器技术（ LTO、AIT、3590、9x40 等）10. 兼容 IEEE MSRM V4 标准11. 提供以下服务：1. o 虚拟磁盘空间（扩展系统存储空间）2. o 数据复制（保证数据安全）3. o 数据恢复（多版本保存、反删除、反破坏）4. o 归档备份（满足一次写，很少读的应用）12. 提供访问共享的磁带库和磁带机的机制13. 支持不同控制类型的磁带库（ FC、SCSI 或网络控制的 ADIC Scalar和 AML系列磁带库，以及 STK公司的磁带库）。可以同时管理多台磁带库。14. 在同一个磁带库中管理不同类型的磁带机和磁带介质15. 支持磁带库的条形码扫