方案建议书-第六分册-高可用系统和数据备份系统.doc

北京国网讯通数据网络技术有限公司 山东省山东省 Internet 数据中心工程数据中心工程 技术建议书技术建议书 第六分册第六分册 高可用系统和数据备份系统高可用系统和数据备份系统 北京国网讯通数据网络技术有限公司北京国网讯通数据网络技术有限公司 二零零零年十二月二零零零年十二月 北京国网讯通数据网络技术有限公司 第一章第一章 高可用系统高可用系统 HA 1 1 1 山东省 IDC 高可用系统需求分析 1 1 2 高可用系统 HA 设计 1 第二章第二章 数据备份系统数据备份系统 3 2 1 山东省数据备份系统需求分析 3 2 2 山东省数据备份系统设计 3 第三章第三章 存储局域网技术存储局域网技术 SAN 5 第四章第四章 软件及硬件选型软件及硬件选型 8 4 1 磁盘阵列 8 4 2 光通道交换机及 HBA 适配器的选型 9 4 3 磁带库 9 4 4 软件选型 9 4 4 1在线SAN虚拟磁盘管理产品Veritas Volume Manager 10 4 4 2高速文件系统 Veritas 文件系统 10 4 4 3Veritas Cluster Server VCS 11 4 4 4存储备份管理软件NetBackup 14 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 1 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 第一章第一章 高可用系统高可用系统 HA 1 11 1 山东省山东省 IDC 高可用系统需求分析高可用系统需求分析 山东省中心节点设立邮件系统 邮件系统有两台邮件服务器及磁盘阵列构成 邮件系统 采用 HA 结构 实现邮件服务器间的实时备份 达到 7 24 小时的不间断服务 1 21 2 高可用系统 高可用系统 HA 设计 设计 在网络运营商的网络中 主要的应用服务和业务系统通常由大型的服务器系统完成 这 些系统必须具有很高的可靠性和可用性 在本方案的设计中省中心节点的邮件系统采用了高 可用系统 HA 设计 下面结合本方案中邮件系统的设计介绍高可用系统的设计方案 在山东省 IDC 我们选用两台 Sun 的企业级服务器 Enterprise 4500 作为邮件系统的硬件 平台 该型服务器在足够配置的情况下 可以提供很好的可靠性 另外 我们使用了 METASTOR 磁盘阵列系统存放用户数据 通过磁盘镜像保护数据 邮件服务器及磁盘阵列 采用了存储局域网 SAN 技术 并在邮件服务器上使用 Veritas 公司的集群高可用软件构 件了高可用性 HA 系统 其主要功能是当其中一台主机发生故障 不能提供服务时 另 外一台主机会自动接管故障服务器上运行的服务 从而使服务不发生停顿 在高可用性系统设计中 我们使用了存储局域网 SAN 技术 SAN 是近年兴起的一种 全新的存储理念 它为业务数据的级数增长和应用系统的高速扩展提供了广阔的天地 SAN 是指独立于服务器网络系统之外的高速存储网络 这种网络采用高速的光纤通道作为传输媒 体 以 FC SCSI 的应用协议作为存储访问协议 使用户获得不低于 100MB s 的数据系统访问 速率 SAN 是计算机系统和存储系统的一种理想的配置方式 它把诸多 LAN WAN 的概念应用 于计算机系统和存储设备之间的连接 因而为存储设备之间以及主机与存储设备之间提供了 强大而灵活的互连能力 有利于数据的集中管理和数据的无限扩展 可以说 SAN 充分体现 了数据对企业的价值 它使得数据系统彻底摆脱了传统的分散式管理格局 走向一体化的信 息管理 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 2 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 在山东 IDC 邮件系统的设计中 两台 E4500 邮件服务器安装 VERITAS 集群高可用软件 并通过 JIN 光纤接口卡分别连接到两台 VIXEL2006 SWITCH 光纤交换机上 在系统正常运行 时 每台服务器的两条光纤通道为其提供了 200M 的数据访问能力 邮件系统的存储设备使 用 1 台 METASTOR 磁盘阵列 磁盘阵列同样使用两条光纤分别与两台光纤交换机相连 并 提供 200M 的数据 I O 能力 这种冗余的设计方法 不仅提高了数据访问的速度 而且使存 储局域网中任何一台设备出现故障时 都不会影响整个系统的正常运行 使用存储局域网的 直接结果是 主机系统与存储设备均可以双向灵活扩展 整个系统可以形成存储共享的有机 整体 同时 光纤的通道又为数据访问提供了单通道 100MB S 的访问能力 大大高于传统的 SCSI 技术所提供的通道能力 省中心节点高可靠系统机构图如下 M Ma ai il l S Se er rv ve er r 1 1M Ma ai il l S Se er rv ve er r 2 2 光光纤纤交交换换机机 1 1光光纤纤交交换换机机 1 1 磁磁盘盘 阵阵列列 图 1 1 省中心高可用系统示意图 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 3 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 第二章第二章 数据备份系统数据备份系统 2 12 1 山东省数据备份系统需求分析山东省数据备份系统需求分析 山东省中心节点 济南节点 青岛节点根据托管客户的需求提供不同级别的数据备份和 恢复服务 因此 应在上述三个节点建立数据备份系统 对虚拟主机系统中的虚拟主机服务 器及数据库服务器进行数据备份 满足客户提出的数据备份和数据恢复的需求 2 2 山东省数据备份系统设计山东省数据备份系统设计 即使采取设备的备份来保证高可靠性运行 还是有可能因为设备故障或人为失误造成数 据丢失 为保证网络数据完整性 应在省中心接 济南节点 青岛节点设置网络备份服务器 对虚拟主机系统中 虚拟主机服务器和数据库服务器数据进行定期备份 以达到用户提出的 数据备份和数据恢复的要求 下面结合本方案中省中心节点的设计介绍数据备份系统的设计 方案 中心节点虚拟主机系统网段内的备份系统的硬件由一台 SUN ULTRA60 配置 STORAGETAK 自动磁带库系统组成 软件由备份服务器上的 Veritas Netbackup DataCenter Server 备份管理软件 虚拟主机服务器上的 Veritas Netbackup DataCenter Clients 数据库 服务器上的 Database DataCenter Database Agents 组成 通过备份服务器上的服务器软件对虚 拟主机服务器和数据库服务器进行数据备份 根据所需备份数据的容量 磁带机的磁带总设 计容量为 1TB 备份可以根据实际情况针对用户提出的实际需求 进行不同级别的数据备份及数据恢复 服务 中心节点备份系统示意图如下 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 4 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 虚虚拟拟主主机机系系统统网网段段 备备份份服服务务器器 磁磁带带库库 虚虚拟拟主主机机1 1 虚虚拟拟主主机机N N 数数据据库库服服务务器器数数据据库库服服务务器器 图 2 1 中心节点备份系统示意图 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 5 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 第三章第三章 存储局域网技术存储局域网技术 SAN 针对系统对高速存储访问的要求 我们采用目前方兴未艾的 SAN 存储局域网技术 SAN 存储局域网 是近年兴起的一种全新的存储理念 它为业务数据的级数增长和应用 系统的高速扩展提供了广阔的天地 在 2000 年到来之际 人们惊喜的发现 在经历了主机 平台革命 网络系统革命之后 存储系统的革命悄然而至 目前 存储市场已抢占了三分天 下 SAN 存域网是存储领域发展的必然产物 SAN 是指独立于服务器网络系统之外的高速存储网络 这种网络采用高速 的光纤通道作为传输媒体 以 FC SCSI 的应用协议作为存储访问协议 使用户 获得不低于 100MB s 的数据系统访问速率 SAN 是计算机系统和存储系统的一种理想 的配置方式 它把诸多 LAN WAN 的概念应用于计算机系统和存储设备之间的连接 因而为存 储设备之间以及主机与存储设备之间提供了强大而灵活的互连能力 有利于数据的集中管理 和数据的无限扩展 可以说 SAN 充分体现了数据对企业的价值 它使得数据系统彻底摆脱 了传统的分散式管理格局 走向一体化的信息管理 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 6 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 图 6 3 1 SAN 的结构图 从上图中可以看到 多个服务器主机通过光纤接口设备连接到光纤互连设备 而光通道的互 连设备又通过光纤与多个光纤接口的磁盘设备或磁带库设备相连 这种存储网络的直接结果 是 主机系统与存储设备均可以双向灵活扩展 整个系统可以形成存储共享的有机整体 同 时 光纤的通道又为数据访问提供了单通道 100MB S 的访问能力 大大高于传统的 SCSI 技 术所提供的通道能力 总而言之 总而言之 SANSAN 为以下问题提供有效的解决方案 为以下问题提供有效的解决方案 存储容量的爆炸性增长 数据存储的集中管理 多服务器的数据直接高速备份的要求 与网络无关的备份 这种备份可以克服传统备份的令 人难以忍受的对应用网络效率的冲击 集中式备份和恢复 多机集群系统的要求 数据高度扩展能力的要求 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 7 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 本地服务器与远程存储连接的要求 对数据访问性能的要求 如视频系统 电子商务等 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 8 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 第四章第四章 软件及硬件选型软件及硬件选型 4 1 磁盘阵列磁盘阵列 LSI LOGIC 公司生产的磁盘阵列品牌为 MetaStor 该磁盘阵列是 RAID 标准委员会 RAB 的金牌认证产品 达到了 FTDS 最高容错级 98 年和 99 年连续两年唯一地获得了 Network 杂志全球最佳外设奖 以下是 LSI Logic 的发展历程 RAID 存储系统 1990 多种 RAID 级 0 1 3 5 控制器和系统 1991 16 位 SCSI 芯片 1991 双激活的 RAID 控制器 1993 具有 catch 功能的控制器 1995 光纤 RAID 系统 1996 MetaStor 磁盘阵列具有稳定性超群的特点 不仅在国际上被各 OEM 厂商所确认 在国内近年 实施的多个工程中 MetaStor 产品均成功地长期高效运行 几乎实现 0 故障 MetaStor4766 采用光纤通道的设计 由控制模块 每控制模块包括两个控制器 和磁盘模块 组成 对外提供 2 个连接主机的光通道接口 内部也采用 SCSI 实现磁盘系统与控制模块的 连接 MetaStor4766 具有以下的特点 每秒最大 IO 为 48 000 次 最大 400MB s 的主机数据传输 4 光纤口 全部部件冗余设计 单部件故障不影响运行 异构系统的多主机光通道连接 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 9 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 动态分区和扩展 最大存储容量为每控制器 7 3TB 双控制器 73GB 磁盘 磁盘热插拔 每个子系统可增加到 100 块光纤磁盘 业界最出色的图形化管理工具 SANTricity 磁盘管理方便灵活 用户轻易掌握 该软件被多家 厂商 OEM 4 2 光通道交换机及光通道交换机及 HBA 适配器的选型适配器的选型 目前的存储具网络采用光通道的交换协议 而主机系统与存储系统的交换枢纽就是光通 道互连设备 如光通道交换机或光通道 HUB 对于高性能的共享备份系统 我们建议采用 光通道交换设备 这样可以获得较高的稳定性和交换速度 HBA 适配器我们建议采用 JNI 公司 Jaycor 卡 该卡目前在 SAN 系统中市场占有率最高 具有 优秀的品质保证 4 3 磁带库磁带库 我们选择世界上最大的磁带库生产厂商 Storage Tek STK 公司生产的自动磁带库系统 本系统中采用先进的 STK9730 磁带库系统 它支持 1 05TB 的磁带容量 4 个 DLT7000 磁带驱 动器 本系统采用 2 个磁带驱动器 4 4 软件选型软件选型 存储管理软件是 SAN 结构存储管理系统的核心 在本系统的存储局域网 SAN 的结 构设计中 我们建议本系统选用存储行业领先的美国 VERITAS 公司的如下产品 这些产品 在国际 国内已经取得广泛应用 并且在 Mail 系统中有多项成功案例 卷管理器 Volume Manager 简称 VxVM 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 10 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 文件系统 File System 简称 VxFS 多机热备份软件 Cluster Server 简称 VCS 存储备份管理软件 NetBackup 简称 NBU 美国 VERITAS 公司是全球最大的存储管理软件开发商 VERITAS 的产品为世界上唯一同 时具备 统一管理在线及离线的存储设备 提高数据高可用性 极具弹性的扩充能力及 高超的管理效率 支持不同的主机 操作系统及外围设备 自动化作业和集中式管理 等多种优点的存储管理软件 是世界上唯一一家可以支持整合在线 On Line 存储管理 the disks 与离线 Off Line 存储管理 the Tapes 解决方案的公司 4 4 1 在线在线 SAN 虚拟磁盘管理产品虚拟磁盘管理产品 Veritas Volume Manager VERITAS Volume Manager 为企业的应用提供了功能强大的磁盘和存储设备在线管理 VERITAS Volume Manager 提供虚拟设备机制 即逻辑卷 向用户应用和文件系统提供完全 透明的设备在线管理 应用程序和文件系统无须直接管理物理设备 应用程序直接管理物理 设备代价十分高昂 数据的安全性 完整性 I O 性能的调整 设备在线扩展由 Volume Manager 管理机制实现 另外 服务器进行在线管理 不必因备份和维护而进行脱机 VERITAS Volume Manager 提供了磁盘的使用分析 RAID 技术和系统在线情况下对磁盘进行 动态配置 这些工具提供完整的数据保护 可以说 使用了 Volume manager 可以在运行 环境下 动态对磁盘和文件系统的空间进行调整以及进行性能方面的调整 同时可以对关键 数据进行 RAID 技术的保护 将文件系统跨接到多个物理设备等 逻辑卷的快照方式可以实 现大数据量的一致性备份 高性能的系统没有 Volume Manager 的支持是无法想象的 4 4 2 高速文件系统高速文件系统 Veritas 文件系统文件系统 数据的可管理性的一个重要方面是高效的文件系统 这是应用高效率的一个基础 存 储管理系统应能够提供高效的文件系统 为应用程序的数据访问提供高性能 这方面比较典 型的如 Veritas 公司的日志文件系统 VxFS VERITAS File System 是一个强大的 可快速恢复和带有日志的文件系统 它提供了 关键性业务应用所需的高性能和易管理性 VERITAS File System 以无间断的可用性 增加 带宽和采用新的结构完整性来加强文件的管理 它提供了可伸缩的性能和容量 以此来满足 在客户 服务器环境下用户不断增长的需求 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 11 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 VERITAS File System 在不间断数据访问的条件下 可对文件系统做在线备份 另外 VERITAS File System 在系统崩溃之后几秒钟内就能让用户重新访问文件系统的数据 从而 大大减少了因系统崩溃或重启所需的恢复时间 数据的高可用性为所有用户和管理员带来了 更高的生产率 VERITAS File System 将未完成数据的变动记录在一个事件日志中 在系统崩溃时 恢复程序会用事件日志来重现这些未完成的变动 保证了文件系统的完整性 此外 该特性 还大大减少了系统恢复的时间 因为此时文件系统的恢复时间是基于事件日志的大小而不是 基于文件系统的大小 在线管理的特性包括文件系统的备份 碎片整理和改变文件系统的大小 这些特性满 足了用户的动态需求 除了文件系统的管理 VERITAS File System 能让管理员去控制单个 文件的一些属性 做更细致的控制 VxFS 的高效的特点使普通文件系统望其项背 VERITAS Foundation 产品是企业级系统和 SAN 环境所需的高性能 不间断的可用性 和易管理性的核心技术 当一起使用时 VERITAS Volume Manager 和 VERITAS File System 提供了良好的性能调节和完善的管理能力 并具有不间断的数据可用性的特点 I O 子系统性能的提高产生了更快的系统响应时间和更高的可用性 更易于管理的特征 减少了错误 优化了系统的使用 减少了系统的停机时间 VERITAS Foundation 为您带来 了实际上的不间断访问关键数据 所以客户能从他们的计算环境中得到更多的东西 4 4 3Veritas Cluster Server VCS 高可用性一直是 I T 专家面临的问题 尤其是今天企业几乎完全依赖计算机 硬件 高可用系统虽然效果最好 但昂贵的价格和复杂性令人望而生畏 而取而代之的软件产 品受到市场的追捧 VERITAS 的 VCS 定义为 多台服务器协同工作 保证客户能够随时存取应用和数据 具体的 VCS 保证应用在一台服务器上故障时 可以快速地切换到另一台服务器上 从 而 提供应用和数据的高可用性 应用切换时 需要在数据的一致性基础上完成 因此 快速的文件系统是提高切换时间 的根本保证 所以 选用 VCS 时 必须安装 VERITAS 的 Foundation 产品 VCS区别于第一代HA 产品的关键点在于 VCS是基于应用级的高可用软件 在一个 CLUSTER环境中 如果一台服务器运行多个应用 只有一个应用出现故障 那么VCS只将 该应用切换到预先定义的服务器上 另一个应用仍然在原来的服务器上继续运行 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 12 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 VCS 将其监视的应用当作一组资源来管理 这一组资源定义为资源组 RG 例如 Web Server 要保证这个应用正常运行 VCS 将监视存放数据的磁盘组 该磁盘组上的文件 系统 网卡 地址及 Web 服务进程 也就是说 Web server 应用由这几个资源组成 对每个资源的监视工作均由叫做 Agent 的程序完成 见如下示意图 既然 vcs 是基于应用的高可用软件 一台服务器上运行的多个应用可以切换到不同 的服务器上 例如 下图中 服务器 A B C 分别运行 4 个应用 当服务器 B 出现故障时 RG Web 切换到服务器 A 上 应用 RG Oracle 切换到服务器 C 上 当然条件是他们都 能存取对应的应用数据 VCS 在 SAN 环境下 可以支持多到 32 个节点的 Cluster 系统 应用可以连续 Cascade 切换到多台服务器上 概括起来概括起来 VERITAS VCS 具有如下特点具有如下特点 Resource Groups Agent Communication had ip agent nic agent disk group agent file system agent process agent RG web dg web process web fs web ip nic web node 1 gabgab had ip agent nic agent disk group agent file system agent process agent RG web dg web process web fs web ip nic web node n gabgab RG ora mnt Oracle IP ora prcs Ora lstn prcs ora mnt ora RG ora mnt Oracle IP ora prcs Ora lstn prcs ora mnt ora 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670第 13 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 1 真正的图形化管理 如图 2 提供应用级的高可用性 3 提供对应用的多级监视 在了解应用故障原因的基础上切换应用 4 支持多到 32 个服务器节点的 C