Teradata高可用性技术综述

Teradata 高可用性技术介绍高可用性技术介绍 第第 1 页页 共共 10 页页 Teradata 高可用性技术综述高可用性技术综述 Teradata 作为专业的数据仓库提供商 经过数十年的发展 在数据仓库行 业中积累了丰富的建设经验和成功案例 著名的国际评测机构 Gartner Group 在对数据仓库提供厂商进行的硬件 软件评测中 Teradata 连接九年综合排名 第一 高可用性作为 Teradata 数据仓库最显著的特点之一 在数据仓库的建设中 一直发挥着举足轻重的作用 同时 经过多年的技术积累和发展 Teradata 在 高可用性方面提供了多技术保障 并提供完整的解决方案 Teradata 根据高可用性级别的不同 提供了三个层次不同级别的可用性的 技术保障 在每种层次中又提供了不同的保障技术 1 Teradata 提供的缺省方案提供的缺省方案 缺省的高可用性方案是 Teradata 的数据仓库体系架构所决定的一种与生倶 来的特征 也是 Teradata 硬件 软件集成 后所产生的一种高附加值的效能 右图所示是 Teradata 数据仓库的一种 典型架构 在这种架构体系中 从系统级别 应用软件级别 工作负载级别都提供不同的 高可用性技术保障 Teradata 高可用性技术介绍高可用性技术介绍 第第 2 页页 共共 10 页页 1 1硬件冗余技术硬件冗余技术 在 Teradata 的架构中 所有硬件产品都是冗余配置 任何一个部件的故障 都不会影响到系统的正常运行 在硬件冗余技术上 主要有以下几个方面的体 现 BYENT 网络 BYENT 网络是 Teradata 专有的一种节点信息交换的私有网络 可以 通过多个 SMP 节点之间的两两互连实现 MPP 的网络 客户端不能直接访 问它 同时 依靠 BYNET 软硬件技术保证信息传输的可靠性 因此节点之 间的数据传输非常快 是同类网络中速度最快的一种传输方式 目前 Teradata 最新的 BYNET V3 单向链路之间的数据传输速率可达 90MB s BYNET 具有两种信息传递机制 即点对点信息传输和信息广播 广播 技术在节点互联中非常重要 通过它可以更好地实现节点间并行处理 目 前市场上主要有三种节点互连技术 BYNET 是唯一具有信息广播功能的 也是唯一通过硬件来保证信息的可靠传输的 在 Teradata 数据仓库架构中 BYNET 交换机都是双机配置 每个节 点都通过 BYNET 卡分别连接到两台 BYNET 交换机上 实现冗余功能 而 且还可以实现节点之间的负载均衡 并能侦测链路之间的连接状态 做到 隔离故障恢复故障的功能 电源保护 在 Teradata 的体系架构中 包括从节点机柜 磁盘阵列机柜 BYNET 机柜 备份机柜等每个单独的机柜都有冗余电源保护 其中包括双路 AC 电源的输入 3 5 路 UPS 断电保护 可以保证系统在意外断电的情况下 能够有序的关机 而不会造成系统数据的丢失 磁盘阵列保护 Teradata 高可用性技术介绍高可用性技术介绍 第第 3 页页 共共 10 页页 磁盘阵列的保护上 除了机柜本身自有的电源冗余保护外 在数据保 护数据层级上 还包括了双磁盘阵列控制器 保证了每台磁盘阵列到节点 都有不同的链接路径 从而实现控制和链路的双冗余 可以实现任何一条 链路的意外中断都不会影响正常的数据传输 另外 还有磁盘组成的 RAID 组 保证磁盘故障时系统业务不中断 节点保护 在节点层级上 节点机柜本身的电源保护外 节点的配置还提供了双 磁盘 组成 RAID1 镜像提供操作系统的保护 另外 在节点的管理上 提 供了双路连接到机柜的管理交换机 到磁盘阵列的连接上 提供了多口光 纤通道卡 保证与磁盘阵列的多路冗余 另外 对外的接口 可以根据用 户的实际需求 提供双口的光纤或普通网卡 1 2RAID 保护技术保护技术 RAID 为 Redundant Arrays of Independent Disks 的简称 中文为廉价 冗余磁盘阵列 作为高性能的存储系统 已经得到了越来越广泛的应用 RAID 的级别从 RAID 概念的提出到现在 已经发展了多个级别 有明确标准级别分 别是 0 1 2 3 4 5 等 但是最常用的是 0 1 5 三个级别 其它还有 6 7 10 30 50 等 RAID 的使用增加了执行效率 提供了系统运行的稳定 性 当主机将一个待写入阵列 RAID 组中的数据发送到阵列时 阵列控制器将 该数据保存在缓存中并立即报告主机该数据的写入工作已完成 该数据写入到 阵列硬盘的工作由阵列控制器完成 该数据可继续存放在 Cache 中直到 Cache 满 而且要为新数据腾出空间而必须刷新时或阵列需停机时 控制器会及时将 该数据从 Cache 写入阵列硬盘中 这种缓存回写技术使得主机不必等待 RAID 校验计算过程的完成 即可处 理下一个读写任务 这样 主机的读写效率大为增加 当主机命令将一个数据 写入硬盘 则阵列控制器将该数据写入缓存最上面的位置 只有新数据才会被 控制器按 Write Back Cache 的方式最后写入硬盘 从总体性能上说 RAID1 比 RAID5 在系统中体现出更好的性能 RAID Level 通俗叫法通俗叫法描述描述阵列容量阵列容量 数据可数据可 靠性靠性 I O 效效 率率 最小磁最小磁 盘需求盘需求 1磁盘镜像 每个工作盘都有一个镜像盘 每次写数据时必 须同时写入镜像盘 读数据时只从工作盘读出 一旦工作盘发生故障立即转入镜像盘 从镜像 盘中读出数据 1 disks非常高 很高2 Teradata 高可用性技术介绍高可用性技术介绍 第第 4 页页 共共 10 页页 5 不需旋转 奇偶检验 是按某种规则把奇偶校验信息均匀地分布在阵 列所属的硬盘上 所以在每块硬盘上 既有数 据信息也有校验信息 N 1 disks 高较高3 在相同数据容量的前提下 采用 RAID1 通常比采用 RAID5 性能会提高 20 左 右 在写操作中 RAID5 所消耗的缓存资源是 RAID1 的 3 倍左右 因此在大 量数据写操作中 控制器的内存将会成为系统的资源瓶颈 在银行业的数据仓库中 写操作非常多 大量的写操作使得 RAID1 成为数 据文件阵列的最好选择 RAID1 所能带来的性能优化在写操作中可以非常好的 体现出来 而 RAID5 的写操作比较慢 造成 I O 瓶颈 因此目前几乎所有银行 客户在生产环境都采用了 RAID1 在电信业的数据仓库中 对于 I O 的要求会 相对小一些 安全性要求也比银行低一些 因此会有部分的电信用户采用 RAID5 任何一块硬盘的损坏 对于 RAID1 来说 都不会影响系统的正常运行 此 时系统转向其镜像硬盘继续读取数据 RIAD1 甚至可以在有一半硬盘出现问题 的不间断的工作 出现故障的硬盘在不同的 RAID 组 当然这种情况属于小概 率事件 RAID5 只能容忍同一个 RAID 组中的一块硬盘故障 如果第二块硬盘 同时出现故障 那么整个 RAID 组的数据都将丢失 总体来说 RAID1 比 RAID5 具有更高的数据安全性和可靠性 因此 对 像容错性要求极高的场合 如财政 金融等行业都采用 RAID1 1 3Clique 技术技术 Clique 是 Teradata 数据仓库架构的基本概念 是由一组节点与磁盘阵列通 过光纤线连接在一起形成了一个 Clique 组 在一个 Clique 组里 所有的节点 共享一组磁盘阵列 Teradata 标准的 Clique 组可以包括 2 4 个节点 磁盘阵 列的数据可以根据节点管理的磁盘的多少决定 如下图示 就是由两个 Clique 组成的一个 Teradata 数据仓库系统 Teradata 高可用性技术介绍高可用性技术介绍 第第 5 页页 共共 10 页页 Clique 的正常运行是需要 Teradata 的硬件和软件保障 在一个 Clique 中 每个节点管理一定数量的 AMP 每个 AMP 对应磁盘阵列上一组磁盘 形成一 个 VDISK 组 不同的 Clique 可以由 Teradata 不同代的产品组成 不同代的 节点 根据节点处理性能的不同 磁盘阵列 I O 的不同 管理不同的 AMP 数 共同组成一套性能均衡 多代共存的完整的数据仓库系统 在每个 Clique 中 当其中的某台节点产生故障时 同一个 Clique 中的其 它节点会接管故障节点上的所有的 AMP 并能通过其它节点访问到故障节点管 理的磁盘 保证数据仓库业务的不间断 如上图所示 如果 Clique1 中 一个 节点由于某种原因宕机 因此它所管理的 AMP 将迁移到其它三个节点上 整 个 Clique 的性能也会由于一个节点的宕机会有 25 的损失 但并不会影响业 务的正常业务的运行 2 Teradata 提供的可选方案提供的可选方案 2 1热备节点技术热备节点技术 Teradata 为了保证节点故障时 既不影响正常业务 也不会产生性能的 损失 因此 Teradata 提供了一种热备 节点 HSN 的机制 如图所示 这 样 当一个 Clique 中的某一节点故障 时 热备节点将会接管故障节点管理的 所有 AMP 这样可以保证系统不间断 的运行 极大的增强了系统高可用性程 度 由于 Teradata 提供标准的 Clique 是由 2 4 节点组成 因此 Clique 的组 成可以是 1 1 2 1 3 1 的形式 即每个标准 Clique 中包括一个热备节点 其它节点都正常的生产节点 如果一个 Clique 的节点不足 4 个 再扩容时 可 以直接增加正常的生产节点 直到达到标准 4 节点 然后再根据需要增加另外 的 Clique 随着 Teradata 新节点 5550H 的推出 节点的处理能力得到了大幅的提高 每节点管理的 AMP 数即磁盘数不断的增加 因此热备节点已逐渐成为一种提 供高可用性 提供连续应用的重要保障 在一个没有热备节点的 Clique 中 如果其中的一台节点故障宕机时 其上 的工作负载将转移到同一个 Clique 中的其它节点将接管宕机节点的所有任务 Teradata 高可用性技术介绍高可用性技术介绍 第第 6 页页 共共 10 页页 系统对外提供的服务不会中断 但系统的性能会随之下降 如下图所示 在具 备热节点的 Clique 中 如果一台节点宕机后 热备节点接管宕机节点的工作负 载 系统的服务不会中断 同时系统的性能也不会有下降 如下图所示 宕机 节点恢复后 可将恢复成活动节点或将其作为热备节点 2 2备份与恢复技术备份与恢复技术 备份是将数据仓库的数据转移到磁带库上 以备归档或恢复使用的一种技 术 数据备份 恢复作为数据仓库系统整体解决方案的重要组成部分不可或缺 数据备份 恢复子系统的可操作性 操作的简易型和方便性 备份和恢复效率等 也影响到整个系统 系统备份系统备份 数据的备份可以根据数据的重要程度 选择不同的备份策略 一种情况下 Teradata 会有以下几路备份策略 增量备份 增量备份是指对所选定的对象 在前一次备份的基础上 只对变化的部分进行备份 恢复时则需要一个全备份和此后的每次 的增量备份才能对所选定的对象进行恢复 这是一种在 OLTP 系统 中经常采用的备份方式 数据仓库不作增量备份 但是可以针对某 些特定的需求制定相应的增量备份策略 譬如将来可以考虑将历史 数据按年备份到磁带上 全备份 指对所选定对象进行完整备份 恢复时 我们仅依靠这一 个备份就能对所选定的对象进行恢复 通常 我们说的全备份意味 Teradata 高可用性技术介绍高可用性技术介绍 第第 7 页页 共共 10 页页 着不是对整个系统 而是对系统中特定的一部分对象进行备份 对于 Teradata 中心数据仓库核心数据 我们建议每周全备份 而不是每天 当出现意外时 使用上周的数据备份恢复 再重复本周每天的数据加载操作 最坏的情况是一次数据恢复和本周的加载更新操作 若采取每天全备份 系统资源开销较大 在后续阶段 数据量会越来越大 每天备份的时间随之增加 采用哪种方式和周期 这需要进行权衡 要充分考虑到每天备份数据的系 统开销和出现意外时的数据恢复时间 在后续阶段 数据量会越来越大 我们 建议的方法会体现出更多的好处 对于操作系统 应用程序及配置的备份 我们建议在有变动时每月分别做 一次全备份 在没有变动时无须备份 这样当操作系统或程序被损坏时 我们 能够将操作系统或程序恢复到最新状态 系统恢复系统恢复 恢复处理分分以下几种类型 系统故障恢复 系统故障恢复 系统故障分成以下三种类型 系统软件 CPU 节点故障和磁盘故障 下面将分别加以说明 系统软件 只有当系统软件故障导致数据破坏或崩溃时才需要 进行数据恢复 TERADATA 工程师通常会先尝试在线修复受损 的数据 如果不行 则需要进行数据恢复处理 即从备份中进 行数据恢复 CPU 节点故障 当出现 CPU 节点故障时 Teradata 会自动把 出现故障的节点上的进程移植到其它节点上 并自动进行负载 均衡 无需人工干预进行数据恢复 磁盘故障 磁盘故障的保护是通过存储系统的 RAID 1 提供的 冗余的磁盘控制器进一步加强了存储系统的可靠性 硬件升级恢复硬件升级恢复 大多数情况下 硬件升级时不需要进行数据的卸载与重新加载 Teradata 的重配置 Reconfig 功能可以保证数据在进行升级后自动进行重 新分配 应用程序出错恢复应用程序出错恢复 Teradata 高可用性技术介绍高可用性技术介绍 第第 8 页页 共共 10 页页 应用程序出错是指程序本身由于编程逻辑上的错误 意外地损坏数据 库的情况 灾难恢复灾难恢复 我们建议对流带进行双重备份 其中一个备份必须保存在其它地点 虽然不需要对所有备份进行双重处理 但建议至少每月进行一次磁带双备 份 并将其中一个备份送至其它地点 万一发生灾难 必须更换硬件系统 然后从外面的磁带备份中进行系 统的恢复 2 3FallBack 技术技术 为了加强系统的安全性和高可用性 Teradata 还提供了一个 FallBack 的选 项 它也是人工定义的 FallBack 的原理很简单 就是在磁盘的另一个位置再保存一份相同的记录 这样 当原始数据所在存储单元发生故障时 可以使用其备份 并且不会中断 原来的交易处理过程 当然 这是以额份的存储空间作为代价的 定义一个表时 可以定义该表使用 FALLBACK 选项或者 NO FALLBACK 选项 当使用 FALLBACK 选项后 该表中的每一条记录除了有一个主存储位 置外 还会在另一个地方有一个相应的备份 显然 为了保证安全 备份记录 必须与主记录不在同一个 AMP 上 FallBack 可以保护非预期性的灾难性的故障 如同一个 RAID 组中的多块 硬盘损坏 磁盘阵列机柜级别的损坏 由于数据仓库的管理员或人为的因素造 成的意外的损坏等 当使用 FALLBACK 来保护数据时 系统可用性大大提高了 代价是增加 了一倍的存储空间 Teradata 高可用性技术介绍高可用性技术介绍 第第 9 页页 共共 10 页页 3 Teradata 提供的最佳方案提供的最佳方案 双活动的双活动的 Teradata 系统系统 Teradata 提供有双活动系统 Dual Active System 是为了满足用户提出 的业务连续性和高可用性而提供的一种完整的系统解决方案 它包括了 Teradata 的产品 包括硬件 软件 和专业的服务 如下图所示 是一个双活 动系统的典型架构图 在这个双活动 Teradata 架构中 可以满足四个方面的业务需求 可复原性 从故障中恢复的能力 高