中航信Teradata数据仓库容量规划与扩容建议书

中国民航信息网络股份有限公司中国民航信息网络股份有限公司 数据仓库系统数据仓库系统 容量规划与扩容建议书容量规划与扩容建议书 Teradata 中国 有限公司 中国 有限公司 2008 年年 11 月月 本文档及其所含信息为机密材料 并且由中国民航信息网络股份有限公司和 Teradata 中国 有限公司共同拥有 本文档中的任何部分未经中国民航信息网络股份有限公司和 Teradata 中国 有限公 司书面授权 不得将材料泄露给第三方 也不得以任何手段 任何形式进行复制与传播 Copyright 2008 Teradata版权 保留所有的权利 文档信息文档信息 客户姓名客户姓名 中国民航信息网络股份有限公司 项目项目 数据服务系统 文档 文档 数据服务系统容量规划与扩容建议书 版本 版本 发布日期发布日期 2008 年 11 月 编者编者 姓名公司项目职称日期 批准批准 姓名公司项目职称日期 本文件属保密资料i 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 目目 录录 1中航信数据服务系统目前状况中航信数据服务系统目前状况 1 1 1数据服务产品 用户及使用 1 1 2系统存在的问题 1 1 2 1系统容量问题 1 1 2 2系统性能问题 1 2TERADATA 数据服务系统解决方案建议数据服务系统解决方案建议 1 2 1目前系统现况 1 2 2生产系统扩容方案 1 2 2 15500C 扩容方案 1 2 2 25550H 扩容方案 1 2 3生产系统扩容方案总结 1 2 4测试系统建议方案 1 2 4 1生产系统采用 5500C 时 1 2 4 2生产系统采用 5550H 时 1 2 5ETL 服务器及备份服务器 1 3对中航信关心问题的回答对中航信关心问题的回答 1 3 1就中航信目前系统 所能增加的系统节点的型号是什么 主要配置情 况 所能增加的磁盘阵列的型号是什么 主要配置情况 1 3 2系统扩容后 每个节点能够挂多大的存储 裸容量 1 3 3磁盘阵列中为什么不推荐选用单盘容量更大的磁盘 如 146G 块 而选用单盘容量较小的磁盘 73G 块 1 3 4从客户方角度考虑 RAID1 和 RAID5 两种方式有什么本质区别 请 从性能表现 投资等诸多方面综合比较 基于 TRAVELSKY这个量级的数据规 模 业界是否有已实施的案例 他们选择的是哪种数据保护方式 1 3 5为什么需要新增磁带库 而不对旧磁带库进行扩容 旧磁带库能否通 过备份服务器与扩容后的新节点相连 1 本文件属保密资料ii 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 3 6生产系统未来扩展性如何 1 3 7系统扩容过程中 哪部分工作耗时最长 哪部分工作风险最大 1 3 7 1对于方案 1 1 3 7 2对于方案 2 1 4扩容后系统及应用建设规划扩容后系统及应用建设规划 1 4 1规划系统数据架构 优化系统性能 1 4 2丰富 BI 工具 优化应用服务模式 1 4 2 1IT 架构中固定报表服务架构的实现 1 4 2 2IT 架构中灵活报表服务架构的实现 1 4 2 3IT 架构中 OLAP 服务架构的实现 1 4 2 4IT 架构中通过分析团队提供特殊化服务的实现 1 4 3加强与用户的合作 丰富服务的内容 1 4 4基于 SLA 的 IT 服务管理 1 本文件属保密资料3 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 1中航信数据服务系统目前状况中航信数据服务系统目前状况 中航信数据服务系统于 2001 年 2 月开始建设 并于 2005 年进行二次扩容 目前中央数据库系统采用双节点的 TERADATA 4850 及四节点 TERADATA 5380 海量并行处理主机系统和 Teradata 数据库系统 总的磁盘容量为 11056GB 其中包括 80 块 36GB 和 112 块 73GB 硬盘 按照现有生产系统 Teradata 版本的空间计算方法 考虑到 RAID1 保护 操作系统附加信息存储 因素 数据库最大存储数据空间为 80 36 112 73 2 1 093 5058GB 考虑 Spool 工作空间因素 数据库执行 SQL 命令时要占用数据库空间做运算 数 据库最大可以容纳业务数据 5058 1 45 3 5TB 左右 中航信数据服务系统自 2001 年 2 月开始建设以来 已经过 7 年多时间 并已经进行了两个项目周期的建设 2001 年 2 月 2001 年 7 月 2003 年 1 月 2004 年 1 月 1 1数据服务产品 用户及使用数据服务产品 用户及使用 中航信目前已在数据服务系统上开发和上线了以下数据服务产品 航线舱位分析 航线订座成长和趋势分析 机型分析 航线运营分析 代码共享航线分析 代理人销售实际贡献分析 代理人销售订座分析 代理人销售分析 代理人销售款分析 国际 O 订座 PNR 数据 订座航班时刻与收益数据 票务数据 离港数据 常旅客数据 航意险数据 OAG 数据 MCT 数据 运价数据 酒店数据 设备信息数据 其他相关静态信息数据 按照中航信最新统计数据估算 系统 2008 年的基础数据量达到 4 7TB 如下表 A 每年基础数据 存储 周期 应用数据总 量 截至 2008 年底 应用数据总 量 截至 2009 年底 应用数据总 量 截至 2010 年底 2007 年2008 年2009 年2010 年 数据内 容 GB 年 GB 年 GB 年 GB 年 月 GB GB GB PNR11001500 2047 2792 131592 2172 2963 DCS140183 24031436407 563 737 TKT430572 762101413608 810 1078 INV8001056 13941840131123 1482 1956 小计小计 2470247033123312 4443444359605960 37303730 50275027 67346734 B 汇总数据 存储 周期 应用数据总 量 截至 2008 年底 应用数据总 量 截至 2009 年底 应用数据总 量 截至 2010 年底 2007 年2008 年2009 年2010 年数据内 容 GB 年 GB 年 GB 年 GB 年 月 GB GB GB sum d 540727 9781316361747 2354 3021 sum m 90 124 171 237 60 416 532 702 本文件属保密资料6 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 bidt300438 64093537955 1395 2038 midt7098235 329 小计小计 10001000 13871387 19261926 26802680 32863286 45164516 60906090 另外 各航空公司等用户需要的数据 随着系统数据量增加 加工的时间 越来越长 为保证数据提供的速度 系统中 PNR 只保存不到 2 个月的数据 这反过来又影响了统计分析类数据服务 影响了系统价值的发挥 通常一些非常有价值的分析往往需要较长时间的历史数据 例如 订票趋 势分析可使航空公司通过对比过去几年与今年的 KPI 数据 旅客量 收入 费 用及利润等 获得对航班 航线或市场的了解 该应用可使航空公司从一个航 班开始预定到该航班启航为止的期间内进行全程跟踪 可以使航空公司认识到 自己在市场中的强势和弱势并尽早地做出相应的改善 该应用可以让航空公司在任何时间点 根据航班当前与历史状况的比较而 对航班的需求作预测 利用这些结果 航空公司能够以现在所拥有的订票与任 何其他时间点所拥有的订票相比较 通过对需求的动态跟踪 航空公司就能对 其航班及时采取适当措施而获得最大收益 这使得高级的销售战略与战术更快 改变着产品 进度与分销渠道 如果基础数据不充分 则该应用的效益就无法体现 1 2 2 系统性能问题系统性能问题 目前每天系统资源 大部分都用于对外提供数据的数据服务 每天加载的数据量 已从最初的 2GB 2003 年 10 月数据服务系统二 本文件属保密资料7 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 期工程数据加载开始 增加到目前的 11GB 其中 PNR 数据 4GB 其 它数据 7GB 数据加载 数据汇总到生成各个航空公司所需的数据提供出去 常常 从晚上 20 30 开始 至第二天下午才能结束 用户意见很大 已经引 起用户对中航信服务质量的担心 除数据加工外 每天白天上班时间 通过 Portal 向用户提供报表 象 BSP 直通车 之类的应用还允许用户通过 Portal 之间访问 Teradata 数 据库 提取数据 目前系统全天基本没有空闲时间 中航信系统运行部对这些问题有较为详细的报告 请参阅系统运行部的报 告 本文件属保密资料8 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 2Teradata 数据服务系统解决方案建议数据服务系统解决方案建议 鉴于中航信数据服务系统目前存在着较为严重的系统容量问题和系统性能 问题 可能危及到中航信的安全生产 Teradata 在此提出以下解决方案 以帮 助中航信尽快解决这两个问题 以免因系统容量和性能问题给中航信造成不必 要的损失 2 1目前系统现况目前系统现况 中航信目前的数据服务系统示意图及其系统配置如下 2 节点 TERADATA 5255 由原来的 2 节点 4850 升级而来 及 4 节点 TERADATA 5380 海量并行处理主机系统 具体的配置如下表所示 节点节点2 节点节点 52554 节点节点 5380 每节点配置 4 个 700MHz CPU 4GB 内存 4 18GB 内置硬盘 2 个 3 06GHz CPU 4GB 内存 2 36GB 内置硬盘 磁盘阵列 2 6288 1440 共 80 36GHD 2 6841 共 112 73GHD 备份系统6463 80Slots 6 LTO2 SCSI 数据库软件Teradata V2R5 1 TTU7 1 系统 TPerf 值41 7 估算 系统总容量11 056GB 磁盘容量 本文件属保密资料9 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 2 2生产系统扩容方案生产系统扩容方案 根据中航信的系统扩容要求 数据需要支持到 2010 年的空间使用要求 根 据中航信的数据使用情况分析 到 2010 年业务数据量 包括了临时空间因子 估算为 18 31TB 扩容方案的制定思路是 根据应用数据年数据量 及预估的存储时限 计 算出 2010 年底的存储空间规模 由此配比相应的资源投入 硬件 软件 Teradata 容量计算因子 RAID1RAID5 RAID21 33 操作系统因子操作系统因子1 0931 093 Spool 空间因子空间因子1 301 30 压缩因子压缩因子0 850 85 综合因子综合因子2 421 61 在数据仓库系统中 RAID1 与 RIAD5 的读写操作对系统性能的影响非常大 特别是在写操作上 RAID1 的性能会比 RAID5 的性能提高大约 33 左右 结 合航信本身的数据仓库特点 系统中存在大量的写操作 如数据加载 大量数 据访问如排序操作 SPOOL 空间 可变和全局临时表都是写操作 同时 在 读操作上 RAID1 也具备明显的优势 如果一个磁盘正在被访问 另一个镜像 磁盘同样可以被读取 根据 Teradata 多年来 数据仓库建设的经验及客户现场的实际体验来看 采用 RAID1 从改善节点的 I O 性能 提高系统的吞吐量 混合负载查询的效率 以及节点服务器的 CPU 的利用率等方面都有明显的优势 因此 Teradata 建议 采用 RAID1 的数据镜像保护模式 以下方案是以 RAID1 为扩容依据 按照 Teradata 计算最小磁盘空间的计算公式及中航信要求的数据空间因素 计算所需的磁盘容量 目标扩容用户数据 目标扩容用户数据 18 31TB 采用采用RAID1时的综合因子 时的综合因子 2 42 本文件属保密资料10 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 扩容后达到的目标磁盘容量 扩容后达到的目标磁盘容量 44 31TB 18 31TB 2 42 2 2 1 5500C 扩容方案扩容方案 5500C 是 Teradata 提供的与多代共存的 MP RAS 节点服务器 为了能 与现有系统中 4 节点 5380 共存 需要对现有的 5380 所管理的磁盘容量进行调 整 保证 5380 与 5500C 在节点性能的发挥上达到一致 因此采用此方案时 需要对现有 4 节点 5380 所管理的磁盘进行调整 由原来每节点管理所管理的 28 73GB 硬盘提高到 48 73GB 的硬盘 本方案将 2 节点 TERADATA 5255 原 4850 从生产系统中拆出来做单独的开发或测试系统 4 节点 TERADATA 5380 与新节点 Teradata 5500C 共存用于生产系统 以保证新旧 节点都能充分的发挥其性能优势 同时考虑到 5380 与 5500C 节点在同一个生 产系统中的性能均衡 需要对原每节点 5380 管理的硬盘数由原来的 28 73GHD 提高到 48 73GHD 4 节点 5380 共管理 13 69TB 48 4 73GHD 因此新增 5500C 需增加磁 盘空间为 最小磁盘空间新增最小磁盘空间新增 44 31TB 13 69TB 30 62TB 按照 Teradata 数据仓库系统设计原则 为保证扩容后的数据仓库系统在处 理能力和存储容量两个方面都能达到中航信的要求 Teradata 建议增加 6 节点 5500C 系统扩容方案 每节点管理 6 27TB 88 73GHD 扩容方案总结如下 为 2 节点 5380 增加一台 6843 磁盘阵列 共 96 73GHD 增加 6 节点 Teradata 5500C 海量并行处理主机系统 每个节点配置如 下 1 个双核 Inter 2 66GHz CPU 4GB 内存 2 个 73GB 内置硬盘 数据库引擎及应用软件 Teradata V2R6 2 TTU8 2 6 节点划分为 2 个 Clique 其中一个 Clique 为 4 节点 另一个 Clique 本文件属保密资料11 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 是 2 节点 其中 1 节点为热备节点 不单独管理磁盘阵列 4 台 Teradata 6843 2000 磁盘阵列 共配置 440 73GB 硬盘 总共 31 37TB 节点与磁盘阵列之间通过高速光纤通道连接 连接速度为 4GB 秒 备份系统采用 Teradata SL500 磁带库 配置 10 LTO4 驱动器 其中 4 LTO4 为原 4 节点 5380 6 LTO4 为 5500C 使用 4 节点 5380 各增加一块光纤卡 与 SL500 连接 升级原 4 节点 5380 软件到 V2R6 2 TTU8 2 扩容以后的系统连接示意图扩容以后的系统连接示意图 扩容前后的系统对比扩容前后的系统对比 节点节点2N5255 4N53804N5380 6N5500C CPU Cores16 1614 20 内存24GB40GB 磁盘容量 TB 10 8045 95 可用数据容量 TB 3 5018 99 Tperf 值41 7112 1 系统预留空间 TB 696GB 用户数据 扩容后系统性能是原来的 2 68 倍 系统容量是扩容前系统容量的 5 43 倍 因此 即可以满足数据仓库系统存储容量的需求 又提高了系统处理能力 本文件属保密资料12 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 2 2 2 5550H 扩容方案扩容方案 5550H 是 Teradata 公司 07 年底最新推出一款基于 64 位 Linux 系统的高 性能节点处理平台 能最好的发挥节点的性能 提升数据仓库系统的效率 在 这个方案中 现有系统中现有节点的利用可有两种选择 a 作为开发 测试系 统继续使用 b 5380 节点作为历史库 HDS 使用 5255 节点作为开发 测 试系统使用 选择 a 按照 Teradata 数据仓库系统设计原则 为保证扩容后的数据仓库系统在处 理能力和存储容量两个方面都能达到中航信的要求 Teradata 建议增加 3 1 节 点 5550H 系统扩容方案 每节点管理 15 40TB 108 146GHD 扩容方案总 结如下 增加 3 1 节点 Teradata5550H 节点 组成一个 Clique 其中一个节点 作为热备节点 热备节点不带磁盘阵列 每个节点配置如下 2 个四核 Inter 2 33GHz CPU 32GB 内存 2 个 146GB 内置硬盘 数据库引擎及应用软件 Teradata V2R6 2 TTU8 2 6 台 Teradata 6843 4000 磁盘阵列 共配置 324 146GB 硬盘 总共 46 20TB 节点与磁盘阵列之间通过高速光纤通道连接 连接速度为 4GB 秒 备份系统增加 Teradata SL500 磁带库 配置 4 LTO4 驱动器 3 台备 份服务器与 1 台备份交换机 扩容以后的系统连接示意图扩容以后的系统连接示意图 本文件属保密资料13 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 扩容前后的系统对比扩容前后的系统对比 节点节点2N5255 4N5380 3 1 N5550H CPU Cores16 168 24 内存 24GB128GB 磁盘容量 TB 10 8046 20 可用数据容量 TB 3 5019 10 Tperf 值41 7135 4 系统预留空间 TB 808GB 用户数据 扩容后系统性能是原来的 3 24 倍 系统容量是扩容前系统容量的 5 45 倍 因此 即可以满足数据仓库系统存储容量的需求 又提高了系统处理能力 选择 b 5550H 扩容同选择 a 另外 5380 节点数据库引擎及应用软件升级到 Teradata V2R6 2 TTU8 2 4 节点 5380 各增加一块光纤卡 与 SL500 连接 5380 节点单独构建一个数据仓库 用于存放历史数据 这 4 个节点目前所带磁 盘空间为 28x4x73 1024 7 98TB 可以容纳数据量为 7 98 2 42 3 30TB 基本 可以满足 2010 年底 HDS 对存储的要求 3 31TB 5550H 构建的数据仓库只 用于存放 ADS 和 EDW 的数据 预计可以满足 2011 年 6 月底的存储要求 此 方案最大限度地发挥了 4 台 5380 的利用价值 达到了节省成本的效果 使用 5380 构建 HDS 的问题是 由于 HDS 和 EDW 不在同一个数据库中 增加了数据转储需要的时间 加大了时间跨度大的查询的难度 同时由于存储 有限 且节点为 32 位 无法使用 Linux 操作系统 系统的可扩展性较差 另外 同时维护两套数据仓库系统 会造成维护费用的增加 2 3生产系统扩容方案总结生产系统扩容方案总结 以下对上述扩容方案及目前系统状况进行列表比较 现状现状方案一方案一方案二方案二 节点节点2N5255 4N53804N5380 6N5500C 3 1 N5550H CPU Cores16 1614 208 24 内存24GB40GB128GB 操作系统32 位 MP RAS32 位 MP RAS64 位 Linux 磁盘容量 TB 10 845 9546 2 可用数据容量 TB 3 5018 9919 1 本文件属保密资料14 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 容量提升容量提升 5 43 5 45 Tperf 值41 7112 1135 4 性能提升性能提升 2 68 3 24 综合对比 2 个方案 结论如下 方案一方案一 5500C 5500C 扩容扩容 方案二 方案二 5550H5550H 扩容 扩容 系统架构生产系统共 10 个节点 多代 节点产品共存 存在节点瓶 颈 生产系统共 4 个节点 全部是同 代节点产品 无节点瓶颈 系统处理能力 112 1135 4 生产系统可用数据 量 18 99T19 1T 软件平台传统的 MP RAS 操作系统 未 来将会被 linux 替代 64 位 Linux 更加符合 IT 发展 趋势 机房容积情况需要增加 1 个主机机柜 5 个 磁盘机柜 1 个带库机柜 需要增加 1 个主机机柜 3 个磁 盘机柜 1 个备份服务器机柜和 1 个带库机柜 各机柜满配功率主机机柜 6 2KW 磁盘机柜 4 2KW 带库机柜 2KW 主机机柜 7KW 磁盘机柜 4 2KW 带库机柜 2KW 设备增加部分的能 源消耗 满配总功率 29 2KW 年耗电量估计 255 792 千瓦 时 满配总功率 23 6KW 年耗电量估计 206 736 千瓦时 淘汰设备的再利用仅淘汰出 2 个 5255 节点 用 于测试系统 除淘汰出 2 个 5255 节点用于测 试系统外 另外淘汰出的 4 个 5380 可用于 HDS 生产系统 或用 于测试系统 项目实施包含旧节点并入环节 实施 难度相对较大 不包含旧节点并入环节 实施难 度相对较小 兼容性5380 是 32 位的操作系统 无 法与未来的 linux 新节点兼 容 可与未来节点兼容 本文件属保密资料15 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 从以上的比较可以看出 相对于 5500C 的扩容方案 采用 5550H 扩容方 案 即方案二 具备以下几个优点 没有节点的多代共存情况 可以充分的发挥节点及磁盘阵列的性能 使数据仓库的性能得到充分的释放 配比出的系统可用存储容量稍大 处理能力稍强 采用了最新的 5550H 节点 可以充分利用 64 位 Linux 平台的优势 同时具备更好的技术支持和服务 节点数及磁盘阵列机柜更少 可以减少能源的消耗 利于环保的要求 系统高可用性和高可靠性更高 系统转移工作过程相对简单 风险更小 与未来设备的兼容性更好 更利于未来系统的扩容 2 4测试系统建议方案测试系统建议方案 目前 中航信没有单独的测试系统 部分测试工作由现有的生产系统承担 或由现有做开发系统的单节点 4455 承担 因此在资源的使用上比较紧张 经 常出现资源不足的情况 因此 在扩容时 建议一并考虑开发测试环境 具体建议考虑以下因素 利用现有的设备 充分保护用户投资 综合衡量测试系统对性能及容量的要求 关于测试系统的容量 考虑到最大的数据量部分还是航空业务基础数据和 汇总数据 而 ADS 等数据可以忽略 下边重点考虑基础数据部分的容量需求 按照 1 2 1 节中航信的数据统计 到 2010 年底 EDW 的基础数据和汇总 数据 不考虑 BIDT MIDT 的数据量为 6734 3021 702 10456GB 按照 Teradata 在其他行业的经验 在其存储 13 月数据供进行历史同期比 分析时 测试环境通常需要至少 1 个季度 1 个月的数据 即大约生产系统的 1 3 数据 这样就要求中航信的测试开发环境至少有 10456GB 3 3385GB 本文件属保密资料16 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 2 4 1 生产系统采用生产系统采用 5500C 时时 生产系统采用 5500C 方案时 现有系统中将会有 2 节点 5255 及磁盘阵列 从生产系统中淘汰下来 按照上述的考虑因素 可以利旧这 2 台 5255 节点作 为测试系统 但对 2 个 5255 节点需要说明的是 需要对这 2 个 5255 节点进行软件升级 2 节点 5255 软件升级到 Teradata V2R6 2 TTU8 2 与生产保持一致 该两个节点带的磁盘空间为 80 x36 1024 2 81TB 可以容纳数据量为 1 16TB 相对于 3 3TB 的需求而言不够充足 可以选取部分生产数据 作为测试数据 但可能会影响到测试结果 Teradata 全球宣布的 5255 6288 的维护支持期限截至到 2008 年 12 月 从此以后 Teradata 工厂将不再提供备件的维修和生产 只能用现有 的库存备件或者各地维护部门自己保留的备件继续提供服务 因此 5255 6288 的维护质量将受到一定的影响 2 4 2 生产系统采用生产系统采用 5550H 时时 生产系统采用 5550H 的扩容方案时 会有 4 节点 5380 及 2 节点 5255 设 备从现有系统中淘汰下来 如果 4 节点 5380 没有被选作 HDS 生产系统 那么 可将这 4 个节点一并用于测试系统 即 2 节点 5255 和 4 节点 5380 共同构成 测试系统 其最大存储数据量为 4 56T 以淘汰下来的 2 节点 5255 和 4 节点 5380 及其外围设备作为开发环境需要 说明如下 6 节点软件升级到 Teradata V2R6 2 与生产系统保护一致 这 6 个节点目前所带磁盘空间为 112x73 80 36 1024 11 06TB 可以容纳的最大数据量为 11 06 2 42 4 56TB Teradata 全球宣布的 5255 6288 的维护支持期限截至到 2008 年 12 月 本文件属保密资料17 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 从此以后 Teradata 工厂将不再提供备件的维修和生产 只能用现有 的库存备件或者各地维护部门自己保留的备件继续提供服务 因此 5255 6288 的维护质量将受到一定的影响 2 5ETL 服务器及备份服务器服务器及备份服务器 本次扩容 需增加 2 台 ETL 服务器和 1 台备份服务器 型号为 DELL 2950 或同档次的其它型号 配置要求如下 CPU 2 Inter Xeon 3 0GHz 内存 4G 硬盘 2 146G SuSE Linux 操作系统 另外 需增加一台 DELL AX100 的磁盘阵列 容量要求 2TB 连接 2 台 ETL 服务器 本文件属保密资料18 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 3对中航信关心问题的回答对中航信关心问题的回答 3 1就中航信目前系统 所能增加的系统节点的型号是什么 主要配置情况 就中航信目前系统 所能增加的系统节点的型号是什么 主要配置情况 所能增加的磁盘阵列的型号是什么 主要配置情况 所能增加的磁盘阵列的型号是什么 主要配置情况 回复 回复 新 Teradata 提供两种扩容方案 分别提供 5500C 和 5550H 节点 及对应的磁盘阵列 5500C 方案 配置节点 5500C 每节点配置 88 73GHD 磁盘阵列型号 是 6843 2000 共配置 440 73GB 的硬盘 5550H 方案 配置节点 5550H 每节点配置 108 146GB 磁盘阵列是 6843 4000 共配置 324 146GB 3 2系统扩容后 每个节点能够挂多大的存储 裸容量 系统扩容后 每个节点能够挂多大的存储 裸容量 回复 回复 理论上 根据节点的处理性能的不同 可以管理的容量 磁盘数量 是不一样的 对本次扩容的新节点 5500C 来说 理论上可以管理 48 块到 96 块硬盘 具体的数量要根据系统中共存节点性能 各代 节点管理的硬盘数量决定 此次扩容 5500C 每节点管理 88 块 73G 的硬盘 共计 6 27TB 容量 对于 5550 节点 由于采用了 64 位 Linux 系统及大容量的内存 性能得到很大的提升 每节点最多可 以管理 108 146GB 的硬盘 共计 15 50TB 3 3磁盘阵列中为什么不推荐选用单盘容量更大的磁盘 如 磁盘阵列中为什么不推荐选用单盘容量更大的磁盘 如 146G 块 块 而 而 选用单盘容量较小的磁盘 选用单盘容量较小的磁盘 73G 块 块 回复 回复 Teradata 的硬盘配置原则有以下几个方面的考虑 在 Teradata 数据仓库建设方案中 一般建议在同一个系统中采 用相同规格的硬盘容量 这样可以充分合理的利用硬盘容量 不会造成不必要的空间浪费 根据 Teradata 的数据分配机制 即使采用了不同的硬盘规格 也必须保证每个 AMP 的容量必须一致 例如 5380 每个 AMP 8 73GHD 5500C 每个 AMP 4 146GHD 因此 在同一系统中 如果容量一定时 更换成 146G 的硬盘 本文件属保密资料19 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 虽然硬盘数量少了一半 但节点数量不会减少 而此时 新节 点的 CPU 与 I O 也不会平衡 因此新节点的性能会受到极大的 限制 要新的节点 5550H 中 由于采用全新的系统方案 不存在节点 共存及硬盘混用问题 而且 5550H 节点性能得到了极大的提高 因此可以在 5550H 扩容方案中使用大容量的 146GB 硬盘 3 4从客户方角度考虑 从客户方角度考虑 RAID1 和和 RAID5 两种方式有什么本质区别 请从性两种方式有什么本质区别 请从性 能表现 投资等诸多方面综合比较 基于能表现 投资等诸多方面综合比较 基于 Travelsky 这个量级的数据规模 这个量级的数据规模 业界是否有已实施的案例 他们选择的是哪种数据保护方式 业界是否有已实施的案例 他们选择的是哪种数据保护方式 回复 回复 从客户角度考虑 RAID1 和 RAID5 有以下几个方面的区别 在相同数据容量的前提下 采用 RAID1 通常比采用 RAID5 性 能 会提高 20 左右 在写操作中 RAID5 所消耗的缓存资料是 RAID1 的 3 倍左右 因此在大量数据写操作中 控制器的内存将会成为系统的资源 瓶颈 在银行业的数据仓库中 写操作非常多 大量的写操作使得 RAID1 成为数据文件阵列的最好选择 RAID1 所能带来的性 能优化在写操作中可以非常好的体现出来 而 RAID5 的写操 作比较慢 造成 I O 瓶颈 因此目前几乎所有银行客户在生产 环境都采用了 RAID1 在电信业的数据仓库中 读操作比较多 写操作也多 但对于 I O 的要求会相对小一些 安全性要求也比银行低一些 因此 会有部分的电信用户采用 RAID5 从数据保护的角度看 采用 RAID1 比采用 RAID5 的系统更安 全 更可靠 在 Teradata 的数据分配机制中 已充分的考虑了数据的均衡 分布 也考虑了数据的访问性能 因此在 Teradata 系统中 采用 RAID1 能更好的保障磁盘级的数据保护和数据库级的访 问 本文件属保密资料20 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 因此在 Teradata 的数据库中 强烈建议采用 RAID1 在中国的所 有客户中 除电信行业外 所有的客户均采用 RAID1 3 5为什么需要新增磁带库 而不对旧磁带库进行扩容 为什么需要新增磁带库 而不对旧磁带库进行扩容 旧磁带库能否通过旧磁带库能否通过 备份服务器与扩容后的新节点相连 备份服务器与扩容后的新节点相连 回复 回复 中航信原系统中包括一台 6463 磁带库 配置了 80 槽位的磁带和 6 个 SCSI LTO2 的驱动器 它最多可支持 8 个 LTO2 的驱动器 目前 6463 磁带库已停产数年 而且它与节点也是通过 SCSI 连接 在备份时间上会比较长 因此本次扩容考虑了新增一台 SL500 磁 带为 为每个节点各配置 1 个 LTO4 的驱动器 可以提高备份的效 率 节省备份的时间 6463 磁带库不能与新节点连接 因此在新节点系统中 没有与此 带库连接所需的 SCSI 卡 但它可以用于原 5255 节点用于测试环 境的备份中 LTO4 备份速率为 120MByte s 压缩情况下是 240Mbyte s 采用 扩容方案一时 2010 年底非压缩全库备份需要 4 4 小时 压缩备 份需要 2 2 小时 采用扩容方案二时 2010 年底非压缩全库备份 需要 11 1 小时 压缩备份需要 5 6 小时 恢复时间加倍 采用 5550H 节点的话 如果希望加快备份恢复速度 可以考虑每个节点 配置两个 LTO4 带机 3 6生产系统未来扩展性如何 生产系统未来扩展性如何 回复 回复 根据不同的建议方案 未来的扩展性会有很大的不同 采用 5500C 方案时 未来扩容时 需要淘汰 4 节点 5380 同时将 5500C 升级到 5500H 或 5550H 并将操作系统迁移到 Linux 与下 代的 Teradata 节点共存 因此 系统的扩容会比较复杂而且难度会 比较大 采用 5550H 方案时 未来扩容时 只要配置 5550H 与下代 Teradata 节点的性能平衡 就可与下代产品共存 节点本身不会做 任何变化 本文件属保密资料21 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 3 7系统扩容过程中 哪部分工作耗时最长 哪部分工作风险最大 系统扩容过程中 哪部分工作耗时最长 哪部分工作风险最大 回复 回复 只考虑纯粹与扩容有关的工作 对于上述两种扩容方案 情况各不相同 3 7 1 对于方案对于方案 1 扩容需要经过以下几个过程 安装 5500C 节点 并通过恢复数据 应用到 5500C 节点 使其 具备生产系统环境 进行系统切换 使用 5500C 系统作为生产 拆除 5255 节点 升级改造 5380 节点 将 5380 并会 5500C 生产环境 其中耗时最长的是将 5500C 搭建成生产环境 但因为此时有两套系统并行 运行 可以对新生产环境充分测试 因此 没有风险 不考虑风险规避考虑 风险看起来最大的是将 5380 并回到 5500C 生产环 境一步 但在进行这一步之前会进行充分的数据备份 而且 Teradata 这样的扩 容已经有数以百计的案例 从来没有发生过问题 因此 风险很小 即便发生 风险 事先也会有相应的考虑 保证生产安全 3 7 2 对于方案对于方案 2 相当于只进行方案 1 的第一步 安装 5550H 节点 并通过恢复数据 应 用到 5550H 节点 使其具备生产系统环境 由于在经过充分测试前 不会影响到现在的生产环境 因此不存在风险 3 8系统扩容建议方案中 为何数据只考虑到系统扩容建议方案中 为何数据只考虑到 2010 年 年 回复 回复 Teradata 公司从可能影响到投资保护的以下几个方面考虑 建议本次扩 容先考虑到 2010 年 从技术发展的趋势看 现在新产品的性价比比前一代提高速度越来越快 以磁带机为例 现有方案中推荐的 LTO4 带机 比年初考虑扩容方案时的 LTO3 带机 速度从 80MB s 提高到了 120MB s 容量从 400GB 盘提高到了 本文件属保密资料22 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 800GB 从 Teradata 本身的设备看 5550H 单节点处理能力 Tperf 值 Teradata 的性能指标 从 5500C 的 Linux 18 1 或 MP RAS 16 4 提高到了 44 5 提高了 2 46 倍 同时 由于 55xx 系列开始支持 146GB 磁盘 相对于 前代产品对机房容积率也带来很大优化 一次扩容考虑的越久远 投资越大 如果考虑到 2012 年投资过大 结合 上边一条 也不利于投资保护 本文件属保密资料23 未经中国民航信息网络股份有限公司和 Teradata 中国 有限公司的书面许可 不得翻印或外传 4扩容后系统及应用建设规划扩容后系统及应用建设规划 在完成系统扩容后 将使很久以来的系统性能瓶颈问题得以解决 在随着 业务发展业务数据达到 2010 年系统设计上限以前 可以不失时机地对系统进 行改造并进行应用规划 系统及应用规划主要这种解决几方面问题 4 1规划系统数据架构 优化系统性能规划系统数据架构 优化系统性能 该部分工作主要是考虑优化目前提供接口数据形式的数据服务数据性能要 求 通过对数据服务系统数据仓库中的数据进行分类组织 将数据分成 Active 区 非 Active 区 汇总数据区和 EDS 区 利用 Active 区存储当前业务过程中的所有业务数据 如活动的 PNR 等 这样可以很小的数据空间存储一份完整的活动业务数据 使得对外提供实时 批 量接口数据服务时 大大提供数据准备性能 满足未来严格 SLA 要求的需要 利用非 Active 存储类似目前系统数据仓库基础库中存放的当前及历史业务 数据 满足对较长时间业务数据分析 Ad hoc 查询的需要 基于非 Active 区或非 Active 区的数据 通过加工建立汇总数据区和 EDS 区 满足特定报表 分析等应用的需要 本文件属保密资料24 未经中国民航信息网络股份有限公司和 Teradata