IBM DS4800存储框架设计

一一 IBM DS4800 框架 框架 Chassis 设计 设计 IBM DS4800 存储基础控制器单元分为 5 个主要的 FRU Field Replacement Units 组件 这些组件是 2 个控制模块 2 个控制支持模块 和一个 interconnect 模块 这些控制器 包含 XOR engines 处理器 processors 和另一个用来处理 I O 的电子器件 控制器支持模块 包含电源和风扇 interconnect 模块包含电池和可以热插拔的 midplane 模块 所有 5 个 FRUs 都是可热插拔的 能够在线更换 允许 DS4800 用户实现在线时间最大化 从 FRUs 的组成和外观上 DS4800 和以前的 DS4000 架构有较大的不同 如果你比较 DS4800 和 DS4 500 框架 chassis 设计 你会发现显著的区别 DS4800 的控制器 位于控制器单元的后面 而 DS4500 的控制器在前面 DS4800 的 Host side 连接和 drive side 连接现在集成到控制器内部 而不是像 DS4500 位于分离的 mini hubs 上 缓存备份电池现在位于 interconnect 模块内部 Midplane 现在是热插拔的 位于 interconnect 模块内部 风扇和电源位于控制器支持模块内部 在 DS4800 前部 通过减少 FRUs 的数目 DS4800 帮助简化了管理和维护的基本控制器单元的任务 图 2 DS4500 框架 Chassis 设计 二二 IBM DS4800 前部前部 DS4800 的前部包含两个控制器支持模块和 interconnect 模块 两个控制器支持模块是分别位于左边和右 边的单元 FRUs 它们每个包含一个风扇和一个 375 W 的电源 为了替换风扇和电源 需要先拔掉控制器 支持模块 再替换发生故障的部件 interconnect 模块是位于两个控制器支持模块之间的单元 FRU interconnect 模块包含缓存电池和新的 可热插拔 midplane 当 interconnect 模块被拔掉 DS4800 会自动挂起控制器 B 切换所有的逻辑卷 LUN s 到控制器 A 继续工作 注释注释 当 interconnect 模块被拔掉的时候 尽管 DS4800 自动挂起控制器 B 把所有的 LUNs 切换到控制 器 A 但还是推荐最好在拔除 interconnect 模块之前 先手动切换所有的 LUNs 到控制器 A 且把控制 器 B 置于下线 offline 状态 当 interconnect 模块被恢复原位 DS4800 便恢复到正常工作状态 然而 你必须手工重新分配 LUNs 到它 们各自的控制器 A 或 B 因为 DS4800 将不会自动为你做这项工作 所有在下图标出的部件都是热插拔的 且能被在线替换 从而保证不引起用户停机 图 3 DS4800的前部 三三 Interconnect 模块和电池组 模块和电池组 battery pack interconnect 模块在电源和风扇之间提供电子通讯路径 允许它们的电源来做 load share 和给缓存备份电 池组充电 它包含两个缓存备份电池组 每个电池组包含用于两个控制器缓存的电池 图 4 DS4800的interconnect 模块 DS4800 电池组没有设置过期日期 当通过 LEDs 看到某个电池组出现问题 只需替换这个电池组 而不需 同时替换两个电池组 当任何一个备份电池组发生故障 写缓存会被禁用 disabled 所以你应该尽快 替换故障电池组 以便把由写缓存被禁用造成的影响降到最低 四四 IBM DS4800 后部后部 DS4800 后部 两个控制器上下堆叠 控制器 A 位于顶部 控制器 B 位于底部 且他们的位置朝向是互为 颠倒的 控制器是可热插拔的 每个控制器都有两个 Ethernet RJ45 接口和一个串口 serial port 一一 IBM DS4800 存储磁盘端口连线存储磁盘端口连线 IBM DS4800 存储能连接最多 16 个 EXP100 SATA 或 EXP710 FC 它全面支持 FC 和 SATA 扩展柜 的混连 从而使用户拥有最大的灵活性 一般来说 当扩容 DS4800 时 最好把扩展柜均衡得分布在 4 个 loop pairs 里 这将可以利用最大的 drive side 带宽 一个最大配置的 DS4800 应该有 4 个扩展柜在 每个 drive side loop pair 上 图 1 标示了一个 DS4800 带有 16 个 EXP710s 图 1 一个最大配置的 DS4800带有 16个 EXP710s 尽管我们推荐尽量把扩展柜分布到 4 个 loops pairs 每个 loop pair 最多 4 个扩展柜 但我们仍然支持一个 loop pair 最多 8 个扩展柜 这等于说兼容了 DS4500 的配置原则 最多支持 2 个 loop pairs 注意注意 除了在一个 drive loop pair 里最多有 8 个扩展柜的要求外 另一个限制条件是共享一个 drive chann el group 的两个 drive loop pairs 最多刻可连 8 个扩展柜 这意味着 loop pair 1 loop pair 2 组合在一起不能拥有最多超过 8 个 EXP 扩展柜 所以 如果你放 8 个 EXP 扩展柜在 loop pair 1 则你不 能放任何的 EXP 扩展柜在 loop pair 2 同样的规则也适用于 loop pair 3 和 loop pair 4 如果你拥有 6 个 EXP 扩展柜在 loop pair 3 则你不能放多于 2 个 EXP 扩展柜在 loop pair 4 图 2 满配下的 DS4500 和 EXP710s 如果你指只利用 DS4800 的两个 drive side loop pairs 而不是全部的 4 个 drive side loop pairs 最好使用 以下 loop pairs Controller A port 4 Controller B port 1 loop pair 1 和 Controller A port 2 Controller B port 3 loop pair 3 这将会把 2 个 loop pairs 分布到 2 个 drive channel group pairs 而且 因为他们使用分离的 drive channel groups 它们也不需要必须工作在相同的速率下 它们可以工作在或者 2 Gbps 或 4 Gbps 模式下 图 3 Drive side 连接使用 loop pairing methodology 二二 IBM DS4800 存储磁盘端口连线示例 存储磁盘端口连线示例 Drive side cabling example 在本例中 DS4800 使用了全部 4 个 loop pairs 16 个扩展柜均衡分布在 4 个 loop pairs 里 每个 loop pairs 里 4 个 如上图 1 1 从第一个扩展柜开始 属于 loop pair 1 用光纤连接 Controller A port 4 到第一个扩展柜左边 ESM 板 的 IN port 2 在 loop pair 1 里 用光纤连接第一个扩展柜左边 ESM 板的 OUT port 到 第二个扩展柜左边 ESM 板的 IN port 3 对于 loop pair 1 里的第 3 个和第 4 个扩展柜 重复第二步 4 用光纤连接第一个扩展柜右边 ESM 板的 OUT port 到第二个扩展柜右边 ESM 板的 IN port 5 对于 loop pair 1 里的第 3 个和第 4 个扩展柜 重复第四步 6 在 loop pair 1 里 用光纤连接 Controller A port 1 到 第 4 个扩展柜右边 ESM 板的 OUT port 这是连 接 loop pair 1 步骤的最后一步 7 重复步骤 1 7 使用下一组 drive side loop pair ports 对于第 2 3 4 loop pairs 每个 loop pairs 有 4 个 EXP units 一一 IBM DS4800 存储扩展柜连接的两种方式存储扩展柜连接的两种方式 IBM DS4800 存储有两种方式添加扩展柜 当添加扩展柜的同时 增加了一个新的驱动器环路 drive loo p pairs 我们叫做横向扩展 horizontal scaling 相反地 当添加扩展柜到已有的驱动器环路上 我们 叫做纵向扩展 vertical scaling 当进行横向扩展时 试图把扩展柜尽量分布到所有的驱动器环路上 使扩展柜在各个驱动器环路上保持数 量上的平衡 另外 尽量保持 LUNs 的分布也是横向的 这样可以和扩展柜的分布相匹配 纵向扩展可能会出现不平衡的情形 例如 如果你只使用两个环路 像 DS4500 并且添加 8 个 EXP710s 到每一个环路 你将不能通过扩展实现最优的配置 也可以通过纵向分布 LUNs 来配合 EXP710 的扩展 两种扩展模式都有相应的优点 1 横向扩展的优点横向扩展的优点 最大的可用性 尽可能地把 LUNs 平均分布在 4 个驱动器环路上 而不是 2 个环路 最大的带宽 允许全面分布 LUNs LUNs 使用 存在于 4 个驱动器环路上的 HDDs 从而利用最大可达 3 200 MB sec 的带宽 每个驱动器环路的最大带宽是 800 MB sec 2 纵向扩展的优点纵向扩展的优点 独占 Dedicated 带宽 把 LUNs 都放在一个驱动器环路上 确保它们拥有最大可到 800 MB sec 的带 宽 如果你把一个 LUN 分布在所有的 drive loops 则这个 LUN 必须和其他的 LUNs 来争抢带宽 这可能会 造成性能的下降 然而 这会根据你的环境和工作负荷的不同而有变化 优化地利用 2 4 Gbps 的混合环境 DS4800 能支持不同的驱动器环路各自拥有 2 Gbps 或 4 Gbps 的带 宽 这将允许你可以使用最新的 4 Gbps 的技术 但也可以升级兼容客户现有的 2 Gbps 的环境 这种情形 下 最好把你的跨扩展柜的 LUNs 置于相同的速率 所以 在一个混合有 2 和 4 Gbps 的环境 横向扩 展不是一个推荐的做法 每个驱动器环路对 per loop pair 拥有 800 MB sec 的带宽是指完全的 4 Gbps 的环境下最大的带宽 这意味着你必须使用 4 Gbps HDDs 4 Gbps EXP units 和 4 Gbps SFPs 如果你没有使用完全的 4 Gbps 的组件 DS4800 的带宽只会工作在所有组件中最低速率组件的速率模式下 因为 DS4800 只支持 2 Gbp s 和 4 Gbps 的连接 不支持 1 Gbps 的连接 所以混合组件的工作速率是 2 Gbps 在一个驱动器环路对 里 最好只使用一种速率的硬盘 即 2 Gb HDDs 或 4 Gb HDDs 注意注意 你可以把横向扩展和纵向扩展结合起来 来达到更优化连接方案 下面是一些要遵循的原则 最多可有 个 驱动器环路对 drive side loop pairs 在一个驱动器环路对里 最多只能有 个 EXP 扩展柜 一个 DS4800 最多只能连接 16 个 EXP 扩展柜 驱动器环路对 Loop Pair 1 驱动器环路对 Loop Pair 2 组合最多只能有 个 EXP 扩展柜 驱动器环路对 Loop Pair 驱动器环路对 Loop Pair 4 组合 最多只能有 个 EXP 扩展柜 驱动器环路对 Loop Pair 1 驱动器环路对 Loop Pair 2 必须工作在相同的速率下 2 或 4 Gbps p er loop 驱动器环路对 Loop Pair 驱动器环路对 Loop Pair 4 必须工作在相同的速率下 2 或 4 Gbps p er loop 二二 IBM DS4800 存储扩展柜连接的两种方式示例存储扩展柜连接的两种方式示例 我们首先来看一下有关横向扩展和纵向扩展的的示例 这个例子假设所有的驱动器通道组 drive channel groups 和它们的驱动器环路对 drive loop pairs 工作在相同的速率下 在下图 1 中 一个 DS4800 配有 8 个 EXP710s 并且采用的是横向扩展 每个驱动器环路对里的所有驱动器能利用的最大可达 800 MB sec 的数据带宽 在这种情形下 4 组扩展柜 每组由 2 个 EXP710s 组成 28 个驱动器 每组拥有 最大 800 MB sec 数据带宽 图 1 横向扩展DS4800 4个 four drive loop pairs 使用EXP710 注意注意 EXP710 扩展柜目前还工作在 2 Gbps 当 4 Gbps EXP 扩展柜发布的时候 就可以获得 800 MB se c 的数据带宽 假定一个应用或一组应用需要 1 200 MB sec 的数据带宽 在以往的 DS4000 型号 有最大 2 个驱动器环 路对来分发数据 这样一来 这样的带宽不能简单的获得 对于其它的 LUNs 很难共享剩余的带宽 如果采 用 DS4800 的 4 个驱动器环路对 你可以把这个 LUN 分布在全部 4 个驱动器环路对的硬盘上这样可以均 衡负载 允许你来增加带宽去满足最重要的应用 另外 把这个 LUN 分布在全部 4 个驱动器环路对 而 不是 2 个 可以提供比以往其他 DS4000 型号更高的可用性 当有专用带宽 dedicated bandwidth 的需求出现时 纵向扩展有可能比横向扩展更能满足客户需要 把 LUNs 只放