IBM DS4800存储框架设计

1、一.IBM DS4800框架（Chassis）设计  IBM DS4800存储基础控制器单元分为5个主要的FRU（Field Replacement Units）组件. 这些组件是2个控制模块, 2个控制支持模块，和一个 interconnect 模块. 这些控制器 包含 XOR engines, 处理器（ processors）, 和另一个用来处理I/O的电子器件. ·控制器支持模块 包含电源和风扇.&#

2、183;interconnect 模块包含电池和可以热插拔的 midplane模块。所有 5个 FRUs 都是可热插拔的，能够在线更换，允许DS4800用户实现在线时间最大化。从FRUs的组成和外观上 ， DS4800 和以前的DS4000 架构有较大的不同，如果你比较 DS4800 和 DS4500 框架（chassis）设计, 你会发现显著的区别.·DS4800的控制器 位于控制器单元的后面，而DS4500的控制器在前面.·

3、;DS4800的Host-side 连接和 drive-side 连接现在集成到控制器内部，而不是像DS4500位于分离的 minihubs上.·缓存备份电池现在位于interconnect 模块内部.·Midplane 现在是热插拔的，位于 interconnect 模块内部.·风扇和电源位于控制器支持模块内部，在DS4800前部.通过减少 FRUs的数目,  DS4800 帮助简化了管理和维护的基本控制器单元的任务。图-2 DS45

4、00 框架（ Chassis）设计二.IBM DS4800  前部DS4800的前部包含两个控制器支持模块和 interconnect 模块. 两个控制器支持模块是分别位于左边和右边的单元(FRUs). 它们每个包含一个风扇和一个 375 W 的电源. 为了替换风扇和电源，需要先拔掉控制器支持模块，再替换发生故障的部件。interconnect模块是位于两个控制器支持模块之间的单元 (FRU)。 interconnect模块包含缓存电池和新的可热插拔

5、60;midplane. 当interconnect 模块被拔掉, DS4800 会自动挂起控制器 B, 切换所有的逻辑卷（LUNs） 到控制器 A, 继续工作。注释: 当 interconnect 模块被拔掉的时候,尽管DS4800 自动挂起控制器 B ，把所有的 LUNs切换到控制器 A， 但还是推荐最好在拔除interconnect 模块之前，先手动切换所有的LUNs到控制器A ，且把控制器

6、B 置于下线（offline）状态。当interconnect模块被恢复原位, DS4800 便恢复到正常工作状态。然而, 你必须手工重新分配 LUNs 到它们各自的控制器 (A 或 B), 因为 DS4800 将不会自动为你做这项工作.所有在下图标出的部件都是热插拔的，且能被在线替换，从而保证不引起用户停机。图- 3  DS4800的前部三.Interconnect 模块和电池组（battery pack）interconn

7、ect 模块在电源和风扇之间提供电子通讯路径，允许它们的电源来做load-share 和给缓存备份电池组充电。它包含两个缓存备份电池组.，每个电池组包含用于两个控制器缓存的电池.图-4  DS4800的interconnect 模块DS4800 电池组没有设置过期日期.当通过LEDs 看到某个电池组出现问题，只需替换这个电池组，而不需同时替换两个电池组。当任何一个备份电池组发生故障，写缓存会被禁用（disabled），所以你应该尽快替换故障电池组，以便把由写缓存被禁用造成的影响降到最低。四.IBM DS4800&#

8、160; 后部 DS4800后部, 两个控制器上下堆叠。控制器A 位于顶部，控制器 B 位于底部，且他们的位置朝向是互为颠倒的。控制器是可热插拔的，每个控制器都有两个 Ethernet RJ45 接口和一个串口（serial port.）一.IBM DS4800存储磁盘端口连线   IBM DS4800存储能连接最多16个 EXP100 (SATA) 或 EXP710 (FC). 它全面

9、支持 FC 和 SATA 扩展柜的混连，从而使用户拥有最大的灵活性。一般来说，当扩容DS4800时，最好把扩展柜均衡得分布在4个 loop pairs 里 。这将可以利用最大的drive-side带宽。一个最大配置的 DS4800 应该有4个扩展柜在每个drive-side loop pair上. 图-1标示了一个DS4800带有16 个EXP710s .图-1 一个最大配置的 DS4800带有 16个 E

10、XP710s 尽管我们推荐尽量把扩展柜分布到4个 loops pairs(每个loop pair最多4个扩展柜), 但我们仍然支持一个loop pair最多8个扩展柜。这等于说兼容了DS4500 的配置原则(最多支持2个loop pairs). 注意: 除了在一个drive loop pair里最多有8个扩展柜的要求外，另一个限制条件是共享一个drive channel group的两个drive loop pairs最多刻可连8个扩展

11、柜。这意味着 loop pair #1/loop pair #2组合在一起不能拥有最多超过8个 EXP 扩展柜. 所以，如果你放8个 EXP 扩展柜在loop pair #1, 则你不能放任何的EXP 扩展柜在 loop pair #2. 同样的规则也适用于 loop pair #3 和 loop pair #4. 如果你拥有6个EXP&

12、#160;扩展柜在loop pair #3, 则你不能放多于2个EXP 扩展柜在 loop pair #4.图-2 满配下的 DS4500 和 EXP710s如果你指只利用DS4800的两个drive-side loop pairs ，而不是全部的4个drive-side loop pairs, 最好使用 以下loop pairs ： Controller A, po

13、rt 4/Controller B, port 1 (loop pair#1); 和 Controller A, port 2/Controller B, port 3 (loop pair #3).这将会把2个loop pairs 分布到2个drive channel group pairs. 而且, 因为他们使用分离的drivechannel 

14、groups, 它们也不需要必须工作在相同的速率下。它们可以工作在或者 2 Gbps 或 4 Gbps 模式下. 图-3 Drive-side 连接使用 loop-pairing methodology二.IBM DS4800存储磁盘端口连线示例（Drive-side cabling example）在本例中， DS4800 使用了全部4个 loop pairs, 16个扩展柜均衡分布在4个loo

15、p pairs里 (每个loop pairs里4个). 如上图-1:1. 从第一个扩展柜开始, 属于 loop pair #1. 用光纤连接 Controller A, port 4 到第一个扩展柜左边ESM 板的 IN port 。2. 在loop pair #1里，用光纤连接第一个扩展柜左边ESM 板的OUT port到 第二个扩展柜左边ESM

16、 板的IN port 。3. 对于loop pair #1里的第3个和第4个扩展柜，重复第二步。4. 用光纤连接第一个扩展柜右边ESM 板的OUT port到第二个扩展柜右边ESM 板的IN port。5. 对于loop pair #1里的第3个和第4个扩展柜 ，重复第四步6.在loop pair #1里，用光纤连接 Controller A, port 1到 第4个扩展柜右边

17、ESM 板的OUT port 这是连接loop pair #1步骤的最后一步。7. 重复步骤17 (使用下一组 drive-side loop pair ports) ，对于第2，3，4 loop pairs。 (每个loop pairs有4个 EXP units ).一.IBM DS4800存储扩展柜连接的两种方式IBM DS4800存储有两种方式添加扩展柜。当添加扩展柜的同时，增加了

18、一个新的驱动器环路（drive loop pairs），我们叫做横向扩展（horizontal scaling） . 相反地, 当添加扩展柜到已有的驱动器环路上，我们叫做纵向扩展（vertical scaling）。当进行横向扩展时, 试图把扩展柜尽量分布到所有的驱动器环路上，使扩展柜在各个驱动器环路上保持数量上的平衡. 另外, 尽量保持LUNs的分布也是横向的，这样可以和扩展柜的分布相匹配 。纵向扩展可能会出现不平衡的情形. 例如：如果你只使用两个环路 (像DS4

19、500) 并且添加8个 EXP710s 到每一个环路, 你将不能通过扩展实现最优的配置。也可以通过纵向分布 LUNs 来配合 EXP710的扩展. 两种扩展模式都有相应的优点：1.横向扩展的优点·最大的可用性  尽可能地把 LUNs平均分布在4个驱动器环路上,而不是2个环路.·最大的带宽   允许全面分布 LUNs (LUNs 使用 存在于4个驱动器环路上的HDDs) ，从而利用最大可达

20、 3,200 MB/sec 的带宽 (每个驱动器环路的最大带宽是 800 MB/sec ).2.纵向扩展的优点·独占（Dedicated） 带宽  把LUNs 都放在一个驱动器环路上，确保它们拥有最大可到 800 MB/sec 的带宽. 如果你把一个 LUN 分布在所有的 drive loops, 则这个 LUN 必须和其他的 LUNs 来争抢带宽

21、. 这可能会造成性能的下降，然而, 这会根据你的环境和工作负荷的不同而有变化。·优化地利用 2/4 Gbps 的混合环境 -  DS4800 能支持不同的驱动器环路各自拥有 2 Gbps 或 4 Gbps的带宽. 这将允许你可以使用最新的4 Gbps 的技术, 但也可以升级兼容客户现有的2 Gbps 的环境. 这种情形下，最好把你的跨扩展柜的 LUNs 置于

22、相同的速率。所以，在一个混合有 2 和 4 Gbps 的环境 ，横向扩展不是一个推荐的做法.每个驱动器环路对（per loop pair） 拥有800 MB/sec 的带宽是指完全的4 Gbps的环境下最大的带宽，这意味着你必须使用4 Gbps HDDs, 4 Gbps EXP units, 和 4 Gbps SFPs，如果你没有使用完全的4 Gbps的组件，DS48

23、00的带宽只会工作在所有组件中最低速率组件的速率模式下。因为DS4800只支持2 Gbps 和4 Gbps的连接，不支持1 Gbps的连接，所以混合组件的工作速率是2 Gbps。在一个驱动器环路对里，最好只使用一种速率的硬盘，即2 Gb HDDs 或 4 Gb HDDs。注意: 你可以把横向扩展和纵向扩展结合起来，来达到更优化连接方案，下面是一些要遵循的原则：·最多可有个 驱动器环路对（drive-side loop pairs）

24、83;在一个驱动器环路对里，最多只能有个 EXP扩展柜·一个DS4800最多只能连接16 个 EXP扩展柜·驱动器环路对（Loop Pair ）#1驱动器环路对（Loop Pair） #2 组合最多只能有个 EXP扩展柜·驱动器环路对（Loop Pair） #驱动器环路对（Loop Pair #4 组合，最多只能有个 EXP扩展柜·驱动器环路对（Loop Pair） #1驱动器环路对（L

25、oop Pair） #2 必须工作在相同的速率下 (2 或4 Gbps per loop)·驱动器环路对（Loop Pair） #驱动器环路对（Loop Pair） #4必须工作在相同的速率下 (2 或4 Gbps per loop)二.IBM DS4800存储扩展柜连接的两种方式示例我们首先来看一下有关横向扩展和纵向扩展的的示例，这个例子假设所有的驱动器通道组（drive channel

26、0;groups）和它们的驱动器环路对（drive loop pairs）工作在相同的速率下。在下图-1中， 一个 DS4800 配有8个 EXP710s ，并且采用的是横向扩展. 每个驱动器环路对里的所有驱动器能利用的最大可达 800 MB/sec 的数据带宽. 在这种情形下, 4组扩展柜（每组由2个 EXP710s 组成，28 个驱动器) ，每组拥有最大800 MB/sec 数据带宽.图-1 

27、横向扩展DS4800，4个 four drive loop pairs ，使用EXP710注意:  EXP710 扩展柜目前还工作在 2 Gbps.当 4 Gbps EXP 扩展柜发布的时候，就可以获得 800 MB/sec的数据带宽.假定一个应用或一组应用需要 1,200 MB/sec的数据带宽 ，在以往的 DS4000 型号, 有最大2个驱动器环路对来分发数据. 这样一来, 这样的带宽不能简单的获得, 对于其它的LUNs很难共享剩余的带宽. 如果采用DS48