IBM-存储-DS8000使用及维护手册-V1[1].0

DS8000DS8000 使用及维护手册使用及维护手册 VERVER 1.01.0 目录目录 第第 1 1 章章IBMIBM DS8000DS8000 概述概述.4 4 第第 2 2 章章环境说明环境说明 .6 6 2.1DS8000 体积和重量参数.6 2.2DS8000 机房环境要求.7 2.3DS8000 机房电气要求.8 2.4DS8000 机房通讯要求.9 2.5DS8000 机房工作环境要求.9 2.6DS8000 机房安全性要求.9 2.7DS8000 装机前要求.9 2.8DS8000 现场环境 CHECK LIST.9 2.9DS8000 到货情况 CHECK LIST.10 2.10DS8000 电源示意图和具体度量、连接方法.10 第第 3 3 章章硬件说明硬件说明 .1313 3.1IBM SYSTEM STORAGE DS8300 .14 3.2DS8000 STORAGE ENCLOSURE CONNECTIVITY.16 第第 4 4 章章规划规划 DS8000DS8000 存储器的安装存储器的安装 .1717 4.1公司信息 .17 4.2管理控制台网络设置 .18 4.3远程支持设置 .20 4.4安装需求 .24 4.5磁盘大小规划与主机名规划 .25 第第 5 5 章章DS8000DS8000 逻辑配置逻辑配置 .2626 5.1安装 DSCLI.26 5.2激活 DS8000 LICENSE.27 5.3DS8000 逻辑配置.28 第第 6 6 章章DS8000DS8000 日常维护日常维护.4545 第第 7 7 章章DS8300DS8300 存储规划存储规划 .4747 7.1IO 卡规划.47 7.2存储规划 .48 第第 8 8 章章SANSAN 规划举例规划举例.5252 8.1SAN 与 ZONE简介.52 8.2关于光纤布线 .54 8.3ZONE的划分.54 8.4SAN 布线规划.56 第 1 章 IBM DS8000 概述 IBM DS8000 是设计为支持连续操作的高性能、高容量的磁盘存储器系列。DS8000 系列 的各型号（机器类型 2107）使用 IBM POWER5 服务器技术，该技术与 IBM Virtualization Engine 技术集成。DS8000 系列的各型号由一个存储单元和一个或两个管理控制台组成。图 形用户界面（GUI）或命令行界面（CLI）允许您对存储器进行逻辑分区并使用内置复制服务 功能。为获取高可用性，硬件组件是冗余的。 DS8300DS8300（921921 型）型） IBM DS8300（921 型）提供了许多功能。这些功能包括： 双重两路处理器复合体 最多 128 个磁盘驱动器，最高容量达 384 TB 处理器内存（高速缓存）最高达 128 GB 最多有 16 个光纤通道FICON 或 ESCON 主机适配器 DS8300 型号可以支持一个扩展机架。使用一个扩展机柜，可以将 921 型的容量扩展多达 384 个磁盘驱动器，最高容量达 115.2TB 注：当订购一个转换为注：当订购一个转换为 922922 型或型或 9A29A2 型的型号转换件时，型的型号转换件时，IBMIBM 服务代表可以现场升级服务代表可以现场升级 921921 型。型。 下图显示了 921 型的最高配置，该配置是 921 基本型号加上一个 92E 扩展型号。 第 2 章 环境说明 2.1 DS8000 体积和重量参数 DS8000 外形尺寸： 高：高： 193 cm 宽：宽： 84.7 cm 厚：厚： 118.3cm DS8000 重量: 不含包装含包装 DS8000 基本柜：1189千克 (2107-921) 1248千克 (2107-922) 1248千克 (2107-9A2) 1309千克 (2107-921) 1368千克 (2107-922) 1368千克 (2107-9A2) DS8000 第一扩展柜：1089千克 (2107-92E devid 为 DS8000 的 storage facility image ID，为 IBM.2107-7523201。 请取消关于语言的请取消关于语言的 defaultdefault 定义，缺省是用户自己的语言环境（前面有注释）定义，缺省是用户自己的语言环境（前面有注释） ，请最，请最 好改成英文，这样我们好改成英文，这样我们 copycopy 给给 supportsupport 时比较好。时比较好。 NotesNotes： 1、关于 DSCLI 版本，请大家使用你所配置的 DS8K 微码对应的 DSCLI 版本，DSCLI 版本 之间互不兼容，即便你发现高版本可以管理低版本的 DS8K，IBM Lab 不保证版本之间的兼容 性。 2、关于 devid，任何一台 DS8K 的序列号均以 0 结尾，对于 2107-9A2，devid 的为 75- xxxx1 和 75-xxxx2，对于 2107-921/922，devid 永远为 75-xxxx1；在 profile 中输入 devid 后，在以后的命令行以及脚步本便可以不再写 devid 了。 3、请把笔记本连接到 DS8K 内部的交换机中的上面的一台，即黑色网线相连的交换机。 打开 IE 浏览器，打开如下网址： :8452/DS8000/Console 缺省用户已经密码为 admin/admin，登陆后，系统将提示密码超期，请更改密码，建议 使用密码 passw0rd。 安装 DSCLI 后，将在桌面上创建 DSCLI 的图标，双击该图标后，再次键入 dscli 可以进 入 dscli 交互式命令行。 Notes：请注意不要在 24 小时内 3 次输入错误的用户密码，3 次的错误输入将导致该用 户的帐户被锁。 I I adviseadvise youyou runrun belowbelow commandcommand toto disabledisable 3 3 timestimes locklock pwdpwd function:function: chpasschpass -expire-expire 0 0 -fail-fail 0 0 5.2 激活 DS8000 License 在配置 DS8K 之前，需要激活 DS8K 的 license，如下方法： 1. 获取 Signature (该步骤现在可以忽略) dscli showsi -fullid IBM.2107-75BCYY1 Date/Time: 2006 年 2 月 6 日 上午 10 时 26 分 56 秒 IBM DSCLI Version: 97 DS: IBM.21 07-75xxxx1 Name - desc - ID IBM.2107-75xxxx1 Storage Unit IBM.2107-75xxxx0 Model 9xx WWNN 5005076304FFC1C0 Signature fb78-de56-4e89-e46b State Online ESSNet Enabled Volume Group IBM.2107-75xxxx1/V0 os400Serial - dscli 2. 通过 DS8000 序列号和刚才取得的 signature 去以下网站拿 capacity 的 license key， 文件例如：2107_75BBY00.xml https:/w3- 3. 在 DS8000 中增加在上面一步中取得的 license dscli applykey file c:xxxxkeys.xml IBM.2107-75xxxx1 也可以使用 GUI 界面输入该 key： 打开如下网页：:8452/DS8000/Console In the navigation panel, select, in order, Real-timeReal-time ManagerManager, ManageManage HardwareHardware, and StorageStorage imagesimages. In Storage images Main Page, select a Storage image. Then select ApplyApply activationactivation codescodes in the SelectSelect ActionAction drop-down list. Then click GoGo. The Apply activation codes page is displayed 4. 查看 license 状态，查看刚才输入的 license 是否生效（下面为示例，红色行注意应为 100ALL 就对了） dscli lskey IBM.2107-75xxxx1 Date/Time: 2006 年 1 月 26 日 下午 02 时 08 分 47 秒 IBM DSCLI Version: 97 DS: IBM.2 107-75xxxx1 Activation Key Capacity (TB) Storage Type = Operating Environment 100 All 5.3 DS8000 逻辑配置 一般我们采用一对一的方法配置 DS8K，即 arraysite-array-rank-extpool (SxxAxxRxxPxx)的形式，如下： 因此逻辑配置的步骤如下：因此逻辑配置的步骤如下： 1.1. 创建创建 arrayarray 2.2. 创建创建 rankrank 3.3. 创建创建 extendextend poolpool 4.4. 将将 rankrank 加入到相应的加入到相应的 extendextend poolpool 5.5. 创建创建 LUNLUN 6.6. 创建创建 volumevolume groupgroup 7.7. 将将 LUNLUN 加入到需要的加入到需要的 volumevolume groupgroup 中中 8.8. 创建创建 hosthost connectionconnection（将（将 LUNLUN，hosthost connectionconnection 加入到加入到 volumevolume groupgroup） 9.9. 主机端安装主机端安装 SDDSDD 软件，识别软件，识别 vpathvpath。 5.3.1 列出列出 arraysitearraysite 命令：lsarraysite Arraysite 为 IBM 工厂预定义的，每 8 块盘为 1 个 arraysite，不需要我们配置。 关于你所配置的 DS8K 中的 arraysite 数目，可以用机器中的盘数目除以 8 即可；也可以查 已经的 IR，找到类似如下的描述： 2107 922 75BCYY0 2116 8 A 146 GB 10K DRIVE SET 其中每个 driver set 中有 16 块 DDM，构成 2 个 arraysite。 命令输出结果如： dscli lsarraysite Date/Time: Feb. 9, 2006 2:57:27 PM EDT IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1 arsite DADA PairPair dkcap (109B) diskrpm State Array = S1 2 2 146.0 10000 Unassigned - S2 2 2 146.0 10000 Unassigned - S3 2 2 146.0 10000 Unassigned - S4 2 2 146.0 10000 Unassigned - S5 2 2 146.0 10000 Unassigned - S6 2 2 146.0 10000 Unassigned - S7 2 2 146.0 10000 Unassigned - S8 2 2 146.0 10000 Unassigned - S9 0 0 146.0 10000 Unassigned - S10 0 0 146.0 10000 Unassigned - S11 0 0 146.0 10000 Unassigned - S12 0 0 146.0 10000 Unassigned - S13 0 0 146.0 10000 Unassigned - S14 0 0 146.0 10000 Unassigned - S15 0 0 146.0 10000 Unassigned - S16 0 0 146.0 10000 Unassigned - 稍后将详细介绍 DA pair .2 创建创建 ArrayArray 命令格式如下： mkarray -dev storage_image_ID -raidtype 5|10 -arsite Array_site 如：(创建 raid10) dsclimkarray -raidtype 10 -arsite S1 dsclimkarray -raidtype 10 -arsite S2 命令结果如： dscli lsarray Date/Time: 2006 年 1 月 26 日 下午 02 时 21 分 28 秒 IBM DSCLI Version: 97 DS: IBM.2 107-75xxxx1 Array State Data RAIDtype arsite Rank DA Pair DDMcap (109B) = A0 Unassigned Normal 10 (3x2+2S) S1 - 2 73.0 A1 Unassigned Normal 10 (4x2) S2 - 2 73.0 A2 Unassigned Normal 10 (3x2+2S) S3 - 2 73.0 A3 Unassigned Normal 10 (4x2) S4 - 2 73.0 A4 Unassigned Normal 10 (4x2) S5 - 2 73.0 A5 Unassigned Normal 10 (4x2) S6 - 2 73.0 A6 Unassigned Normal 10 (4x2) S7 - 2 73.0 A7 Unassigned Normal 10 (4x2) S8 - 2 73.0 A8 Unassigned Normal 10 (3x2+2S) S9 - 0 73.0 A9 Unassigned Normal 10 (4x2) S10 - 0 73.0 A10 Unassigned Normal 10 (3x2+2S) S11 - 0 73.0 A11 Unassigned Normal 10 (4x2) S12 - 0 73.0 A12 Unassigned Normal 10 (4x2) S13 - 0 73.0 A13 Unassigned Normal 10 (4x2) S14 - 0 73.0 下面将详细介绍上面的输出结果中的 RAID type 与 DA Pair： 下面的图是关于 2107 的各种型号的 Disk Enclosures 与 DA 之间的关系。 在后续的章节中，我们在创建 LUN 并将其分配到主机时，需要考虑 LUN 在 DA pair 中的均衡 问题。 关于 RAID type，在每个 DA pair 中，要有 4 个 Hot Spare 盘。对于 RAID10，每个 Arraysite 对应的 array 将提供 2 个 Hot Spare；对于 RAID5，最先创建的 RAID5，将分别提 供一个 Hot Spare 盘。 .3 创建创建 RANKRANK 命令格式如下： mkrank -dev storage_image_ID -array array_ID -stgtype fb|ckd 如： mkrank -array A0 -stgtype fb mkrank -array A1 -stgtype fb .4 创建创建 ExtendExtend PoolPool 命令格式如下： Usage: mkextpool -dev storage_image_ID -rankgrp 0|1 -stgtype fb|ckd Extent_pool_name 如： mkextpool -rankgrp 0 0 -stgtype fb ext_pool0 mkextpool -rankgrp 1 1 -stgtype fb ext_pool1 mkextpool -rankgrp 0 0 -stgtype fb ext_pool2 mkextpool -rankgrp 1 1 -stgtype fb ext_pool3 关于：rankgrp 0 | 1 Assigns the extent pool to either rank group 0 or 1. Rank group 0 is managed by server 0, and rank group 1 is managed by server 1. 所以在创建 extend pool 时，为了保证在 server（controller）这一层上的负载均衡，请 交错使用 0、1，如上面的例子。 关于：stgtype fb|ckd 对于 open system，使用类型 fb，ckd 是给 S390 使用的。 关于：Extend_pool_name 该名字是别名，只是为了我们之间知道该 pool 是干什么的就可以，在所有的命令行中，我 们只能使用 ID，而不能使用别名。 命令执行后如下： dscli lsextpool Date/Time: 2006 年 2 月 10 日 下午 03 时 17 分 56 秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1 Name ID stgtype rankgrp status availstor (230B) %allocated available reserved numvols = ext_pool0 P0 fb 0 below 0 100 0 0 0 ext_pool1 P1 fb 1 below 0 100 0 0 0 ext_pool2 P2 fb 0 below 0 100 0 0 0 ext_pool3 P3 fb 1 below 0 100 0 0 0 ext_pool4 P4 fb 0 below 0 100 0 0 0 ext_pool5 P5 fb 1 below 0 100 0 0 0 ext_pool6 P6 fb 0 below 0 100 0 0 0 ext_pool7 P7 fb 1 below 0 100 0 0 0 ext_pool8 P8 fb 0 below 0 100 0 0 0 .5 将将 rankrank 加入到相应的加入到相应的 extendextend poolpool 请务必等待请务必等待 RANKRANK 的状态变成的状态变成UnassignedUnassigned， IssueIssue lsranklsrank toto getget thethe rankrank status.status. 如下： dscli lsrank Date/Time: 2006 年 1 月 26 日 下午 02 时 30 分 51 秒 IBM DSCLI Version: 97 DS: IBM.2 107-75xxxx1 ID Group State datastate Array RAIDtype extpoolID stgtype = R0 - Unassigned Normal A0 10 - fb R1 - Unassigned Normal A1 10 - fb R2 - Unassigned Normal A2 10 - fb R3 - Unassigned Normal A3 10 - fb R4 - Unassigned Normal A4 10 - fb R5 - Configuring Normal A5 10 - fb R6 - Configuration Pending Normal A6 10 - fb R7 - Configuration Pending Normal A7 10 - fb R8 - Configuration Pending Normal A8 10 - fb R9 - Configuration Pending Normal A9 10 - fb R10 - Configuration Pending Normal A10 10 - fb 上面的例子中 R0R4 的状态为 Unassigned，R5 正在被配置，R6R10 的状态是 Pending， 我们需要等待所有的 rank 的状态为 Unassigned，才能进行下一步配置。 当所有的当所有的 RANKRANK 的状态变成的状态变成UnassignedUnassigned后，进行如下步骤：后，进行如下步骤： 命令格式如下： Usage: chrank -dev storage_image_ID -extpool extentpool_ID Rank_ID . 如： chrank -extpool P0 R0 chrank -extpool P1 R1 命令执行完毕后，如下： dscli lsrank Date/Time: 2006 年 1 月 26 日 下午 02 时 57 分 58 秒 IBM DSCLI Version: 97 DS: IBM.2 107-7500191 ID Group State datastate Array RAIDtype extpoolID stgtype = R0R0 0 0 NormalNormal NormalNormal A0A0 1010 P0P0 fbfb R1 1 Normal Normal A1 10 P1 fb R2 0 Normal Normal A2 10 P2 fb R3 1 Normal Normal A3 10 P3 fb R4 0 Normal Normal A4 10 P4 fb R5 1 Normal Normal A5 10 P5 fb R6 0 Normal Normal A6 10 P6 fb R7 1 Normal Normal A7 10 P7 fb R8 0 Normal Normal A8 10 P8 fb 上面可以看出，R0 对应于 A0，R0 属于 P0。 请注意：请注意：poolpool IDID 为偶数的为偶数的 extendextend poolpool 归归 serverserver 0 0 管理，管理，poolpool IDID 为奇数的为奇数的 extendextend poolpool 归归 serverserver 1 1 管理。管理。 .6 创建创建 LUNLUN 关于 LUN 的大小，因为任何的 LUN 都是虚拟在 raid 上的，所以对单个的 LUN 来讲，LUN 大 小与性能没有直接的联系，但是要考虑一下两个方面： 1、LUN 不能太大。太大的 LUN 将导致客户的数据过分的集中在单一的 RAID 中，形成瓶颈。 2、LUN 不能太小。太小的 LUN 将导致 host 端的 hdisk 过多，容易引起 HACMP 切换失败。 一般来讲取 70120 左右的值，将 RAID 中空间分完即可，为了方便，取整数即可。 关于每个 Array 的大小，当 RANK 加入到 extend pool 后，可以用 lsextpool 找到 raid 大小， 如： dsclilsextpool Date/Time: 2006 年 1 月 21 日 下午 03 时 10 分 27 秒 IBM DSCLI Version: 34 DS: IBM.2107- 75xxxx1 Name ID stgtype rankgrp availstor (230B) availext reservedextents numvols = = ext_pool0 P0 fb 0 388 388 0 0 ext_pool1 P1 fb 1 388 388 0 0 ext_pool2 P2 fb 0 388 388 0 0 ext_pool3 P3 fb 1 388 388 0 0 ext_pool4 P4 fb 0 452 452 0 0 ext_pool5 P5 fb 1 452 452 0 0 如果无法运行上述命令，请参考下面的值做规划： 72GB RAID: 7+P=452GiB(AIX see) 6+P+S=388GiB 3X2+2S=193GiB 4X2=258GiB 146GB RAID: 7+P=909GiB(AIX see) 6+P+S=779GiB 3X2+2S=388GiB 4X2=519GiB 300GB RAID: 7+P=1844GiB 6+P+S=1582GiB 3X2+2S=790GiB 4X2=1054GiB GiB: DS8000 Extents are defined in binary Gigabytes (GiB: 230 bytes) GB: Normal volumes are defined in decimal Gigabytes (GB: 109 bytes) 因为 DS8K 使用的是 GiB 来定义 LUN 的大小，因此，主机上可以使用的 hdisk 大小就是该 GiB 值，不用再除以 1024*1024*1024。但是如果该 DS8K 要与 ESS800 做 copy service，我 们必须定义 DS8K 的 LUN 格式为 ESS 格式，缺省格式 DS 格式，详见 mkfbvol 命令。 创建 LUN 的命令格式如下： mkfbvol -dev storage_image_ID -extpool extentpool_ID -cap capacity -type blocks|ess|ds -name volume_name Volume_ID 如： mkfbvol -extpool P0 -cap 97 name fb_vol_#h 2000-2007 mkfbvol -extpool P1 -cap 97 name fb_vol_#h 2100-2107 第一条命令将在 extend pool 0（P0）中创建 8 个大小为 97GiB 的 LUN，其 LUN ID 分别为 2000，2001，2002，2003，2004，2005，2006，2007，LUN 的别名为 fb_vol_2000，fb_vol_2001，fb_vol_2002，fb_vol_2003. fb_vol_2007。 关于 volume_name，你可以使用方便识别的名字，如 BI_vol_xxxx，DB_vol_xxx。 关于 capacity，最小值为 1GiB，可以取 1array size 中间任何一个整数值。 关于 LUN ID： LUN ID 的格式为 xyzz (x=address group, xy=LSS, zz=volume ID)，为 16 进制，我们可以 使用的 LUN ID 范围如下： 其中： x x 为为 DS8KDS8K addressaddress groupgroup，可以使用的值为，可以使用的值为 0 0F F。一般我们把。一般我们把 0 0 预留给预留给 S390S390，openopen 平台可平台可 以使用其余的值，如果微码版本比较低，请先使用以使用其余的值，如果微码版本比较低，请先使用 0 07 7。 xyxy 为为 LSSLSS 的的 IDID，使用范围为，使用范围为 0000FFFF，比如我们使用，比如我们使用 addressaddress groupgroup 2 2，则我们可以使用的，则我们可以使用的 LSSLSS IDID 为为 2020，2121，2222，2323，2E2E，共，共 1616 个个 LSSLSS。请注意。请注意 LSSLSS IDID 中的中的 Y Y 决定该决定该 LSSLSS 有有 那个那个 serverserver 来管理，即来管理，即 Y Y 为偶数的为偶数的 LSSLSS（及所含的（及所含的 LUNLUN 归归 serverserver 0 0 管理，管理，Y Y 为奇数的为奇数的 LSSLSS（及所含的（及所含的 LUNLUN）归）归 serverserver 1 1 管理。管理。 关于在 HP 平台上 LUN ID 的选择： Due to limitations in the host operating system, LUNs greater than x3FFF are not supported. When you create or assign LUNs and volumes, only LUN and volume IDs less than x3FFF are supported. This limits the maximum number of volumes that are allowed for HP host types to 16384 请不要分配LUN ID大于3FFF，否则HP将无法识别。 关于 LSS 的选择： 如果客户的系统没有PPRC/flashcopy、将来也不会购买这些功能，我们可以随意的选择 LSS ID，但是如果需要考虑这些功能的情况下，建议尽量减少LSS的使用量。在copy service情况下，总是需要执行freeze/unfreeze，LSS pair越多，需要执行的 mkpprcpath命令也越多，对数据库的consistent不利。有可能的情况下，对于一套独立 的应用，使用2个LSS即可，一个给sever0管理，另外一个给server1管理。 zzzz 为为 volumevolume IDID，从，从 0000FFFF，共，共 256256 个。个。 在 DSCLI 的 LUN 创建中，需要我们指定 LUN 的 ID，请按照上述方法指定 ID 即可。一般情况 下，为了方便管理，我们对相同应用所分配的 LUN 的取相同的 LSS ID。最好每一个 LSS 对 应一个 RANK（Array） ，如下图： mkfbvol 的命令执行后，在 DSCLI 端马上就会返回如： CMUC00025I mkfbvol: FB volume 2000 successfully created. CMUC00025I mkfbvol: FB volume 2001 successfully created 此时 DS8K 开始从后台对 LUN 进行格式化，会发现 DDM 开始快速闪烁。此时你如果将 LUN 分 配到下面将描述的 volume group 中，并建立 host connection，在 AIX 端便可以识别到这 些 LUN。但个人不建议此时立即开始进行读写访问，这样会使 LUN 格式化的速度降低。 当DDM的灯不再连续、快速的闪烁时，LUN格式化完毕。 .7 创建创建 volumevolume groupgroup Volume Group： 通过 volume group 管理对 DS8K 上 LUN 的访问，即 LUN masking。要完成 LUN masking 必须 包含如下要素：主机端的 FC 卡的 WWPN，通过 DS8K 哪一个 HBA port，访问哪一个 volume group（