XX人寿存储扩容实施方案.doc

信泰人寿存储设备扩容实施计划文档v1.0信泰人寿存储系统扩容实施方案v1.0目 录一、概述4二、扩容设备清单4三、到货情况Check List5四、扩容实施界面6五、扩容实施准备工作和时间点分配7六、磁带机扩容与NBU配置更改细节81)TS3310磁带扩展柜硬件互联82)激活TS3310磁带扩展柜license93)在NBU MASTER及MEDIA主机上识别驱动器94)NBU执行inventory robot105)配置新添加的驱动器126)配置新添加作业，修改并合理分配驱动器的使用147)测试NBU与TS3310的磁带写入操作148)利用Activity Monitor监控备份作业的执行14七、IBM DS8100扩容实施细节169)硬件前后视图一览1610)硬盘抽屉（Storage enclosures）1611)RAID10规划1712)容量规划1713)磁盘大小规划与主机名规划1814)安装DSCLI1915)激活DS8000 License2016)DS8000逻辑配置22列出arraysite23创建Array24创建RANK27创建Extend Pool27将rank加入到相应的extend pool28创建LUN30创建volume group34将LUN加入到需要的volume group中37创建host connection38主机端安装SDD软件，识别存储path43八、检查DS8K状态44九、IBM DS8100运行健康检查46十、IBM H16 SAN交换机ZONE划分细节50十一、重建过程当中的关键点51一、 概述扩容实施任务主要包含如下： IBM磁带库扩容：增加E9U扩展柜一个。增加2个LTO4带机增加20盘800GB磁带。 IBM DS8100扩容：增加一组300GB 15K Drive Set，一共16块盘，实施RAID10。新扩容的磁盘分配给邮件及影像服务器使用。二、 扩容设备清单TS3310 扩容配置清单编号设备描述数量3576-E9U TS3310 Tape Expansion Module16013 13m LC/LC Fibre Channel Cable28142 Ultrium 4 Fibre Channel Type Drive 29840 2.8m Power Cord 250V China (PRC)13589-010 800GB Ultrium Tape Cartridges Labeled11020 800GB Labeled 20-pack18000 Jewel Cases19003 Label background color Red19022 Color/vibrant background19112 First character of Volser is C19200 Second character of Volser is 019300 Third character of Volser is 019400 Fourth character of Volser is 019500 Fifth character of Volser is 01IBM DS8100扩容配置清单Product DescriptionSerialQtyAction list for 2421-931SN12421-931System Storage DS8100SN11Additions:1210Disk Enclosure Pair12416300 GB 15K Drive Set12999Disk Enclosure Filler17002OEL - 5 TB indicator1Removals:8022.1 to 5.0 TB capacity12421-931 PriceProduct DescriptionSerialQtyAction list for 2396-LFASN22396-LFADS8000 Function AuthorizationSN21Additions:7002OEL - 5 TB Unit1三、 到货情况Check List到货情况YESNODS8000 主机是否到货？DS8000 其他附件是否到货（电缆等）？ 系统软件及升级软件是否到货？四、 扩容实施界面由于IBM DS8100上存储着企业关键的数据，为保障系统顺利实施，前期沟通最为重要，下面将列出主要分工：信息中心：负责数据的备份、验证数据备份的操作、验证扩容实施结果。扩容实施服务方：负责TS3310带库扩容、IBM DS8100存储设备扩容相关操作。五、 扩容所需求的业务停机时间为了保障此次升级不影响核心业务系统，建议在晚上实施扩容操作，将连接在IBM DS8100上的关键业务应用给停掉，根据估算，需要4-5小时。六、 扩容实施准备工作和时间点分配由于扩容涉及到IBM DS8100核心存储，为了保障设备系统的顺利扩容，下面将简述整个重建过程的内容及步骤。1. 提前做好数据备份工作实施扩容之前，应提前做好数据备份工作，尽可能采用全备份，以保证存储在磁盘阵列内所有数据的可恢复性。备份的数据包括：IBM DS8100存储上的所有数据、NETBACKUP Catalog。所需时间：_分钟2. 安装IBM TS3310扩展柜。安装IBM TS3310 Tape Expansion Module磁带笼、添加磁带机及磁带介质安装操作。所需时间： 40 分钟3. NETBACKUP备份主服务器上定义驱动器、扫描和识别介质。将新安装的2个驱动器、30盘IBM LTO4磁带进行扫描和识别和定义操作。所需时间： 30 分钟4. 测试NETBACKUP备份。将新添加的IBM TS3310磁盘介质，分配备份作业，测试写入是否成功。所需时间： 15 分钟5. 安装IBM DS8100扩容所需的磁盘笼。所需时间： 70 分钟6. 创建RAID、初始化及分配主机。所需时间： 180 分钟7. 验证磁盘扩容结果。从邮件和影像PC服务器上识别并认盘，创建盘符并模拟写入文件。所需时间： 15 分钟七、 磁带机扩容与NBU配置更改细节1) TS3310磁带扩展柜硬件互联TS3310 是一款可以连接扩展柜的磁带库，TS3310 基本柜上多了两个接口：Module to Module communication 接口。注意标示1 和3。当没有连接扩展柜的时候，这两个接口是被Module communication terminator堵上的。如果你空着这个接口或者 Module communication terminator损坏，TS3310自检将会失败(Self Test Failed)。由于需要连接扩展柜，请注意每个module to module communication接口最多串连两个扩展柜，在串连连接中的最后一个扩展柜上的最后一个module communication 接口需要插上Module communication terminator。2) 激活TS3310磁带扩展柜license第一步：找到含有license key标签的纸质文档。第二步：（如果使用Web管理方式，跳至第四步）启动TS3310带库并打开液晶操作面板，选择Setup - Licenses，根据提示信息输入license key标签中的内容。第三步：选择Apply，转到第六步。第四步：启动TS3310并进入Web管理页面，选择Manager Library - Settings - Feature Licenses。第五步：在页面中输入license key标签中的内容，并点击Activate。第六步：查看带库配置信息，确认license是否激活成功。第七步：将一个license key标签贴在带库后部控制器右侧的盖板上。第八步：将一个license key标签贴在磁带库配置表单中。3) 在NBU MASTER及MEDIA主机上识别驱动器如果是LANFREE备份，则NBU MASTER和参与LANFREE备份的MEDIA主机，都需要正常识别到新添加的驱动器。下图所Windows主机的设备管理器。4) NBU执行inventory robot1、在NetBackup Administration Console中，选择左面板中的Media and Device Management中的Robot，点击鼠标右键，选择Inventory Robot，将新添加的磁带介质进行扫描，然后，在media栏中将显示出来。如下图所示：2、出现Media搜索内容窗口，在Inventory type选项框中选择“show contents”，点击start，如下图所示：3、再在Inventory type选项框中选择“update volume configuration”，点击start，如下图所示：5) 配置新添加的驱动器添加磁带机以下对添加一个磁带机做出了说明，方便雷同。注：磁带机的添加完成以后，可以在系统提示下重新启动进程。l Media Manager host定义Media Manager在何处保存驱动器的信息。l Drive Type指定该磁带机的类型。l No Rewind Device指定驱动器的设备文件，在NBU3.2中不需要指定No Rewind Device。l Drive Name该磁带驱动器的名称。l Drive Status指定该驱动器的初始状态是UP，还是DOWN，UP是指该驱动器被加入后，马上就可用，如果你不想让该驱动器马上被使用，设置成DOWN。l Cleaning Frequency （In Hours）设置该驱动器多长时间被清洗一次，当该驱动器被加入后，Media Manager开始纪录该驱动器被使用了多长时间,对于机械手控制的驱动器，如果有清洗带，NetBackup会自动清洗，对于单个磁带机，会在磁带机的注释行中显示Needs Cleaning。l Drive is in a Robotic Library设置该驱动器是否受机械手控制。l Robotic Library指定控制该驱动器的机械手的类型。l Robot Drive Number指定该驱动器在该机械手中是第几个驱动器，它是指在机械手中的物理位置。l Device host如果该驱动器不受这个主机控制，受哪个主机控制。6) 配置新添加作业，修改并合理分配驱动器的使用7) 测试NBU与TS3310的磁带写入操作8) 利用Activity Monitor监控备份作业的执行NetBackup任务监视器可以监视备份、恢复和归档任务的状态，但不监视NetBackup本身数据库的备份。由主画面，点击Activity Monitor进入：使用Job Monitorl 任务监视器作用通过任务监视看出该任务的ID、执行何种操作、状态、返回值、Server和Client是谁、通过哪一个Policy和Schedule去执行的。返回值是一个非常有用的参数，通过返回值，可以通过错误代码查找Troubleshooting手册中建议的相关调整建议，这对于问题检查和性能调整是非常有用的。具体可显示多长时间的任务，要看NetBackup全局属性中的设置。每个任务有以下几个状态：1) Queued 任务正在排队2) Active 任务正在执行3) Re-Queued 由于前次执行没有成功，任务重新排队4) Done 任务执行完毕通过任务管理器，可以Kill掉没有执行完的任务。l 查看任务细节双击一个任务，可以查看这些任务的细节。这些细节包括时间、操作过程等。细节有Overview和Detail之分。第 15 页 共 51 页信泰人寿存储设备扩容实施计划文档v1.0八、 IBM DS8100扩容实施细节1) 硬件前后视图一览2) 硬盘抽屉（Storage enclosures）DS8000的base frame包括8个硬盘抽屉（storage enclosures），expansion frame包括16个硬盘抽屉（storage enclosures）。DS8000的硬盘抽屉是由16块硬盘或者哑盘组成。每两个硬盘抽屉按照前后位置组成一对，每16个盘中的8块硬盘是从前面的硬盘抽屉中访问，其余8块盘是从后面的硬盘抽屉访问。硬盘抽屉的示意图如下所示：3) RAID10规划新增了一组300 GB 15K Drive Set，一共是16块盘，实施RAID10。目前RAID10有二种方式可供选择：3+3 - RAID 10 配置，Array 包含6块数据盘，其中3块是做镜像的数据盘。另外剩下的2块盘作为热备盘.4+4 - RAID 10 配置，Array 包含8块数据盘，其中4块是做镜像的数据盘。 根据用户的建议采用4+4，最终实施后RAID10后的可用容量为2.4T，如果采用3+3的方式实施，则会浪费2个盘的容量，最终实施3+3方式后，可用容量仅为1.8T左右。4) 容量规划RAID10:_GB 业务主机： 邮件 MAILRAID10:_ GB 业务主机： 影像 IMAGE5) 磁盘大小规划与主机名规划请根据下表规划磁盘，并分配到相应的主机。通过该主机名来指定与规划出的磁盘的对应关系，IBM工程师将按照该表将规划出的磁盘分配到相应主机。磁盘与主机对应表通过下面的工作表来指定主机与规划出的磁盘的对应关系主机名磁盘大小所属VG繁忙程度主机FC卡归属影像邮件6) 安装DSCLI为提高配置的速度，建议大家划分DS8000采用DSCLI（DS Command Line Interface），在笔记本上安装DSCLI后（执行命令setupwin32.exe），修改其C:Program FilesIBMdscliprofile file，如下：# Management Console/Node IP Address(es)# hmc1 and hmc2 are equivalent to -hmc1 and -hmc2 command# options.hmc1:#hmc2:# Default target Storage Image ID# devid and remotedevid are equivalent to # -dev storage_image_ID and -remotedev storeage_image_ID # command options, respectively. devid:IBM.2107-7523201# locale# Default locale is based on user environment.locale:en其中hmc1为DS8000的HMC地址，此处为HMC缺省IP为; devid为DS8000的storage facility image ID，为IBM.2107-7523201。请取消关于语言的default定义，缺省是用户自己的语言环境（前面有注释），请最好改成英文，这样IBM给support时比较好。Notes：1、关于DSCLI版本，请使用你所配置的DS8K微码对应的DSCLI版本，DSCLI版本之间互不兼容，即便你发现高版本可以管理低版本的DS8K，IBM Lab不保证版本之间的兼容性。2、关于devid，任何一台DS8K的序列号均以0结尾，对于2107-9A2，devid的为75-xxxx1和75-xxxx2，对于2107-921/922，devid永远为75-xxxx1；在profile中输入devid后，在以后的命令行以及脚步本便可以不再写devid了。3、请把笔记本连接到DS8K内部的交换机中的上面的一台，即黑色网线相连的交换机。打开IE浏览器，打开如下网址：:8452/DS8000/Console缺省用户已经密码为admin/admin，登陆后，系统将提示密码超期，请更改密码，建议使用密码passw0rd。安装DSCLI后，将在桌面上创建DSCLI的图标，双击该图标后，再次键入dscli可以进入dscli交互式命令行。Notes：请注意不要在24小时内3次输入错误的用户密码，3次的错误输入将导致该用户的帐户被锁。I advise you run below command to disable 3 times lock pwd function:chpass -expire 0 -fail 07) 激活DS8000 License在配置DS8K之前，需要激活DS8K的license，如下方法：1. 获取 Signature (该步骤现在可以忽略) dscli showsi -fullid IBM.2107-75BCYY1Date/Time: 2006年2月6日 上午10时26分56秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1Name -desc -ID IBM.2107-75xxxx1Storage Unit IBM.2107-75xxxx0Model 9xxWWNN 5005076304FFC1C0Signature fb78-de56-4e89-e46bState OnlineESSNet EnabledVolume Group IBM.2107-75xxxx1/V0os400Serial -dscli2. 通过DS8000序列号和刚才取得的signature去以下网站拿capacity的license key，文件例如：2107_75BBY00.xml/systemstechnology/storage/dsfa/accessDSFA.wss/storage/dsfa/index.jsp3. 在DS8000中增加在上面一步中取得的license dscli applykey file c:xxxxkeys.xml IBM.2107-75xxxx1也可以使用GUI界面输入该key：打开如下网页：:8452/DS8000/ConsoleIn the navigation panel, select, in order, Real-time Manager, Manage Hardware, and Storage images. In Storage images Main Page, select a Storage image. Then select Apply activation codes in the Select Action drop-down list. Then click Go. The Apply activation codes page is displayed4. 查看license状态，查看刚才输入的license是否生效（下面为示例，红色行注意应为100ALL就对了）dscli lskey IBM.2107-75xxxx1Date/Time: 2006年1月26日 下午02时08分47秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1Activation Key Capacity (TB) Storage Type=Operating Environment 100 All8) DS8000逻辑配置一般我们采用一对一的方法配置DS8K，即arraysite-array-rank-extpool (SxxAxxRxxPxx)的形式，如下： 因此逻辑配置的步骤如下：1. 创建array2. 创建rank3. 创建extend pool4. 将rank加入到相应的extend pool5. 创建LUN6. 创建volume group7. 将LUN加入到需要的volume group中8. 创建host connection（将LUN，host connection加入到volume group）9. 主机端安装SDD软件，识别vpath。列出arraysite命令：lsarraysiteArraysite为IBM工厂预定义的，每8块盘为1个arraysite，不需要我们配置。关于所配置的DS8K中的arraysite数目，可以用机器中的盘数目除以8即可；也可以查已经的IR，找到类似如下的描述：2107 922 75BCYY0 2116 8 A 146 GB 10K DRIVE SET 其中每个driver set中有16块DDM，构成2个arraysite。命令输出结果如：dscli lsarraysiteDate/Time: Feb. 9, 2006 2:57:27 PM EDT IBM DSCLI Version: 97 DS:IBM.2107-75xxxx1 arsite DA Pair dkcap (109B) diskrpm State Array = S1 2 146.0 10000 Unassigned - S2 2 146.0 10000 Unassigned - S3 2 146.0 10000 Unassigned - S4 2 146.0 10000 Unassigned - S5 2 146.0 10000 Unassigned - S6 2 146.0 10000 Unassigned - S7 2 146.0 10000 Unassigned - S8 2 146.0 10000 Unassigned - S9 0 146.0 10000 Unassigned - S10 0 146.0 10000 Unassigned - S11 0 146.0 10000 Unassigned - S12 0 146.0 10000 Unassigned - S13 0 146.0 10000 Unassigned - S14 0 146.0 10000 Unassigned - S15 0 146.0 10000 Unassigned - S16 0 146.0 10000 Unassigned - 稍后将详细介绍DA pair创建Array命令格式如下：mkarray -dev storage_image_ID -raidtype 5|10 -arsite Array_site如：(创建raid10)dsclimkarray -raidtype 10 -arsite S1dsclimkarray -raidtype 10 -arsite S2命令结果如：dscli lsarrayDate/Time: 2006年1月26日 下午02时21分28秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1Array State Data RAIDtype arsite Rank DA Pair DDMcap (109B)=A0 Unassigned Normal 10 (3x2+2S) S1 - 2 73.0A1 Unassigned Normal 10 (4x2) S2 - 2 73.0A2 Unassigned Normal 10 (3x2+2S) S3 - 2 73.0A3 Unassigned Normal 10 (4x2) S4 - 2 73.0A4 Unassigned Normal 10 (4x2) S5 - 2 73.0A5 Unassigned Normal 10 (4x2) S6 - 2 73.0A6 Unassigned Normal 10 (4x2) S7 - 2 73.0A7 Unassigned Normal 10 (4x2) S8 - 2 73.0A8 Unassigned Normal 10 (3x2+2S) S9 - 0 73.0A9 Unassigned Normal 10 (4x2) S10 - 0 73.0A10 Unassigned Normal 10 (3x2+2S) S11 - 0 73.0A11 Unassigned Normal 10 (4x2) S12 - 0 73.0A12 Unassigned Normal 10 (4x2) S13 - 0 73.0A13 Unassigned Normal 10 (4x2) S14 - 0 73.0下面将详细介绍上面的输出结果中的RAID type与DA Pair：下面的图是关于2107的各种型号的Disk Enclosures与DA之间的关系。在后续的章节中，我们在创建LUN并将其分配到主机时，需要考虑LUN在DA pair中的均衡问题。关于RAID type，在每个DA pair中，要有4个Hot Spare盘。对于RAID10，每个Arraysite对应的array将提供2个Hot Spare；对于RAID5，最先创建的RAID5，将分别提供一个Hot Spare盘。创建RANK命令格式如下：mkrank -dev storage_image_ID -array array_ID -stgtype fb|ckd 如：mkrank -array A0 -stgtype fbmkrank -array A1 -stgtype fb创建Extend Pool命令格式如下：Usage: mkextpool -dev storage_image_ID -rankgrp 0|1 -stgtype fb|ckd Extent_pool_name 如：mkextpool -rankgrp 0 -stgtype fb ext_pool0mkextpool -rankgrp 1 -stgtype fb ext_pool1mkextpool -rankgrp 0 -stgtype fb ext_pool2mkextpool -rankgrp 1 -stgtype fb ext_pool3关于：rankgrp 0 | 1Assigns the extent pool to either rank group 0 or 1. Rank group 0 is managed by server 0, and rank group 1 is managed by server 1.所以在创建extend pool时，为了保证在server（controller）这一层上的负载均衡，请交错使用0、1，如上面的例子。关于：stgtype fb|ckd对于open system，使用类型fb，ckd是给S390使用的。关于：Extend_pool_name该名字是别名，只是为了我们之间知道该pool是干什么的就可以，在所有的命令行中，我们只能使用ID，而不能使用别名。命令执行后如下：dscli lsextpool Date/Time: 2006年2月10日 下午03时17分56秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1 Name ID stgtype rankgrp status availstor (230B) %allocated available reserved numvols = ext_pool0 P0 fb 0 below 0 100 0 0 0 ext_pool1 P1 fb 1 below 0 100 0 0 0 ext_pool2 P2 fb 0 below 0 100 0 0 0 ext_pool3 P3 fb 1 below 0 100 0 0 0 ext_pool4 P4 fb 0 below 0 100 0 0 0 ext_pool5 P5 fb 1 below 0 100 0 0 0 ext_pool6 P6 fb 0 below 0 100 0 0 0 ext_pool7 P7 fb 1 below 0 100 0 0 0 ext_pool8 P8 fb 0 below 0 100 0 0 0 将rank加入到相应的extend pool请务必等待RANK的状态变成Unassigned， Issue lsrank to get the rank status.如下：dscli lsrank Date/Time: 2006年1月26日 下午02时30分51秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1 ID Group State datastate Array RAIDtype extpoolID stgtype = R0 - Unassigned Normal A0 10 - fb R1 - Unassigned Normal A1 10 - fb R2 - Unassigned Normal A2 10 - fb R3 - Unassigned Normal A3 10 - fb R4 - Unassigned Normal A4 10 - fb R5 - Configuring Normal A5 10 - fb R6 - Configuration Pending Normal A6 10 - fb R7 - Configuration Pending Normal A7 10 - fb R8 - Configuration Pending Normal A8 10 - fb R9 - Configuration Pending Normal A9 10 - fb R10 - Configuration Pending Normal A10 10 - fb 上面的例子中R0R4的状态为Unassigned，R5正在被配置，R6R10的状态是Pending，我们需要等待所有的rank的状态为Unassigned，才能进行下一步配置。当所有的RANK的状态变成Unassigned后，进行如下步骤：命令格式如下：Usage: chrank -dev storage_image_ID -extpool extentpool_ID Rank_ID . 如：chrank -extpool P0 R0chrank -extpool P1 R1命令执行完毕后，如下：dscli lsrankDate/Time: 2006年1月26日 下午02时57分58秒 IBM DSCLI Version: 97 DS: IBM.2107-7500191ID Group State datastate Array RAIDtype extpoolID stgtype=R0 0 Normal Normal A0 10 P0 fbR1 1 Normal Normal A1 10 P1 fbR2 0 Normal Normal A2 10 P2 fbR3 1 Normal Normal A3 10 P3 fbR4 0 Normal Normal A4 10 P4 fbR5 1 Normal Normal A5 10 P5 fbR6 0 Normal Normal A6 10 P6 fbR7 1 Normal Normal A7 10 P7 fbR8 0 Normal Normal A8 10 P8 fb上面可以看出，R0对应于A0，R0属于P0。请注意：pool ID为偶数的extend pool归server 0管理，pool ID为奇数的extend pool归server 1管理。创建LUN关于LUN的大小，因为任何的LUN都是虚拟在raid上的，所以对单个的LUN来讲，LUN大小与性能没有直接的联系，但是要考虑一下两个方面：1、 LUN不能太大。太大的LUN将导致客户的数据过分的集中在单一的RAID中，形成瓶颈。2、 LUN不能太小。太小的LUN将导致host端的hdisk过多，容易引起HACMP切换失败。一般来讲