4.1-云计算平台存储设计、实施、测试文档1.0剖析.doc

精品文档XXX 云计算平台存储设计、实施、测试文档北京富通东方科技有限公司2012年12月目录第一部分 项目概述. 1第二部分 云计算平台存储设计方案. 2设计方案范围. 2存储架构. 2SAN 网络 . . 2光纤交换机端口要求. 3SAN 交换机微码信息 . . 3存储端口使用规划和连接. 3SAN 交换机zone 规划 . 5存储系统. 6现有环境存储版本信息. 6V7000存储空间现状与规划 . 7DS8800存储空间规划 . 8SVC 规划 . 9SVC 的可靠性 、可用性 . 9SVC 微码版本 . 11主机至SVC 网络架构 . 11SVC 至SAN 网络架构 . . 11SVC 至后端存储架构 . 11第三部分 云计算平台存储实施方案. 121. 系统环境检查. 12IBM DS8800硬件安装和初始化 . . 12SAN 交换机安装以及配置 . . 13SVC 硬件安装 . 13IBM SVC初始化配置 . . 14IBM SVC使用控制面板进行初始化 . . 14SVC 登录GUI 界面初始化配置 . 14添加SVC Node2至Cluster . 15配置SVC 集群和服务IP 地址 . 16管理DS8800分配的其他LUN ，并创建pool . 16SVC 分配LUN 给服务器 . 16光纤交换机划zone . . 16工程实施：V7000初始化并新建卷 . 17初始化V7000集群 . 17初始化硬盘. 18V7000的vdisk 划分和分配 . 18工程实施：SVC 完成vdisk mirror . . 18将V7000的卷加入SVC 的存储池 . . 18对需要进行vdisk mirror的卷创建第二份copy . 18第四部分 云计算平台存储测试方案. 201. 测试目的. 20功能测试. 20存储设备IP 地址表 . 20存储功能测试. 21第五部分 附件. 241. 附件1：存储IP 地址规划设计 . 24 2. 附件2：SVC 规划设计 . 24 3. 附件3：DS8800 存储空间规划设计 . 24 4. 附件4：V 7000存储空间规划设计 . 24 5. 附件5：XXX 云计算平台建设项目服务器HBA 卡WWN 地址信息 . . 24第一部分 项目概述XXX 投入正式运营，为云计算平台建设提供了良好的基础设施环境；XXX 广域网的开通，为云计算平台提供了良好的网络基础设施；各子公司在XXX 形成全国大集中的生产平台，为采用虚拟化技术构建共享资源提供了恰当的时机。XXX 在XXX 建立云计算平台的时机已经成熟。建设XXX 云计算平台，有利于深化信息化管理模式改革，进一步强化信息技术的战略支撑和创新驱动作用。以云计算平台为载体，引导各子公司加快推进数据、管理和信息系统大集中，推动组织变革。通过集中统一的云计算平台建设，彻底改变过去那种粗放式、分散性的运营管理模式，彻底解决过去运营成本高、管理效率低、战略实施效果层层递减的管理困境。利用云计算技术，可以加快推进应用系统的开发部署工作，实现对业务的集中处理和有效监控，提升业务应用的服务水平，促进业务发展、提升客户服务质量。利用桌面云技术，可以方便进行移动展业，在一个便携终端上完成产品的销售全过程，缩减投保流程时间，优化客户服务体验，提升营销队伍展业能力和效率。XXXXXX 的云计算平台基础架构项目，可满足XXXIT 支撑系统高性能、低成本、可扩展、高可靠性的IT 计算和存储的需要，为XXX 、各子公司提供虚拟化信息平台及虚拟桌面的办公需要。项目初期将实施完成虚拟化平台和虚拟桌面两大部分，两大部分同时划分为：生产区和开发测试区，提供虚拟化平台的业务系统应用和开发测试平台，虚拟桌面同时提供集团、各子公司及分支机构、运维人员、网络培训人员的日常办公、开发测试的平台。第二部分 云计算平台存储设计方案XXX 云计算平台项目的目标是通过IBM SVC的VDisk Mirror功能将云计算平台的存储数据镜像，云计算平台数据同时放置在V7000和DS8800上，实现容灾功能，即任意一个存储损坏都能使生产不受影响，继续运行。1. 设计方案范围本设计方案范围包括如下：（1） V7000初始化和配置;（1） SVC 初始化和配置;（2） DS8000使用image 模式接入SVC 管理，并映射给原主机;（3） V7000使用image 模式计入SVC 管理，并映射给原主机;（4） 在SVC 上实施DS8800和V7000的vdisk mirror;2. 存储架构XXX 云计算平台存储网共4台IBM V7000，一台IBM DS8800和两台IBM SVC作为云计算平台系统的存储，通过两台IBM 384B 光纤交换机接入40台 IBM X3850 X5系列云计算平台服务器。本次工程实施后，后端存储DS8800和V7000通过SVC 进行vdisk 的镜像，然后提供给主机使用。如图2-1所示。图2-1存储架构图3. SAN 网络为了保证SVC 能够正常接入SAN 网络，并且顺利实现从V7000到DS8800的VDisk Mirror ，光纤交换机不但要满足版本需求，还必须有足够的空闲端口满足上述要求。31.1 光纤交换机要求端口SVC 对总计需要8个交换机空闲端口；DS8800至少需要连接32个光纤端口；V7000至少需要连接16光纤端口；40台主机一共需要连接80个端口。1.2 SAN 交换机微码信息XXX 云计算平台项目，现有环境SAN 交换机信息如表2-1所示：表2-1：SAN 交换机信息 IBM 384B交换机1： 名称：xxxx IP:x.x.x.x 用户名：xxxx ，密码：xxxxIBM 384B 交换机2： 名称：xxxxx IP:x.x.x.x 用户名：xxxx ，密码：xxxxx1.3 存储端口使用规划和连接XXXXXX 云计算平台4台V7000共有32个端口，由于本次光纤交换机的端口数量限制，有两台V7000只使用4个端口，剩余两台使用8个端口，端口使用的规划如表2-2所示：表2-2：光纤交换机端口使用规划4 XXXXXX 云计算平台1台 IBM DS8800存储共有8个Host Adapter，每个8个端口，一共有64个端口。如下图所示2-2所示：5 图2-2：DS8800接口背板图XXXXXX 云计算平台IBM DS8800存储端口使用和连接表如表2-3所示，其他端口暂不使用。表2-3：DS8800使用端口表1.4 SAN 交换机zone 规划XXXXXX 云计算平台项目中中两台SAN 交换机，每台交换机的配置有如下的zone 。（1） SVC的cluster zone，包含SVC 在交换机上的所有端口；（2） SVC与DS8800的zone ，包含SVC 和DS8800在交换机上的所有端口； （3） V7000_1的cluster zone，包含V7000_1在交换机上的所有端口； （4） V7000_2的cluster zone，包含V7000_2在交换机上的所有端口； （5） V7000_3的cluster zone，包含V7000_3在交换机上的所有端口； （6） V7000_4的cluster zone，包含V7000_4在交换机上的所有端口； （7） V7000_1,V7000_2,V7000_3,V7000_4组成cluster 的zone ，包含6V7000_1,V7000_2，V7000_3,V7000_4在交换机上的所有端口； （8） SVC与V7000_1的zone ，包含SVC 和V7000_1在交换机上的所有端口；（9） SVC与V7000_2的zone ，包含SVC 和V7000_2在交换机上的所有端口；（10） S VC 与V7000_3的zone ，包含SVC 和V7000_3在交换机上的所有端口；（11） S VC 与V7000_4的zone ，包含SVC 和V7000_4在交换机上的所有端口；（12） S VC 与各主机的zone ，包含SVC 的两个端口以及主机的一个端口。4. 存储系统4.1 现有环境存储版本信息XXXXXX 云计算平台项目中IBM DS8800存储、IBM V7000存储系统环境信息分别如表2-4、2-5所示：表2-4：DS8800存储信息 表2-5：V7000存储信息 74.2 V7000存储空间现状与规划根据XXXXXX 云计算平台实际环境，对存储系统空间规划如下：目前4个V7000控制柜，10个V7000扩展柜共分为一个集群，成为一个4个IO GROUP的V7000存储。如表2-6所示:表2-6：V7000集群信息 XXXXXX 云计算平台V7000存储集群管理IP:https:/x.x.x.x 。存储节点服务IP 表如表2-7所示：表2-7：V7000存储节点服务IP 地址配置：共336个300G 硬盘，其中两个V7000每个72个，剩余两个V7000每个96个。72个磁盘的V7000单个存储组成6个RAID5(7+1和3个RAID5(6+1，剩余3个硬盘作为hotspare 。96个硬盘的V7000单个存储组成8个RAID5(7+1和4个RAID5(6+1，剩余4个硬盘作为hotspare 。V7000存储池配置如表2-8所示。逻辑卷分配表如表2-8所示。将V7000所有卷全部供给SVC 管理。表2-8：V7000存储池配置表2-9：逻辑卷分配表4.3 DS8800存储空间规划XXXXXX 云计算平台IBM DS8800的磁盘组成由366块300GBSAS 盘组成如图2-3所示。 图2-3：DS8800磁盘IBM DS8800 磁盘Array 组成规划如表2-10所示。 表2-10：Array 组成规划IBM DS8800 磁盘Exppool 组成规划如表2-11所示。 表2-11：Exppool 组成规划IBM DS8800 磁盘Hostconnect 组成规划如表2-12所示。 表2-12：Hostconnect 组成规划IBM DS8800 磁盘Vol 规划（stripe 模式）如表2-13所示。 表2-13：Vol 规划（stripe 模式）5. SVC 规划5.1 SVC 的可靠性 、可用性SVC 采用了RAS 的设计思想：通过冗余组件使系统具有极高的可靠性，可用性以及高服务性。如图2-4所示。 图2-4：高可靠性、高可用性和高服务性的SVC 拓扑高度冗余的部件 ：由于SVC 是一个集群系统，当中的每个部件都有对应的备份(Backup部件，例如，Node 与Node 之间互为备份，前端 (Front-End FC 端口之间可以互为备份。后端 (Back-End FC 端口之间也可以互为备份，整个系统没有单一的故障点。如下图所示。SVC 具有非常高的可靠性。Cache 的同步保证数据的完整性：在一个 SVC I/O Group 中，当一个节点出现故障时，通过这个节点的所有 I/O 就会切换到另外一个节点；为了使节点中的 Cache 数据在出现故障时不丢失, 该节点在正常工作时会把每个I/O的 Cache 数据同步到另外一个节点的 Cache 中，使得同一个 I/O Group 里的2个节点维护着相同的 Cache 元数据，如下图所示。因此，在某个节点出现故障时，SVC 能够保证100%的数据完整性。如图2-5所示。 图2-5：Cache 的同步保证数据的完整性同构异构存储资源: SVC 是一个存储虚拟化引擎，它屏蔽了各种所支持的存储子系统的差别，对 Host提供的I/O服务均以统一的存储单元 Vdisk 为单位。这种特征有利于提高存储系统的利用率，并且可进行集中管理。SVC 的加入并不影响现有 SAN 环境的拓扑，它只是把自己连接到光纤交换机上。通过一定的配置操作，SVC 能够检测到各种存储子系统中的存储单元，并且把这些存储单元一一映射成一个个的 MDisks。每个 SVC 的节点都看到统一的 Mdisks 集合。SVC 使用这些 Mdisks 创建MDG (MDisk Group ,并从 MDG 中划分 VDisk（Virtual Disk ）空间给主机使用。通过光纤交换机的 Zone 划分，主机只能识别到 SVC上的 Vdisk。因此，SVC 屏蔽了各种存储子系统的差别。5.2 SVC 微码版本为了保证SVC 稳定运行，结合客户现有环境，SVC 微码版本使用版本。5.3 主机至SVC 网络架构为了保证主机至SVC 连接的高可用及冗余性，主机均采用双HBA 卡，两块HBA 卡分别连接至两个SAN Fabric，结合VMware 操作系统的多路径软件，当单HBA 、单链路和单交换机出现故障时，路径自动切换，降低业务影响最小，保证业务正常运行。5.4 SVC 至SAN 网络架构为了保证SVC 至SAN 网络连接的高可用及冗余性，SAN 交换机采用双Fabric 架构，SVC 共计2个Node ，各4个端口，分别连接每个Node 的2个节点至两个交换机。SVC 每个Node 的两个端口分别连接至2个光纤交换机，其中Node1的P1和P3口连接至sw1的0和1口，Node2的P1和P3连接至sw1的4和5口，其中Node1的P2和P4口连接至sw2的0和1口，Node2的P2和P4口连接至sw2的4和5口。5.5 SVC 至后端存储架构为了保证SVC 至后端存储连接的高可用及冗余性，SVC 至后端存储均采用冗余连接方式，SVC 与存储的每个存储控制器均有连接，保证当部分链路、端口和控制器出现故障后，SVC 至存储连接自动切换，降低业务影响最小，保证业务正常运行。第三部分 云计算平台存储实施方案本章节主要内容为 IBM DS8800 硬件安装和初始化，IBM SVC硬件安装及配置。1. 系统环境检查检查SAN 交换机是否正常，命令如下：2. IBM DS8800硬件安装和初始化IBM DS8800 硬件安装配置步骤如下： 1. IBM DS8800设备静置； 2. IBM DS8800上架、加电； 3. 检查存储状态；4. 准备连接光纤线至光纤交换机。 5. IBM DS8800存储空间划分IBM DS8800存储空间规划 1. 创建array 2. 创建rank3. 创建extpool ，把rank 加入对应pool 4. 创建3个1G vol，对应数量存储的lun 。 5. 创建hostconnect 6. 更改fc 口属性 7. 创建volgrp3. SAN 交换机安装以及配置交换机上架、加电。按两台交换机划分WWN Zone 。 SW1新增SVC cluster zone 以及DS8000与svc 的zone ，脚本如下： IBM 384B光纤交换机sw1:SW2新增SVC cluster zone以及DS8000与svc 的zone 。，脚本如下： IBM 384B光纤交换机Sw2:4. SVC 硬件安装2. SVC 设备静置； 3. SVC 上架、加电； 4. IBM SVC硬件安装。IBM SVC 包含两个节点，每个节点有4个光纤端口，分别连接到2个fabric 中。而IBM SVC 的电源是通过UPS 提供，需要连好UPS 的电源，以及UPS 与IBM SVC 节点之间的串口线缆。如图3-2所示。 图3-1：IBM SVC硬件安装5. 准备连接光纤线至光纤交换机，具体端口规划见如下表格： 6. 准备连接以太网线至以太网交换机，具体端口以及IP 地址分配。5. IBM SVC初始化配置5.1 IBM SVC使用控制面板进行初始化通过控制面板配置SVC 的Cluster name和Cluster ip地址Cluster name:NZX_SVC01 Cluster ip: X.X.X.X Cluster user ID: superuserCluster admin password: picc_passw0rd Cluster service password: picc_passw0rd ClusterFirmware:5.2 SVC 登录GUI 界面初始化配置IBM SVC 登陆GUI 管理界面配置如图3-2所示。图3-2：SVC 登陆GUI 管理界面1用浏览器打开SVC 的GUI ，输入密码后，点击Continue 按钮。如图3-3所示。图3-3：SVC 登陆GUI 管理界面2点击Next 。图3-4：SVC 登陆GUI 管理界面3输入System Name和新的密码后，点击Next 。图3-5：SVC 登陆GUI 管理界面4点击Next 。图3-6：SVC 登陆GUI 管理界面5输入License Capacity Limit为999999TB ，然后点击Next 。图3-7：SVC 登陆GUI 管理界面6点击Next 。图3-8：SVC 登陆GUI 管理界面75.3 添加SVC Node2至Cluster 添加SVC 节点2至集群，如图3-9。图3-9：添加SVC 节点2至集群点击Node1下面的空槽位，系统将自动显示可加入此SVC Cluster 的节点的信息，点击Add Node按钮，完成添加。如图3-10所示。图3-10：添加SVC 节点2至集群5.4 配置SVC 集群和服务IP 地址IBM SVC节点配置成功后，配置SVC 集群和服务IP 地址。如图3-6所示。图3-11：配置SVC 节点1 IP地址进入SVC 的管理界面后，点击左边的Setting 下的Network ，进行网络配置界面。再点击Service IP Addresses界面配置每个节点的服务IP 地址。点击Node Name 的下拉菜单，选择node1，再点击port 1配置node1的服务IP 地址。如图3-12所示。图3-12：配置SVC 节点2 IP地址按照同样的方法配置node2的port 1的IP 地址。 5.5 管理DS8800分配的其他LUN ，并创建pool DS8800上使用dscli 连入操作，脚本如下。SVC上的操作使用putty 进入命令行操作创建DS8800存储池管理DS8800 lun 。5.6 SVC 分配LUN 给服务器SVC 配置好后将LUN 分配给服务器，脚本如下：6. 光纤交换机划zone在IBM 384B光纤交换机上面创建新的zone 。脚本如下： SW1： SW2：7. 工程实施：V7000初始化并新建卷将V7000随机附带的盘的初始化工具插入PC 中, 初始化IBM V7000集群。7.1 初始化V7000集群将V7000随机附带的盘的初始化工具插入PC 中，然后双击InitTool.exe 文件，将弹出以下窗口。如图3-13所示。图3-13：初始化V7000选择“初始化新的Storwize V7000(仅限块系统 ”，然后点击下一步按钮。如图3-14所示。图3-14：初始化V7000输入此V7000的管理IP 地址信息，然后点击下一步。如图3-15所示。图3-15：初始化后的U 盘工具插入V7000按照提示信息，将盘从PC 机中拔出，插到V7000的任意一个USB 端口上即可。等待几分钟后，V7000完成初始化工作后，就可以用网线连接到V7000的以太网管理口的第一口。登录新的V7000的集群界面，新增控制机柜： 步骤如下：1 选择添加控制和扩展机柜。如图3-16所示。图3-16：添加控制柜2 下一步，确认添加机柜。如图3-17所示。图3-17：确认添加控制柜118图3-18：确认添加控制柜23 添加机柜成功. 如图3-19所示。图3-19：添加完成控制柜4 完成添加机柜，如图3-20所示。图3-20：添加完成控制柜把V7000_2、V7000_3和V7000_4都添加进集群内。7.2 初始化硬盘把V7000_2、V7000_