EMCvplexIsilonDD存储备份双活系统实施方案.docx

XXX公司存储系统实施方案2016年3月目录1.项目实施内容51.1 存储系统架构示意图61.3 本项目设备硬件配置62.存储系统实施基础配置72.1双活数据中心存储实现模式72.2光纤通道交换机端口连接表82.3VPLEX端口作用描述92.4VPLEX端口的使用92.5存储设备线路连接描述92.6存储设备端口命名规则103.SAN存储规划103.1存储设备连接线缆数量及种类103.2存储设备IP 地址配置113.3VPLEX的端口连接配置114.VPLEX METRO实施步骤124.1VPLEX 前期准备124.1.1system volumes124.2Switch zoning134.3Backend storage provisionq134.4VPLEX initial setup134.4.1Configip address and hostname of VPLEX134.4.1.1Connect to management server134.4.1.2entering the VPLEXCLI144.4.1.3set the management server ipaddress144.4.1.4change the hostname of VPLEX144.4.1.5check software version144.4.2use EZ-setup to initialize the VPLEX1154.4.2.1Start EZ-setup154.4.2.2Configure the first cluster154.4.2.3Chose the local authentication154.4.2.4Configure event notification154.4.2.5Configure send system report to EMC164.4.2.6Configure performance statistics collector164.4.2.7Generate the certificate164.4.2.8Backend storage discovery174.4.2.9create meta-data volume174.4.2.10verify if meta-data volume is successfully created184.4.2.11create meta-data volume backups184.4.2.12enable FE port184.4.3use EZ-setup to initialize the VPLEX2184.4.3.1Connect to VPLEX2184.4.3.2Sychronize the time on the clusters184.4.3.3Start EZ-setup on cluster2194.4.3.4Configure the Meta-data volume and backup of VPLEX2194.4.3.5Complete configuration of cluster1194.4.3.6Complete configuration of cluster2194.4.4Join the clusters194.4.5Create logging volumes204.5Check the cluster health214.6VPLEX backend storage connectivity verify214.7Claim the data volume215.ISILON的实施步骤235.1集群初始化235.2节点加入375.3系统健康检查385.4OneFS升级385.5安装补丁包385.6系统微码升级385.7硬盘微码升级385.8管理界面登录395.9保护级别设置395.10网络设置405.10.1内网设置415.10.2外网设置415.11目录认证服务415.12SMB共享规划415.13NFS共享规划436DATADOMAIN配置步骤456.1DataDomain配置之前实施内容456.2DataDomain VTL配置467存储设备的使用示范557.1操作流程557.2操作示例567.2.1光纤交换机操作部分567.2.2EMC VNX7600操作部分597.2.3VPLEX 操作部分621. 项目实施内容XX公司双活数据中心灾备项目采用EMC VPLEX METRO解决方案，实现院区主机房和灾备机房容灾。具体规划如下：1. 主机房与灾备机房分别配置1套EMC VPLEX虚拟化网关设备，用于部署EMC VPLEX Metro集群，VPLEX 集群间采用裸光纤连接。2. 主机房和容灾机房分别配置1套EMC VNX7600统一存储系统，VPLEX将底层的存储设备虚拟给前端的主机，所有重要数据由VPLEX在两机房间同步镜像，组建双活数据中心；3. 主机房配置1套EMC Isilon横向扩展NAS存储，专用于图书馆数据平台：为学院图书馆下属的多个系统提供更高性能、灵活可靠的数据存储服务。全面提升图书馆数据服务的性能与稳定性，满足未来图书馆数据快速增长的需要。4. 主机房配置1套EMC Networker备份管理软件：搭建数据备份平台，实现备份资源的统一管理和分配；5. 主机房配置1套EMC Data Domain 2500 备份专用设备，具备在线重复数据消除功能，并配置VTL软件许可。系统数据通过8Gb FC-SAN网络进行高速备份，在线消重后存入DataDomain，从而实现高效备份与备份数据经济存放。6. 配置2台EMC DS6510B光纤交换机分别部署在主机房与灾备机房，36端口激活，从而满足SAN网络连接的需要；7. 项目实施时，考虑到灾备机房还没有建设完成，所有设备均部署在主机房内；当灾备机房投入使用后，可以将计划部署在灾备机房的设备，逐步迁移到灾备机房中；因此在本次项目实施时，充分考虑了今后迁移的可行性和便捷性。可实现灾备机房设备迁移时，不影响主机房内系统的正常运行。1.1 存储系统架构示意图1.3 本项目设备硬件配置1、本次配置的EMC VPLEX两套配置简要描述如下：l 2个SAN控制器，72GB高速数据缓存，20个8Gbps FC端口，全冗余模块化设计，用于实现虚拟化存储双活数据保护；l 每个SAN控制器采用4核处理器，2个SAN控制器共配置8核处理器。2、本次配置的EMC DS-6510B SAN交换机配置简要描述如下：l 48口SAN光纤交换机，36端口激活并配置36个8Gbps SFP多模模块。3、本次配置VNX 7600磁盘阵列设备描述如下l 2个SAN控制器，128GB高速数据缓存，8个8Gb FC主机接口，8个1Gb iSCSI主机接口；l 每个SAN控制器采用8核处理器，2个SAN控制器共配置16核处理器；l 配置5块200GB SLC SSD企业级固态硬盘，20块900GB 10K SAS企业级磁盘，60块 4TB 7.2K NL-SAS企业级磁盘。4、本次配置的Data Domain描述如下：l 磁盘裸容量为36TB,，最大可用容量可扩展到133TB；l 配置4个8GB光纤网络接口，4个千兆网络接口；l 提供VTL软件许可，最大备份性能13.4 TB/hr。5、本次配置Isilon NAS设备描述如下：l 横向扩展集群NAS存储系统，并行集群模式，支持100个以上NAS节点的扩展能力；l 本次配置3个X210存储节点数量，单节点磁盘裸容量为48TB，3个节点合计裸容量为144TB；l 每个存储节点均配置独立的处理器，单节点配置缓存24GB，3个节点配置总缓存72GB；单节点配置2个万兆和2个千兆前端接口，3 个节点供配置6个万兆和6个千兆前端接口，支持多用户并发连接，并配置负载均衡功能；单节点配置2个40Gb Infiniband 后端互联端口，3个节点共配置6个40Gb Infiniband 后端互联端口；l 配置2台的InfiniBand 8口交换机，专用于集群内部通信，交换机端口速率为40Gb/s。2. 存储系统实施基础配置122.1 双活数据中心存储实现模式本次项目中，利用两台EMC VNX7600 存储，通过使用两条VPLEX虚拟网关设备，实现了EMC VPLEX METRO双活的解决方案。EMC VPLEX METRO架构拓扑示意图如下2.2 光纤通道交换机端口连接表DS_6510 A(主机房）0123C1_A0FC00C1_B0FC00C1_A1FC00C1_B1FC004567C2_A0FC00C2_B0FC00C2_A1FC00C2_B1FC00891011C1_A2FC00C1_B2FC00VNX7600(主)SPA00VNX7600(主)SPB0012131415C2_A2FC00C2_B2FC00VNX7600(备)SPA00VNX7600(备)SPB00303132DD-A-1DD-B-1备份服务器DS_6510B（主机房）0123C1_A0FC01C1_B0FC01C1_A1FC01C1_B1FC014567C2_A0FC01C2_B0FC01C2_A1FC01C2_B1FC01891011C1_A2FC01C1_B2FC01VNX7600(主)SPA01VNX7600(主)SPB0112131415C2_A2FC01C2_B2FC01VNX7600(备)SPA01VNX7600(备)SPB013031DD-A-2DD-B-22.3 VPLEX端口作用描述u VPLEX 端口分类如上图：u VPLEX 每个引擎分为两个Director，即控制器。u FE代表前端端口，用来连接前端服务器。模块插槽为每个Director的IOM 0号槽位，即为A0和B0。u BE代表后端端口，用来连接后端存储。模块插槽为每个Director的IOM 1号槽位，即为A1和B1u 每个Director的IOM 2号槽位为WAN-COM端口，用来连接两个数据中心VPLEX内部数据同步。u IOM 3号槽位为引擎内部的两个Director内部数据交换。u 便于理解，站在服务器的角度来看VPLEX，可以将它看做一台存储。从存储角度来看VPLEX,可以将其看做为一台服务器。2.4 VPLEX端口的使用本项目中vplex版本为vs2，每台vplex有1个引擎每个引擎有两个控制器。每台主机配置了2张HBA卡用于连接VPLEX，VPLEX的后端口用于连接EMC VNX 5600。2.5 存储设备线路连接描述 每个Director的IOM 0、IOM 1、IOM2号槽位的0号和1号端口分别连接两台光纤交换机。因交换机配置为别名ZONE，所以连接光纤交换机的端口号可以忽略。VNX 7600分为两个控制器SPA和SPB，站在存储背面左手边为SPB,右手边为SPA，每个SP的0、1号端口分别连接两台光纤交换机，同为别名ZONE。DataDomain的两个光纤通道接口，分别连接到两台光纤通道交换机中；作为备份服务的物理主机，通过自身配置的HBA卡，连接到其中一台光纤通道交换机中，以此实现LAN-FREE的备份方式。使用FC SAN架构提供存储空间的每台主机配置两块HBA卡，两块HBA卡分别连接两个光纤交换机。2.6 存储设备端口命名规则VPLEX的端口命名规则：C1A0FC00代表Cluster1的（数据中心，C2为容灾中心）引擎1的director A的A0模块的第0号端口。EMC VNX 7600的端口命名规则：VNX7600_A_F0代表控制器A的FC第0口Zone的命名规则：VPLEXA_C1A1FC00_VNX7600_A_F0代表VPLEXA的引擎1的director A的A1模块的0口到VNX 7600控制器A的0号端口。3. SAN存储规划本项目本次实施中，只配置了主机房的两台SAN交换机，vplex到一台交换机需要至少2个FE，2个BE，2个Wan com，每台存储至少需要4个端口。1233.1 存储设备连接线缆数量及种类光纤数量FromTo光纤数量类型VPLEX_A生产中心SAN交换机12条多模EMC VNX 7600生产中心SAN交换机2条多模VPLEX_B灾备中心SAN交换机12条多模EMC VNX 7600灾备中心SAN交换机2条多模Isilon服务器汇聚交换机3条多模Data Domain生产中心SAN交换机2条多模网线数量设备名网线数量IP地址 备注VPLEX_A11个生产机房VPLEX管理地址VPLEX_B11个容灾机房VPLEX管理地址VNX 760022管理IPDS-6510B SAN222个管理IP 3.2 存储设备IP 地址配置设备名IP地址用户名密码备注VPLEX_C1(主）192.168.129.51serviceMiDim7T浏览器需安装JREVPLEX_C2（备）192.168.129.52serviceMiDim7TDS-6510B_A （主机房）192.168.129.57adminpasswordDS-6510B_B （主机房）192.168.129.58adminpasswordVNX 7600 SPA(主）192.168.129.53adminpasswordVNX 7600 SPB(备）192.168.129.54adminpasswordVNX 7600 SPA(主）192.168.129.55adminpasswordVNX 7600 SPB(备）192.168.129.56adminpasswordIsilon节点一192.168.163.8rootroot虚拟服务地址：192.168.163.7Isilon节点二192.168.163.9rootrootIsilon节点三192.168.163.10rootrootData Domain192.168.129.58备份服务器3.3 VPLEX的端口连接配置数据中心VPLEX与第一路SAN交换机端口的连接PortVPLEX port备注VPLEX_C1A0FC00VPLEX的前端端口，连接主机的HBAVPLEX_C1B0FC00VPLEX的前端端口，连接主机的HBAVPLEX_C1A1FC00VPLEX的后端端口，连接后端存储系统的前端端口VPLEX_C1B1FC00VPLEX的后端端口，连接后端存储系统的前端端口VPLEX_C1A2FC00_WANCOMVPLEX的WAN端口VPLEX_C1B2FC00_WANCOMVPLEX的WAN端口生产中心VPLEX与第二路SAN交换机端口的连接PortVPLEX port备注VPLEX_C1A0FC01VPLEX的前端端口，连接主机的HBAVPLEX_C1B0FC01VPLEX的前端端口，连接主机的HBAVPLEX_C1A1FC01VPLEX的后端端口，连接后端存储系统的前端端口VPLEX_C1B1FC01VPLEX的后端端口，连接后端存储系统的前端端口VPLEX_C1A2FC01_WANCOMVPLEX的WAN端口VPLEX_C1B2FC01_WANCOMVPLEX的WAN端口容灾中心VPLEX与第一路SAN交换机端口的连接PortVPLEX port备注VPLEX_C2A0FC00VPLEX的前端端口，连接主机的HBAVPLEX_C2B0FC00VPLEX的前端端口，连接主机的HBAVPLEX_C2A1FC00VPLEX的后端端口，连接后端存储系统的前端端口VPLEX_C2B1FC00VPLEX的后端端口，连接后端存储系统的前端端口VPLEX_C2A2FC00_WANCOMVPLEX的WAN端口VPLEX_C2B2FC00_WANCOMVPLEX的WAN端口容灾中心VPLEX与第二路SAN交换机端口的连接PortVPLEX port备注VPLEX_C2A0FC01VPLEX的前端端口，连接主机的HBAVPLEX_C2B0FC01VPLEX的前端端口，连接主机的HBAVPLEX_C2A1FC01VPLEX的后端端口，连接后端存储系统的前端端口VPLEX_C2B1FC01VPLEX的后端端口，连接后端存储系统的前端端口VPLEX_C2A2FC01_WANCOMVPLEX的WAN端口VPLEX_C2B2FC01_WANCOMVPLEX的WAN端口4. VPLEX Metro实施步骤12344.1 VPLEX 前期准备4.1.1 system volumesVPLEX的system volumes分为两种：metadata volumes 和 logging volumes。meta data volumes：包含VPLEX cluster的系统配置信息，主要为：l virtual-to-physical mapping informationl data about the devices and virtual volumesl system configuration settingsMeta data volume建议为Raid1或者Raid5保护的卷，其对I/O性能的要求不高。每个VPLEX Metro cluster安装需要4个80GB的volume，分别用于meta-volume, mirrored copy of meta-volume, backups of meta-volume and mirrored-meta-volume.ClusterMeta VolumeStorageRAID GroupLUN IDRAIDSize备注VPLEX_Cluster1Mirror 1Master_storage00RAID580GBBackup 1Master_storage01RAID580GBMirror 2Master_storage02RAID580GBBackup 2Master_storage03RAID580GBLog_volume01Master_storage04RAID520GBLog_volume02Master_storage05RAID520GBVPLEX_Cluster2Mirror 1Slave_storage00RAID580GBBackup 1Slave_storage01RAID580GBMirror 2Slave_storage02RAID580GBBackup 2Slave_storage03RAID580GBLog_volume01Slave_storage04RAID520GBLog_volume02Slave_storage05RAID520GBLoggging volume用于在inter-link断开时，记录Site之间的数据差异索引。建议logging volumes为20GB的volume，20GB的logging volume通常可以支持约320TB的分布式卷。ClusterLog VolumeStorageRAID GroupLUN IDRAIDSize备注VPLEX_Cluster1Log_volume01Master_storage04RAID520GBLog_volume02Master_storage05RAID520GBVPLEX_Cluster2Log_volume01Slave_storage04RAID520GBLog_volume02Slave_storage05RAID520GB4.2 Switch zoning按照规划完成VPLEX backend zoning4.3 Backend storage provisionqRegister VPLEX BE port on VNX 5600Assign volume to VPLEX4.4 VPLEX initial setup4.4.1 Configip address and hostname of VPLEX4.4.1.1 Connect to management serverconnectEthernet cable to the service port of mgmt server. Config your NIC use DHCP, ip address will be assigned in the range 128.221.252.Default user/password :service/MiDim7TService port IP: 128.221.252.2SSH client: SecureCRT or PUTTY4.4.1.2 entering the VPLEXCLI4.4.1.3 set the management server ipaddress4.4.1.4 change the hostname of VPLEX4.4.1.5 check software version4.4.2 use EZ-setup to initialize the VPLEX14.4.2.1 Start EZ-setup4.4.2.2 Configure the first cluster4.4.2.3 Chose the local authentication4.4.2.4 Configure event notification4.4.2.5 Configure send system report to EMC4.4.2.6 Configure performance statistics collector4.4.2.7 Generate the certificate4.4.2.8 Backend storage discovery1) display eligible meta data volumes4.4.2.9 create meta-data volume4.4.2.10 verify if meta-data volume is successfully created4.4.2.11 create meta-data volume backups4.4.2.12 enable FE port4.4.3 use EZ-setup to initialize the VPLEX24.4.3.1 Connect to VPLEX2Use SSH to connect to management IP of cluster 2, 4.4.3.2 Sychronize the time on the clusters4.4.3.3 Start EZ-setup on cluster24.4.3.4 Configure the Meta-data volume and backup of VPLEX2Use the same method to configure the VPLEX2 meta-data volumes and backups4.4.3.5 Complete configuration of cluster14.4.3.6 Complete configuration of cluster24.4.4 Join the clustersFrom Vplexcli on cluster2 console, run the following command,4.4.5 Create logging volumes4.5 Check the cluster health4.6 VPLEX backend storage connectivity verify4.7 Claim the data volumel check if VPLEX can see the backend arraysVPlexcli:/ls -al /clusters/cluster-1/storage-elements/storage-arrays/clusters/cluster-1/storage-elements/storage-arrays:Name Connectivity Auto Ports Logical- Status Switch - Unit- - - - Count- - - - -EMC-CLARiiON-FNM00094200051 ok true 0x50060160446019f5, 252 0x50060166446019f5, 0x50060168446419f5, 0x5006016f446019f5l check backend volumesVPlexcli:/ls al /clusters/cluster-1/storage-elements/storage-volumes/clusters/cluster-1/storage-elements/storage-volumes/:Name VPD83 ID Capacity Use Vendor IO Status Type Thin Rebuild- - - - - - - - VPD83T3:6006016031111000d4991c2f7d50e011 VPD83T3:6006016031111000d4991c2f7d50e011 5G unclaimed DGC alive traditional falsel if can not see the volumes, use command to re-discoverVPlexcli:/cd /clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM00094200051VPlexcli:/clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM00094200051/array re-discoverWARNING: This command cannot detect LUN-swapping conditions on the array(s) being re-discovered. LUN swapping is the swapping of LUNs on the back-end. This command cannot detect LUN swapping conditions when the number of LUNs remains the same, but the underlying actual logical units change. I/O will not be disrupted on the LUNS that do not change. Continue? (Yes/No) yl claim the data volumesClaim by use parameter “-appc” to ensure application consistency, because we have data on one leg of the mirror.VPlexcli:/storage-volume claim -d VPD83T3:6006016031111000d4991c2f7d50e011 -n lun_1 -appcThis can be confirmed by checking the Type of the storage-volume which should display as data-protected.VPlexcli:/ls al /clusters/cluster-1/storage-elements/storage-volumes/Name VPD83 ID Capacity Use Vendor IO Status Type Thin Rebuild- - - - - - - -lun_1 VPD83T3:6006016031111000d4991c2f7d50e011 5G used DGC alive data-protected false5. Isilon的实施步骤55.1 集群初始化使用串口登录第一个节点，登录端口设置信息如下：Setting ValueTransfer rate 115,200 bpsData bits 8Parity NoneStop bits 1Flow control Hardware打开连接，根据客户提供的基本信息（集群名称，root密码，admin密码，SmartConnect IP，SmartConnect zone name，网络配置信息，DNS，NTP Server）按照向导完成集群的创建和初始化。Select an option: 1 Create a new cluster 2 Join an existing cluster 3 Exit wizard and configure manuallyWizard Please select an option.Select an option: 1 Create a new cluster 2 Join an existing cluster 3 Exit wizard and configure manuallyWizard 1 tsg-isilon Encoding set to utf-8Configure interface int-a: 1Enter a new netmaskConfigure int-a netmask 255.255.255.0Configure interface int-a: 1 Configure netmask 2 Configure int-a IP ranges Enter Keep the current configuration: Netmask: 255.255.255.0 IP ranges: (not set)Configure interface int-a 2Configure int-a IP ranges 1 Add an IP range 2 Delete an IP range Enter Keep the current IP ranges: IP ranges: (not set)Configure int-a IP ranges 1Enter the low IP address of the range to add:Low IP address (add) 10.10.0.1Enter the high IP address of the range:High IP address (add) 10.10.0.100Configure int-a IP ranges 1 Add an IP range 2 Delete an IP range Enter Keep the current IP ranges: IP ranges: 10.10.0.1-10.10.0.100Configure int-a IP ranges Configure interface int-a: 1 Configure netmask 2 Configure int-a IP ranges Enter Keep the current configuration: Netmask: 255.255.255.0 IP ranges: 10.10.0.1-10.10.0.100Configure interface int-a Select the internal interfaces to configure 1 int-a - primary internal interface 2 int-b - secondary internal interface (failover) Enter Exit configuring internal interfacesConfigure internal interfaces 2Configure interface int-b (failover): 1 Configure netmask 2 Configure int-b IP ranges 3 Configure failover IP ranges Enter Keep the current configuration: Netmask: (not set) IP ranges: (not set) Failover IP ranges: (not set) Failover: disabledConfigure interface int-b (failover) 1Type a new netmaskConfigure int-b netmask 255.255.255.0Configure interface int-b (failover): 1 Configure netmask 2 Configure int-b