存储及双活测试方案

800-999682523/23融通基金存储升级及双活数据中心项目测试方案V1.0深圳市桑威科技有限公司2016年5月SUNWAY VPLEXmetro双活数据中心测试方案文档信息项目名称：融通基金VPLEXMetro项目测试报告文档版本号：1.0文档作者：彭世华生成日期：2016年5月文档审核者：审核日期：文档维护记录版本号维护日期作者/维护人描述1.02016年5月12日彭世华创建初稿目 录TOC\o"1-4"\u1. 环境配置 52. 测试目的 53. VPLEX测试环境的建立 53.1. SANSwitch物理连线 53.2. SANSwitch配置 53.3. 存储系统配置 54. 测试场景 65. 测试结论 76. 测试步骤及结果 86.1. 测试1:VPLEX控制器高可用测试 86.2. 测试2：VPLEX后端链路高可用测试 96.3. 测试3：双活镜像测试 96.4. 测试4：VPLEXMetro级联链路高可用测试_1 106.5. 测试5：双活仲裁测试_1 106.6. 测试6：双活仲裁测试_2 116.7. 测试7：双活仲裁测试_3 116.8. 测试8：双活仲裁测试_4 126.9. 测试9：双活仲裁测试_5 126.10. 测试10：双活仲裁测试_6 136.11. 测试11：双活仲裁测试_7 137. 场景测试及结果 147.1. 测试场景1：超算VNX5800故障 147.2. 测试场景2：汉唐VNX5500故障 147.3. 测试场景3：所有存储同时故障 157.4. 测试场景4：Witness发生故障 157.5. 测试场景5：vplex_1、vplex_2同时故障 157.6. 测试场景6：vplex_1、vplex_2同时故障，后端存储也同时故障 167.7. 测试场景7：Witness与vplex_1IP通信中断，其他正常 167.8. 测试场景8：Witness与vplex_2IP通信中断，其他正常 177.9. 测试场景9：Witness与vplex_1、vplex2IP通信中断，其他正常 177.10. 测试场景10：vplex_1、vplex2IP通信中断，但是vplex_1、vplex2各自与witnessIP通信正常 187.11. 测试场景11：4台FC交换机之间的裸光纤全部故障，其他正常 187.12. 测试场景12：超算FC交换机故障 197.13. 测试场景13：汉唐FC交换机故障 197.14. 测试场景14：所有交换机同时故障 207.15. 测试场景15：vplex_1与vnx5800光纤链路故障，其它正常 207.16. 测试场景16：vplex_2与vnx5500光纤链路故障，其它正常 217.17. 测试场景17：裸光纤全故障，外网LUN在超算起来，内网LUN从汉唐起来 218. 审计意见 229. 讨论反馈后备注 22

环境配置硬件：设备数量微码/版本备注VPLEXVS225.5SP2每个机房配置双引擎建议安装版本5.5SP2SANSwitchsEMCDS6510B\5100B47.2.1c1用于连接EMCVPLEX和后端存储现有5100微码需要升级VNX5800\540025.33我们使用全新的VNX5800和5400测试2测试主机（待定）软件：项目版本备注虚化化Esxi6.0物理机OL6.5多路径软件Esxi6.0自带、Powerpath6.0测试目的测试不同场景下，测试主机对EMC虚拟化存储的访问状况，从而测试EMCVPLEXmetro的高可用性。VPLEX测试环境的建立SANSwitch物理连线完成测试主机到SANSwitch，SANSwitch到测试存储系统之间的光纤连接。SANSwitch配置完成测试主机与测试存储系统之间的ZONE配置。存储系统配置VPLEX将已封装的LUN分配给ESX主机及物理机测试场景vplex_1、Witness、vnx5800在超算机房，vplex_2、vnx5500在汉唐机房。测试内容说明预期测试1VPLEX单个director故障将一台VPLEX的一个director的光纤线全部断开，观察测试主机的IO路径和IO访问状况虚拟机不受影响，主机的IO读写能持续进行测试2VPLEX后端链路高可用测试VPLEX的后端链路部分中断虚拟机不受影响，主机的IO读写能持续进行测试3双活镜像测试后端存储VNX5800发生突然停机虚拟机不受影响，主机的IO读写能持续进行测试4VPLEXMetro级联链路（裸纤）高可用测试_1VPLEXWAN-com级联链路有一条故障虚拟机不受影响，主机可以持续读写数据。测试5双活仲裁测试1VPLEXWAN-com级联链路全部故障（Witness正常工作）虚拟机不受影响，主机可以持续读写数据。测试6双活仲裁测试2关闭VPLEX_2，观察测试主机的IO路径和IO访问状况（Witness正常工作）虚拟机不受影响，主机可以持续读写数据。测试7双活仲裁测试3关闭VPLEX_1，观察测试主机的IO路径和IO访问状况（Witness正常工作）虚拟机不受影响，主机可以持续读写数据。测试8双活仲裁测试4关闭Witness，观察测试主机的IO路径和IO访问状况虚拟机不受影响，主机可以持续读写数据。测试9双活仲裁测试5同时关闭VPLEX_2和Witness虚拟机不能运行，主机IO挂起，需要在VPLEX_1上手动恢复IO访问测试10双活仲裁测试6同时关闭VPLEX_1和Witness虚拟机不能运行，主机IO挂起，需要在VPLEX_2上手动恢复IO访问测试11双活仲裁测试7Witness和所有WAN-com（裸纤）全部同时故障虚拟机不能运行，主机IO挂起，VPLEX_1和VPLEX_2都挂起，需手动选择恢复测试12超算VNX5800故障超算VNX5800故障测试13汉唐VNX5500故障汉唐VNX5800故障测试14所有存储同时故障超算VNX5800与汉唐VNX5500同时故障测试15Witness发生故障Witness发生故障，其它正常测试16vplex_1、vplex_2同时故障vplex_1、vplex_2同时故障，后端存储存活测试17vplex_1、vplex_2同时故障，后端存储也同时故障vplex_1、vplex_2同时故障，后端存储也同时故障测试18Witness与vplex_1IP通信中断，其他正常Witness与vplex_1IP通信中断，其他正常测试19Witness与vplex_2IP通信中断，其他正常Witness与vplex_2IP通信中断，其他正常测试20Witness与vplex_1、vplex2IP通信中断，其他正常Witness与vplex_1、vplex2IP通信中断，其他正常测试21vplex_1、vplex2IP通信中断，但是vplex_1、vplex2各自与witnessIP通信正常vplex_1、vplex2IP通信中断，但是vplex_1、vplex2各自与witnessIP通信正常测试224台FC交换机之间的裸光纤全部故障，其他正常4台FC交换机之间的裸光纤全部故障，其他正常测试23超算FC交换机故障超算FC交换机故障全部故障测试24汉唐FC交换机故障汉唐FC交换机故障全部故障测试25所有交换机同时故障所有交换机同时故障测试26vplex_1与vnx5800光纤链路故障，其它正常vplex_1与vnx5800光纤链路故障，其它正常测试27vplex_2与vnx5500光纤链路故障，其它正常vplex_2与vnx5500光纤链路故障，其它正常测试28裸光纤全故障，外网LUN在超算起来，内网LUN从汉唐起来裸光纤全故障，外网LUN在超算起来，内网LUN从汉唐起来测试28测试29测试30测试31

测试结论测试内容测试结论测试1VPLEX控制器高可用测试测试2VPLEX后端链路高可用测试测试3双活镜像测试测试4VPLEXMetro级联链路高可用测试_1测试5双活仲裁测试1测试6双活仲裁测试2测试7双活仲裁测试3测试8双活仲裁测试4测试9双活仲裁测试5测试10双活仲裁测试6测试11双活仲裁测试7测试步骤及结果测试1:VPLEX控制器高可用测试故障模拟：其中一台VPLEX上的一个director（控制器）突然发生故障测试方法：直接rebootdirector或者disable该director在SAN交换机的端口模拟该director故障此处采用disable端口初始相关参数：VPLEX:auto-resume-at-loser=trueCG：detach-rule=winnercluster-1after5s步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；断开VPLEX_1的directorA的所有光纤线登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。故障恢复：director重启或者enable交换机中主机与该director的zone模拟该director故障恢复预期结果：主机的IO路径中断一半，主机可以继续访问VPLEX_1测试1记录：测试1结论：测试2：VPLEX后端链路高可用测试故障模拟：VPLEX与后端存储直接的链路出现不稳定或故障测试方法：在交换机上disableVPLEX的后端端口（两边非同时）预期结果：主机可以继续访问VPLEX，被拔掉的一边后端存储显示失效。测试记录：步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；登录SAN交换机找到一台VPLEX的后端端口portdisable这些后端端口登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。结束时间：测试2结果：测试2结论：测试3：双活镜像测试故障模拟：VPLEX的后端VNX5800存储突然down机，模拟后端存储完全故障测试方法：把VNX5800的前端口在交换机上disable步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；在交换机上将VNX5800存储的端口全部关闭。登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。预期结果：主机正常访问VPLEX，主机端不受任何影响，虚拟机状态正常，虚拟化平台正常，磁盘扫描没有变化，主机到VPLEX路径全部都在结束时间：测试3结果：测试3结论：测试4：VPLEXMetro级联链路高可用测试_1故障模拟：VPLEXMetro两个site的WAN-com(裸纤)级联链路出现不稳定开始时间：步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；断开VPLEX_1的的一个WAN-COM口的光纤线（或disable一条裸纤在交换机上的所有端口）登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。结束时间：测试4结果：测试4结论：测试5：双活仲裁测试_1故障模拟：VPLEXMetro两个site的WAN-com级联链路全部中断开始时间：步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；断开VPLEX_1的的两个WAN-COM口的光纤线登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。结束时间：测试5结果：测试5结论：测试6：双活仲裁测试_2故障模拟：当Witness工作正常时，模拟一个VPLEX群集故障开始时间：步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；断开VPLEX_2的的所有接口登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。结束时间：测试6结果：测试6结论：测试7：双活仲裁测试_3故障模拟：当Witness工作正常时，模拟另外一个VPLEX群集（VPLEX_1）故障开始时间：步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；断开VPLEX_1的的所有接口登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。结束时间：测试7结果：测试7结论：测试8：双活仲裁测试_4故障模拟：当Witness故障时，确认VPLEX群集是否工作正常开始时间：步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；关闭Witness登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。结束时间：测试8结果：测试8结论：测试9：双活仲裁测试_5故障模拟：一个VPLEX群集（VPLEX_2）和Witness同时故障开始时间：步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；同时关闭VPLEX_2所有端口和Witness登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。结束时间：测试9结果：测试9结论：测试10：双活仲裁测试_6故障模拟：另外一个VPLEX群集（VPLEX_1）和Witness同时故障开始时间：步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；同时关闭VPLEX_1所有端口和Witness登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。结束时间：测试10结果：测试10结论：测试11：双活仲裁测试_7故障模拟：所有WAN-com（裸纤）和Witness同时故障开始时间：步骤：当前主机访问VPLEXMetro正常确认VPLEX状态正常，确认当前无rebuild任务；同时关闭所有裸纤在光纤交换机上的所有端口和Witness登录VMWARE管理界面观察，记录结果登录VPLEXGUI和CLI观察，记录结果。结束时间：测试11结果：测试11结论：场景测试及结果测试场景1：超算VNX5800故障场景模拟：超算VNX5800故障测试方法：在交换机上disableVNX5800前端口预期结果：主机可以继续访问VPLEX，超算VPLEX显示后端存储故障，所有超算端Volume出错。测试记录：测试场景1结果：测试场景1结论：测试场景2：汉唐VNX5500故障场景模拟：汉唐VNX5800故障测试方法：在交换机上disable汉唐VNX5500前端口预期结果：主机可以继续访问VPLEX，汉唐VPLEX显示后端存储故障，所有汉唐端Volume出错。测试记录：测试场景2结果：测试场景2结论：测试场景3：所有存储同时故障场景模拟：所有存储同时故障测试方法：在交换机上disableVNX5800及VNX5500前端口预期结果：VPLEX系统显示后端存储故障，主机虽然连接VPLEX，但无法读写数据测试记录：测试场景3结果：测试场景3结论：测试场景4：Witness发生故障场景模拟：仅Witness发生故障测试方法：关闭Witness虚拟机预期结果：主机访问VPLEX正常，超算及汊唐Cluster正常，系统提示Witness连接中断。测试记录：测试场景4结果：测试场景4结论：测试场景5：vplex_1、vplex_2同时故障场景模拟：vplex_1、vplex_2同时故障测试方法：在交换机上Disablevplex_1、vplex_2的所有前端及后端预期结果：VPLEX系统显示所有Cluster故障，主机访问中断。测试记录：测试场景5结果：测试场景5结论：测试场景6：vplex_1、vplex_2同时故障，后端存储也同时故障场景模拟：vplex_1、vplex_2同时故障，后端存储也同时故障测试方法：在交换机上Disablevplex_1、vplex_2的所有前端及后端，Disable所有存储前端预期结果：VPLEX系统显示所有Cluster故障，主机访问中断。测试记录：测试场景6结果：测试场景6结论：测试场景7：Witness与vplex_1IP通信中断，其他正常场景模拟：Witness与vplex_1IP通信中断，其他正常测试方法：拨出超算vplex_1的管理网线预期结果：主机访问VPLEX正常，超算及汊唐Cluster正常，系统提示Cluster1的Witness连接中断。测试记录：测试场景7结果：测试场景7结论：测试场景8：Witness与vplex_2IP通信中断，其他正常场景模拟：Witness与vplex_2IP通信中断，其他正常测试方法：拨出汉唐vplex_2的管理网线预期结果：主机访问VPLEX正常，超算及汊唐Cluster正常，系统提示Cluster2的Witness连接中断。测试记录：测试场景8结果：测试场景8结论：测试场景9：Witness与vplex_1、vplex2IP通信中断，其他正常场景模拟：Witness与vplex_1、vplex2IP通信中断，其他正常测试方法：在虚拟机上断开Witness的网卡连接预期结果：主机访问VPLEX正常，超算及汊唐Cluster正常，系统提示Witness连接中断。。测试记录：测试场景9结果：测试场景9结论：测试场景10：vplex_1、vplex2IP通信中断，但是vplex_1、vplex2各自与witnessIP通信正常场景模拟：vplex_1、vplex2IP通信中断，但是vplex_1、vplex2各自与witnessIP通信正常测试方法：断开vplex_1、vplex2之间的网络路由预期结果：主机访问VPLEX正常，超算及汊唐Cluster正常，系统提示WitnessVPN连接异常。。测试记录：测试场景10结果：测试场景10结论：测试场景11：4台FC交换机之间的裸光纤全部故障，其他正常场景模拟：4台FC交换机之间的裸光纤全部故障，其他正常测试方法：Disable所有DS6510与DS5100之间的所有级联端口预期结果：超算主机访问VPLEX正常，汉唐主机访问VPLEX故障，VPLEX系统显示ClusterPartition。测试记录：测试场景11结果：测试场景11结论：测试场景12：超算FC交换机故障场景模拟：超算2台DS6510交换机故障测试方法：关闭超算2台DS6510交换机所有电源预期结果：汉唐主机访问VPLEX正常，超算主机访问VPLEX故障，VPLEX系统显示ClusterPartition。测试记录：测试场景12结果：测试场景12结论：测试场景13：汉唐FC交换机故障场景模拟：汉唐2台DS5100交换机故障测试方法：关闭汉唐2台DS5100交换机所有电源预期结果：超算主机访问VPLEX正常，汉唐主机访问VPLEX故障，VPLEX系统显示ClusterPartition。测试记录：测试场景13结果：测试场景13结论：测试场景14：所有交换机同时故障场景模拟：4台SAN交换机故障测试方法：关闭超算及汉唐4台SAN交换机所有电源预期结果：VPLEX系统显示所有Cluster故障，主机访问中断。测试记录：测试场景14结果：测试场景14结论：测试场景15：vplex_1与vnx5800光纤链路故障，其它正常场景模拟：vplex_1与vnx5800光纤链路故障，其它正常测试方法：Disablevplex_1与vnx5800所在的SAN交换机端口预期结果：所有主机可以继续访问VPLEX，VPLEX系统显示ClusterPartition，Cluster1故障，所有超算端Volume出错，。测试记录：测试场景15结果：测试场景15结论：测试场景16：vplex_2与vnx5500光纤链路故障，其它正常场景模拟：vplex_2与vnx5500光纤链路故障，其它正常测试方法：Disablevplex_2与vnx5500所在的SAN交换机端口预期结果：所有主机可以继续访问VPLEX，VPLEX系统显示ClusterPartition，Cluster2故障，所有汉唐端Volume出错，。测试记录：测试场景16结果：测试场景16结论：测试场景17：裸光纤全故障，外网LUN在超算起来，内网LUN从汉唐起来场景模拟：裸光纤全故障，外网LUN在超算起来，内网LUN从汉唐起来测试方法：拨出波分系统上的所有裸光纤预期结果：超算主机访问VPLEX正常，汉唐中心Cluster2Suspended，VPLEX系统显示Cluster2故障。若要选择外网LUN在超算起来（由于所有LUN均在超算运行，因此外网LUN无需任何操作）；若要选择内网LUN从汉唐起来，需要以下步骤：将内网业务在超算的服务器关机在汉唐中心ssh登陆vplex命令行，执行命令（以TATZ_CG为例）：VPlexcli:/clusters/cluster-2/consistency-groups/TATZ_CG>choose-winner-ccluster-2启动该系统数据库及应用即可。测试记录：测试场景17结果：测试场景17结论：审计意见审计：上述描写测试步骤没问题，但有两个意见测试总共有28项，这里只有11项，未完成。另外双活中心功能测试最好结合OracleRAC完成，原因是VMWARE的容错性较高，而Oracle容错性较低，从Oracle的角度去测试会更加严格，能够发现的问题会更多。涉及两个机房切换的测试建议加压力测试，以了解在高负荷情况下，切换是否能顺利，是否能在应用接受的延迟下完成切换。讨论反馈后备注上述问题都没完成基于C8051F单片机直流电动机反馈控制系统的设计与研究基于单片机的嵌入式Web服务器的研究MOTOROLA单片机MC68HC（8）05PV8/A内嵌EEPROM的工艺和制程方法及对良率的影响研究基于模糊控制的电阻钎焊单片机温度控制系统的研制基于MCS-51系列单片机的通用控制模块的研究基于单片机实现的供暖系统最佳启停自校正（STR）调节器单片机控制的二级倒立摆系统的研究基于增强型51系列单片机的TCP/IP协议栈的实现基于单片机的蓄电池自动监测系统基于32位嵌入式单片机系统的图像采集与处理技术的研究基于单片机的作物营养诊断专家系统的研究基于单片机的交流伺服电机运动控制系统研究与开发基于单片机的泵管内壁硬度测试仪的研制基于单片机的自动找平控制系统研究基于C8051F040单片机的嵌入式系统开发基于单片机的液压动力系统状态监测仪开发模糊Smith智能控制方法的研究及其单片机实现一种基于单片机的轴快流CO〈,2〉激光器的手持控制面板的研制基于双单片机冲床数控系统的研究基于CYGNAL单片机的在线间歇式浊度仪的研制基于单片机的喷油泵试验台控制器的研制基于单片机的软起动器的研究和设计基于单片机控制的高速快走丝电火花线切割机床短循环走丝方式研究基于单片机的机电产品控制系统开发基于PIC单片机的智能手机充电器基于单片机的实时内核设计及其应用研究基于单片机的远程抄表系统的设计与研究基于单片机的烟气二氧化硫浓度检测仪的研制基于微型光谱仪的单片机系统单片机系统软件构件开发的技术研究基于单片机的液体点滴速度自动检测仪的研制基于单片机系统的多功能温度测量仪的研制基于PIC单片机的电能采集终端的设计和应用基于单片机的光纤光栅解调仪的研制气压式线性摩擦焊机单片机控制系统的研制基于单片机的数字磁通门传感器基于单片机的旋转变压器-数字转换器的研究基于单片机的光纤Bragg光栅解调系统的研究单片机控制的便携式多功能乳腺治疗仪的研制基于C8051F020单片机的多生理信号检测仪基于单片机的电机运动控制系统设计Pico专用单片机核的可测性设计研究基于MCS-51单片机的热量计基于双单片机的智能遥测微型气象站MCS-51单片机构建机器人的实践研究基于单片机的轮轨力检测基于单片机的GPS定位仪的研究与实现基于单片机的电液伺服控制系统用于单片机系统的MMC卡文件系统研制基于单片机的时控和计数系统性能优化的研究基于单片机和CPLD的粗光栅位移测量系统研究单片机控制的后备式方波UPS提升高职学生单片机应用能力的探究基于单片机控制的自动低频减载装置研究基于单片机控制的水下焊接电源的研究基于单片机的多通道数据采集系统基于uPSD3234单片机的氚表面污染测量仪的研制基于单片机的红外测油仪的研究96系列单片机仿真器研究与设计基于单片机的单晶金刚石刀具刃磨设备的数控改造基于单片机的温度智能控制系统的设计与实现基于MSP430单片机的电梯门机控制器的研制基于单片机的气体测漏仪的研究基于三菱M16C/6N系列单片机的CAN/USB协议转换器基于单片机和DSP的变压器油色谱在线监测技术研究基于单片机的膛壁温度报警系统设计基于AVR单片机的低压无功补偿控制器的设计基于单片机船舶电力推进电机监测系统基于单片机网络的振动信号的采集系统基于单片机的大容量数据存储技术的应用研究基于单片机的叠图机研究与教学方法实践基于单片机嵌入式Web服务器技术的研究及实现基于AT89S52单片机的通用数据采集系统基于单片机的多道脉冲幅度分析仪研究机器人旋转电弧传感角焊缝跟踪单片机控制系统基于单片机的控制系统在PLC虚拟教学实验中的应用研究基于单片机系统的网络通信研究与应用基于PIC16F877单片机的莫尔斯码自动译码系统设计与研究基于单片机的模糊控制器在工业电阻炉上的应用研究基于双单片机冲床数控系统的研究与开发基于Cygnal单片机的μC/OS-Ⅱ的研究基于单片机的一体化智能差示扫描量热仪系统研究基于TCP/IP协议的单片机与Internet互联的研究与实现变频调速液压电梯单片机控制器的研究基于单片机γ-免疫计数器自动换样功能的研究与实现基于单片机的倒立摆控制系统设计与实现单片机嵌入式以太网防盗报警系统基于51单片机的嵌入式Internet系统的设计与实现单片机监测系统在挤压机上的应用MSP430单片机在智能水表系统上的研究与应用基于单片机的嵌入式系统中TCP