EMC Isilon测试方案.docx

EMC Isilon集群NAS测试方案中华保险2012年3月1日 目 录1前 言11.1测试目的11.2测试时间11.3测试地点11.4测试工具11.4.1文件系统性能测试工具DD和IOzone11.4.2文件系统测试工具 GeoMountain22测试环境22.1测试产品概述22.2测试产品参数32.3测试设备配置42.4测试服务器配置42.5测试拓扑结构图43评测总结53.1测试评价53.2测试总结54基本功能测试项目54.1NFS基础测试54.2NFS目录操作64.3NFS文件操作64.4文件系统功能扩展测试75扩展功能测试85.1SmartQuota配额管理86非功能测试96.1可靠性测试96.1.1节点磁盘故障测试96.1.2存储节点冗余测试96.1.3存储节点磁盘故障数据重建测试106.1.4NFS Failover功能测试116.2易用性测试116.2.1磁盘状态监控116.2.2实时系统资源统计功能126.2.3查看系统当前告警126.3可扩展性测试136.3.1节点间负载均衡测试136.3.2存储节点动态扩展测试146.3.3存储性能扩展测试146.4稳定性测试157性能测试167.1DD读写测试167.2IOZONE读写测试177.3GeoMountain读写测试17 I EMC-Isilon存储测试1 前 言本次测试的目的是为满足客户海量非结构化数据存储和高性能访问的需求,对Isilon集群存储系统的功能和性能进行测试与验证，指导客户应用和未来设备选型。1.1 测试目的中华保险对主流Isilon NAS产品和技术进行全面的测试，为高性能存储设备提供选型参考。本测试主要针对EMC公司Isilon IQ 3000X产品进行测试。1.2 测试时间2012年3月10日至2012年3月29日1.3 测试地点客户现场.1.4 测试工具1.4.1 文件系统性能测试工具DD和IOzoneDD：Linux自带命令，进行简单读写测试IOzone：一款基于文件系统测试的基准工具，可以在不同的操作系统下，对不同种类的文件系统的读写性能进行测试，主要用于查看某种文件系统下对于处理IO的吞吐量，以此反映该文件系统的整体性能表现。可以测试Read, write, re-read, re-write, read backwards, random read, random write等不同的模式下的文件系统的性能。测试结果可以生成excel文件，便于对数据进行分析。2 测试环境2.1 测试产品概述 Isilon 分布式集群NAS存储是集群NAS市场的领导者。Isilon集群存储是一种开放式的存储架构，采用分布式的操作系统，将多台物理存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池（也叫统一命名空间），应用可以通过该访问接口非常容易的管理存储池后端物理存储设备上所有的磁盘，充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的负载均衡策略，从多台存储设备上存储和读取，以获得更高的存储性能。从以上定义中，Isilon集群存储有六个非常关键的特点：l 开放式架构（高扩展性）：开放式架构是针对集群存储内部构成元素而言。一般集群存储应该包括存储节点、前端网络、后端网络等三个构成元素，每个元素都采用业界最新技术而不用改变集群存储的架构，而且扩展起来非常方便，像搭积木的方式进行存储的扩展。尤其对于对增长趋势不好预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。Isilon单一文件系统最大可扩展到144个存储节点，15.5PB的存储空间。l 分布式操作系统：分布式操作系统是集群存储的灵魂所在，所有对集群存储的操作都经由分布式操作系统统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式操作系统带来的好处，就是各个节点之间没有任何区别，没有主次、功能上的区别，所有存储节点功能完全一致，这样才能真正做到性能最优。而且在全分布的系统下，任何一个存储节点出现故障，对整个集群存储的影响微乎其微，不会出现全局性大面积影响。l 单一文件系统：Isilon ONEFS单一文件系统带来的统一命名空间可以有效的消除=储热点时的性能，目前Isilon最大支持的单文件系统容量为15.5PB。 l 易管理性：Isilon通过单一Web界面进行管理和配置，可以集中的，简便易用的管理方式，对客户端没有任何影响，采用业界标准的访问协议（比如NFS，CIFS）访问集群存储。而且随着集群存储容量的增加，客户不需要增加额外的管理人员，将精力更多的投向自己的应用方面。管理10TB存储与10PB存储没有任何差异。l 负载均衡：Isilon集群存储通过分布式操作系统的作用，会在前段和后端都实现负载均衡。前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储节点上，大大减轻了每个节点的负载。后端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取，每个读写操作都由更多的磁盘参与，因此将大大的提高读写操作的性能。l 高性能：集群存储的架构，决定它非常适合高带宽，高并发访问的应用模式。同时高IOPS、随机访问、小文件访问以及备份归档等其他类的应用，Isilon集群存储应该在以上领域同样提供高性能的解决方案。2.2 测试产品参数EMC Isilon 3000X 存储4台，每台配置12块250GB SATA 7200转硬盘，2个1Gb和IB网络接口，2个冗余电源。OneFS版本为v6.5.4.4Infiniband 8口 SDR 交换机1台2.3 测试设备配置 Isilon IQ 3000x 3台，作为存储节点。网络设置如下：节点网口外部IP地址 内部网络地址SCGC-1Em0192.168.1.161, 192.168.1.175,192.168.1.18010.10.1.1Em1192.168.1.164,192.168.1.174, 192.168.1.178,SCGC-2Em0192.168.1.162, 192.168.1.171, 192.168.1.176,10.10.1.2Em1192.168.1.165, 192.168.1.169, 192.168.1.172,SCGC-3Em0192.168.1.163, 192.168.1.179, 192.168.1.177,10.10.1.3Em1192.168.1.166, 192.168.1.173, 192.168.1.170,2.4 测试服务器配置64台IBM AIX服务器：2*4Core Intel Xeon CPU，8GB cache.,1 *GigE port.2.5 测试拓扑结构图测试系统组网结构如下图所示。图4-1 存储测试组网图Isilon存储系统配置4台存储节点(Isilon 3000x)为待测节点；10 IBM Server为运行AIX系统的物理测试机。 所有客户端看到同一个的文件命名空间/ifs/data，即Isilon存储系统提供单一文件系统。测试主机由IBM服务器集群组成，部署测试工具。3 评测总结3.1 测试评价3.2 测试总结4 基本功能测试项目4.1 NFS基础测试项目:NFS接口测试分项目:基础测试重要性:必选优先级:A测试目的:测试Isilon存储系统配置基础的NFS环境预置条件:1、 按照测试组网图搭建测试环境；2、 文件系统运行正常；测试步骤:1、 存储系统上进行NFS服务器初始配置；2、 存储系统上设置安全配置，限定访问主机，权限设置为读写；3、 存储系统上Export一个共享目录/ifs/data；4、 启动NFS服务；5、 主机上创建Mount点/src01/disk2；6、 将存储系统Export的目录挂载至/src01/disk2上；7、 主机上解除挂载；8、 存储系统上删除相关Export配置；预期结果:1、 操作成功，系统未有任何错误提示。测试结果:备注：4.2 NFS目录操作项目:NFS接口测试分项目:基础测试重要性:必选优先级:A测试目的:测试Isilon存储系统NFS接口的目录操作预置条件:1、 按照测试组网图搭建测试环境；2、 文件系统运行正常；3、 完成基础配置，启动NFS服务，存储系统Export的目录正常挂载。测试步骤:1、 在/src01/disk2目录下创建子目录testdir；2、 List挂载目录/src01/disk2下的所有子目录；3、 将子目录更名为testdir14、 删除子目录testdir15、 并测试不同权限设置下，权限管理是否正常可用预期结果:操作成功，系统未有任何错误提示。测试结果:备注：4.3 NFS文件操作项目:NFS接口测试分项目:基础测试重要性:必选优先级:A测试目的:测试Isilon存储系统NFS接口的文件操作功能预置条件:1、 按照测试组网图搭建测试环境；2、 文件系统运行正常；3、 完成基础配置，启动NFS服务，存储系统Export的目录正常挂载。测试步骤:1、 在/src01/disk2目录下创建子目录testdir；2、 在testdir目录下创建文件testfile；3、 修改文件testfile内容，保存修改；4、 移动testfile到根目录/src01/disk2下；5、 将testfile更名为testfile1；6、 删除testfile1。7、 并测试不同权限设置下，权限管理是否正常可用预期结果:操作成功，系统未有任何错误提示。测试结果:备注：4.4 文件系统功能扩展测试项目:文件系统扩展测试分项目:基础测试重要性:必选优先级:A测试目的:测试Isilon存储系统，文件系统扩展测试预置条件:1、 按照测试组网图搭建测试环境；2、 文件系统运行正常；测试步骤:1、 在共享目录下创建子目录testdir；2、 共享目录，通过脚本创建10级子目录，测试对多级目录的支持3、 通过脚本创建100个文件，测试对大量文件的支持4、 手动创建长文件名的支持预期结果:测试结果:完成，无任何错误备注：5 扩展功能测试5.1 SmartQuota配额管理项目:配额管理分项目: 扩展功能测试重要性:必选优先级:A测试目的:测试Isilon存储系统配额管理功能。预置条件:1、 按照测试组网图搭建测试环境；2、 文件系统运行正常；1、 激活Smartquota配额管理许可。测试步骤:1、 建立测试目录testdir1和testdir2，并共享目录；2、 为目录创建配额，可分别以GB、TB为目录设置容量；3、 前端客户写入数据，当达到分配容量限额是，无法进行写入操作；4、 同时配额管理，支持对目录和用户、组为单位进行配额管理；5、 可重复以上步骤，设置配额预期结果:达到配额上限以后，无法进行写入。测试结果:备注：6 非功能测试6.1 可靠性测试6.1.1 节点磁盘故障测试项目:可靠性测试分项目:可靠性测试重要性:可选优先级:A测试目的:测试Isilon存储系统中包括存储节点、磁盘等硬件故障时数据可靠性保护能力。预置条件:1、 按照测试组网图搭建测试环境；2、 在测试环境下完成NFS初始配置；3、 使用管理员账号登录存储管理平台；4、 整个集群运行正常。测试步骤:1、 使用测试工具通过NFS接口，创建100（20MB）文件*10目录用于一致性检测。2、 运行测试工具检测文件一致性过程中，将存储节点的任意一块磁盘拔出；3、 在存储管理平台界面查看事件和资源中的磁盘信息。预期结果:1、 Isilon存储系统文件服务不受存储节点磁盘故障的影响；2、 使用测试工具未检测到任何文件数据不一致。 测试结果:备注：6.1.2 存储节点冗余测试项目:可靠性测试分项目:可靠性测试重要性:必选优先级:A测试目的:测试Isilon存储系统中存储节点发生故障时，数据重建能力。预置条件:1、 按照测试组网图搭建测试环境；2、 在测试环境下完成NFS初始配置；3、 使用管理员账号登录存储管理平台；4、 存储系统采用多个存储节点。测试步骤:1、 使用测试工具通过NFS接口，创建100（20MB）文件*10目录用于一致性检测；2、 文件创建过程中，将任意一个正在读写的数据存储节点所有业务网线拔出断网，模拟故障；3、 待所有文件创建完成后，将断网存储节点的所有业务网线插入；4、 等待数据同步完成后，使用测试工具检测文件的一致性；5、 进入存储管理平台“事件”页面，查看相关告警信息。预期结果:1、 系统已有数据不受故障影响，同时能够持续提供无差别服务；2、 使用测试工具未检测到任何文件数据不一致；3、 事件记录中有相关的告警记录。 测试结果:备注：6.1.3 存储节点磁盘故障数据重建测试项目:可靠性测试分项目:可靠性测试重要性:必选优先级:A测试目的:测试Isilon存储系统中数据磁盘的冗余能力。预置条件:1、 按照测试组网图搭建测试环境；2、 在测试环境下完成NFS初始配置；3、 使用管理员账号登录存储管理平台。测试步骤:1、 使用测试工具通过NFS接口，创建100（20MB）文件*10目录用于一致性检测；2、 文件创建过程中，将任意一个正在读写存储节点的一块任意磁盘拔出后，运行测试工具检测文件一致性；3、 进入存储管理平台“事件”页面，查看相关告警信息。预期结果:1、 Isilon存储系统文件服务不受拔出磁盘的影响；2、 使用测试工具未检测到任何文件数据不一致；3、 事件记录中有相关的告警记录，且节点触发基于数据重构。测试结果:备注：6.1.4 NFS Failover功能测试项目:可靠性测试分项目:可靠性测试重要性:必选优先级:A测试目的:测试Isilon存储系统对NFS Failover功能的支持预置条件:1、 按照测试组网图搭建测试环境；2、 在测试环境下完成NFS初始配置；3、 使用管理员账号登录存储管理平台。测试步骤:1、 使用测试工具通过NFS接口，创建100（20MB）文件*10目录用于一致性检测；2、 确认客户端所连接的存储节点网络端口；3、 文件创建过程中，断掉此物理连接预期结果:1、 Isilon存储系统文件服务不受拔出断网的影响；2、 从Isilon管理界面，可以看到，端口IP已经浮动其他网络端口3、 文件创建成功测试结果:备注：6.2 易用性测试6.2.1 磁盘状态监控项目:磁盘状态监控分项目: 易用性测试重要性:必选优先级:A测试目的:检测系统是否支持磁盘的状态监控预置条件:1、 系统运行正常。测试步骤:1、 进入Isilon存储系统管理界面；2、 查看域内设备的磁盘状态。预期结果:1、 在磁盘信息界面中可以查看到该设备所有磁盘的ID，在位状态以及故障状态等。测试结果:备注：6.2.2 实时系统资源统计功能项目:实时系统资源统计功能分项目: 易用性测试重要性:必选优先级:A测试目的:验证Isilon存储系统支持查看实时系统资源统计预置条件:1、 系统运行正常。测试步骤:1、 进入Isilon存储系统管理界面；2、 查看设备实时的IOPS与读写带宽。预期结果:1、 设备性能监控可以实时的查看客户端链接数2、 读写带宽的相关数据。测试结果:备注：6.2.3 查看系统当前告警项目:查看系统当前告警分项目: 易用性测试重要性:必选优先级:A测试目的:验证Isilon存储系统支持查看系统当前告警预置条件:无测试步骤:1、 进入状态页面，查看“事件”。预期结果:1、可以正确查看系统当前告警。测试结果:备注：6.3 可扩展性测试6.3.1 节点间负载均衡测试项目:可扩展性测试分项目:可扩展性测试重要性:必选优先级:A测试目的:测试Isilon存储系统节点间负载均衡的能力预置条件:1、 按照测试组网图搭建测试环境；2、 在测试环境下完成NFS初始配置；3、 使用管理员账号登录存储管理平台。测试步骤:1、 在所有测试服务器上运行负载测试工具，在10个目录中创建10个512MB文件；2、 使用监控工具监控各个数据存储节点上的资源消耗和带宽数据预期结果:文件系统能够均衡节点内各服务器的负载（每数据存储节点负载基本持平）测试结果:备注：6.3.2 存储节点动态扩展测试项目:可扩展性测试分项目:可扩展性测试重要性:必选优先级:A测试目的:1、验证Isilon存储系统的动态扩容能力。预置条件:1、 按照测试组网搭建测试系统及Isilon存储系统配置3个存储节点；2、 在测试环境下完成NFS初始配置；3、 通过存储管理平台记录系统的初始存储空间大小。测试步骤:1、 主机使用负载测试工具在客户端上给予存储系统持续的负载；2、 同时将1个存储节点加入已经搭建好的Isilon存储系统；3、 查询Isilon存储系统的空间大小，在监控工具中观察各个存储节点的系统资源使用状况；4、 通过存储管理平台将1个存储节点在线移出集群；5、 查询Isilon存储系统的空间大小，在监控工具主页中各个节点的系统资源使用状况。预期结果:1、 系统空间随着存储节点的动态加入而线性增加；2、 系统空间可通过计划内宕机形式，将部分节点退服，减少存储空间；3、 系统容量和性能调整过程，无需计划内宕机。测试结果:备注：6.3.3 存储性能扩展测试项目:可扩展性测试分项目:可扩展性测试重要性:必选优先级:A测试目的:1、验证Isilon存储系统性能与存储节点的线性关系。预置条件:1、 按照测试组网搭建测试系统及Isilon存储系统配置3个存储节点；2、 在测试环境下完成NFS初始配置；3、 通过存储管理平台记录系统的初始存储空间大小。测试步骤:1、 完成4.4.3性能测试内容，记录结果；2、 将1个相同配置的数据存储节点加入已经搭建好的Isilon存储系统；3、 重新完成4.4.3性能测试内容，记录结果；4、 再将1个相同配置的数据存储节点加入已经搭建好的Isilon存储系统；5、 重新完成4.4.3性能测试内容，记录结果。预期结果:1、 系统性能随着存储节点的动态加入线性增加。测试结果:备注：6.4 稳定性测试项目:稳定性测试分项目: 稳定性测试重要性:必选优先级:A测试目的:测试Isilon存储系统的稳定性。预置条件:1、 按照测试组网搭建Isilon存储系统及测试系统，存储节点；2、 在测试环境下完成NFS初始配置；3、 使用管理员账号登录存储管理平台。测试步骤:1、 用Iozone向Isilon存储系统写入测试客户端内存2倍大小的文件；2、 循环测试，3、 系统连续运行48小时以上。预期结果:1、 测