sfs2014存储性能测试工具

1、存储性能测试工具,SFS2014,SFS2008,简介,1,SPEC SFS2014,简介,目,录,2,SFS2014,参数设定,3,测试参考,4,测试分析,SPEC SFS2014,SFS2014,工具用于衡量测试存储解决方案的最大持续吞吐量,是全球知名第三方,组织,SPEC,测试系统总体性能的,Benchmark,工具，该组织由清华大学、斯坦福,大学、微软等全球几十所大学、研究机构和,IT,组织组成。经过多年发展积累,SFS,测试标准已得到全球众多用户广泛认可,SFS2014,可测试任何版本的,NFS,和,SMB/CIFS,集群文件系统、面向对象文件,系统、本地文件系统或者其它任何兼容,P

2、OSIX,的文件系统,SFS2014,环境支持,Unix,系统,Linux, Mac OS X, BSD, Solaris, and AIX,Windows,提供,sfs ISO,版本不支持,Windows,测试环境架构如下,软件安装,安装前准备,Python,Python2.7,以上，该软件使用,Python,编译安装和运行,Unix,gcc,编译生成运行文件需要,gcc,编译,安装,1.python Sfsmanager,install-dir,”目录”(引号中为目录的安装位置,2.make,生成运行文件,netmist,gcc make,后生成,3.SFS2014,安装完成,软件运行方式

3、,sfs2014,主要靠,python,运行，执行命令启动测试,python SfsManager,r sfs_rc_,s output_result,其中,r,跟配置文件,s,跟输出文件。配置文件可手动配置变更控制测试场景,s,指定的输出文件在测试执行完成后会生成文件目录，包含,4,个文件,Log,文件,txt,文件,xml,文件和,sfs2014,1,SPEC SFS2014,简介,2,SFS2014,参数设定,3,测试参考,4,测试分析,目,录,运行参数,主要部分,BENCHMARK,VDI,测试负载类型,LOAD,10,测试负载数量,INCR_LOAD=10,每次测试负载增量,NUM_

4、RUNS=10,测试负载执行次数,CLIENT_MOUNTPOINTS,host1:/mnt/test,测试文件系统路径,EXEC_PATH=/usr/local/bin/netmist,测试运行程序路径,USER,root,测试用户,每次测试运行时间,客户端内存大小,最大聚合数据集大小,文件设定大小,目录深度,RUNTIME=300,CLIENT_MEM=1g,AGGR_CAP=1g,FILE_SIZE,DIR_COUNT=10,FILES_PER_DIR=100,目录宽度,运行参数,参数,BENCHMARK,Workload,方式，有,4,种不同类型，每种类型的,Workload,分别针对

5、有不同,的场景设计,VDA,Video Data Acquisition,视频数据采集,VDI,Virtual Desktop Infrastructure,虚拟桌面基础架构,SWBUILD,software build,元数据密集构建工作,DATABASE,数据库,运行参数,参数,BENCHMARK,四种负载测试每个,proc,需要满足一定的内存和容量条件才可达到最大测,试效果,如容量,DATABASE = 24 Gigabytes per DATABASE,SWBUILD = 5 Gigabytes per BUILD,VDI = 12 Gigabytes per DESKTOP,VDA

6、= 24 Gigabytes per STREAM,如内存,DATABASE = 55 Mbytes per LOAD increment,SWBUILD = 400 Mbytes per LOAD increment,VDA = 10 Mbytes per LOAD increment,VDI = 8 Mbytes per LOAD increment,例如测试,LOAD,为,10,RUN,为,10,最大负载为,100load,的,VDA,需要挂载,空间最少为,2400G,客户端内存为,10000M,运行参数,参数,BENCHMARK,四种,LOAD,方式按照以下特征进行分配和测试，每种,L

7、OAD,的特征各不相,同，如下,文件操作,File Operation,Read,传输大小,Write,传输大小,混合选项,执行参数,重写参数,成功标准,备注,包含,read,read file,write,write file,mkdir,rand,write,rand read,等,22,种操作，从中选择部分进行测试,从,0-1048576,选择指定块大小或区间块大小进行读测试,从,0-1048576,选择指定块大小或区间块大小进行写测试,包含,write commit,写入提交），压缩,rand dist,behavior,随机分布）等，选择部分,每个,load,分配多少个负载，文件目录

8、深度和文件个数等,运行时间，文件大小，文件深度和宽度,是否达到符合标准，全局平均在,90,以上和单个,load,等不,低于,75,所有的都是一致的,文件操作介绍,read,读,write,写,copyfile(,拷贝文件,mmap write(,调用内存写,mmap read(,调用内存读,readdir(,读目录,rename(,文件重名,read file(,读文件,write file(,写文件,pathconf(,调用,pathconf,函数,stat(,调用文件执行,stat(,create(,创建一个新文件,rand write (,随机写文件,rand read(,随机读文件,m

9、kdir(,创建一个目录,rmw(,读,修改,随机写文件,unlink(,分离,删除一个文件,locking(,锁文件,chmod(,执行,chmod(,append(,附加到现有文件的结束,access(,调用,access(,访问一个文件,statfs(,调用,statfs,函数文件系统信息,BENCHMARK,VDA,为例,VDA,视频数据采集,概述：该工作负载模拟从类似视频监控的源获取数据，包含两个工作负载对象,VDA1,数据流）和,VDA2,应用程序数据,负载特征,1,文件操作：包含,read,write,rand read,readdir,unlink,等,2,读写块大小与分布：负

10、载是设定好的，由此模拟出实际测试场景业务,BENCHMARK,VDA,VDA,视频数据采集,负载特征,3,其他选项：写入提交（只包含于,VDA1,4,运行详细参数：此为运行测试所将创建的目录和文件个数及生成的文件,大小,参数,值,备注,每个进程含有,每个进程操作,1,个,VDA1,和,1,个,VDA2,每次测试会创建当前,LOAD*1,个,VDA1,的,client,和当前,LOAD*1,个,VDA2,的,client,9,VDA1,1,VDA2,每个进程操作,10 Ops/s,包含,9,Ops/s,个,VDA1,和,1,个,VDA2,每个进程目录,每个进程文件,平均文件大小,1,1,1G,目

11、录为,1,文件个数为,1,平均文件大小为,1G,BENCHMARK,VDI,VDI,虚拟桌面架构,负载特征,文件操作,读操作,写操作,BENCHMARK,VDI,VDI,虚拟桌面架构,执行参数标准,每个线程包含,2,个,Desktop,100ops/sec,操作,目录深度和文件个数,BENCHMARK,SWBUILD,SWBUILD,元数据密集构建,负载特征,文件操作,读操作,写操作,BENCHMARK,SWBUILD,SWBUILD,元数据密集构建,执行参数标准,每个线程包含,5,个,BUILD,100ops/sec,操作,目录深度和文件个数,BENCHMARK,DATABASE,DATAB

12、ASE,数据库,负载特征：包含,DB_TABLE,和,DB_LOG,两种组合,文件操作,BENCHMARK,DATABASE,DATABASE,数据库,负载特征：包含,DB_TABLE,和,DB_LOG,两种组合,读操作,写操作,BENCHMARK,DATABASE,DATABASE,数据库,执行参数标准,每个线程包含,10,个,DB_TABLE,和,1,个,DB_LOG,16ops/sec,的,DB_TABLE,和,32Ops/sec,的,DB_LOG,操作,目录深度和文件个数,1,SPEC SFS2014,简介,2,SFS2014,参数设定,3,测试执行,4,测试分析,目,录,测试执行,1

13、,客户端,Linux,测试环境：可同时测试多个客户端，只需在一个客户端上安装运,行,sfs2014,即可，如客户端,host1,测试,dir1,的,1,主测试客户端和各个客户端间无密码访问,2,关闭防火墙,2,客户端修改配置文件,进入,sfs2014,目录下修改,sfs_rc,配置文件，例如在挂载下测试,VDA,使用,默认配置块文件大小为,500M,目录深度为,1,每个目录文件个数为,1,修改参数,ENCHMARK=VDA,LOAD=10,3,执行测试指令,test1,为测试结果文件名,python SfsManager -r sfs_rc -s test1,4,测试结果会生成,4,个文件目录

14、,测试执行,1,测试过程,1.VDI,通过标准参数表可得,出每次,proc,为,2,个,Desktop,所以,10load,负载的测试数,据为,20*10*500M,约为,110000M,所需挂载空间,最少为,120000M,2,通过客户端分配内存于虚,拟,host,进行多线程测试，所,需的内存需要满足条件,测试执行,1,测试过程,分配虚拟,host,内存和测试与,初始化测试,测试执行,1,测试过程,预热测试,正式测试,测试执行,1,测试过程,测试性能结果：包括延迟,ops,读写性能和总性能数,据,测试结果是否通过（未达到,标准百分比,1,sfs2014,简介,2,sfs2014,参数设定,3,测试执行,4,测试分析