Glusterfs测试文档.doc

Glusterfs测试文档文件标识：当前版本：作 者：完成日期：目录Glusterfs测试文档11.运行环境31.1硬件环境31.2测试软件版本32.服务器及客户端规划33.数据卷创建规划3数据卷1创建10个brick 两个副本3数据卷2创建10个brick 两个副本3数据卷5 创建10个brick 两个副本4数据卷6 创建10个brick 两个副本4数据卷7 创建10个brick 两个副本4数据卷8 创建10个brick 两个副本4数据卷9 创建10个brick 两个副本44.Glusterfs 性能测试44.1客户端挂载44.2大文件读写测试54.3小文件(4k)读写测试51. 运行环境1.1 硬件环境5台XenServer 服务器，每台服务器配置单块万兆网卡，CPU 48C,内存256G,每台服务器运行10台虚拟机，共50台虚拟机配置如下：1) 系统：Centos 6.72) CPU: 2C2)内存：4G3)硬盘：120G硬盘1.2 测试软件版本lglusterfs 3.7.8 2. 服务器及客户端规划主机名规划IP规划Glusterfs-serversglusterfs-xfs-node01 glusterfs-xfs-node50180.8.54.101 180.8.54.150Glusterfs-clientsglusterfs-xfs-client01 glusterfs-xfs-node12180.8.54.51 180.8.54.62服务器及客户端部署过程（略）3. 数据卷创建规划数据卷1创建10个brick 两个副本 gluster volume create gfs01_vol replica 2 glusterfs-xfs-node01,02,11,12,21,22,31,32,41,42:/usr/local/glusterfs/gfs_vol_data01数据卷2创建10个brick 两个副本gluster volume create gfs01_vol replica 2 glusterfs-xfs-node01,02,11,12,21,22,31,32,41,42:/usr/local/glusterfs/gfs_vol_data02数据卷5 创建10个brick 两个副本gluster volume create gfs05_vol replica 2 glusterfs-xfs-node01,02,11,12,21,22,31,32,41,42:/usr/local/glusterfs/gfs_vol_data05数据卷6 创建10个brick 两个副本gluster volume create gfs06_vol replica 2 glusterfs-xfs-node03,04,13,14,23,24,33,34,43,44:/usr/local/glusterfs/gfs_vol_data06数据卷7 创建10个brick 两个副本gluster volume create gfs07_vol replica 2 glusterfs-xfs-node05,06,15,16,25,26,35,36,45,46:/usr/local/glusterfs/gfs_vol_data07数据卷8 创建10个brick 两个副本gluster volume create gfs08_vol replica 2 glusterfs-xfs-node07,08,17,18,27,28,37,38,47,48:/usr/local/glusterfs/gfs_vol_data08数据卷9 创建10个brick 两个副本gluster volume create gfs09_vol replica 2 glusterfs-xfs-node09,10,19,20,29,30,39,40,49,50:/usr/local/glusterfs/gfs_vol_data094. Glusterfs 性能测试4.1 客户端挂载12个客户端节点分别挂载10个Glusterfs Server，以NFS方式挂载到本地gfs01_vol 挂载到/mnt gfs02_vol 挂载到/media4.2 大文件读写测试12个节点单线程并发测试write_big.sh #!/bin/bashfor i in seq 5dodd if=/dev/zero of=/mnt/big.test$i bs=4k count=2000000doneread_big.sh #!/bin/bashfor i in seq 5dodd if=/mnt/big.test$i of=/dev/null bs=4kdone测试结果:文件系统客户端数并发线程数单线程读写文件大小读写数据卷brick/replica数单线程平均速率glusterfs性能总带宽Glusterfs1212写入8Ggfs01_vol10/2138MB/S3.3GB/SGlusterfs1212读取8Ggfs01_vol10/2130MB/S3.1GB/S本地文件系统11写入8G/root/test-828MB/S828MB/S本地文件系统11读取8G/root/test-616MB/S616MB/SNfs文件系统1212写入8G/nfs-86MB/S1.1GB/SNfs文件系统1212读取8G/nfs101MB/S1.2G/S备注：gfs01_vol数据卷，使用5台物理机每个物理机两台虚拟机4.3 小文件(4k)读写测试小文件写入测试脚本host=hostname |awk -F - print $NFfor (p=1;p=$1;p+) do for (i=1;i /dev/null 2&1 done & for (i=1;i /dev/null 2&1 done & for (i=1;i /dev/null 2&1 done & for (i=1;i /dev/null 2&1 done & for (i=1;i /dev/null 2&1 done & donewait小文件读取测试脚本host=hostname |awk -F - print $NFfor (p=1;p=$1;p+) do for (i=1;i /dev/null 2&1 done & for (i=1;i /dev/null 2&1 done & for (i=1;i /dev/null 2&1 done & for (i=1;i /dev/null 2&1 done & for (i=1;i /dev/null 2&1 done & donewait测试数据卷为： gfs01_vol 和gfs02_vol 文件系统客户端数并发线程数读写文件数量（文件为4K大小）读写数据卷brick/replica数耗时glusterfs性能吞吐量Glusterfs12120写120万gfs01_vol10/2990/sec1212 files/secGlusterfs12240写240万gfs01_volgfs02_vol20/2870/sec2758 files/secGlusterfs12360写360万gfs01_volgfs02_vol20/22040/sec1764 files/secGlusterfs12120读120万gfs01_vol10/2210/sec5714 files/secGlusterfs12180读180万gfs01_vol10/2270/sec6666 files/secGlusterfs12360读360万gfs01_vol10/2900/sec4000 files/sec备注：gfs01_vol和gfs02_vol两个数据卷，使用5台物理机每个物理机两台虚拟机测试数据卷为：gfs05_vol 、gfs06_vol、gfs07_vol、gfs08_vol、gfs09_vol文件系统客户端数并发线程数读写文件数量（文件为4K大小）读写数据卷brick/replica数耗时glusterfs性能吞吐量Glusterfs12360写360万gfs05_volgfs06_vol gfs07_volgfs08_vol gfs09_vol50/2600/sec6000 files/secGlusterfs12360读360万gfs05_volgfs06_vol gfs07_volgfs08_vol gfs09_vol50/2170/sec21176 files/sec本地文件系11写360万/root/test-2020/sec1782files/sec本地