glusterfs_多节点读写性能测试0001

1、测试环境：glustefs 端：Glusterfs 版本:glusterfs 361 built o n Nov 7 2014 15:15:50 系统版本:Cen tOS release 6.5 (Fi nal)核：Li nux vers ion 3.4.45硬件环境：CPU Intel(R) Xeon(R) CPU E3-1230 V2 3.30GHz存:32GB硬盘：4 块 128GSSD 11 块 2T SATA 盘die nt 端：Glusterfs 版本:glusterfs 3.6.1 built o n Nov 7 2014 15:15:50 系统版本:Cen tOS releas

2、e 6.5 (Fi nal)核：Li nux vers ion 3.4.45硬件环境：CPU Intel(R) Xeon(R) CPU E3-1230 V2 3.30GHz存:8GB网络环境：gluster端：服务器网络配置为bridge，单根网线接到交换机上。data-node3ip设为10.3.211.3 > data-node4ip 设为 10.3.211.4 > data-node5ip 设为 10.3.211.5 » data- node6ip 设 为 10.3.211.6。client 端:ethO 设置固定 ip192.168.10.200，eth1、eth

3、2、eth3 三个网口做 bondO, ip 设为10.3.211.11，四个网口四根网线连接到交换机上。系统节点:IP别名Brick10.3.211.3data-no de3/brick/brickl/10.3.211.4data-no de4/brick/brickl/10.3.211.510.3.211.6data-no de5 /brick/brickl/ data-no de6 /brick/brickl/192.168.10.200 data-clie nt测试目的：测试不同节点数下使用glusterfs建立stripe卷 挂载到3网口做bondO的client端上，测试他的读写性

4、能测试方法测试工具:dd fiofio 测试 iops测试过程测试步骤1、添加信任池gluster peer probe data-no de3gluster peer probe data-no de4gluster peer probe data-no de5gluster peer probe data-no de62、创建stripe卷两个节点gluster volume create test stripe 2 data-no de4:/brick/brick1 /testw data node3:/brick/brick1/testw三个节点gluster volume creat

5、e testl stripe 3 data-no de4:/brick/brick1 /test data no de3:/brick/brick1/test data-no de5:/brick/brickl /test四个节点gluster volume create test2 stripe 4 data-no de4:/brick/brick1 /teste data no de3:/brick/brick1/testedata-no de5:/brick/brickl /teste data- no de6:/brick/brick1/teste3、启动stripe卷gluster

6、volume start testgluster volume start testlgluster volume start test25、挂载到client端moun t.glusterfs data-no de3:/test /mnt6、使用dd命令测试吞吐率dd if=/dev/zero of=/m nt/dd.img bs=1M cou nt=600007、使用fio测试iops测试脚本#!/bin/bash cd /mnt sleep 10 rm -rf test* sleep 30 cd / sleep 10 /usr/local/bin/fio -name=/mnt/test

7、direct=O iodepth=96 -rw=randread - ioengine=posixaio -bs=4k 一size二 16G -numjobs=20 -runtime=3600 -group reporting »/fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60amount testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/sleep 60/usr/local/bin/fio -name=/mnt/test -

8、direct=0 -iodepth=96 -rw=randwrite - ioengine二posixaio -bs=4k -size=16G - numjobs=20 一runtime=3600 -group_reporting » /fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60amount testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/sleep 60/usr/local/bin/fio 一name=/mnt/tes

9、t -direct=0 -iodepth=96 -rw=randread - ioengine=posixaio -bs=8k -size=16G - numjobs=20 一runtime=3600 -group_reporting » /fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60amount testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/sleep 60/usr/local/bin/fio 一name=/mnt/t

10、est -direct=0 -iodepth=96 -rw=randwrite - ioengine=posixaio -bs=8k -size=16G 一 numjobs=20 一runtime=3600 -group_reporting » /fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60amount testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/sleep 60/usr/local/bin/fio 一name=/mn

11、t/test -direct=0 -iodepth=96 -rw=randread - ioengine=posixaio -bs=16k -size=16G 一 numjobs=20 一runtime=3600 -group_reporting » /fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60umoun t testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/sleep 60/usr/local/bin/fio 一name

12、=/mnt/test -direct=0 -iodepth=96 一rw二randwrite - ioengine=posixaio -bs=16k -size=16G - numjobs=20 一runtime=3600 -group_reporting » /fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60amount testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/sleep 60/usr/local/bin/fio 一

13、name=/mnt/test -direct=0 -iodepth=96 -rw=randread - ioengine=posixaio -bs=32k -size=16G -numjobs=20 一runtime=3600 -group_reporting » /fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60umoun t testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/sleep 60/usr/local/bin/fi

14、o 一name=/mnt/test -direct=0 -iodepth=96 一rw二randwrite - ioengine=posixaio -bs=32k -size=16G -numjobs=20 一runtime=3600 -group_reporting » /fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60umoun t testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/sleep 60/usr/local/bi

15、n/fio 一name=/mnt/test -direct=0 -iodepth=96 -rw=randread - ioengine=posixaio -bs=64k -size=16G -numjobs=20 一runtime=3600 -group_reporting » /fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60umoun t testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/sleep 60/usr/local

16、/bin/fio 一name=/mnt/test -direct=0 -iodepth=96 -rw=randwrite - ioengine=posixaio 一bs=64k -size=16G -numjobs=20 -runtime=3600 -group_reporting » /fiotest/fioogsleep 100cd /mntsleep 60rm -rf test*sleep 300cd /sleep 60amount testpoolsleep 100mount -t glusterfs data-node3:/test /mnt/测试结果使用dd命令测试结果:

17、dd if=/dev/zero of=/m nt/dd.img bs=1M cou nt=60000节点数234吞吐率61.5 MB/s135 MB/s335 MB/s使用fio的测试结果：、1）随机读写的iops节点数234读写类型块大 小iops吞吐率iops吞吐率iops吞吐率ran dread4k2801122.3KB/S3601442.7KB/S7222888.1 KB/S8k2181750.9 KB/s3532825.9KB/S6004802.6KB/s16k2103369.5 KB/s3635818.6KB/S5598948.4KB/s32k1936193.7 KB/s35011

18、221 KB/s54917581 KB/s64k :19512483 KB/s35522782KB/S56536204KB/S节点数234读写类型块大 小iops吞吐率iops吞吐率iops吞吐率ran dwrite4k一4141459.1 KB/s6742698.5KB/S :1328r5314.7KB/s8k5564451.8 KB/s11048835.4KB/S206616532 KB/s16k3896234.7 KB/s74611945KB/S130320851 KB/s32k2788920.7 KB/s43914064KB/S69822346KB/S64k19812713 KB/s29819075KB/S42227039KB/Siops ran dread 条形图iops randreadiops ran dwrite 条形图个节点4个节点2）顺序读写iops节点数234读写类型块大 小iops吞吐率iops吞