欢迎user
存储服务器 | H3C R4900 G3 三台 |
CPU | Intel(R) Xeon(R) Gold 5218 CPU @ 2.30GHz(2 Sockets) |
内存 | 每台服务器8个32G 2666MHz |
存储网络 | 管理网---一个GE端口 前端网---两个25GE端口做bond4 后端网---两个25GE端口做bond4 |
硬盘 | 每台服务器4块1.8T NVMe盘 |
客户机 | H3C R4900 G2 三台(各挂载一台存储服务器) Intel(R) Xeon(R) CPU E5-2690 v4 @ 2.60GHz(2 Sockets) |
客户机网络 | 三个10GE端口做bond4 |
三副本。
集群共配置6个卷,每个卷1T,每个压力机挂载2个卷。
读写混合业务的读写比为6:4。
客户端修改/etc/iscsi/iscsid.conf 这个文件的参数如下:
node.session.cmds_max = 1024
node.session.queue_depth = 1024
测试步骤:
1、 全新部署环境,创建卷;
2、 用1M的IO写满卷;
3、 依次测试8K随机64并发读、8K随机1并发读、8K随机64并发写、8K随机1并发写、8K随机64并发混合读写;
4、 全新部署环境,创建卷;
5、 用1M的IO写满卷;
6、 依次测试512K顺序64并发读、512K顺序1并发读、512K顺序64并发写、512K顺序1并发写、512K顺序64并发混合读写;
性能测试的vdbench脚本:
messagescan=no
hd=default,user=root,shell=ssh,vdbench=/root/vdbench50406/vdbench50406,jvms=1
hd=hd1,system=175.17.58.137
hd=hd2,system=175.17.58.213
hd=hd3,system=175.17.58.226
sd=default,openflags=o_direct,threads=64
sd=sd1,hd=hd1,lun=/dev/sdn
sd=sd2,hd=hd1,lun=/dev/sdm
sd=sd3,hd=hd2,lun=/dev/sdn
sd=sd4,hd=hd2,lun=/dev/sdm
sd=sd5,hd=hd3,lun=/dev/sdd
sd=sd6,hd=hd3,lun=/dev/sdm
wd=wd1,sd=sd*,seekpct=random,rdpct=0,xfersize=8k,skew=100
rd=rd1,wd=wd1,iorate=max,elapse=1800,interval=1,warmup=300
对于不同的IO模型,正式测试时间(不含5分钟的warmup)有变化。其中:64并发读30分钟,1并发读30分钟,64并发写120分钟,1并发写30分钟,64并发混合读写60分钟。
预埋数据的vdbench脚本:
messagescan=no
hd=default,user=root,shell=ssh,vdbench=/root/vdbench50406/vdbench50406,jvms=1
hd=hd1,system=175.17.58.137
hd=hd2,system=175.17.58.213
hd=hd3,system=175.17.58.226
sd=default,openflags=o_direct,threads=16
sd=sd1,hd=hd1,lun=/dev/sdn
sd=sd2,hd=hd1,lun=/dev/sdm
sd=sd3,hd=hd2,lun=/dev/sdn
sd=sd4,hd=hd2,lun=/dev/sdm
sd=sd5,hd=hd3,lun=/dev/sdd
sd=sd6,hd=hd3,lun=/dev/sdm
wd=wd1,sd=sd*,seekpct=-1,rdpct=0,xfersize=1024k,skew=100
rd=rd1,wd=wd1,iorate=max,elapse=1800000,interval=1,warmup=300
IO模型 | ONEStor(intel) | ONEStor(intel) |
全NVMe(基线) | 全NVMe(优化后kernel) | |
IOPS(4*3NVME) | IOPS(4*3NVME) | |
8k随机读64并发 | 137055.1 | 131905.8 |
8k随机读1并发 | 9692.3 | 11371.1 |
8k随机写64并发 | 17438.9 | 22879.3 |
8k随机写1并发 | 3382.9 | 5257.7 |
8k随机混合读写64并发 | 32671 | 43975.9 |
512k顺序读64并发 | 8809.2 | 10530.1 |
512k顺序读1并发 | 2889.1 | 3064.3 |
512k顺序写64并发 | 4145.6 | 5268.1 |
512k顺序写1并发 | 1824.2 | 2008.8 |
512k顺序混合读写64并发 | 6025.9 | 6538.2 |