FIO性能测试

FIO 有众多参数，如果你尚不熟悉这款测试工具，我们总结了最为关键的一系列参数的用法，帮助你自行构造测试。

构造测试

本小节提供一系列 FIO 命令示范，帮助你按照自己的实际环境构造测试。

如果测试集中的文件可以读写复用，那么建议先安排写测试，生成的文件正好可以用于后续的读测试。

顺序写测试：

# 顺序写 1 个大文件
fio --name=big-write --directory=/mnt/fio --group_reporting \
  --rw=write \
  --direct=1 \
  --bs=4m \
  --end_fsync=1 \
  --numjobs=1 \
  --nrfiles=1 \
  --size=1G

# 并发顺序写 1 个大文件，因此 16 线程一共写 16 个大文件
fio --name=big-write --directory=/mnt/fio --group_reporting \
  --rw=write \
  --direct=1 \
  --bs=4m \
  --end_fsync=1 \
  --numjobs=16 \
  --nrfiles=1 \
  --size=1G

# 并发顺序写多个大文件，并发度 16，每个线程写入 64 个大文件
fio --name=big-write --directory=/mnt/fio --group_reporting \
  --rw=write \
  --direct=1 \
  --bs=4m \
  --end_fsync=1 \
  --numjobs=16 \
  --nrfiles=64 \
  --size=1G

顺序读测试：

# 测试之前根据需要，可以选择清空本地数据缓存，以及内核缓存
rm -rf /var/jfsCache/*/raw
sysctl -w vm.drop_caches=3

# 顺序读 1 个大文件
fio --name=big-read-single --directory=/jfs/fio --group_reporting \
  --rw=read \
  --direct=1 \
  --bs=4m \
  --numjobs=1 \
  --nrfiles=1 \
  --size=1G

# 顺序读多个大文件
fio --name=big-read-multiple --directory=/jfs/fio --group_reporting \
  --rw=read \
  --direct=1 \
  --bs=4m \
  --numjobs=1 \
  --nrfiles=64 \
  --size=1G

# 并发顺序读多个大文件，线程数 64，每个线程读 64 个文件
fio --name=big-read-multiple-concurrent --group_reporting \
  --directory=/jfs/fio \
  --rw=read \
  --direct=1 \
  --bs=4m \
  --numjobs=64 \
  --nrfiles=64 \
  --openfiles=1 \
  --size=1G

如果你的场景需要构造随机读写测试，也可以参考上方的测试命令，需要修改的只有以下参数：

• 使用 rw=[randread|randwrite] 来代表随机读和随机写；
• 将 bs 按需设置为 4k~128k，或按照真实业务场景的写入大小来设定。

顺序写

对应的 FIO 配置：

sequential-write.fio

[global]
stonewall
group_reporting
openfiles=1
end_fsync=1
ioengine=sync
rw=write
bs=4M
filesize=1G
directory=/jfs/fio-dir

顺序读

sequential-read.fio

[global]
stonewall
group_reporting
openfiles=1
end_fsync=1
ioengine=sync
rw=read
bs=4M
filesize=1G
directory=/jfs/fio-dir

随机写

random-write.fio

[global]
stonewall
group_reporting
openfiles=1
end_fsync=1
ioengine=sync
rw=write
bs=4M
filesize=1G
directory=/jfs/fio-dir

大文件

在日志收集、数据备份、大数据分析等很多场景中，都需要做大文件顺序读写，这也是 JuiceFS 适用的典型场景。

注意：此处需要事先创建不同块大小的 JuiceFS 文件系统并进行挂载，在测试脚本中对 --directory 参数换成对应的 JuiceFS 挂载点。

大文件顺序读

fio --name=big-file-sequential-read \
    --directory=/jfs \
    --rw=read --refill_buffers \
    --bs=256k --size=4G

大文件顺序写

fio --name=big-file-sequential-write \
    --directory=/jfs \
    --rw=write --refill_buffers \
    --bs=256k --size=4G

大文件并发读

fio --name=big-file-multi-read \
--directory=/jfs \
--rw=read --refill_buffers \
--bs=256k --size=4G \
--numjobs={1, 2, 4, 8, 16}

大文件并发写

fio --name=big-file-multi-write \
    --directory=/jfs \
    --rw=write --refill_buffers \
    --bs=256k --size=4G  \
    --numjobs={1, 2, 4, 8, 16}

大文件随机读

fio --name=big-file-rand-read \
    --directory=/jfs \
    --rw=randread --refill_buffers \
    --size=4G --filename=randread.bin \
    --bs={4k, 16k, 64k, 256k} --pre_read=1

sync && echo 3 > /proc/sys/vm/drop_caches

fio --name=big-file-rand-read \
    --directory=/jfs \
    --rw=randread --refill_buffers \
    --size=4G --filename=randread.bin \
    --bs={4k, 16k, 64k, 256k}

为了精准地测试大文件随机读的性能，在这里我们先使用 fio 将文件预读取一遍，然后清除内核缓存（sysctl -w vm.drop_caches=3），接着使用 fio 进行随机读的性能测试。

在大文件随机读的场景，为了获得更好的性能，建议将挂载参数的缓存大小设置为大于将要读取的文件大小。

大文件随机写

fio --name=big-file-random-write \
    --directory=/jfs \
    --rw=randwrite --refill_buffers \
    --size=4G --bs={4k, 16k, 64k, 256k}

小文件

小文件读

fio --name=small-file-seq-read \
    --directory=/jfs \
    --rw=read --file_service_type=sequential \
    --bs={file_size} --filesize={file_size} --nrfiles=1000

小文件写

在默认的 fio 测试行为中会把文件的关闭操作留在任务最后执行，这样在分布式文件系统中存在因网络异常等因素丢失数据的可能。所以我们在 fio 的测试参数中使用了 --file_service_type=sequential 参数，这样 fio 会在测试任务中保证写完一个文件（执行 flush & close，把数据全部写入对象存储）再进行下一个文件。

fio --name=small-file-seq-write \
    --directory=/jfs \
    --rw=write --file_service_type=sequential \
    --bs={file_size} --filesize={file_size} --nrfiles=1000

小文件并发读

fio --name=small-file-multi-read \
    --directory=/jfs \
    --rw=read --file_service_type=sequential \
    --bs=4k --filesize=4k --nrfiles=1000 \
    --numjobs={1, 2, 4, 8, 16}

小文件并发写

fio --name=small-file-multi-write \
    --directory=/jfs \
    --rw=write --file_service_type=sequential \
    --bs=4k --filesize=4k --nrfiles=1000 \
    --numjobs={1, 2, 4, 8, 16}

文档内容来源：FIO 性能测试 | JuiceFS Document Center

如何在Linux实例中使用FIO工具测试块存储性能_云服务器 ECS(ECS)-阿里云帮助中心