Linux 如何测试 IO 性能（磁盘读写速度）

这几天做MySQL性能测试，偌大一个公司，找几台性能测试机器都很纠结，终于协调到两台，IO的性能如何还不知道。
数据库属于IO密集型的应用，所以还是先评估下Server的IO性能，看看是否能和线上的机器匹配上。

之前一直知道用dd（device to device）命令可以简单测试磁盘的IO读写速度，但没有深究。
但这次做性能测试的关系，需要得到一个相对精确的值（之前的测试吃过这方面的亏，插个题外话，性能测试一定要首先确认好测试环境。）
网上常见的方法是使用hdparm和dd命令来测试，但实际的使用起来都有问题，而且测试结果总感觉有偏差，心里没底。
于是还是安心研究了下这两个命令，也做了一些测试和分析，简单做下总结。

用法：
1.测试IO读
hdparm -t --direct /dev/sda3

IO读用上面的命令测试即可，不过 hdparm 这个工具需要自己安装，而且需要root用户去执行。

2.测试IO写
sync;/usr/bin/time -p bash -c "(dd if=/dev/zero of=test.dd bs=1000K count=20000;sync)"

dd bs=1M count=20000 if=/dev/zero of=test.dd conv=fdatasync dd命令测试是IO的顺序写和读方式。

3.查看文件系统块大小

tune2fs -l /dev/sda1 | grep Block

上面的命令行有些复杂，做下详细的解释：
（1）sync 命令用来刷新文件系统的缓冲区，执行sync命令实际的作用是把内存中的数据缓冲写入到磁盘中。
先执行下sync命令，是为了减少对后面测试的影响。也可以使用 echo 3 > /proc/sys/vm/drop_caches 来清除缓存。
（2）time 命令用来测试命令的执行时间，shell内建还有一个time命令，我们这里使用全路径来指定使用的是非内建命令。
-p 选项设置时间的输出格式为POSIX缺省时间格式，单位是秒，在后面的测试小节可以看到time -p 的输出形式。
（3）bash 命令 -c 选项的作用是将后面的字符串参数当作bash脚本来执行，看起来有些画蛇添足，好像直接执行也是可行的，
其实不然，因为后面字符串中包含了两条命令行，而time命令需要统计这两条命令行的执行时间。
（4）小括号的意思是另起一个子进程来执行括号中的脚本，dd 这条命令行这里就不讲了，不知道的话Baidu吧。
重点是sync命令，因为当dd退出时，这条命令行提交的大部分内容都在内存缓冲区（写缓存），甚至如果机器的内存相比于你提交的数据要大得多，
那可能数据都在内存中，而再执行sync才能将内存中的数据写入到磁盘中，否则就成了测试内存的写速度，那显然不是你想要的结果。

测试实践：
在一台内存64G，SAS硬盘上做了一些测试。
测试过程中，需要关注两点，磁盘的读写速度和IO使用率，我们分别使用iopp和iostat工具来观察。

测试写速度：
测试写入20G数据，数据量越大，测试值应该更精确。
# sync;/usr/bin/time -p bash -c "(dd if=/dev/zero of=test.dd bs=1M count=20000)"
20000+0 records in
20000+0 records out
real 92.87
user 0.00
sys 18.08

写入20000M的时间是92.87s，所以磁盘的写速度为 215.35MB/sec (20000M/92.87)。
使用iostat观测，%util 一直处于100%的状态，而iopp 显示的dd命令写入速度基本和上面计算出的值是一致的(取样时间设置为5s)
# iostat -x 5
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.20 864.00 1.60 449004.80 519.56 143.61 163.46 1.16 100.00

# iopp -i -k 5
pid rchar wchar syscr syscw rkb wkb cwkb command
32566 1033216 1033216 0 0 0 1034868 0 dd

注：命令行的当前工作目录在分区/dev/sda3上，所以test.dd这个文件也创建在这个分区上，下面的读测试会使用到这个文件。

测试读速度：
将dd 和 hdparm的做一个对比：
# hdparm -t --direct /dev/sda3
/dev/sda3:
Timing O_DIRECT disk reads: 2108 MB in 3.00 seconds = 702.34 MB/sec

hdparm的测试结果为，3s读取了2108MB，读速度为702.34MB。

由于hdparm测试时间太短，iostat和iopp取样时间调整为1s。

iostat -x 1
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 2752.00 1.00 1409024.00 8.00 511.82 4.64 1.69 0.35 96.10

iopp -i -k 1
pid rchar wchar syscr syscw rkb wkb cwkb command
32349 733184 0 0 0 733184 0 0 hdparm

使用dd做读取测试
# echo 3 > /proc/sys/vm/drop_caches ; /usr/bin/time -p dd if=test.dd of=/dev/null bs=1M
20000+0 records in
20000+0 records out
real 35.69
user 0.00
sys 9.81

读取了20G，读速度为560.38MB/sec。

读取会比写入要快，iostat和iopp的取样时间调整为每3s。
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 106.67 0.00 5851.00 0.33 1434256.00 2.67 245.12 1.62 0.28 0.16 93.60

pid rchar wchar syscr syscw rkb wkb cwkb command
17004 1449984 1449984 1 1 1450760 0 0 dd

结论：

dd测试出的读速度和hdparm 是存在区别的，
通过 bs 选项 设置不通的读写块大小测试（默认512字节，测试使用1M），
可以看出 dd 的测出的速度与读写块的大小有关系，还可能受到系统中有IO读写的进程的影响。
hdparm的测试原理没做深入研究，可能是和dd的测试方法存在差别，需要知道这一点。

整体上看，IO的实际测试速度是受到很多因素影响的，包括读写的方式（随机还是顺序，hdparm和dd测试是都是采用顺序读写）、缓存机制、测试的取样等等。
所以不太可能得到一个确定的值（相同的命令行多次测试也不一样，不过差别要小些），以上的方法中读测试还是推荐使用hdparm。
以上的数据虽然存在偏差，但还是能大体分析出机器的IO性能。只是需要明确，这些测试值是在什么样的环境下获得的。

友情链接：

FIO测试iops：http://elf8848.iteye.com/blog/2168876

dd测试io: http://www.askoracle.org/linux/disk/968.html