[转]iostat 介绍

2. iostat 结果解析

# iostat -x
Linux 2.4.21-9.30AX (localhost) 2004年07月14日

avg-cpu: ％user ％nice ％sys ％idle
3.85 0.00 0.95 95.20

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm ％util
/dev/hda 1.70 1.70 0.82 0.82 19.88 20.22 9.94 10.11 24.50 11.83 57.81 610.76 99.96
/dev/hda1 0.00 0.00 0.00 0.00 0.01 0.00 0.00 0.00 12.92 0.00 10.77 10.77 0.00
/dev/hda5 0.02 0.00 0.00 0.00 0.03 0.00 0.02 0.00 6.60 0.00 6.44 6.04 0.00
/dev/hda6 0.01 0.38 0.05 0.03 0.43 3.25 0.21 1.62 46.90 0.15 193.96 52.25 0.41
/dev/hda7 1.66 1.33 0.76 0.79 19.41 16.97 9.70 8.49 23.44 0.79 51.13 19.79 3.07

rrqm/s: 每秒进行 merge 的读操作数目。即 delta(rmerge)/s
wrqm/s: 每秒进行 merge 的写操作数目。即 delta(wmerge)/s
r/s: 每秒完成的读 I/O 设备次数。即 delta(rio)/s
w/s: 每秒完成的写 I/O 设备次数。即 delta(wio)/s
rsec/s: 每秒读扇区数。即 delta(rsect)/s
wsec/s: 每秒写扇区数。即 delta(wsect)/s
rkB/s: 每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节。
wkB/s: 每秒写K字节数。是 wsect/s 的一半。
avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区)。即 delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O队列长度。即 delta(aveq)/s/1000 (因为aveq的单位为毫秒)。
await: 平均每次设备I/O操作的等待时间 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
svctm: 平均每次设备I/O操作的服务时间 (毫秒)。即 delta(use)/delta(rio+wio)
％util: 一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间 I/O 队列是非空的。
即 delta(use)/s/1000 (因为use的单位为毫秒)

如果 ％util 接近 100％，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘
可能存在瓶颈。

svctm 一般要小于 await (因为同时等待的请求的等待时间被重复计算了)，
svctm 的大小一般和磁盘性能有关，CPU/内存的负荷也会对其有影响，请求过多
也会间接导致 svctm 的增加。await 的大小一般取决于服务时间(svctm) 以及
I/O 队列的长度和 I/O 请求的发出模式。如果 svctm 比较接近 await，说明
I/O 几乎没有等待时间；如果 await 远大于 svctm，说明 I/O 队列太长，应用
得到的响应时间变慢，如果响应时间超过了用户可以容许的范围，这时可以考虑
更换更快的磁盘，调整内核 elevator 算法，优化应用，或者升级 CPU。

队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标，但由于 avgqu-sz 是
按照单位时间的平均值，所以不能反映瞬间的 I/O 洪水。
3. I/O 系统 vs. 超市排队

举一个例子，我们在超市排队 checkout 时，怎么决定该去哪个交款台呢? 首当
是看排的队人数，5个人总比20人要快吧? 除了数人头，我们也常常看看前面人
购买的东西多少，如果前面有个采购了一星期食品的大妈，那么可以考虑换个队
排了。还有就是收银员的速度了，如果碰上了连钱都点不清楚的新手，那就有的
等了。另外，时机也很重要，可能 5 分钟前还人满为患的收款台，现在已是人
去楼空，这时候交款可是很爽啊，当然，前提是那过去的 5 分钟里所做的事情
比排队要有意义 (不过我还没发现什么事情比排队还无聊的)。

I/O 系统也和超市排队有很多类似之处:

r/s+w/s 类似于交款人的总数
平均队列长度(avgqu-sz)类似于单位时间里平均排队人的个数
平均服务时间(svctm)类似于收银员的收款速度
平均等待时间(await)类似于平均每人的等待时间
平均I/O数据(avgrq-sz)类似于平均每人所买的东西多少
I/O 操作率 (％util)类似于收款台前有人排队的时间比例。

我们可以根据这些数据分析出 I/O 请求的模式，以及 I/O 的速度和响应时间。
4. 一个例子

# iostat -x 1
avg-cpu: ％user ％nice ％sys ％idle
16.24 0.00 4.31 79.44
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm ％util

/dev/cciss/c0d0
0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
/dev/cciss/c0d0p1
0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
/dev/cciss/c0d0p2
0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

上面的 iostat 输出表明秒有 28.57 次设备 I/O 操作: delta(io)/s = r/s +
w/s = 1.02+27.55 = 28.57 (次/秒) 其中写操作占了主体 (w:r = 27:1)。

平均每次设备 I/O 操作只需要 5ms 就可以完成，但每个 I/O 请求却需要等上
78ms，为什么? 因为发出的 I/O 请求太多 (每秒钟约 29 个)，假设这些请求是
同时发出的，那么平均等待时间可以这样计算:

平均等待时间 = 单个 I/O 服务时间 * ( 1 + 2 + … + 请求总数-1) / 请求总数

应用到上面的例子: 平均等待时间 = 5ms * (1+2+…+28)/29 = 70ms，和
iostat 给出的 78ms 的平均等待时间很接近。这反过来表明 I/O 是同时发起的。

每秒发出的 I/O 请求很多 (约 29 个)，平均队列却不长 (只有 2 个 左右)，
这表明这 29 个请求的到来并不均匀，大部分时间 I/O 是空闲的。

一秒中有 14.29％ 的时间 I/O 队列中是有请求的，也就是说，85.71％ 的时间里
I/O 系统无事可做，所有 29 个 I/O 请求都在142毫秒之内处理掉了。

delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s =
78.21 * delta(io)/s = 78.21*28.57 = 2232.8，表明每秒内的I/O请求总共需
要等待2232.8ms。所以平均队列长度应为 2232.8ms/1000ms = 2.23，而 iostat
给出的平均队列长度 (avgqu-sz) 却为 22.35，为什么?! 因为 iostat 中有
bug，avgqu-sz 值应为 2.23，而不是 22.35。
以下为服务器情况

bbs(scsi 74G)
top – 17:06:00 up 61 days, 11 min,  3 users,  load average: 3.98, 3.72, 3.53
Tasks: 250 total,   3 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s): 15.4% us,  3.7% sy,  0.0% ni, 74.6% id,  6.2% wa,  0.1% hi,  0.0% si
Mem:   2073976k total,  1922724k used,   151252k free,    36372k buffers
Swap:  2040244k total,    46416k used,  1993828k free,  1007456k cached
 
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          15.17    0.00    3.65    6.21    0.00   75.02
 
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.13    55.67   12.19   30.50   215.93   690.06    21.22     0.17    3.93   5.22  22.30
search1(sata 80G)
top – 17:06:32 up 4 days,  4:31,  2 users,  load average: 1.02, 1.31, 1.19
Tasks:  86 total,   1 running,  85 sleeping,   0 stopped,   0 zombie
Cpu(s): 32.3% us,  0.9% sy,  0.0% ni, 62.2% id,  4.2% wa,  0.2% hi,  0.2% si
Mem:   2074476k total,  2060532k used,    13944k free,   260740k buffers
Swap:  4096532k total,    16264k used,  4080268k free,   159984k cached
 
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           9.00    0.00    1.62    5.80    0.00   84.02
 
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
hda               0.05    35.22   18.19   12.87   189.80   384.73    18.50     5.59  179.86   7.44  23.12

search2(scsi 74G *2 )
top – 17:07:15 up 17 days, 21:34,  2 users,  load average: 2.21, 2.78, 2.82
Tasks: 155 total,   1 running, 154 sleeping,   0 stopped,   0 zombie
Cpu(s): 13.2% us,  4.7% sy,  0.0% ni, 77.7% id,  4.0% wa,  0.0% hi,  0.3% si
Mem:   2074936k total,  2003708k used,    71228k free,    74260k buffers
Swap:  2031608k total,   342032k used,  1689576k free,   197840k cached
 
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          21.67    0.00    6.25    4.39    0.00   67.94
 
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.03     6.66    1.77    2.68    86.44    75.11    36.32     0.13   29.63   4.83   2.15
sdb               0.29    69.29   29.10   13.90   340.41   665.65    23.40     0.62   14.43   4.33  18.64

www (sas 15K 146G *2 raid 1)
top – 17:07:56 up 17 days, 20:33,  1 user,  load average: 0.16, 0.27, 0.26
Tasks: 161 total,   1 running, 160 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.1%us,  0.2%sy,  0.0%ni, 98.2%id,  0.4%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:   8174384k total,  8113268k used,    61116k free,   277316k buffers
Swap:  8191992k total,      140k used,  8191852k free,  6900728k cached
 
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           2.00    0.00    0.79    0.22    0.00   97.09
 
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.13    31.81    0.41    8.54    19.85   322.79    38.32     0.58   64.46   2.50   2.24
dm-0              0.00     0.00    0.01    3.92     0.40    31.39     8.08     0.19   47.19   1.44   0.57
dm-1              0.00     0.00    0.46   34.35    18.40   274.76     8.42     1.14   32.63   0.53   1.85
dm-2              0.00     0.00    0.00    0.23     0.00     1.82     8.00     0.01   31.41   8.79   0.20
dm-3              0.00     0.00    0.06    0.57     1.00     4.53     8.89     0.02   35.87   3.40   0.21
dm-4              0.00     0.00    0.00    0.00     0.01     0.02     8.00     0.00   15.83   0.35   0.00
dm-5              0.00     0.00    0.00    1.28     0.04    10.27     8.00     0.16  125.45   0.08   0.01

参考:http://blog.chinaunix.net/u/27493/showart.php?id=498055