Linux运维不可不知的性能监控和调试工具（一）

前言：献给现在正在作运维或者立志作运维的朋友

sysstat组件，包含了：sar，iostat，mpstat，pidstat，nfsiostat 等命令

wget http://pagesperso-orange.fr/sebastien.godard/sysstat-10.0.3.tar.gz
tar zxvf sysstat-10.0.3.tar.gz

cd sysstat-10.0.3/

./configure –enable-install-cron && make && sudo make install

1 sar 主要用来监控系统实时性能（CPU，内存，I / O等），以及在一个持续的基础上上，在后台性能数据收集并分析历史数据，以确定瓶颈问题

1 所有CPU的CPU使用率

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -u 1 3

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

09时23分00秒 CPU %user %nice %system %iowait %steal %idle

09时23分01秒 all 23.87 0.00 3.27 0.00 0.00 72.86

09时23分02秒 all 22.94 0.00 2.49 0.00 0.00 74.56

09时23分03秒 all 23.50 0.00 3.00 2.00 0.00 71.50

平均时间: all 23.44 0.00 2.92 0.67 0.00 72.98

sar -u 显示CPU使用率，目前每天收集到这一点。

sar -u 1 3显示实时CPU使用率每隔1秒,3次。

sar -u ALL 1 3“和 “sar -u 1 3”相同，还显示了附加 ​​字段。

sar -u -f /var/log/sa/sa10 显示sa10文件中10天的CPU使用率。

2 单个CPU或核心的CPU使用率

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -P ALL 1 1

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

09时27分08秒 CPU %user %nice %system %iowait %steal %idle

09时27分09秒 all 24.31 0.00 2.51 0.00 0.00 73.18

09时27分09秒 0 34.00 0.00 4.00 0.00 0.00 62.00

09时27分09秒 1 47.00 0.00 3.00 0.00 0.00 50.00

09时27分09秒 2 12.00 0.00 1.00 0.00 0.00 87.00

09时27分09秒 3 4.00 0.00 2.00 0.00 0.00 94.00

平均时间: CPU %user %nice %system %iowait %steal %idle

平均时间: all 24.31 0.00 2.51 0.00 0.00 73.18

平均时间: 0 34.00 0.00 4.00 0.00 0.00 62.00

平均时间: 1 47.00 0.00 3.00 0.00 0.00 50.00

平均时间: 2 12.00 0.00 1.00 0.00 0.00 87.00

sar -P ALL 显示当天所有核心CPU使用率。

sar -P ALL 1 3 实时显示的时间为每1秒3次的所有核心的CPU使用率。

sar -P 1，显示当前日期的CPU数1使用。

sar- P 1 1 3 实时显示的时间为核心的数字1，每1秒3次的CPU使用率。

sar -P ALL –f / var/log/sa/sa10显示CPU使用率，和上面解释类似

3 内存使用和空闲

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -r 1 3 ＃表示实时显示的时间为每1秒,3次的内存情况

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

09时31分59秒 kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit kbactive kbinact

09时32分00秒 1282240 1991048 60.83 189256 979120 2308156 42.93 1091840 771404

09时32分01秒 1284348 1988940 60.76 189256 979120 2304796 42.87 1089208 771404

09时32分02秒 1282364 1990924 60.82 189272 979112 2308156 42.93 1091828 771412

平均时间: 1282984 1990304 60.80 189261 979117 2307036 42.91 1090959 771407

4 交换分区的使用情况

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -S 1 3 ＃表示实时显示的时间为每1秒,3次的sawp使用情况

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

09时33分26秒 kbswpfree kbswpused %swpused kbswpcad %swpcad

09时33分27秒 2011680 91612 4.36 3076 3.36

09时33分28秒 2011680 91612 4.36 3076 3.36

09时33分29秒 2011680 91612 4.36 3076 3.36

平均时间: 2011680 91612 4.36 3076 3.36

5 I/O状态 ＃表示实时显示的时间为每1秒3次的I/O使用情况

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -b 1 3

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

09时35分43秒 tps rtps wtps bread/s bwrtn/s

09时35分44秒 2.00 0.00 2.00 0.00 32.00

09时35分45秒 97.00 0.00 97.00 0.00 1192.00

09时35分46秒 6.00 0.00 6.00 0.00 144.00

平均时间: 35.00 0.00 35.00 0.00 456.00

6 单个dev设备的I／O状态

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -d 1 3

注：也可以显示成sda，sdb这样的形式：

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -p -d 1 3

7 显示每秒的上下文切换

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -w 1 3

8 报告运行队列和平均负载(个人最喜欢)

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -q 1 3

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

09时41分02秒 runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15 blocked

09时41分03秒 0 416 0.25 0.26 0.39 0

09时41分04秒 0 416 0.25 0.26 0.39 0

09时41分05秒 1 416 0.25 0.26 0.39 0

平均时间: 0 416 0.25 0.26 0.39 0

注：blocked显示目前封锁和等待I / O操作完成的任务数量

9 报告网络统计信息

sar -n KEYWORD

KEYWORD可能是DEV(比如eth0，eth1)，NFS,SOCK,IP,TCP.ICMP,UDP,ALL等值

dongwm@linux-b8lh:~/sysstat-10.0.3> sar -n DEV 1 1

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

09时45分12秒 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s

09时45分13秒 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00

09时45分13秒 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00

09时45分13秒 eth3 8.00 0.00 1.73 0.00 0.00 0.00 0.00

09时45分13秒 vmnet1 0.00 0.00 0.00 0.00 0.00 0.00 0.00

09时45分13秒 vmnet8 0.00 0.00 0.00 0.00 0.00 0.00 0.00

平均时间: IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s

平均时间: lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00

平均时间: eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00

平均时间: eth3 8.00 0.00 1.73 0.00 0.00 0.00 0.00

平均时间: vmnet1 0.00 0.00 0.00 0.00 0.00 0.00 0.00

平均时间: vmnet8 0.00 0.00 0.00 0.00 0.00 0.00 0.00

10 sadc 的意思是“系统活动数据收集”。 这是sar的后端工具，它的数据收集。

sa1 存储系统的活动，二进制数据文件。 为此，SA1取决于sadc。 SA1从cron运行。例如，如果今天是26号，SA1写入到/ var/log/sa/sa26，这文件是二进制文件

sa2 创建每日汇总收集的统计信息。 SA2从cron运行。创建的文件是一个ASCII文件，可以在文本编辑器编辑。

sadf 可以生成CSV，XML和其他各种格式特区的报告。 使用此与其他工具相结合的SAR数据。

设计定时任务：

cat /etc/cron.d/sysstat
*/10 * * * * root /usr/local/lib/sa/sa1 1 1
53 23 * * * root /usr/local/lib/sa/sa2 -A

2 iostat 顾名思义，这个会生成CPU，I / O统计

dongwm@linux-b8lh:~> iostat

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle

26.46 0.00 2.10 0.45 0.00 70.99

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn

sda 7.15 52.35 71.16 4660976 6335976

注：使用特定盘的实现 可以这样 iostat -p sda

3 mpstat 主要报告处理器统计

dongwm@linux-b8lh:~> mpstat -I ALL -u -P ALL

4 vmstat 报告虚拟内存统计信息

dongwm@linux-b8lh:~> vmstat 1 3 #这个命令很常用了 表示实时显示一秒钟,三次然后自动停止

procs ———–memory———- —swap– —–io—- -system– —–cpu——

r b swpd free buff cache si so bi bo in cs us sy id wa st

2 0 91596 1222220 195704 1036060 0 0 13 18 17 98 26 2 71 0 0

0 0 91596 1221344 195712 1036092 0 0 0 84 1871 5774 9 2 88 1 0

0 0 91596 1221228 195712 1036092 0 0 0 108 1987 6060 18 3 79 0 0

5 pidstat #进程性能监测,这个我很喜欢，因为他是vmstat，top，iostat的一个结合：

pidstat -d 1 #列出当前 active 进程的 io

dongwm@linux-b8lh:~> pidstat -d 1 -p $(pidof gnome-terminal) #单个进程的状态，这里是gnome终端

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

10时04分06秒 PID kB_rd/s kB_wr/s kB_ccwr/s Command

10时04分07秒 9428 0.00 0.00 0.00 gnome-terminal

10时04分08秒 9428 0.00 0.00 0.00 gnome-terminal

10时04分09秒 9428 0.00 0.00 0.00 gnome-terminal

10时04分10秒 9428 0.00 0.00 0.00 gnome-terminal

dongwm@linux-b8lh:~> pidstat -r -p $(pidof WebQQ增强版) 1 #单个进程内存使用情况

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

10时05分27秒 PID minflt/s majflt/s VSZ RSS %MEM Command

10时05分28秒 24090 21133.00 0.00 654272 246492 7.53 WebQQ增强版

10时05分29秒 24090 18880.00 0.00 654272 246492 7.53 WebQQ增强版

dongwm@linux-b8lh:~> pidstat -u -p $(pidof WebQQ增强版) 1 #单个进程CPU使用情况

Linux 2.6.37.6-0.7-default (linux-b8lh) 2011年12月14日 _i686_ (4 CPU)

10时06分01秒 PID %usr %system %guest %CPU CPU Command

10时06分02秒 24090 67.00 5.00 0.00 72.00 1 WebQQ增强版

10时06分03秒 24090 64.00 4.00 0.00 68.00 1 WebQQ增强版