When encountered a program hang,what command can I use to analysis this issue

When encountered a program hang,what command can I use to analysis this issue?

Solution：

On AIX: procstack <pid_of_stuck_process>

It used to show the whole callstack of the process.

打印进程中的所有线程的十六进制地址和符号名称。示例

要显示进程 11928 的当前堆栈，请输入：

procstack 11928

此命令的输出类似如下：

11928 : -sh
d01d15c4  waitpid   (?, ?, ?) + e0
10007a1c  job_wait   (?) + 144
10020298  xec_switch   (?, ?, ?, ?, ?) + 9c0
10021db4  sh_exec   (?, ?, ?) + 304
10001370  exfile   () + 628
10000300  main   (?, ?) + a1c
10000100  __start   () + 8c

要为应用程序 appl 显示多个线程进程 28243 的所有线程的当前堆栈，请输入：

procstack 28243

该命令的输出类似如下：

28243 : appl
---------- tid# 54321 -----------
d0059eb4  _p_nsleep   (?, ?) + 10
d01f1fc8  nsleep   (?, ?) + b4
d026a6c0  sleep   (?) + 34
100003a8  main   () + 98
10000128  __start   () + 8c
---------- tid# 43523 ----------
d0059eb4  _p_nsleep   (?, ?) + 10
d01f1fc8  nsleep   (?, ?) + b4
d026a6c0  sleep   (?) + 34
10000480  PrintHello   (d) + 30
d004b314  _pthread_body   (?) + ec
---------- tid# 36352 ----------
d0059eb4  _p_nsleep   (?, ?) + 10
d01f1fc8  nsleep   (?, ?) + b4
d026a6c0  sleep   (?) + 34
10000480  PrintHello   (c) + 30
d004b314  _pthread_body   (?) + ec

on linux: (1)pstack http://linuxtools-rst.readthedocs.org/zh_CN/latest/tool/pstack.html

pstack 跟踪进程栈

此命令可显示每个进程的栈跟踪。pstack 命令必须由相应进程的属主或 root 运行。可以使用 pstack 来确定进程挂起的位置。此命令允许使用的唯一选项是要检查的进程的 PID。请参见 proc(1) 手册页。

这个命令在排查进程问题时非常有用，比如我们发现一个服务一直处于work状态（如假死状态，好似死循环），使用这个命令就能轻松定位问题所在；可以在一段时间内，多执行几次pstack，若发现代码栈总是停在同一个位置，那个位置就需要重点关注，很可能就是出问题的地方；

示例：查看bash程序进程栈:

/opt/app/tdev1$ps -fe| grep bash

tdev1 7013 7012 0 19:42 pts/1 00:00:00 -bash

tdev1 11402 11401 0 20:31 pts/2 00:00:00 -bash

tdev1 11474 11402 0 20:32 pts/2 00:00:00 grep bash

/opt/app/tdev1$pstack 7013

#0 0x00000039958c5620 in __read_nocancel () from /lib64/libc.so.6

#1 0x000000000047dafe in rl_getc ()

#2 0x000000000047def6 in rl_read_key ()

#3 0x000000000046d0f5 in readline_internal_char ()

#4 0x000000000046d4e5 in readline ()

#5 0x00000000004213cf in ?? ()

#6 0x000000000041d685 in ?? ()

#7 0x000000000041e89e in ?? ()

#8 0x00000000004218dc in yyparse ()

#9 0x000000000041b507 in parse_command ()

#10 0x000000000041b5c6 in read_command ()

#11 0x000000000041b74e in reader_loop ()

#12 0x000000000041b2aa in main ()

(2) gdb

gdb->attach PID->bt

tweedleburg:~ # sleep 3600 &

[2] 2621

tweedleburg:~ # gdb

(gdb) attach 2621

(gdb) bt

#0 0x00007feda374e6b0 in __nanosleep_nocancel () from /lib64/libc.so.6

#1 0x0000000000403ee7 in ?? ()

#2 0x0000000000403d70 in ?? ()

#3 0x000000000040185d in ?? ()

#4 0x00007feda36b8b05 in __libc_start_main () from /lib64/libc.so.6

#5 0x0000000000401969 in ?? ()

(gdb)

(3) you can also use strace -p1234 to see the system calls performed by the process

strace 跟踪进程中的系统调用

strace常用来跟踪进程执行时的系统调用和所接收的信号。 在Linux世界，进程不能直接访问硬件设备，当进程需要访问硬件设备(比如读取磁盘文件，接收网络数据等等)时，必须由用户态模式切换至内核态模式，通过系统调用访问硬件设备。strace可以跟踪到一个进程产生的系统调用,包括参数，返回值，执行消耗的时间。

6 输出参数含义

每一行都是一条系统调用，等号左边是系统调用的函数名及其参数，右边是该调用的返回值。 strace 显示这些调用的参数并返回符号形式的值。strace 从内核接收信息，而且不需要以任何特殊的方式来构建内核。

$strace cat /dev/null

execve("/bin/cat", ["cat", "/dev/null"], [/* 22 vars */]) = 0

brk(0) = 0xab1000

access("/etc/ld.so.nohwcap", F_OK) = -1 ENOENT (No such file or directory)

mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f29379a7000

access("/etc/ld.so.preload", R_OK) = -1 ENOENT (No such file or directory)

...

参数

-c 统计每一系统调用的所执行的时间,次数和出错的次数等.

-d 输出strace关于标准错误的调试信息.

-f 跟踪由fork调用所产生的子进程.

-ff 如果提供-o filename,则所有进程的跟踪结果输出到相应的filename.pid中,pid是各进程的进程号.

-F 尝试跟踪vfork调用.在-f时,vfork不被跟踪.

-h 输出简要的帮助信息.

-i 输出系统调用的入口指针.

-q 禁止输出关于脱离的消息.

-r 打印出相对时间关于,,每一个系统调用.

-t 在输出中的每一行前加上时间信息.

-tt 在输出中的每一行前加上时间信息,微秒级.

-ttt 微秒级输出,以秒了表示时间.

-T 显示每一调用所耗的时间.

-v 输出所有的系统调用.一些调用关于环境变量,状态,输入输出等调用由于使用频繁,默认不输出.

-V 输出strace的版本信息.

-x 以十六进制形式输出非标准字符串

-xx 所有字符串以十六进制形式输出.

-a column

设置返回值的输出位置.默认 为40.

-e expr

指定一个表达式,用来控制如何跟踪.格式如下:

[qualifier=][!]value1[,value2]...

qualifier只能是 trace,abbrev,verbose,raw,signal,read,write其中之一.value是用来限定的符号或数字.默认的 qualifier是 trace.感叹号是否定符号.例如:

-eopen等价于 -e trace=open,表示只跟踪open调用.而-etrace!=open表示跟踪除了open以外的其他调用.有两个特殊的符号 all 和 none.

注意有些shell使用!来执行历史记录里的命令,所以要使用\\.

-e trace=set

只跟踪指定的系统 调用.例如:-e trace=open,close,rean,write表示只跟踪这四个系统调用.默认的为set=all.

-e trace=file

只跟踪有关文件操作的系统调用.

-e trace=process

只跟踪有关进程控制的系统调用.

-e trace=network

跟踪与网络有关的所有系统调用.

-e strace=signal

跟踪所有与系统信号有关的 系统调用

-e trace=ipc

跟踪所有与进程通讯有关的系统调用

-e abbrev=set

设定 strace输出的系统调用的结果集.-v 等与 abbrev=none.默认为abbrev=all.

-e raw=set

将指 定的系统调用的参数以十六进制显示.

-e signal=set

指定跟踪的系统信号.默认为all.如 signal=!SIGIO(或者signal=!io),表示不跟踪SIGIO信号.

-e read=set

输出从指定文件中读出 的数据.例如:

-e read=3,5

-e write=set

输出写入到指定文件中的数据.

-o filename

将strace的输出写入文件filename

-p pid

跟踪指定的进程pid.

-s strsize

指定输出的字符串的最大长度.默认为32.文件名一直全部输出.

-u username

以username 的UID和GID执行被跟踪的命令

命令实例

跟踪可执行程序

strace -f -F -o ~/straceout.txt myserver

-f -F选项告诉strace同时跟踪fork和vfork出来的进程，-o选项把所有strace输出写到~/straceout.txt里 面，myserver是要启动和调试的程序。

跟踪服务程序

strace -o output.txt -T -tt -e trace=all -p 28979

跟踪28979进程的所有系统调用（-e trace=all），并统计系统调用的花费时间，以及开始时间（并以可视化的时分秒格式显示），最后将记录结果存在output.txt文件里面。

Next Previous

Linux 基础：http://linuxtools-rst.readthedocs.org/zh_CN/latest/base/index.html