深入探索Linux coredump调试技巧

1.

coredump

产生的原理和局限

1.1.

如何产生
core

文件

要素一，必须有信号产生：

从上面的信号定义和说明可以看出，进程中止前肯定会产生信号，然后内核根据信号的类型来决定是否要产生
core
文件。

要素二，编译器支持：

要产生
core
文件，编译器必须支持把当前进程的镜像以某种格式
dump
到一个文件中，常见的比如
gcc/g++
的
-g
选项。

要素三，环境参数支持：

通过
ulimit –a
查看
core file size
是否为
0
，如果为
0
则不能产生
core
文件。

通过
ulimit –c unlimited
可以系统能支持的产生足够大的
core
文件，也可以设置为具体值。

特别说明：

core
文件的产生不是
POSIX.1
所属部分，而是很多
UNIX/Linux
版本的实现特征。

1.2.

Unix/Linux

对信号的处理方式

UNIX System signals
Name	Description	ISO C	SUS	FreeBSD 5.2.1	Linux 2.4.22	Mac OS X 10.3	Solaris 9	Default action
SIGABRT	abnormal termination (abort )	•	•	•	•	•	•	terminate+core
SIGALRM	timer expired (alarm )		•	•	•	•	•	terminate
SIGBUS	hardware fault		•	•	•	•	•	terminate+core
SIGCANCEL	threads library internal use						•	ignore
SIGCHLD	change in status of child		•	•	•	•	•	ignore
SIGCONT	Continue stopped process		•	•	•	•	•	continue/ignore
SIGEMT	hardware fault			•	•	•	•	terminate+core
SIGFPE	arithmetic exception	•	•	•	•	•	•	terminate+core
SIGFREEZE	checkpoint freeze						•	ignore
SIGHUP	hangup		•	•	•	•	•	terminate
SIGILL	illegal instruction	•	•	•	•	•	•	terminate+core
SIGINFO	status request from keyboard			•		•		ignore
SIGINT	terminal interrupt character	•	•	•	•	•	•	terminate
SIGIO	asynchronous I/O			•	•	•	•	terminate/ignore
SIGIOT	hardware fault			•	•	•	•	terminate+core
SIGKILL	termination		•	•	•	•	•	terminate
SIGLWP	threads library internal use						•	ignore
SIGPIPE	write to pipe with no readers		•	•	•	•	•	terminate
SIGPOLL	pollable event (poll )		XSI		•		•	terminate
SIGPROF	profiling time alarm (setitimer )		XSI	•	•	•	•	terminate
SIGPWR	power fail/restart				•		•	terminate/ignore
SIGQUIT	terminal quit character		•	•	•	•	•	terminate+core
SIGSEGV	invalid memory reference	•	•	•	•	•	•	terminate+core
SIGSTKFLT	coprocessor stack fault				•			terminate
SIGSTOP	stop		•	•	•	•	•	stop process
SIGSYS	invalid system call		XSI	•	•	•	•	terminate+core
SIGTERM	termination	•	•	•	•	•	•	terminate
SIGTHAW	checkpoint thaw						•	ignore
SIGTRAP	hardware fault		XSI	•	•	•	•	terminate+core
SIGTSTP	terminal stop character		•	•	•	•	•	stop process
SIGTTIN	background read from control tty		•	•	•	•	•	stop process
SIGTTOU	background write to control tty		•	•	•	•	•	stop process
SIGURG	urgent condition (sockets)		•	•	•	•	•	ignore
SIGUSR1	user-defined signal		•	•	•	•	•	terminate
SIGUSR2	user-defined signal		•	•	•	•	•	terminate
SIGVTALRM	virtual time alarm (setitimer )		XSI	•	•	•	•	terminate
SIGWAITING	threads library internal use						•	ignore
SIGWINCH	terminal window size change			•	•	•	•	ignore
SIGXCPU	CPU limit exceeded (setrlimit )		XSI	•	•	•	•	terminate+core/ignore
SIGXFSZ	file size limit exceeded (setrlimit )		XSI	•	•	•	•	terminate+core/ignore
SIGXRES	resource control exceeded						•	ignore

2.

core

文件的使用

3.

core

文件的局限

core
文件提供了当前进程的所有线程的堆栈信息，但是也有他的局限性。

由于
core
是对当前进程地址空间的镜像，所以
core
文件一般比较巨大，特别是针对服务器程序。

这样如果服务器程序自动重启几次，可能就会导致磁盘空间占满。

另外，由于
core
文件巨大，不删除的话占用大量磁盘空间，下载下来又比较费时。

对于缓冲区溢出导致的
coredump
，进程的调用堆栈已经被覆盖破坏了，
core
文件显示的堆栈信息往往错误。

一些信号导致进程崩溃，但是不产生
core
文件，比如
SIGPIPE
。

只能在进程中止时才可以产生
core,
不能实时产生。

4.

堆栈打印

4.1.

如何打印堆栈

1
、通过backtrace
和backtrace_symbols
或backtrace_symbols_fd
实现当前线程的堆栈打印。

堆栈打印的一个简单示例：

#include <execinfo.h>

#include <stdio.h>

#include <stdlib.h>

/* Obtain a backtrace and print it to stdout. */

void print_trace (void)

{

void *array[10];

size_t size;

size_t i;

size = backtrace (array, 10);

printf ("Obtained %zd stack frames./n", size);

for (i = 0; i < size; i++)

printf ("%
p
/n",
array
[i]);

}

/* A dummy function to make the backtrace more interesting. */

void dummy_function (void)

{

print_trace ();

}

int main (void)

{

dummy_function ();

return 0;

}

2
、编译时必须加上
-rdynamic –ldl
选项。

3
、如果要打印崩溃线程的堆栈信息，则必须在信号处理函数中打印堆栈。注意要通过
setjmp/longjmp
或
sigsetjmp/siglongjmp
来跳转，否则会陷于死循环。因为信号是软件中断，处理完后会返回到发生异常的地方继续执行，这样又会重新产生异常。

4
、我写了一个
coredump
组件，支持打印崩溃线程的堆栈信息和寄存器变量，捕捉
SIGINT
、
SIGTERM
、
SIGFPE
、
SIGABRT SIGSEGV
等信号引起的异常崩溃，打印信息输出到一个文本文件。该组件将会放到
SGDP
中供项目组选用。具体使用方法请看
readme
和
example
。

4.2.

打印堆栈的优缺点

优点：
1
、不依赖
core
文件。

2
、可以打印当前崩溃线程的堆栈调用信息。

3
、输出到文件占用的磁盘空间很小。

缺点：

1、

只能打印当前线程的堆栈信息。

2、

只能打印堆栈调用信息。

3、

不能打印当前线程的所有变量值。

4、

输出函数名没有
gdb
的
core
文件可读性好。

5、

对于
abort
异常定位，需要和
nm
等代码分析工具配合使用。

6、

5.

GCC/G++

对内存错误的处理

GCC
对内存错误的检查，在不同版本都有一定的体现。

GCC
对内存错误的检查主要依靠
3
个选项：
-fstack-check -fbounds-check
-fstack-protector-all
。

其中
-fstack-check
的准确性较差，特别是在代码执行了
O2
以上的优化后。

-fbounds-check
可以执行数组边界错误，主要是检查对数组赋值越界。

-fstack-protector-all
可以防止缓冲区溢出攻击，也可以利用此选项来检查代码是否有缓冲区溢出的错误。

GCC
4.1
以前的版本支持
-fstack-check
-fbounds-check
，
GCC 4.1
以后版本支持
-fstack-check -fbounds-check
-fstack-protector-all
。

GCC
4.1
以前的版本对于缓冲区溢出检查没有很好的解决方案，如果调用堆栈被破坏的不多还有可能定位出错函数的位置，否则只是一个错误的堆栈信息甚至无信息。

-fstack-protector-all
选项加上后会在标准输出上打印当前崩溃线程的堆栈调用信息，但是有时也不准确，同时产生
core
文件，
core
文件中的出错堆栈信息相对比较准确性。

6.

SGDP

的
coredump

组件

我们自己开发了一个
Linux
版打印进程崩溃堆栈信息的
coredump
组件，放在
SGDP
的工具里面。

coredump
组件支持打印崩溃线程的堆栈信息和寄存器变量，捕捉SIGINT
、SIGTERM
、SIGFPE

、SIGABRT
和SIGSEGV
等信号引起的异常崩溃，打印信息输出到一个文本文件。

使用方法：1
、代码中包含coredump.h
。

2
、在main
函数开始的地方调用setup_sigcoredump()
。

如果大家需要的话，可以联系服务器引擎部，提供二进制版本的库和示例代码。

7.

Google coredumper

7.1.

项目介绍

在进程不中止的情况下可以产生
core
文件，该
core
文件可以使用
gdb
调试，对于多线程调试有重要意义。

在产生
core
文件时会挂起所有线程，所以是线程安全的。

版权声明为
BSD
授权。

当前最新版本为
1.2.1
。

项目链接： http://code.google.com/p/google-coredumper/

7.2.

安装方法

与标准的开源项目基本上差不多：
./configure
、
make
、
make install
。

需要注意的是编译生成的库在当前目录和标准目录中都没有，具体需要查看
libcoredumper.la
描述信息，方法：
vi libcoredumper.la
。

否则有可能找不到动态库或静态库。

7.3.

使用方法

1、

包含
src
目录下的
google/coredumper.h
。

2、

调用
GetCoreDump
或
WriteCoreDump
等系列接口生成
core
文件。

3、

在
coredumper.h
中大部分函数都有
man
帮助。

4、

特别注意的是
WriteCoreDump
实际上是调用
GetCoreDump
，语义上好像是有点问题，看接口名称是有点困惑，我是看代码才发现的。

5、

可以指定预定义的压缩器来生成压缩的
core
文件，也可以自定义压缩算法生成
core
文件。

6
、