远程监控内核死机的一种方法

开发背景：
最近开发一个内核项目时，遇到一个服务器内核维护的问题： 服务器存放在很远的电信机房内，只能通过ssh连接上服务器，当服务器的内核死机时，没有办法看到死机时内核打印的调试信息。因此需要开放一个内核维护模块。

通过查找，发现当前内核已经存在几个模块用于debug内核，如LKCD， netconsole模块，还有kexec模块，KDB等模块。 其实，比较贴近需求的是netconsole模块，该模块可以把内核的debug信息发送给远端主机，但一但启用，所有的信息都会马上发送到网络远端，而我的目的是：内核Crash时，才把debug信息，包含Oops, panic信息，以及开发模块的诊断信息发送给远端。因此我决定写一个Debug模块。

技术要点：
1. 通过netpoll实现低层发送UDP数据报文。
2. 注册panic notifier实例，当内核挂机之前，会回调实例函数，这样就可以在挂起前发送被debug模块的诊断信息以及Panic相关信息。
3. 替换内核dump回调函数dump_function_ptr为自定义的dump回调函数，内核Oops时会调用dump函数，参考LKCD的dump()函数，修改内核include/linux/dump.h的默认dump函数。

这样，当内核Crash发生时，会通过printk打印出内核出错信息，然后回调自定义的回调函数2或者3，在回调函数中注册一个console实例，就会调用console的write函数，write函数再通过netpoll把内核的log buffer的信息全部发送给远端主机输出到中。

实测过程：
远端主机使用netcat来侦听coredump消息端口。
netcat -l -u -p 51002
当内核crash后，远端主机终端可以看到如下信息：
…

Unable to handle kernel paging request at 0000000098761111 RIP:
<ffffffff880074c0>{:kccd:kccd_kmq_event_proc+97}
PGD d6b4067 PUD 0
Oops: 0002 [1]
last sysfs file:
CPU 0
Modules linked in: kccd mque
Pid: 622, comm: kccd Tainted: PF U 2.6.16.60-0.21-default #25
RIP: 0010:[<ffffffff880074c0>] <ffffffff880074c0>{:kccd:kccd_kmq_event_proc+97}
RSP: 0000:ffff81000c2ddda8 EFLAGS: 00010046
RAX: 0000000000000000 RBX: 00007fffffc094f0 RCX: 000000000000000c
RDX: ffff81000f5c4400 RSI: ffffffff8167c950 RDI: 0000000098761111
RBP: 0000000000000001 R08: 0000000023bdcff2 R09: ffff81000fb726c0
R10: 0000000000000000 R11: 0000000000000002 R12: 00007fffffc094f0
R13: ffff81000d793f50 R14: 0000000000000000 R15: 000000000050e6b9
FS: 00002b5528878e30(0000) GS:ffffffff81611000(0000) knlGS:00000000082dc840
CS: 0010 DS: 0000 ES: 0000 CR0: 000000008005003b
CR2: 0000000098761111 CR3: 000000000f5fd000 CR4: 00000000000006e0
Process kccd (pid: 622, threadinfo ffff81000c2dc000, task ffff81000f9cf0c0)
Stack: 00000000000b8494 0000000000000000 ffff81000f5c4400 ffff81000f8e4340
00000000045d8000 0000000100000000 ffff81000c2dde18 0000000000000096
0000000000000002 ffff81000f5c4400
Call Trace: <ffffffff8102684e>{__wake_up_common+61}
<ffffffff88007b3d>{:kccd:kccd_thread+265} <ffffffff8100b5ae>{child_rip+8}
<ffffffff88007a34>{:kccd:kccd_thread+0} <ffffffff8100b5a6>{child_rip+0}

Code: f3 ab 48 8d 9c 24 9c 00 00 00 48 8d bc 24 90 00 00 00 48 c7
=======kccd dump happend!!! dump_str:Oops
=======