java 任务调度过程中的监控

转自：http://www.ibm.com/developerworks/cn/java/l-safethread/

对一些代码按自己的理解修改

在JAVA环境中，一个任务一般是由一个独立线程来引导实现的，如果在执行过程中，某一个线程发生异常（产生的原因很多，比如软件升级、运行环境改变、系统资抢占等），那么该线程就会停止运行，直到下次任务重新被提交。对于实时环境来说当前任务是失败的。我们无法预测和完全避免异常的发生，但是可以通过一些技术手段来跟踪任务的状态，从而及时发现问题并恢复正常，减少损失。

一个简单的例子：

A任务每秒执行一个简单的代数运算 j = 1/ i，并打印结果。我们故意在其中设置了一个异常陷阱，使得执行过程中出现一次被0除的算术异常，下面结合这个例子讲述监控原理。

public class ATask extends Thread {
/**
* A任务定期修改自己的sign标志，sign是一个布尔变量，理论上只要A没有死，
* 那么sign肯定是周期变化的（和心跳概念差不多）
*/
public boolean sign = false;
Stakeout m;

ATask(Stakeout m) {
m = m;
start();
}

public void run() {
try {
for (int i = -3; i <= 5; i++) {
int j = 1 / i;   // 人为设置过程中陷阱
sign = !sign;  // 活动状态
System.out.println("i=" + i + ": status=" + sign);
try {
sleep(2000);
} catch (InterruptedException ie) {
System.out.println("A is Interrupted!");
}
}
m.Keepchecking = false;  //A 正常结束后关闭监控线程
System.out.println("A is Ending M");
} catch (Exception e) {
System.out.println("A become Exception!");
}
}

@Override
protected void finalize() throws Throwable {
System.out.println("线程："+Thread.currentThread()+" is over by gc~~~~~~~~~~~~~");
}
}

为了适应监控，在A任务中相应增加一些可以被监控的状态和行为：

sign状态标志

sign= !sign; 改变状态

类似于心跳，如果监控方遇到sign都是同一个说明，A出现异常了。

为了监控A，我们设计了一个监控线程Stakeout。Stakeout中定义了一些关键逻辑变量：

Keepchecking 持续监控标志

laststatus 保存上次监控状态

maydeadtimes 监控线程可能死亡的计数器

maydeadtimeout 定义判断线程死亡的边界条件

deadtimes 监控线程死亡次数的计数器

deadtimeout 定义判断线程不正常的边界条件

/**
* 监控线程
*/
public class Stakeout extends Thread {
public static boolean Keepchecking = true;  // 持续监控标志
boolean laststatus;     //保存上次监控状态
int maydeadtimes = 0;  //监控线程可能死亡的计数器
int maydeadtimeout = 3;//定义判断线程死亡的边界条件
int deadtimes = 0;     //监控线程死亡次数的计数器
int deadtimeout = 3;   //定义判断线程不正常的边界条件
ATask a;

Stakeout() {
start();
}

public void run() {
schedule();
while (Keepchecking) {
laststatus = a.sign;
try {
sleep(2000);
} catch (InterruptedException e) {
System.out.println("M is Interrupted!");
}
System.out.println("M read A status = " + a.sign);
//如果过了一段时间记录的状态与a中的状态相同，说明可能存在线程死亡的情况
if (laststatus == a.sign) {
// 线程可能死亡的次数超过设定值
if (++maydeadtimes >= maydeadtimeout) {
//实际线程死亡的次数
if (++deadtimes >= deadtimeout) {
System.out.println("Alert! A is unstable, M will stop it");
a = null;
break;
} else {
System.out.println("A is deaded!");
schedule();
System.out.println("M is restarting A!\n____________________________\n");
}
}
} else {
maydeadtimes = 0;
}
}
}

/**
* 初始化任务
*/
private void schedule() {
a = new ATask(this);
}
}

整个监控就是围绕这些状态标志和行为展开的。A任务定期修改自己的sign标志，sign是一个布尔变量，理论上只要A没有死，那么sign肯定是周期变化的（和心跳概念差不多），Stakeout需要做的就是监控sign的变化。为了避免一些偶然因素导致的误判，我们在Stakeout中设置了一些计数器和边界值（maydeadtimes和maydeadtimeout），当Stakeout发现A的的sign没有变化那就认为A是出现假死状态，如果连续3次出现假死状态那么判断A挂了，尝试重启A线程，如果总计出现了3次A挂了的情况，那么不在重启了，可以基本肯定不是由于偶然因素引起的，需要对A的代码或系统的环境进行检查。Stakeout会发出告警，通知必须要对A进行审查了，然后清空A，自己自动安全退出。如果在核心调度程序中设置一个标志接受Stakeout们的告警，就可以有足够理由终止其他任务的执行。
可以看见，在A任务发生异常期间，Stakeout承担了核心调度程序的维护功能。特别是当任务数量比较多的情况，核心调度程序只能采用排队方式处理任务异常，而且由于处理异常的复杂程度不同，无法保证对多任务异常的实时处理。

还要考虑正常情况下A和Stakeout的关系。核心调度程序通过Stakeout启动A任务后，Stakeout处于持续监控状态，当A正常结束任务后，A需要通知Stakeout结束监控，这样，当A进入休眠状态后，Stakeout也不会占用内存空间，提高了系统资源的利用率。