hadoop超时解决办法context.progress()的作用 假设在map()方法中，你有一个从数据库读取大量数据的操作，是用一个循环来完成的，并且，在读完全部的数据之前，你不会有任何的数据输出

进行矩阵计算的时候，由于持续时间长，往往会出现超时的错误，错误内容如下：

Task attempt_201005281116_119912_r_000823_0 failed to report status for 606 seconds. Killing!

10/06/10 10:49:45 INFO mapred.JobClient: Task Id : attempt_201005281116_119912_r_000015_1, Status : FAILED

解决办法是在代码中定时report

final TaskAttemptContext context = ;
long lastTime = System.currentTimeMillis();

public void ping() {
final long currtime = System.currentTimeMillis();
if (currtime - lastTime > 10000) {
context.progress();
lastTime = currtime;
}
}

context.progress()的作用

假设在map()方法中，你有一个从数据库读取大量数据的操作，是用一个循环来完成的，并且，在读完全部的数据之前，你不会有任何的数据输出（纯读），那么，读完全部数据所需的时间可能很长，一直没有输出的话，这个task就会因为超时被杀掉，为了避免这个问题，可在以读取数据的循环中使用context.progress()方法来报告进度，那么该task就会被认为还活着，从而解决超时问题。