hadoop job运行问题解决
2014-02-14 15:22
357 查看
问题现象:
job提交后总是在本地机器运行,不能提交到hadoop job tracker,在
http://192.168.1.130:50030/jobtracker.jsp,不能看到运行中的job。
在控制台输出中出现:
14/02/15 00:04:20 INFO mapred.LocalJobRunner: reduce > sort
原因分析:
第一次尝试:
将原来使用的默认new Configuration()替换为从配置文件得到,使用以下类
public class ConfigurationUtil {
private static Configuration conf = null;
public static final String USER_DIR = System.getProperty("user.dir");
public static final String FILE_SEPARATOR = System
.getProperty("file.separator");
public static Configuration getConf() {
if (conf == null) {
conf = new Configuration();
String pathCore = USER_DIR + FILE_SEPARATOR + "config.xml";
System.out.println(pathCore);
conf.addResource(new Path(pathCore));
// String hostIp = "192.168.1.130";
// conf.set("hadoop.job.ugi", "hadoop");
// conf.set("hadoop.job.user", "hadoop");
// conf.set("mapred.job.tracker", hostIp + ":9001");
// conf.set("fs.default.name", "hdfs://namenode.meritit.com:9000");
// conf.set("mapred.map.tasks", "2");
}
return conf;
}
public static void main(String args[]) {
System.out.println(getConf().get("hadoop.job.user"));
}
}
完成后问题解决!
job提交后总是在本地机器运行,不能提交到hadoop job tracker,在
http://192.168.1.130:50030/jobtracker.jsp,不能看到运行中的job。
在控制台输出中出现:
14/02/15 00:04:20 INFO mapred.LocalJobRunner: reduce > sort
原因分析:
第一次尝试:
将原来使用的默认new Configuration()替换为从配置文件得到,使用以下类
public class ConfigurationUtil {
private static Configuration conf = null;
public static final String USER_DIR = System.getProperty("user.dir");
public static final String FILE_SEPARATOR = System
.getProperty("file.separator");
public static Configuration getConf() {
if (conf == null) {
conf = new Configuration();
String pathCore = USER_DIR + FILE_SEPARATOR + "config.xml";
System.out.println(pathCore);
conf.addResource(new Path(pathCore));
// String hostIp = "192.168.1.130";
// conf.set("hadoop.job.ugi", "hadoop");
// conf.set("hadoop.job.user", "hadoop");
// conf.set("mapred.job.tracker", hostIp + ":9001");
// conf.set("fs.default.name", "hdfs://namenode.meritit.com:9000");
// conf.set("mapred.map.tasks", "2");
}
return conf;
}
public static void main(String args[]) {
System.out.println(getConf().get("hadoop.job.user"));
}
}
完成后问题解决!
相关文章推荐
- Windows下Cygwin环境的Hadoop安装(3)- 运行hadoop中的wordcount实例遇到的问题和解决方法
- eclipse中运行wordcount任务后在hadoop0.20.2监控页面没有显示该job的问题
- 如何停止正在运行的job(解决job不能删除或修改的问题)
- Hadoop启动后Jobtracker一直是initializing状态的问题解决
- Hadoop等软件常见运行问题及解决办法
- hudson 问题解决:修改同时跑的job 的数量和 设置Maven 运行的内存等
- 解决Eclipse中运行WordCount出现 java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper问题【转】
- home/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1问题解决
- hadoop 0.20 jobtracker leasechecker 线程溢出问题分析与解决
- 解决Hadoop运行jar包时MapReduce任务启动前OutOfMemoryError:Java heap space问题
- Hadoop运行jar包jdk版本冲突问题解决
- Hadoop实战 Hadoop Pipes运行C++程序问题解决
- kettle carte 打包运行job出现不能读取子转换的问题解决。
- hadoop群集运行job慢的问题
- hadoop运行故障问题解决1——datanode节点启动后自动关闭
- 在windows上用eclipse远程运行hadoop上的wordcount程序出现的问题,求解决
- Hadoop 运行 yarn jar 单词统计问题解决
- hadoop 2.6 运行找不到本地库的问题解决
- Windows下Cygwin环境的Hadoop安装(3)- 运行hadoop中的wordcount实例遇到的问题和解决方法
- Hadoop运行mapreduce任务过程中报错:Error: Java heap space问题解决