运行hadoop报错

一：找不到内部类的问题

java.lang.ClassNotFoundException:com.test.WordCount$TokenizerMapperat                       org.apache.hadoop.conf.Configuration.getClass(Configuration.java:809)

at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:157）

如果你在 conf.set("mapred.job.tracker","000.000.000.000:9001"); 的话就会产生内部类的问题，如果你有解决的方案请告诉我。我也没有解决。 谢谢

这里改成 conf.set("fs.default.name","hdfs://000.000.000.000"9000"); 就不会产生错误内部类的问题了。。。


二：错误现象： WARN mapred.LocalJobRunner: job_local_0001

java.lang.OutOfMemoryError: Java
heap space

at
org.apache.hadoop.mapred.MapTask$MapOutputBuffer.(MapTask.java:781)

at
org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:350)

………..

原因：客户端程序运行时java虚拟机内存分配不够

解决办法：修改run
configuration，选择Arguments选项卡，在VM
arguments栏中加入-Xmx1024m，保存即可解决问题。



三： 错误现象：org.apache.hadoop.security.AccessControlException:
Permission denied: user=administrator, access=EXECUTE, inode="job_201111031322_0003":heipark:supergroup:rwx-.

原因：本地用户administrator（本机windows用户）想要远程操作hadoop系统，没有权限引起的。

解决办法：

i、如果是测试环境，可以取消hadoop
hdfs的用户权限检查。打开conf/hdfs-site.xml，找到 dfs.permissions属性修改为false（默认为true）OK了。

ii、修改hadoop
location参数，在advanced parameter选项卡中，找到hadoop.job.ugi项，将此项改为启动hadoop的用户名即可。

四：运行期间出现这个错误



错误信息很明显了，at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682) 这一行的方法报错了

网上查到这是由于0.20.203.0以后的版本的权限认证引起的，只有去掉才行

修改hadoop源代码，去除权限认证，修改FileUtil.java的checkReturnValue方法

（具体做法：在hadoop中找到源码 hadoop/src/core/fs 文件夹导入eclipse 工程下。找到 FileUtil.java类，找到 checkReturnValue方法 屏蔽掉有关于这个方法和这个方法的所有调用）保存即可。



排除以上所有错误，运行终于成功！