eclipse下开发hadoop程序配置（二）

1、安装hadoop eclipse插件，如果eclipse版本在3.5以上，需要重新编译eclipse插件（参见window环境，eclipse下开发hadoop程序配置（一）帖子）。

2、配置hadoop插件，设定相应属性（在第五周视频里有具体说明，这里我贴一些图再说明一下）：

1）、安装后如下图：



2）、在Map/Reduce Locations配置相关信息，主要配置dfs，job tracker相关信息，其中host配置为hadoop namenode节点ip或机器名，如下图：



3）、在Advanced parameters做相关设置，主要是用户名（这个和集群节点中装linux的用户名一致，如hadoop用户）和hadoop.tmp.dir（这个和core-site.xml中配置的一样），如下图：

eclipse.plug-in.user.name配置



hadoop.job.ugi配置，注[用户名],Tardis，必须是这种格式



hadoop.tmp.dir配置，此参数涉及到许多目录的配置，如果core-site.xml中配置了请配置，如果没有设置，为默认值/tmp/hadoop-${user.name}



4）、配置插件的hadoop installation directory，这个属性说明插件创建map reduce 工程时用到的hadoop jar包，与连接的hadoop集群目录无关，如下图：



3、经过前2个步骤设定，eclipse已经可以访问dfs目录了并可以操作目录上传文件等，但是如果运行尝试运行hadoop mapreduce程序会报错，如下图：

1）、DFS Locations下可以操作dfs文件系统



2）、此时运行hadoop mapreduce，如Test_1程序，报错



4、前面错误表示无法创建chmod进程，window下没有chmod，所以要安装cygwin模拟linux环境，请各位童鞋下载cygwin一路next安装，然后在window的环境变量下PATH下设定cygwin bin目录，最后要重启eclipse，如下图：

1）、cygwin安装参照 http://www.cygwin.cn/site/install/

2）、设定环境变量，首先设定CYGWIN_HOME到cygwin安装目录，然后Path下设定%CYGWIN_HOME%/bin;



3）、重启eclipse后再次运行Test_1程序，继续报错，如下错误：

12/10/13 22:31:19 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

12/10/13 22:31:20 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class)
or JobConf#setJar(String).

12/10/13 22:31:20 INFO input.FileInputFormat: Total input paths to process : 2

12/10/13 22:31:21 INFO mapred.JobClient: Running job: job_local_0001

12/10/13 22:31:21 INFO input.FileInputFormat: Total input paths to process : 2

12/10/13 22:31:21 WARN mapred.LocalJobRunner: job_local_0001

org.apache.hadoop.security.AccessControlException:
org.apache.hadoop.security.AccessControlException: Permission denied: user=xuxuan- think\xuxuan, access=WRITE, inode="xuxuan":xuxuan:supergroup:rwxr-xr-x

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)

at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)

at java.lang.reflect.Constructor.newInstance(Unknown Source)

at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:96)

at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:58)

at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:914)

at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:262)

at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:1120)

at org.apache.hadoop.mapred.FileOutputCommitter.setupJob(FileOutputCommitter.java:49)

at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:160)

Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.security.AccessControlException: Permission
denied: user=xuxuan- think\xuxuan, access=WRITE, inode="xuxuan":xuxuan:supergroup:rwxr-xr-x

at org.apache.hadoop.hdfs.server.namenode.PermissionChecker.check(PermissionChecker.java:176)

at org.apache.hadoop.hdfs.server.namenode.PermissionChecker.check(PermissionChecker.java:157)

at org.apache.hadoop.hdfs.server.namenode.PermissionChecker.checkPermission(PermissionChecker.java:105)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:4514)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:4484)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:1766)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:1735)

at org.apache.hadoop.hdfs.server.namenode.NameNode.mkdirs(NameNode.java:542)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)

at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)

at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:396)

at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)

at org.apache.hadoop.ipc.Client.call(Client.java:740)

at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)

at $Proxy0.mkdirs(Unknown Source)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)

at java.lang.reflect.Method.invoke(Unknown Source)

at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)

at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)

at $Proxy0.mkdirs(Unknown Source)

at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:912)

... 4 more

12/10/13 22:31:22 INFO mapred.JobClient: map 0% reduce 0%

任务名称：Test_1

12/10/13 22:31:22 INFO mapred.JobClient: Job complete: job_local_0001

12/10/13 22:31:22 INFO mapred.JobClient: Counters: 0

任务成功：否

输入行数：0

输出行数：0

跳过的行：0

任务开始：2012-10-13 22:31:19

任务结束：2012-10-13 22:31:22

任务耗时：0.053066667 分钟

5、前面错误说明cygwin下的用户名与linux hadoop namenode机器上的用户名不一致，可以在hdfs-site.xml做如下设置：

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

这样在操作hdfs是忽略权限，注意生产环境处于安全考虑不要这么搞！

如果大家能将cygwin的用户名和hadoop namenode的用户名一致，还请发帖告诉大家怎么设置！

6、重新设置hdfs-site.xml配置文件后，重启集群，重启eclipse，就可以运行map reduce程序了，如下图：

1）、运行结果如下：



2）、mapreduce程序创建的output目录，所属用户名是window机器名，和第5点说明的一样，不影响调试程序，但生产环境请不要这样设置



经过以上6个步骤，就可以完成在window下开发调试hadoop程序了，和我一样环境的童鞋不妨可以试一下！

7、在eclipse中断点调试map reduce程序，如图：



21.png (122.4 KB, 下载次数: 0)

下载附件 保存到相册

2012-10-14 22:04 上传