windows MyEclipse下连接hadoop并且编写调试mapReduce程序
2013-04-26 11:15
411 查看
windows下连接hadoop并且编写调试mapReduce程序
1.下载你相对版本的hadoop-eclips插件,我的是1.0.0,
2.将该插件放到你的myeclips\dropins目录下
3.重启Myeclipse,选择window-->OpenPerspective-->Others;选择Map/Reduce;
4.根据你的hadoop进行配置
5.这个时候应该可以读取你的HDFS了
6.新建一个Java项目
7.为你的项目引入hadoop的jar包
8.修改windows/System32/Drivers/etc/hosts,加上你namenode的机器名称和ip
否则会报如下错误:unknowhost
9.修改hadoop/conf/ hdfs-site.xml ,加上如下属性:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
否则run MapReduce的时候会报如下错误:
org.apache.hadoop.security.AccessControlException:Permission denied: user=Think, access=WRITE,inode="output":root:supergroup:rwxr-xr-x
1.下载你相对版本的hadoop-eclips插件,我的是1.0.0,
2.将该插件放到你的myeclips\dropins目录下
3.重启Myeclipse,选择window-->OpenPerspective-->Others;选择Map/Reduce;
4.根据你的hadoop进行配置
5.这个时候应该可以读取你的HDFS了
6.新建一个Java项目
7.为你的项目引入hadoop的jar包
8.修改windows/System32/Drivers/etc/hosts,加上你namenode的机器名称和ip
否则会报如下错误:unknowhost
9.修改hadoop/conf/ hdfs-site.xml ,加上如下属性:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
否则run MapReduce的时候会报如下错误:
org.apache.hadoop.security.AccessControlException:Permission denied: user=Think, access=WRITE,inode="output":root:supergroup:rwxr-xr-x
相关文章推荐
- windows下连接hadoop并且编写调试mapReduce程序
- hadoop 0.23 YARN分布式程序的编写 (Hadoop MapReduce Next Generation - Writing YARN Applications)
- Hadoop 调试第一个mapreduce程序过程详细记录总结
- win8下用Maven构建hadoop环境编写MapReduce程序
- 【Hadoop测试程序】编写MapReduce测试Hadoop环境
- 借助hadoop streaming,使用C++编写MapReduce程序
- Python之——使用原生Python编写Hadoop MapReduce程序(基于Hadoop 2.5.2)
- 在hadoop上进行编写mapreduce程序,统计关键词在text出现次数
- Python利用hadoop Streaming编写的Map-Reduce程序命令运行和本地调试运行
- Python之——用Mrjob框架编写Hadoop MapReduce程序(基于Hadoop 2.5.2)
- 如何在Hadoop上编写MapReduce程序
- 在 Hadoop 上编写 MapReduce 程序
- windows下在eclipse上远程连接hadoop集群调试mapreduce错误记录
- 在hadoop上进行编写mapreduce程序,统计关键词在text出现次数
- 如何使用Python为Hadoop编写一个简单的MapReduce程序
- [置顶] 编写简单的Mapreduce程序并部署在Hadoop2.2.0上运行
- Python编写Hadoop MapReduce程序
- 编写运行hadoop mapreduce程序
- 1.编写一个简单的C语言程序:根据输入的两个整数求平均值并且在终端输出,通过gcc编译器得到它的汇编程序文件。 2.编写一个C语言程序:打印输出所有“水仙花数”,用gdb调试程序(给出步骤)。所谓“
- Hadoop之Mapreduce------>入门级程序WordCount代码编写