Linux下使用Eclipse开发Hadoop应用程序
2013-10-29 21:44
387 查看
========================在eclipse配置hadoop====================
1.在eclipse上安装hadoop插件
复制hadoop安装目录/contrib/eclipse-plugin/hadoop-0.20.203.0-eclipse-plugin.jar到eclipse安装目录/plugins/ 下
2.重启eclipse,配置hadoop installation directory。
如果安装插件成功,打开Window-->Preferens,你会发现HadoopMap/Reduce选项,在这个选项里你需要配置Hadoop installationdirectory。配置完成后退出。
3.配置Map/Reduce Locations
在Window-->Show View中打开Map/ReduceLocations,在Map/Reduce Locations中新建一个HadoopLocation。在这个View中,右键-->New HadoopLocation。在弹出的对话框中你需要配置Location name,如Hadoop,还有Map/Reduce Master和DFSMaster。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如:
本人hadoop的配置详见:http://www.oschina.net/code/snippet_176897_7976
4.新建项目。
File-->New-->Other-->Map/ReduceProject,项目名可以随便取,如WordCount。
复制hadoop安装目录/src/example/org/apache/hadoop/examples/WordCount.java到刚才新建的项目WordCount下,删除WordCount.java首行package
5.在本地新建word.txt,内容为:
java c++ python cjava c++ javascript helloworld hadoopmapreducejava hadoop hbase
6.通过hadoop的命令在HDFS上创建/tmp/workcount目录,命令如下:
bin/hadoop fs -mkdir /tmp/wordcount
通过copyFromLocal命令把本地的word.txt复制到HDFS上,命令如下:
bin/hadoop fs -copyFromLocal/home/wangxing/Development/eclipseWorkspace/word.txt /tmp/wordcount/word.txt
7.运行项目
(1).在新建的项目Hadoop,点击WordCount.java,右键-->RunAs-->Run Configurations
(2).在弹出的Run Configurations对话框中,点JavaApplication,右键-->New,这时会新建一个application名为WordCount
(3).配置运行参数,点Arguments,在Programarguments中输入你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹,如:
hdfs://localhost:9000/tmp/wordcount/word.txt
hdfs://localhost:9000/tmp/wordcount/out
如果不写hdfs://localhost:9000/ 则默认是在linux的目录下操作。
(4)点击Run,运行程序
过段时间将运行完成,等运行结束后,查看例子的输出结果,使用命令:
bin/hadoop fs -ls /tmp/wordcount/out
发现有两个文件夹和一个文件,使用命令查看part-r-00000里的运行结果:
bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000
参考:
http://www.ylmf.net/ubuntu/guide/201009051389.html
/article/5115847.html
1.在eclipse上安装hadoop插件
复制hadoop安装目录/contrib/eclipse-plugin/hadoop-0.20.203.0-eclipse-plugin.jar到eclipse安装目录/plugins/ 下
2.重启eclipse,配置hadoop installation directory。
如果安装插件成功,打开Window-->Preferens,你会发现HadoopMap/Reduce选项,在这个选项里你需要配置Hadoop installationdirectory。配置完成后退出。
3.配置Map/Reduce Locations
在Window-->Show View中打开Map/ReduceLocations,在Map/Reduce Locations中新建一个HadoopLocation。在这个View中,右键-->New HadoopLocation。在弹出的对话框中你需要配置Location name,如Hadoop,还有Map/Reduce Master和DFSMaster。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如:
本人hadoop的配置详见:http://www.oschina.net/code/snippet_176897_7976
4.新建项目。
File-->New-->Other-->Map/ReduceProject,项目名可以随便取,如WordCount。
复制hadoop安装目录/src/example/org/apache/hadoop/examples/WordCount.java到刚才新建的项目WordCount下,删除WordCount.java首行package
5.在本地新建word.txt,内容为:
java c++ python cjava c++ javascript helloworld hadoopmapreducejava hadoop hbase
6.通过hadoop的命令在HDFS上创建/tmp/workcount目录,命令如下:
bin/hadoop fs -mkdir /tmp/wordcount
通过copyFromLocal命令把本地的word.txt复制到HDFS上,命令如下:
bin/hadoop fs -copyFromLocal/home/wangxing/Development/eclipseWorkspace/word.txt /tmp/wordcount/word.txt
7.运行项目
(1).在新建的项目Hadoop,点击WordCount.java,右键-->RunAs-->Run Configurations
(2).在弹出的Run Configurations对话框中,点JavaApplication,右键-->New,这时会新建一个application名为WordCount
(3).配置运行参数,点Arguments,在Programarguments中输入你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹,如:
hdfs://localhost:9000/tmp/wordcount/word.txt
hdfs://localhost:9000/tmp/wordcount/out
如果不写hdfs://localhost:9000/ 则默认是在linux的目录下操作。
(4)点击Run,运行程序
过段时间将运行完成,等运行结束后,查看例子的输出结果,使用命令:
bin/hadoop fs -ls /tmp/wordcount/out
发现有两个文件夹和一个文件,使用命令查看part-r-00000里的运行结果:
bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000
参考:
http://www.ylmf.net/ubuntu/guide/201009051389.html
/article/5115847.html
相关文章推荐
- Linux下使用Eclipse开发Hadoop应用程序
- Linux下使用Eclipse开发Hadoop应用程序
- Linux下使用Eclipse开发Hadoop应用程序 测试成功
- Linux下使用Eclipse开发Hadoop应用程序
- 学习Hadoop第十二课(Hadoop序列化机制、Linux安装Eclipse及创建快捷图标、使用Maven开发)
- linux环境使用Eclipse开发Android应用程序时使用真机调试方式
- 使用eclipse开发hadoop程序时,如何连接远程linux
- Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下)
- Eclipse远程开发调试Linux应用程序,Eclipse+cdt+Uniwin+Ubuntu+gcc+gdb,打造超级Linux开发平台
- 【转】使用 Eclipse C/C++ Development Toolkit (CDT)开发应用程序
- Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo
- 在Linux使用Eclipse + CDT开发C/C++程序
- 使用 Eclipse C/C++ Development Toolkit 开发应用程序
- Linux下使用命令行开发Android应用程序
- 使用eclipse集成开发环境开发arm linux程序
- 使用Ruby on Rails和Eclipse开发iPhone应用程序,第3部分
- 使用eclipse开发Linux程序方法
- Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境
- 如何使用eclipse进行嵌入式Linux的开发
- Linux 下使用命令行开发 Android 应用程序