linux下eclipse上运行hadoop自带wordcount程序
2012-08-22 10:45
453 查看
Hadoop
wordcounteclipsehadooplinux
Eclipse 开发Hadoop
下载hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
注意不要用hadoop-0.20.2下自带的eclise插件,那个是坑爹的。否则会导致run on Hadoop 无反应。这个插件的版本是配合eclipse3.5的。下载后将其重命名为hadoop-0.20.2-eclipse-plugin.jar,并放入到eclipse插件目录中。
启动eclipse:打开windows->open perspective->other->map/reduce 可以看到map/reduce开发视图。设置Hadoop location.
打开windows->show view->other-> map/reduce Locations视图,在点击大象后【new Hadoop location】弹出的对话框(General tab)进行参数的添加:
Location name: 任意
map/reduce master: 与mapred-site.xml里面mapred.job.tracker设置一致。
DFS master:与core-site.xml里fs.default.name设置一致。
User name: 服务器上运行hadoop服务的用户名。
这些已经足够用。当然,如果你需要特殊设置,那么打开Advanced parameters设置面板,查看当前的选项以及修改其值.
创建Map/Reduce Project。运行最简单的WordCount程序。
点击Run on hadoop, 运行程序。你可以看到在output文件夹中出现文本段
运行时可能会出现内存溢出的异常:
原因是客户端程序运行时java虚拟机内存分配不够,修改run configuration(run as >run configurations),选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存后执行没有问题(即将执行时虚拟机内存调大)
wordcounteclipsehadooplinux
Eclipse 开发Hadoop
下载hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
注意不要用hadoop-0.20.2下自带的eclise插件,那个是坑爹的。否则会导致run on Hadoop 无反应。这个插件的版本是配合eclipse3.5的。下载后将其重命名为hadoop-0.20.2-eclipse-plugin.jar,并放入到eclipse插件目录中。
启动eclipse:打开windows->open perspective->other->map/reduce 可以看到map/reduce开发视图。设置Hadoop location.
打开windows->show view->other-> map/reduce Locations视图,在点击大象后【new Hadoop location】弹出的对话框(General tab)进行参数的添加:
Location name: 任意
map/reduce master: 与mapred-site.xml里面mapred.job.tracker设置一致。
DFS master:与core-site.xml里fs.default.name设置一致。
User name: 服务器上运行hadoop服务的用户名。
这些已经足够用。当然,如果你需要特殊设置,那么打开Advanced parameters设置面板,查看当前的选项以及修改其值.
创建Map/Reduce Project。运行最简单的WordCount程序。
点击Run on hadoop, 运行程序。你可以看到在output文件夹中出现文本段
运行时可能会出现内存溢出的异常:
原因是客户端程序运行时java虚拟机内存分配不够,修改run configuration(run as >run configurations),选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存后执行没有问题(即将执行时虚拟机内存调大)
相关文章推荐
- Eclipse下运行hadoop自带的mapreduce程序--wordcount
- 在linux下eclipse中运行hadoop自带的WordCount例子出现的两个错误
- linux下在eclipse上运行hadoop自带例子wordcount
- hadoop学习之HDFS(2.1):linux下eclipse中配置hadoop-mapreduce开发环境并运行WordCount.java程序
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (四) 导入Hadoop源码+wordcount程序+运行
- Hadoop系列--Hadoop自带程序wordcount运行示例
- 运行Hadoop自带的wordcount单词统计程序
- window10下使用Eclipse+hadoop2.6来运行wordcount程序
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- 利用hadoop自带程序运行wordcount
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- 第六篇:Eclipse上运行第一个Hadoop实例 - WordCount(单词统计程序)
- eclipse配置hadoop开发环境并运行WordCount小程序
- Eclipse 运行WordCount实例 (连接Linux下的Hadoop集群)
- Hadoop 1.x 使用eclipse集成环境运行WordCount程序
- hadoop2.2.0配置eclipse运行wordcount程序问题及解决方法
- eclipse配置hadoop开发环境并运行WordCount小程序
- Eclipse下运行Hadoop程序(以WordCount为例,使用Maven)