用eclipse开发hadoop入门程序wordcount
2013-02-19 13:00
555 查看
首先用maven构建项目框架,然后写完code之后(详见:http://www.cnblogs.com/flying5/archive/2011/05/04/2078408.html),采用maven package打包成jar包:wordcount.jar。然后拷贝到布置好的hadoop服务器上。
构建输入数据:
hadoop fs -put input1.txt ./input/wordcount
hadoop fs -put input2.txt ./input/wordcount
运行job即可:
hadoop jar wordcount.jar com.*.wordcount.job.JobRunner ./input/wordcount ./output/wordcount
运行完之后,查看结果:
hadoop fs -ls ./output/wordcount
会发现有文件part-00000
hadoop fs -cat ./output/wordcount/part-00000
就可以看到hadoop结果了。
构建输入数据:
hadoop fs -put input1.txt ./input/wordcount
hadoop fs -put input2.txt ./input/wordcount
运行job即可:
hadoop jar wordcount.jar com.*.wordcount.job.JobRunner ./input/wordcount ./output/wordcount
运行完之后,查看结果:
hadoop fs -ls ./output/wordcount
会发现有文件part-00000
hadoop fs -cat ./output/wordcount/part-00000
就可以看到hadoop结果了。
相关文章推荐
- eclipse配置hadoop开发环境并运行WordCount小程序
- hadoop入门学习系列之五Eclipse下搭建Hadoop2.6.5开发环境并写wordcount
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- 知识学习——Hadoop MapReduce开发入门程序WordCount详解
- eclipse配置hadoop开发环境并运行WordCount小程序
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (四) 导入Hadoop源码+wordcount程序+运行
- hadoop学习之HDFS(2.1):linux下eclipse中配置hadoop-mapreduce开发环境并运行WordCount.java程序
- Hadoop eclipse插件安装和在eclipse运行wordcount程序
- Windows环境下eclipse提交到远程wordcount程序报错 at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
- window10下使用Eclipse+hadoop2.6来运行wordcount程序
- 在Windows上用Eclipse开发WordCount jar包, 并运行在hadoop上
- Eclipse下运行Hadoop程序(以WordCount为例,使用Maven)
- 第一个hadoop入门程序WordCount
- 在windows上用eclipse远程运行hadoop上的wordcount程序出现的问题,求解决
- Hadoop2.x实战:Eclipse本地开发环境搭建与本地运行wordcount实例
- Hadoop 1.x 使用eclipse集成环境运行WordCount程序