您的位置:首页 > 运维架构

hadoop 编译jar包和运行

2013-11-22 11:40 323 查看


hadoop 编辑通过编译jar包方法:


1.建立存放编译java class类文件


mkdir wordcount_classes


2.使用javac 编译 mapreduce java类


javac -classpath /home/Andy/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar -d wordcount_classes/ SencondInvertIndexWithCombiner.java



SencondInvertIndexWithCombiner.java 为自定义的mapreduce程序


(-d 前面jar是hadoop自带的 核心包hadoop-core-1.0.1.jar,在安装路径下可以找到 -d 后分别为class文件存放路径 以及待编译的java源文件)


3. 将编译好的class文件打包成jar


jar -cvf ./wordcount.jar -C wordcount_classes/ .


(说明 -c 前面为class文件编译后jar文件名 -c 后面的为待编译的class源文件)


4.将mapreduce输入文件 put到hdfs文件系统上


bin/hadoop fs -put /home/Andy/input1/ input1


5. 使用编译好的jar包在hadoop框架中运行


bin/hadoop jar /home/Andy/hadoop/wordcount.jar cn.buaa.secondInvertindex.SencondInvertIndexWithCombiner /user/root/input1 /user/root/output1 /user/root/output2


(说明 jar 后面的jar文件为编译好的jar文件 jar后面为java源文件的类(形式为包名+类名) 最后为文件输入输出路径 )


6.查看结果:通过hdfs命令查看output2中运行结果。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: