hadoop 编译jar包和运行
2013-11-22 11:40
323 查看
hadoop 编辑通过编译jar包方法:
1.建立存放编译java class类文件
mkdir wordcount_classes
2.使用javac 编译 mapreduce java类
javac -classpath /home/Andy/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar -d wordcount_classes/ SencondInvertIndexWithCombiner.java
SencondInvertIndexWithCombiner.java 为自定义的mapreduce程序
(-d 前面jar是hadoop自带的 核心包hadoop-core-1.0.1.jar,在安装路径下可以找到 -d 后分别为class文件存放路径 以及待编译的java源文件)
3. 将编译好的class文件打包成jar
jar -cvf ./wordcount.jar -C wordcount_classes/ .
(说明 -c 前面为class文件编译后jar文件名 -c 后面的为待编译的class源文件)
4.将mapreduce输入文件 put到hdfs文件系统上
bin/hadoop fs -put /home/Andy/input1/ input1
5. 使用编译好的jar包在hadoop框架中运行
bin/hadoop jar /home/Andy/hadoop/wordcount.jar cn.buaa.secondInvertindex.SencondInvertIndexWithCombiner /user/root/input1 /user/root/output1 /user/root/output2
(说明 jar 后面的jar文件为编译好的jar文件 jar后面为java源文件的类(形式为包名+类名) 最后为文件输入输出路径 )
6.查看结果:通过hdfs命令查看output2中运行结果。
相关文章推荐
- 数据采集Interop.MSXML2.dll引用
- 【Linux】查看、升级系统、kernel版本
- Linux查看CPU个数/多核/多线程的查看
- Tomcat 或JBOSS java.lang.ArrayIndexOutOfBoundsException: 8192原因及其解决方法
- 为什么我画上轮廓的图像变成蓝色的了?
- 【虚拟化实战】Cluster设计之三HA
- Centos下安装xinetd以及minicom、tftp的配置
- centos下ssh无密码配置登录
- 内存地址对齐问题研究所分析
- apache2 ssl 认证
- linux下的OpenCV安装&学习笔记
- shell脚本分类
- linux下软件安装
- [置顶] TOMCAT连接池配置与使用
- 一个介绍hadoop中MapReduce原理的通俗易懂的例子
- 对DevOps中可交付软件部署的阐释
- linux内核编译错误
- linux 命令学习
- Linux字符设备驱动之cdev_init()
- 用Apache Traffic Server部署cdn