如何使编写的java程序在hadoop 2.2中运行的完整过程
2014-03-26 19:02
615 查看
如何使编写的java程序在hadoop 2.2中运行的完整过程
(在不使用eclipse情况)
在不使用eclipse情况使java程序在hadoop 2.2中运行的完整过程。整个过程中其实分为java程序的编译,生成jar包,运行测试。这三个步骤运用的命令都比较简单,主要的还是如何找到hadoop 2.2提供给java程序用来编译的jar包。具体可以查看:
HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib目录
下面会通过一个在hadoop中创建一个目录的JAVA例子来进行演示
具体代码如下:
package com.wan.demo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HADemo { public static void main(String[] args) { // TODO Auto-generated method stub mkdir(args[0]); } public static void mkdir(String dir){ Configuration configuration=new Configuration(); FileSystem fs; try { fs = FileSystem.get(configuration); fs.mkdirs(new Path(dir)); fs.close(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } }
把HADemo.java文件拷贝到linux环境中
配置HADOOP_HOME/bin到环境中,启动集群,进入HADemo.java文件目录中
注:下面的lib目录里面的文件由HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/ webhdfs/WEB-INF/lib目录中获取,下面做的目的是为了缩减命令长度
1.编译java
# mkdir class
#Javac -classpath .:lib/hadoop-common-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java
2.生成jar包
#jar -cvf hademo.jar -C class/ .
added manifest
adding: com/(in = 0) (out= 0)(stored 0%)
adding: com/wan/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/HADemo.class(in = 844) (out= 520)(deflated 38%)
3.测试运行
#hadoop jar hademo.jar com.wan.demo.HADemo /test
检测:
#hadoop fs -ls /
结束!
相关文章推荐
- 如何利用记事本编写并运行一个java程序
- 编写,编译,运行Java程序过程中的编码解码过程
- hadoop集群,如何运行Java jar包---如何运行mapreduce程序
- 如何使用Eclipse编写运行Java程序
- 编写一个java程序,从1加到100,结果是5050。 每做一次加法,就休眠1秒 当程序运行过程中,杀死这个程序。 再次运行,还能从上次的计算结果继续下去。
- 如何在eclipse中编写好程序,然后打包成jar文件,在hadoop分布式集群上运行
- 编写一个java程序,从1加到100,每做一次加法,就休眠1秒,当程序运行过程中,杀死这个程序。 再次运行,还能从上次的计算结果继续下去
- 1.3—一个典型的JAVA程序的编写和运行过程
- 一个完整的Java程序运行过程会涉及以下内存区域
- 如何用editplus在编写运行Java程序及如何添加编辑运行快捷键
- 如何实现用Java编写程序,设计一个模拟电梯运行的类
- 将java编写的socket程序运行于linux服务器上
- 如何利用 JConsole观察分析Java程序的运行,进行排错调优
- Hadoop详解(三)——MapReduce原理和执行过程,远程Debug,Writable序列化接口,MapReduce程序编写
- 如何将在Eclipse中编写的java程序发布成.exe的可执行文件
- 如何利用 JConsole观察分析Java程序的运行,进行排错调优
- Java千百问_02基本使用(012)_如何编写多线程Socket程序
- 在Linux系统上编写并运行程序,以Java程序为例
- 如何编写和调用java的jni程序
- hadoop生态系统学习之路(二)如何编写MR以及运行测试