命令行运行hadoop实例wordcount程序
2011-10-11 13:51
435 查看
参考1:http://www.cnblogs.com/flying5/archive/2011/05/04/2078408.html
需要说明的有以下几点。
该命令行的意思大致是:执行hadoop 程序,该程序在wordcount.jar中。该wordcount.jar包含以下几个class文件,分别是WordCount.java编译产生的3个class文件:
WordCount.class
WordCount$Map.class
WordCount$Reduce.class
和WordCount2.java编译产生的四个claas文件:
classWordCount2.class
WordCount2$IntSumReducer.class
WordCount2$IntWritableDecreasingComparator.class
WordCount2$TokenizerMapper.class
并且这几个.class文件是在jar包的根目录下。将上述七个class文件打包成jar文件的方法如下:假设上述七个class文件在同一个目录WordCount文件夹下,使用命令行进入到该级目录,然后通过如下命令打包:
这里唯一的不同色jar包的不同,上一条命令的jar包是wordcount.jar,而这里的java包是WordCount.jar。WordCount.jar把是对org/apache/hadoop/examples整个目录打包得到的。
这条命令的指定了classspath为 /home/hadoop/program/hadoop-0.20.1/hadoop-0.20.1-core.jar 。其实我们可以修改环境变量来省去这些内容。
具体方法为:
注意:这里的WordCount.java可以有包名,也可以没有包名。如果没有包名的话,在/home/hadoop/WordCount/目录下就有几个编译完成的.class文件。如果有包名的话,那么在/home/hadoop/WordCount/目录下还会生成包的结构目录。
需要说明的有以下几点。
1.如果wordcount程序不含层次,即没有package
那么使用如下命令:hadoop jar wordcount.jar WordCount2 /home/hadoop/input/20418.txt /home/hadoop/output/wordcount2-6
该命令行的意思大致是:执行hadoop 程序,该程序在wordcount.jar中。该wordcount.jar包含以下几个class文件,分别是WordCount.java编译产生的3个class文件:
WordCount.class
WordCount$Map.class
WordCount$Reduce.class
和WordCount2.java编译产生的四个claas文件:
classWordCount2.class
WordCount2$IntSumReducer.class
WordCount2$IntWritableDecreasingComparator.class
WordCount2$TokenizerMapper.class
并且这几个.class文件是在jar包的根目录下。将上述七个class文件打包成jar文件的方法如下:假设上述七个class文件在同一个目录WordCount文件夹下,使用命令行进入到该级目录,然后通过如下命令打包:
jar cvf WordCount.jar *.class
2.如果wordcount程序含有层次
那么使用如下命令(错误):$ hadoop jar wordcount.jar WordCount2 /home/hadoop/input/20418.txt /home/hadoop/output/wordcount2-7会报错,错误如下:(具体原因可以参考博客:/article/7698521.html)
Exception in thread "main" java.lang.ClassNotFoundException: WordCount2 at java.net.URLClassLoader$1.run(URLClassLoader.java:202) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:190) at java.lang.ClassLoader.loadClass(ClassLoader.java:306) at java.lang.ClassLoader.loadClass(ClassLoader.java:247) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:247) at org.apache.hadoop.util.RunJar.main(RunJar.java:149)正确命令如下:
$ hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount2 /home/hadoop/input/20418.txt /home/hadoop/output/wordcount2-7
这里唯一的不同色jar包的不同,上一条命令的jar包是wordcount.jar,而这里的java包是WordCount.jar。WordCount.jar把是对org/apache/hadoop/examples整个目录打包得到的。
3.编译WordCount.java程序
在参考1中使用了类似以下的命令来编译WordCount.javajavac -classpath /home/hadoop/program/hadoop-0.20.1/hadoop-0.20.1-core.jar WordCount.java -d /home/hadoop/WordCount/
这条命令的指定了classspath为 /home/hadoop/program/hadoop-0.20.1/hadoop-0.20.1-core.jar 。其实我们可以修改环境变量来省去这些内容。
具体方法为:
sudo gedit /etc/profile修改
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH为
export HADOOP_HOME=/home/hadoop/program/hadoop-0.20.1 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH:$HADOOP_HOME/hadoop-0.20.1-core.jar这样的话,就可以直接使用如下命令来编译WordCount.java程序了
javac WordCount.java -d /home/hadoop/WordCount/
注意:这里的WordCount.java可以有包名,也可以没有包名。如果没有包名的话,在/home/hadoop/WordCount/目录下就有几个编译完成的.class文件。如果有包名的话,那么在/home/hadoop/WordCount/目录下还会生成包的结构目录。
4.出现无法编译WordCount.java程序的情况
在使用同样的编译命令的时候javac WordCount2.java -d /home/hadoop/WordCount/会提示如下错误:
WordCount2.java:93: 无法访问 org.apache.commons.cli.Options 未找到 org.apache.commons.cli.Options 的类文件 String[] otherArgs = new GenericOptionsParser(conf, args) ^ 1 错误查了一些资料,这个错误主要是因为WordCount2.java里面用到了一些类,而这些类没有在classpath路径下注册。所以会产生这样的错误。因为在eclipse中,我们的bulid path中的library中添加的jar包不单单只有hadoop-0.20.1-core.jar一个jar,还有其他许多的jar,如果要通过命令行将这些jar包全部打出来,非常麻烦。这里推荐使用ant来进行编译。具体如何使用ant,可能会在后面的博客中提及。我们可以使用eclipse来帮我们编译。参考博客:eclipse编译java文件。
相关文章推荐
- 命令行运行hadoop实例wordcount程序
- hadoop命令行运行wordcount程序 web端监控不到作业状态
- 用命令行运行hadoop程序WordCount,编译hadoop程序报错
- Hadoop实例WordCount程序一步一步运行
- hadoop实例WordCount程序一步一步运行
- 第六篇:Eclipse上运行第一个Hadoop实例 - WordCount(单词统计程序)
- hadoop 集群运行WordCount示例程序
- 云计算学习笔记006---运行hadoop的例子程序:统计字符--wordcount例子程序
- Hadoop示例程序WordCount详解及实例 .
- Eclipse 运行WordCount实例 (连接Linux下的Hadoop集群)
- linux下jar命令和eclipse两种方式生成wordcount.jar包和hadoop下wordcount实例的运行
- hadoop开发:eclipse运行wordcount实例
- Eclipse重写Wordcount类实现处理中文字符,利用hadoop Eclipse插件远程调试hadoop运行WordCount程序
- Hadoop示例程序WordCount详解及实例
- eclipse配置hadoop开发环境并运行WordCount小程序
- Hadoop 2.6.3运行自带WordCount程序笔记
- 运行Hadoop自带的wordcount单词统计程序
- Hadoop 运行 Wordcount程序
- Hadoop4Win + Eclipse 运行 WordCount 程序
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序