Hadoop小程序测试方法
2015-05-25 20:23
357 查看
1、创建新的J***A project项目:Hadoop
2、点击hadoop项目右键进入属性,在java build path中加载所需要的JAR包。
3、点击C+创建类,在类名:填写PutMerge,并打钩public static void main(String[] args]
4、编写java小程序
5、该小程序生成class类文件,我们需要对该类文件打成JAR包,然后上传到HADOOP平台
D:>cd d:\hadoop\project\HelloJava\bin
编写文本manifest.mf
Main-Class: PutMerge
D:>jar cvfm PutMerge.jar manifest.mf PutMerge.class
生成的JAR包上传到服务器中。
6、测试
2、点击hadoop项目右键进入属性,在java build path中加载所需要的JAR包。
3、点击C+创建类,在类名:填写PutMerge,并打钩public static void main(String[] args]
4、编写java小程序
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class PutMerge { public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(conf); FileSystem local = FileSystem.getLocal(conf); Path inputDir = new Path(args[0]); --输入本地文件系统的目录和文件 Path hdfsFile = new Path(args[1]); --输出HDFS的文件名 try { FileStatus[] inputFiles = local.listStatus(inputDir); FSDataOutputStream ut = hdfs.create(hdfsFile); --创建文件 for (int i=0; i<inputFiles.length; i++) { System.out.println(inputFiles[i].getPath().getName()); FSDataInputStream in = local.open(inputFiles[i].getPath()); byte buffer[] = new byte[256]; int bytesRead = 0; while( (bytesRead = in.read(buffer)) > 0) { out.write(buffer, 0, bytesRead); } in.close(); } out.close(); } catch (IOException e) { e.printStackTrace(); } } }
5、该小程序生成class类文件,我们需要对该类文件打成JAR包,然后上传到HADOOP平台
D:>cd d:\hadoop\project\HelloJava\bin
编写文本manifest.mf
Main-Class: PutMerge
D:>jar cvfm PutMerge.jar manifest.mf PutMerge.class
生成的JAR包上传到服务器中。
6、测试
# vi /tmp/test1.txt adfsfs fasfasfeqe fwfqw # hadoop jar PutMerge.jar /tmp/test1.txt /tmp/1.txt (/tmp是HDFS创建目录) #hadoop fs -cat /tmp/1.txt
相关文章推荐
- hadoop 从客户端的hdfs测试程序连到linux 上的hadoop(hdfs)要调用的方法
- hadoop2.2.0配置eclipse运行wordcount程序问题及解决方法
- Hadoop 下 WordCount 程序运行方法及过程分析
- hadoop-0.23.9安装以及第一个mapreduce测试程序
- 编译Android驱动对应的C测试程序出错的解决方法以及正确流程
- 1)编写Animal接口,接口中声明run()方法; 2)定义Bird类和Fish类实现Animal接口; 3)编写Bird类和Fish类的测试程序,并调用其中的run()方法
- Hadoop学习之第四章节:最高温度统计测试程序
- hadoop 测试第一个mapreduce程序
- 1)编写Animal接口,接口中声明run()方法; 2)定义Bird类和Fish类实现Animal接口; 3)编写Bird类和Fish类的测试程序,并调用其中的run()方法
- HADOOP测试常见问题和测试方法
- 测试程序时的一个小方法——freopen
- 程序测试用的IE浏览器第二次无法加载入口程序的问题及其解决方法
- 测试Hadoop程序
- Eclipse3.3_(windows7)连接远程hadoop(RedHat.Enterprise.Linux.5)并测试程序
- 编写Animal接口,接口声明run()方法定义Bird类和Fish类实现Animal接口编写Bird类和Fish类的测试程序,并调用其中的run()方
- C++中几种测试程序运行时间的方法
- win10 Intellij idea开发Hadoop MapReduce程序单机测试
- Hadoop2.2 单机测试程序WordCount
- hadoop2.6.0在eclipse下面调试程序看不到日志的解决方法
- HADOOP测试常见问题和测试方法