IDEA使用java远程链接HDFS
2018-01-19 15:37
183 查看
1、将hadoop集群中任一节点下的core-site.xml和hdfs-site.xml添加到IDEA工程的resources目录下
2、修改本机hosts文件:C:\Windows\System32\drivers\etc\hosts,设置hadoop域名和ip地址的映射。
3、pom.xml文件添加如下依赖:hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-core
4、编写测试代码:
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class Test {
public static void main(String[] args) throws Exception {
String uri="hdfs://IP/test/test.txt";
Configuration configuration=new Configuration();
FileSystem fileSystem=FileSystem.get(URI.create(uri), configuration);
FSDataInputStream in=null;
in=fileSystem.open(new Path(uri));
IOUtils.copyBytes(in, System.out, 4096, false);
IOUtils.closeStream(in);
}
}
2、修改本机hosts文件:C:\Windows\System32\drivers\etc\hosts,设置hadoop域名和ip地址的映射。
3、pom.xml文件添加如下依赖:hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-core
4、编写测试代码:
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class Test {
public static void main(String[] args) throws Exception {
String uri="hdfs://IP/test/test.txt";
Configuration configuration=new Configuration();
FileSystem fileSystem=FileSystem.get(URI.create(uri), configuration);
FSDataInputStream in=null;
in=fileSystem.open(new Path(uri));
IOUtils.copyBytes(in, System.out, 4096, false);
IOUtils.closeStream(in);
}
}
相关文章推荐
- idea 使用java 链接sqlservice 2008
- java 使用jsch 远程链接linux执行命令
- Java-Maven(八):IDEA使用本地maven,并配置远程中央仓库
- java 使用jsch 远程链接linux执行命令
- 如何使用 Idea 远程调试 Java 代码
- java 使用jsch 远程链接linux执行命令
- 使用idea远程debug java应用
- 使用Hadoop的JAVA API远程访问HDFS
- 使用 Eclipse 远程调试 Java 应用程序
- 使用链接服务器获取远程服务器数据
- Sql Server使用链接服务器远程取数据!
- 使用 Eclipse 远程调试 Java 应用程序
- 使用 Eclipse 远程调试 Java 应用程序
- 使用 Eclipse 远程调试 Java 应用程序
- 灵活使用Eclipse与Java远程调试功能
- 使用 Eclipse 远程调试 Java 应用程序
- 使用 Eclipse 远程调试 Java 应用程序
- sql server中分布式查询(链接服务器(sp_addlinkedserver)和远程登录映射(sp_addlinkedsrvlogin)使用小结)
- java 使用 pstools 远程执行exe
- 使用MyEclipse对远程Jboss下的Java WEB应用程序进行调试