hadoop client 客户端模式搭建
2017-04-14 14:46
441 查看
hadoop client 客户端模式搭建
在实际的开发环境中,在集群环境中开发往往存在很多安全隐患,例如集群文件被误删等等,所以一般的开发工作都是本地完成开发的。本地做MR开发时,由于没有hadoop环境,所以调试工作往往变的很难进行,所以在本地搭建一个hadoop client,不仅能提供本地调试环境,还能从直接从本地访问到hdfs 数据和提交任务到hadoop环境中。你可以在本地运行MR,不登陆服务器查看数据。本文只写在windows环境下搭建,linux环境也差不多(更简单),有需要可以留言。hadoop 客户端模式搭建
1、将集群的的配置文件复制到本地,并且配置HADOOP_HOME,和环境变量(PATH),如图:将hadoop的bin和sbin路径配置好,如上图,验证,打开cmd,输入hadoop -version。
2、修改配置文件:
(1)修改core-site.xml,修改 fs.default.name选项的值,使其指向集群master的地址。
(2)修改hadoop-env(windows修改.cmd文件)的jdk路径。
需要修改的就只有上面两项,是不是很简单。
3、配置本地用户变量,冒充hadoop用户(我这里用的时虚拟机,所以用的root权限,可根据实际情况经行修改),如果不设置这一步,会报权限拒绝。
到这一步,hadoop的客户端已经搭建完成了,你可以在本地运行MR,不登陆服务器查看数据。
4、写在最后,其实hadoop client模式不仅仅只用于本地调试,还可以作为集群的堡垒机使用,使得集群环境和开发环境分离开来。
注:如需要hive,spark 等客户端模式搭建文档,如果遇到搭建问题可在博客留言,我会定期回复。
相关文章推荐
- WCF客户端搭建(通过自定义WCF Client封装)
- 转:无线AP模式之无线AP Client客户端模式的应用体验(一)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- ubuntu12.04下hadoop单机模式和伪分布模式环境搭建
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- 第三页(客户端) :远程资源管理器 c#应用源代码,SERVICE + CLIENT 模式 可实现远程文件管理,下载功能
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) - 狂奔的蜗牛 - 博客频道 - CSDN.NET http://blog.csdn.net/hitwengqi/article/detai
- hadoop集群搭建多用户模式的hive
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- windows下hadoop伪分布式模式开发环境的搭建(Cygwin)以及Eclipse集成开发环境下的搭建
- ubuntu12.04 hadoop单机模式和伪分布模式搭建
- windows下hadoop伪分布式模式开发环境的搭建(Cygwin)以及Eclipse集成开发环境下的搭建
- hadoop2.2 搭建QJM模式HA遇阻,求助贴
- Hadoop全分布式集群模式的搭建实验
- Ubuntu 搭建ftp服务器步骤参考,客户端使用主动模式
- Hadoop伪分布模式搭建
- ubuntu 12.10下搭建 hadoop 1.0.4 单机和伪分布模式
- 利用eclipse远程调试模式搭建一个调试hadoop源码的环境
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)