hdfs 通过NFSV3 加载至本地目录
2016-07-22 07:56
447 查看
常常会有这种需求,把HDFS的目录MOUNT到本地目录,然后方便使用LINUX下面的命令直接操作.
FUSE也可以达到同样的效果,但是配置比较复杂,新的HADOOP版本都建议使用NFS3来完成这个需求.
要点记录,
1. CORE-SITE.XML 修改
<property>
<name>hadoop.proxyuser.student.groups</name>
<value>*</value>
<description></description>
</property>
<property>
<name>hadoop.proxyuser.student.hosts</name>
<value>*</value>
<description>
</description>
</property>
加粗的是HADOOP用户,这点需要注意,也可以改成ROOT
2.HDFS-SITE.XML
\<!-- nfs configuration needed -->
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>
<property>
<name>nfs.exports.allowed.hosts</name>
<value>* rw</value>
</property>
3.关掉本机的NFS服务
service rpcbind stop
service nfs stop
4.开启HDFS的NFS服务
使用ROOT用户启动 PORTMAP服务
./hdfs portmap &
其他用户没有权限绑定端口
使用STUDENT用户开启NFS3
./hdfs nfs3 &
5.创建MOUNT点,加载
mkdir /mnt/hdfs
mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync localhost:/ /hdfs
在NAMENODE节点上使用ROOT用户运行上述命令
有时候会报ROOT不能模拟ROOT用户的错误,这个错误,可能是BUG,需要更新HADOOP版本
我使用的版本是HADOOP2.6
FUSE也可以达到同样的效果,但是配置比较复杂,新的HADOOP版本都建议使用NFS3来完成这个需求.
要点记录,
1. CORE-SITE.XML 修改
<property>
<name>hadoop.proxyuser.student.groups</name>
<value>*</value>
<description></description>
</property>
<property>
<name>hadoop.proxyuser.student.hosts</name>
<value>*</value>
<description>
</description>
</property>
加粗的是HADOOP用户,这点需要注意,也可以改成ROOT
2.HDFS-SITE.XML
\<!-- nfs configuration needed -->
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>
<property>
<name>nfs.exports.allowed.hosts</name>
<value>* rw</value>
</property>
3.关掉本机的NFS服务
service rpcbind stop
service nfs stop
4.开启HDFS的NFS服务
使用ROOT用户启动 PORTMAP服务
./hdfs portmap &
其他用户没有权限绑定端口
使用STUDENT用户开启NFS3
./hdfs nfs3 &
5.创建MOUNT点,加载
mkdir /mnt/hdfs
mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync localhost:/ /hdfs
在NAMENODE节点上使用ROOT用户运行上述命令
有时候会报ROOT不能模拟ROOT用户的错误,这个错误,可能是BUG,需要更新HADOOP版本
我使用的版本是HADOOP2.6
相关文章推荐
- Spark将HDFS数据导入到HBase
- Spark 读取HDFS存入 HBase(1.0.0 新 API)
- hdfs HA + MR HA
- Ubuntu16.04下安装Hadoop2.6.2 (单机模式)
- Ubuntu Virtualbox 搭建hadoop伪分布式集群
- HDFS 的 file size 和 block size
- HBase从hdfs导入数据
- HDFS 冗余数据块的自动删除
- HBase数据导出到HDFS
- Spark 提交任务时,指定文件
- HDFS权限问题
- 查看hive 表在hdfs上的存储路径
- hadoop实战-07.ubuntu14.04安装vsftpd服务
- 再聊HDFS Erasure Coding
- hadoop
- 查看HDFS上存储的hive表
- 【漫画解读】HDFS存储原理
- 相同版本的CDH集群间迁移hdfs以及hbase
- MapReduce基础开发之八HDFS文件CRUD操作
- HDFS 权限问题:Permission denied