DFS-Fuse 挂载方法
2012-04-18 17:13
423 查看
1、 首先从http://fuse.sourceforge.net/ 下载fuse版本,我使用的版本是2.8.5
2、 解压fuse
tar -zxf fuse-2.8.5.tar.gz
3、 安装
cd fuse-2.8.5
/configure --prefix=/usr
make
make install
/sbin/ldconfig 更新一下动态库。
至此,fuse安装完成,可以从fuse官网将example试一下,确定是否安装成功
4、 编译dfs-fuse
进入$HADOOP_HOME: cd $HADOOP_HOME
编译libhdfs: ant compile-c++-libhdfs -Dlibhdfs=1
打包: ant package
编译dfs-fuse: ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1
成功后会在$HADOOP_HOME/build/contrib/fuse-dfs/ 产生一个脚本和一个二进制文件,有用的是fuse_dfs_wrapper.sh脚本
出现的问题:
dfs-fuse时候有可能提示找不到libhdfs.so 将$HADOOP_HOME/c++/Linux-amd64-64/lib/* 全部拷贝到$HADOOP_HOME/build/libhdfs下面。
编译dfs-fuse会提示找不到jvm,一般是没有找到jvm的路径, export OS_ARCH=amd64(对于64位机器),或者检查LD_LIBRARY_PATH变量是否设置正确
5、 挂载
在$HADOOP_HOME/build/contrib/fuse-dfs/ 执行fuse_dfs_wrapper.sh dfs://namenode:8020 /hdfs
其中 dfs后面部分对应的是$HADOOP_HOME/conf/core-site.xml 中fs.default.name选项,后面的参数是要挂架到的目录。
然后就可以对hdfs以普通文件系统的方式进行操作了。
2、 解压fuse
tar -zxf fuse-2.8.5.tar.gz
3、 安装
cd fuse-2.8.5
/configure --prefix=/usr
make
make install
/sbin/ldconfig 更新一下动态库。
至此,fuse安装完成,可以从fuse官网将example试一下,确定是否安装成功
4、 编译dfs-fuse
进入$HADOOP_HOME: cd $HADOOP_HOME
编译libhdfs: ant compile-c++-libhdfs -Dlibhdfs=1
打包: ant package
编译dfs-fuse: ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1
成功后会在$HADOOP_HOME/build/contrib/fuse-dfs/ 产生一个脚本和一个二进制文件,有用的是fuse_dfs_wrapper.sh脚本
出现的问题:
dfs-fuse时候有可能提示找不到libhdfs.so 将$HADOOP_HOME/c++/Linux-amd64-64/lib/* 全部拷贝到$HADOOP_HOME/build/libhdfs下面。
编译dfs-fuse会提示找不到jvm,一般是没有找到jvm的路径, export OS_ARCH=amd64(对于64位机器),或者检查LD_LIBRARY_PATH变量是否设置正确
5、 挂载
在$HADOOP_HOME/build/contrib/fuse-dfs/ 执行fuse_dfs_wrapper.sh dfs://namenode:8020 /hdfs
其中 dfs后面部分对应的是$HADOOP_HOME/conf/core-site.xml 中fs.default.name选项,后面的参数是要挂架到的目录。
然后就可以对hdfs以普通文件系统的方式进行操作了。
相关文章推荐
- CDH5.2挂载fuse-dfs问题解决
- fuse-dfs挂载hdfs实录
- 利用cloudera hadoop 中的libhdfs和fuse-dfs将hdfs中的文件挂载到本地硬盘
- hadoop fuse挂载问题 (fuse-dfs didn't recognize /tmp/hdfs, -2)
- KFS[CloudStore] 使用fuse挂载方法
- fuse挂载hadoop2.0.0文件系统hdfs到本地(关于libhdfs和fuse-dfs的编译)
- fuse-dfs挂载hdfs实录
- 使用fuse-dfs挂载hdfs到本地路径
- linux挂载第二硬盘的lvm分区方法
- Ubuntu下面安装和配置Hadoop的dfs-fuse
- Linux开机自动挂载Windows分区的两种方法
- Ubuntu12.04禁止U盘等设备的自动挂载方法
- Ubuntu亲测简单有效的共享文件夹(Shared Folders)自动挂载方法
- linux下无法挂载ntfs硬盘解决方法
- Linux操作系统下挂载硬盘光驱和U盘的方法
- Linux/ubuntu下编辑/etc/fstab实现开机自动挂载分区方法
- android 新增分区以及挂载方法
- FUSE API 的两种使用方法
- centos系统中挂载盘和扩容硬盘的方法
- ubuntu挂载\卸载U盘的方法