扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统
2013-09-29 11:14
676 查看
2.项目介绍
本项目是一个hadoop namenode server的webdav协议访问代理,实现 client => hdfs-webdav proxy => hadoop namenode server的中间层. 项目修改自tomcat的WebdavServlet,实现了WebDAV level 2协议.3.war部署
修改配置
修改hdfs-webdav.war里面的WEB-INF/classes/hadoop-site.xml修改fs.default.name属性,以确定hdfs-webdav要连接的hadoop NameNode Server,示例:<property> <name>fs.default.name</name> <value>hdfs://192.168.52.129:9000/</value> <description>namenode</description> </property>
替换hadoop-xxxx-core.jar版本
由于hadoop有自己的rpc远程调用实现,并且各个版本间可能不兼容(0.17.x与0.18.x之间就不兼容),所以需要将WEB-INF/lib/hadoop-xxxx-core.jar的版本与NameNode Server的版本一致.现war自带的是hadoop-0.18.1-core.jar的版本部署至tomcat
以上修改完,将war包部署至tomcat或是jboss中,部署在其它服务器中时需要tomcat的catalina.jar与tomcat-coyote.jar,拷贝至WEB-INF/lib目录,因为现在项目是从tomcat的WebdavServlet中修改而来的测试是否部署成功
访问http://localhost:8080/hdfs-webdav4.webdav客户端访问
实现webdav的hdfs可以映射为windows或是linux本地文件夹.window网上邻居访问
打开“网上邻居”,添加网上邻居,在“请键入网上邻居的位置”中输入 Web 文件夹的 URL.http://localhost:8080/hdfs-webdav然后按照向导的提示继续下一步就可以了.Linux mount WebDav为本地文件系统
linux下相要mount WebDAV server为本地文件系统,必须要使用davfs2,项目网址:http://dav.sourceforge.net/安装davfs2请使用编译安装davfs2编译时依赖于neon,neon是一个WebDAV client library. neon网址http://www.webdav.org/neon/dsvfs2在mount时会使用fuse或是coda这两个文件系统,其中一个文件系统linux一般都有自带,davfs2在mount时会首先尝试使用fuse,失败时再使用coda但在CentOs中使用coda时发生如下错误,所以后面安装fuse, fuse网址http://fuse.sourceforge.net//sbin/mount.davfs: no free coda device to mount /sbin/mount.davfs: trying fuse kernel file system /sbin/mount.davfs: can't open fuse device
neon,davfs2,fuse编译安装: 项目的linux_mount_lib目录已经自带了这三个包
1.运行./configure 2.运行make 3.运行make install
运行davfs2的mount命令
在mount之前,davfs2需要创建davfs2用户及用户组[root@datacenter5 usr]# mkdir /data/hdfs [root@datacenter5 usr]# groupadd davfs2 [root@datacenter5 usr]# useradd -g davfs2 davfs2 [root@datacenter5 usr]# mount.davfs http://192.168.55.104:8080/hdfs-webdav /data/hdfs
项目下载: http://hdfs-webdav.googlecode.com/files/hdfs-
相关文章推荐
- linux hadoop mount 加载HDFS到本地文件系统
- hdfs mount为linux本地文件系统
- [置顶] Hadoop文件存储系统-HDFS详解以及java编程实现
- Hadoop HDFS文件系统通过java FileSystem 实现上传下载等
- Hadoop Shell命令(基于linux操作系统上传下载文件到hdfs文件系统基本命令学习)
- Hadoop实验:按规则读取本地文件写入HDFS文件系统
- 使用HDFS API实现hadoop HDFS文件系统的基本操作
- Hadoop入门(10)_通过java代码实现从本地的文件上传到Hadoop的文件系统
- hadoop生态系统学习之路(三)java实现上传文件(本地或ftp)至hdfs
- Java利用ssh协议实现本地文件到远程Linux服务器的上传。
- Hadoop实验:按规则读取HDFS文件系统写入到本地
- 访问Hadoop的HDFS文件系统的Java实现
- 云计算学习笔记004---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载
- window 系统 linux 系统 hdfs 文件系统 相互转移 hdfs 拷贝文件到linux 本地
- 安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨
- (4)通过调用hadoop的java api实现本地文件上传到hadoop文件系统上
- Linux系统安装rz/sz实现本地和服务器文件上传下载
- 使用SAMBA协议实现Linux与Windows系统之间的文件共享
- Linux系统安装rz/sz实现本地和服务器文件上传下载