Hadoop中的一些基本操作
2016-04-18 09:29
260 查看
先粗略说一下“hadoop fs”和“hadoop dfs”的区别:fs是各比较抽象的层面,在分布式环境中,fs就是dfs,但在本地环境中,fs是local file system,这个时候dfs不可用。
1、列出HDFS文件:
?
a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容
b) 如果要列出某个文件夹中的内容,则-ls后面跟该文件夹的路径,例如列出input中的内容:
?
2、在HDFS中创建文件夹:
?
例如:
?
3、删除HDFS中的文件或文件夹
?
4、上传文件到HDFS:
?
将本机中的file文件上传到HDFS上并重命名为test。
如果要上传到某个文件夹中,则将test改为文件夹的地址,此时,上传的文件名称不会改变,例如将本地文件
夹test中的文件test1.txt,test2.txt,test3.txt上传到HDFS中的input中:
?
5、查看HDFS下的某个文件:
?
例如查看input中的test文件的内容:
?
6、将HDFS中的文件复制到本地系统中:
?
例如:将HDFS中的output文件复制到本地系统Documents文件夹中
?
7、进入/退出安全模式
有时,在hadoop启动时不能对文件系统进行如创建文件,删除文件之类的操作,此时,文件系统所处的状 态叫做安全模式,用途大家可以到网上搜一搜,笔者不在这里赘述(由于笔者属于初学者,HDFS上的东西还不多,节点也不多,所以笔者一般开启Hadoop后,不管有没有在安全模式,先输退出安全模式的命令)。
?
1、列出HDFS文件:
?
b) 如果要列出某个文件夹中的内容,则-ls后面跟该文件夹的路径,例如列出input中的内容:
?
?
?
?
?
如果要上传到某个文件夹中,则将test改为文件夹的地址,此时,上传的文件名称不会改变,例如将本地文件
夹test中的文件test1.txt,test2.txt,test3.txt上传到HDFS中的input中:
?
?
?
?
?
有时,在hadoop启动时不能对文件系统进行如创建文件,删除文件之类的操作,此时,文件系统所处的状 态叫做安全模式,用途大家可以到网上搜一搜,笔者不在这里赘述(由于笔者属于初学者,HDFS上的东西还不多,节点也不多,所以笔者一般开启Hadoop后,不管有没有在安全模式,先输退出安全模式的命令)。
?
相关文章推荐
- Node.js站点使用Nginx作反向代理时配置GZip压缩的教程
- Linux安装系统解决插入U盘才能启动
- ubuntu14.4(虚拟机)搭建hadoop 2.7.2
- ubuntu14.4(虚拟机)搭建hadoop 2.7.2
- Tomcat下取消POST大小的限制
- Tomcat 6.0 部署与发布
- Tomcat 部署详解
- tomcat配置文件server.xml详解
- OpenStack Mitaka新版特性
- Linux下修改MAC地址
- 软件开发网站推荐
- tomcat 日志输出
- 基于标记的AR的OpenCV实现(二)
- 常用linux命令积累
- 还在用GCD?来看看NSOperation吧
- OpenStack for Mitaka安装分享
- 基于标记的AR的opencv实现(一)
- 结合Apache和Tomcat实现集群和负载均衡
- Maven 集成Tomcat7插件
- DNS 反向解析出错 Error in named configuration: zone centos.vbird/IN: loaded serial 2011080401