Hadoop2.4.1学习笔记(一)之ssh远程登录原理
2015-12-25 11:11
501 查看
Hadoop2.4.1学习笔记(一)之ssh远程登录原理与hdfs的shell操作
1. 应用情景描述:当启动Hadoop时,每当启动一次Hadoop时,就会启动一个进程,登录一台Linux虚拟机,当多个节点时,为了避免多次输入密码,可以选用ssh远程登录。来实现在一台虚拟机上即可登录其他的虚拟机。
具体的设置:
1.使用终端登陆,使用命令: sudo vi /etc/hosts, 添加需要远程登录的用户的ip地址和主机名。
2.设置完成之后,使用命令:wq 将添加的保存下来。
3.使用ping命令,查看是否能ping通将要登陆的主机,若能ping通则能登陆成功,若ping不通则不会登陆成功。
4.使用命令:ssh 用户名@主机名 提示信息输入:yes 输入用户密码。登陆成功验证的方法是我们的主机名修改。
退出使用命令:exit
5.当前用户使用ssh远程登录时,可以发一条指令给要登录的主机,比如:用当前用户,远程登陆并发送一条创建文件夹的指令:ssh XXX(主机名) mkdir 文件路径
2.hdfs的shell操作:
hadoop fs -ls / 是查看hadoop工程下所有文件的指令
hadoop fs 是文件系统的操作,可以查看对文件系统的操作
hadoop fs -cat 是显示文本文件的内容
hadoop fs -chown 是改变文件的所有者
hadoop fs -chgrp 是改变文件的分组
hadoop fs -chmod 是改变文件的权限
注意:此处的区别: hadoop fs -chown 所有者:所在组名 文件路径 修改文件的所有者和所在组 此处对于Linux本地文件系统的指令是不行的,但是在hdfs文件系统是可以的。
hadoop fs -copyFromLocal 本地文件路径 hdfs文件路径 是从将本地文件拷贝到hdfs文件系统下。此条命令等价于 -put 命令
hadoop fs -copyToLocal hdfs文件路径 本地文件路径 是从将hdfs文件拷贝到本地文件系统下。此条命令等价于 -get 命令
hadoop fs -moveToLocal hdfs文件路径 本地文件路径 是从将hdfs文件拷贝到本地文件系统下。
hadoop fs -moveFromLocal 本地文件路径 hdfs文件路径 是从将本地文件移动到hdfs文件系统下。
hadoop fs -cp 源文件路径 目标文件路径 是在hdfs文件系统下拷贝文件
hadoop fs -df hdfs文件路径 是查看当前所指文件路径下的磁盘大小和占用率 比如: hadoop fs -df / 该指令是查看根目录的大小和占用率
hadoop fs -rm 是删除文件 hadoop fs -rm -r 是删除文件夹 hadoop fs -rmdir 是删除空文件夹
从上面的指令中可以看到,在Linux系统指令中一定要区分本地文件系统和hdfs文件系统,对hdfs文件系统的操作hadoop fs - 是对hdfs文件系统操作的标志。对于指令的含义是类似的。
1. 应用情景描述:当启动Hadoop时,每当启动一次Hadoop时,就会启动一个进程,登录一台Linux虚拟机,当多个节点时,为了避免多次输入密码,可以选用ssh远程登录。来实现在一台虚拟机上即可登录其他的虚拟机。
具体的设置:
1.使用终端登陆,使用命令: sudo vi /etc/hosts, 添加需要远程登录的用户的ip地址和主机名。
2.设置完成之后,使用命令:wq 将添加的保存下来。
3.使用ping命令,查看是否能ping通将要登陆的主机,若能ping通则能登陆成功,若ping不通则不会登陆成功。
4.使用命令:ssh 用户名@主机名 提示信息输入:yes 输入用户密码。登陆成功验证的方法是我们的主机名修改。
退出使用命令:exit
5.当前用户使用ssh远程登录时,可以发一条指令给要登录的主机,比如:用当前用户,远程登陆并发送一条创建文件夹的指令:ssh XXX(主机名) mkdir 文件路径
2.hdfs的shell操作:
hadoop fs -ls / 是查看hadoop工程下所有文件的指令
hadoop fs 是文件系统的操作,可以查看对文件系统的操作
hadoop fs -cat 是显示文本文件的内容
hadoop fs -chown 是改变文件的所有者
hadoop fs -chgrp 是改变文件的分组
hadoop fs -chmod 是改变文件的权限
注意:此处的区别: hadoop fs -chown 所有者:所在组名 文件路径 修改文件的所有者和所在组 此处对于Linux本地文件系统的指令是不行的,但是在hdfs文件系统是可以的。
hadoop fs -copyFromLocal 本地文件路径 hdfs文件路径 是从将本地文件拷贝到hdfs文件系统下。此条命令等价于 -put 命令
hadoop fs -copyToLocal hdfs文件路径 本地文件路径 是从将hdfs文件拷贝到本地文件系统下。此条命令等价于 -get 命令
hadoop fs -moveToLocal hdfs文件路径 本地文件路径 是从将hdfs文件拷贝到本地文件系统下。
hadoop fs -moveFromLocal 本地文件路径 hdfs文件路径 是从将本地文件移动到hdfs文件系统下。
hadoop fs -cp 源文件路径 目标文件路径 是在hdfs文件系统下拷贝文件
hadoop fs -df hdfs文件路径 是查看当前所指文件路径下的磁盘大小和占用率 比如: hadoop fs -df / 该指令是查看根目录的大小和占用率
hadoop fs -rm 是删除文件 hadoop fs -rm -r 是删除文件夹 hadoop fs -rmdir 是删除空文件夹
从上面的指令中可以看到,在Linux系统指令中一定要区分本地文件系统和hdfs文件系统,对hdfs文件系统的操作hadoop fs - 是对hdfs文件系统操作的标志。对于指令的含义是类似的。
相关文章推荐
- 使用Compose变量定制Docker网络
- Apache Camel TypeConverter的使用
- open()参数宏的意义
- linux 用户管理
- linux 常用命令
- linux进程管理与调度
- Linux常见命令汇总
- linux 文件名命名规则
- opencv中与split()与merge()的问题
- 架构
- 菜鸟学Linux命令:端口查看和操作命令
- linux上tomcat的安装配置(多个tomcat)
- Linux内核高性能优化【生产环境实例】
- nginx配置 防ddos
- 架构
- 编译安装lamp环境
- Nginx 基础架构
- 各大网站CSS代码初始化集合
- nginx做负载均衡配置
- CentOS切换桌面模式和命令行模式