hadoop2.7.2学习笔记03-hadoop命令
2017-05-05 15:04
274 查看
所有的hadoop命令都由bin/hadoop脚本执行。hadoop命令大致分为三类,hadoop common,hdfs和yarn
这个脚本的用法是:hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]。其中
--config confdir 用来重写配置目录,默认是${HADOOP_HOME}/conf。
--loglevel loglevel 用来重写日志级别,可选级别有:FATAL, ERROR, WARN, INFO, DEBUG, and TRACE. 默认是INFO.
GENERIC_OPTIONS 众多hadoop命令所共有的options
COMMAND_OPTIONS hadoop common command和HDFS、YARN command
GENERAL_OPTIONS
很多子命令(hadoop common、yarn、hdfs commands)共有一套options,包括
Hadoop Common Commands:
hadoop common commands又可以分为user command和administrator command。
1、archive
用于创建一个hadoop archive(感觉是一种类似压缩文件的东西,具体情况暂时不明)
2、checknative
用来检查hadoop本地可用的代码。默认情况下检查libhadoop的可用性。
3、classpath
用来打印classpath。不带参数时,打印命令脚本(hadoop)创立的classpath。
4、credential
用来管理证书,passwords和有关证书提供者(比如java keystore)的secrets
hadoop的CredentialProvider API允许应用分开保存它们的passwords/secrets。为了指明特定的provider,需要在core-site.xml中指定hadoop.security.credential.provider.path参数或者使用--provider参数指定。
5、distcp
用于复制文件和目录
6、fs
相当于hdfs dfs
7、jar
运行一个jar文件
8、key
通过KeyProvider来管理keys
9、trace
查看和修改hadoop tracing设置
10、version
打印版本
11、CLASSNAME
执行以CLASSNAME命名的类
12、daemonlog
这是一个hadoop集群管理命令。用法是
用于查看或修改类的日志级别。因为使用log4j,类名和日志级别可以挂钩。
这个脚本的用法是:hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]。其中
--config confdir 用来重写配置目录,默认是${HADOOP_HOME}/conf。
--loglevel loglevel 用来重写日志级别,可选级别有:FATAL, ERROR, WARN, INFO, DEBUG, and TRACE. 默认是INFO.
GENERIC_OPTIONS 众多hadoop命令所共有的options
COMMAND_OPTIONS hadoop common command和HDFS、YARN command
GENERAL_OPTIONS
很多子命令(hadoop common、yarn、hdfs commands)共有一套options,包括
GENERIC_OPTION | Description |
---|---|
-archives <comma separated list of archives> | 指定需要被解压的archives(逗号分隔),仅仅对job有效 |
-conf <configuration file> | 指定一个应用配置文件 |
-D <property>=<value> | 配置参数值 |
-files <comma separated list of files> | 指定需要被上传mapreduce集群的文件(逗号分隔),仅仅对job有效. |
-jt <local> or <resourcemanager:port> | 指定一个ResourceManager,仅仅对job有效. |
-libjars <comma seperated list of jars> | 指定classpath中的jar文件(逗号分隔),仅仅对job有效. |
hadoop common commands又可以分为user command和administrator command。
1、archive
用于创建一个hadoop archive(感觉是一种类似压缩文件的东西,具体情况暂时不明)
2、checknative
用来检查hadoop本地可用的代码。默认情况下检查libhadoop的可用性。
3、classpath
用来打印classpath。不带参数时,打印命令脚本(hadoop)创立的classpath。
4、credential
用来管理证书,passwords和有关证书提供者(比如java keystore)的secrets
hadoop的CredentialProvider API允许应用分开保存它们的passwords/secrets。为了指明特定的provider,需要在core-site.xml中指定hadoop.security.credential.provider.path参数或者使用--provider参数指定。
5、distcp
用于复制文件和目录
6、fs
相当于hdfs dfs
7、jar
运行一个jar文件
8、key
通过KeyProvider来管理keys
9、trace
查看和修改hadoop tracing设置
10、version
打印版本
11、CLASSNAME
执行以CLASSNAME命名的类
12、daemonlog
这是一个hadoop集群管理命令。用法是
hadoop daemonlog -getlevel <host:httpport> <classname> hadoop daemonlog -setlevel <host:httpport> <classname> <level>
用于查看或修改类的日志级别。因为使用log4j,类名和日志级别可以挂钩。
相关文章推荐
- 云计算学习笔记004---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载
- Hadoop学习笔记-HDFS命令
- hadoop2.7.2学习笔记05-hadoop文件系统API定义-本文档使用到的专用符号
- hadoop2.7.2学习笔记15-HDFS user guide
- hadoop2.7.2学习笔记06-CLI MiniCluster
- 安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨
- Hadoop学习笔记-004-CentOS_6.5_64_批处理命令脚本
- hadoop2.7.2学习笔记05-hadoop文件系统API定义-hadoop文件系统模型
- hadoop2.7.2学习笔记02-启动集群
- hadoop2.7.2学习笔记09-机架敏感
- hadoop学习笔记(5)-运行任务(Job)小结:第三方jar包、hadoop jar命令
- hadoop学习笔记之<hadoop fs和hdfs dfs命令>
- hadoop2.7.2学习笔记04-hadoop fs shell
- hadoop学习笔记二之未找到hadoop命令时的解决方法
- hadoop2.7.2学习笔记05-hadoop文件系统API定义-hadoop文件系统类org.apache.hadoop.fs.FileSystem
- Hadoop学习笔记(5)——各命令说明
- (原创)c#学习笔记05--变量的更多内容01--类型转换03--使用Convert命令进行显式转焕
- Hadoop学习笔记(2)----命令归总
- hadoop2.7.2学习笔记07-本地库
- hadoop2.7.2学习笔记05-hadoop文件系统API定义-hadoop数据输入流类FSDataInputStream