hadoop2.7.2学习笔记02-启动集群
2017-04-28 16:31
375 查看
一般集群中的一台机器作为NameNode，另一台机器作为ResourceManager，这是masters。
剩下的服务（Web App Proxy Server和MapReduce Job History server）会运行在专用硬件或者共享设施上，这取决于加载方式。（这一块还不太理解）
master之外的机器都是DataNode和NodeManager。他们属于slaves。
Hadoop有两类重要的配置文件：
只读的默认配置文件（包括core-default.xml, hdfs-default.xml, yarn-default.xml,mapred-default.xml）
根据部署有所区别的配置文件（包括etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml,
etc/hadoop/yarn-site.xml,etc/hadoop/mapred-site.xml）
另外还可通过etc/hadoop/hadoop-env.sh , etc/hadoop/yarn-env.sh ,
etc/hadoop/mapred-env.sh，这三个文件来控制bin目录下的hadoop脚本。
Hadoop的守护进程包括：
HDFS的NameNode,SecondaryNameNode,DataNode
YARN的ResourceManager,NodeManager,WebAppProxy
此外还有个前面提到过的MapReduce Job History server
某个hadoop实例运行的守护进程不同，所需的配置也不太一样。
大致关系是这样的：
例如配置NameNode节点使用parallelGC功能，需要将下面的语句添加到hadoop-env.sh
其他配置还包括：
HADOOP_PID_DIR -指定用于存储守护进程id files的目录
HADOOP_LOG_DIR -指定用于存储守护进程log files的目录
HADOOP_HEAPSIZE / YARN_HEAPSIZE-指定最大的heapsize，单位是MB
HADOOP_PREIFX-貌似就是个前缀，还需要在系统级别配置这个环境变量。实际就是hadoop的安装目录，哈哈。
此外还有下面的环境变量：
配置Hadoop守护进程
etc/hadoop/core-site.xml中
etc/hadoop/hdfs-site.xml中
为NameNode配置
为DataNode配置
etc/hadoop/yarn-site.xml
ResourceManager和NodeManager的配置
Parameter
为ResourceManager配置
为NodeManager配置
为History Server配置
etc/hadoop/mapred-site.xml
为MapReduce Application配置
为MapReduce JobHistory Server配置
监控NodeManager
hadoop允许管理者配置NodeManager，使其周期性执行一个管理者提供的脚本来判断这个节点是否是健康的。
若该脚本判断节点不健康，它需要打印以Error开头的一行信息到标准输出。NodeManager周期性执行该脚本，并检查输出。若检查到ERROR，则标记该节点为unhealthy。接着ResourceManager会将该节点加入黑名单，接下来的任务也不会被提交到该节点。直到某次运行脚本时检测结果为healthy才将它从黑名单移除。
下列etc/hadoop/yarn-site.xml中的参数用来控制节点健康监控脚本
check脚本没必要检测硬盘。因为NodeManager会周期性检测本地硬盘。yarn.nodemanager.disk-health-checker.min-healthy-disks参数可以配置NodeManager加入黑名单的可用硬盘阈值。
Slaves File
在etc/hadoop/slaves文件中列出所有slave的hostname或IP地址，一个一行。Helper脚本将会使用这个文件中的清单来在多个主机执行命令。它不会被任何基于java的配置项使用。为使用该功能，运行hadoop的账号需要实现ssh免密码登录。
Hadoop Rack Awareness
hadoop很多组件都是机架敏感的。hadoop守护进程通过激活一个管理者配置的模型来获得关于机架的信息。
Hadoop日志打印使用log4j，配置文件位于etc/hadoop/log4j.properties
操作Hadoop集群
完成以上配置后，可以将它们集中发送到所有机器的HADOOP_CONF_DIR目录（猜测就是etc/hadoop）。
推荐用不同的用户运行HDFS和YARN。
启动步骤
1、格式化dfs
2、启动hdfs的namenode
3、启动datanode
4、如果etc/hadoop/slaves和ssh免密码登录都配置好了，那么上面的操作可以用下面的脚本代替。
5、启动ResourceManager
6、启动NodeManager
7、启动webAppProxy服务器，若采用多服务器负载均衡，则需要依次启动它们。
8、如果etc/hadoop/slaves和ssh免密码登录都配置好了，那么上面的操作可以用下面的脚本代替。
9、启动MapReduce JobHistory Server
关闭步骤
1、关闭NameNode
2、关闭DataNode
3、如果etc/hadoop/slaves和ssh免密码登录都配置好了，那么上面的操作可以用下面的脚本代替。
4、关闭ResourceManager
5、关闭NodeManager
6、如果etc/hadoop/slaves和ssh免密码登录都配置好了，那么上面的操作可以用下面的脚本代替。
7、关闭WebAppProxy server.
8、关闭MapReduce JobHistory Server
其中中括号中的是执行命令行的账号。
Web Interfaces
下面列举了hadoop集群的所有web ui
剩下的服务（Web App Proxy Server和MapReduce Job History server）会运行在专用硬件或者共享设施上，这取决于加载方式。（这一块还不太理解）
master之外的机器都是DataNode和NodeManager。他们属于slaves。
Hadoop有两类重要的配置文件：
只读的默认配置文件（包括core-default.xml, hdfs-default.xml, yarn-default.xml,mapred-default.xml）
根据部署有所区别的配置文件（包括etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml,
etc/hadoop/yarn-site.xml,etc/hadoop/mapred-site.xml）
另外还可通过etc/hadoop/hadoop-env.sh , etc/hadoop/yarn-env.sh ,
etc/hadoop/mapred-env.sh，这三个文件来控制bin目录下的hadoop脚本。
Hadoop的守护进程包括：
HDFS的NameNode,SecondaryNameNode,DataNode
YARN的ResourceManager,NodeManager,WebAppProxy
此外还有个前面提到过的MapReduce Job History server
某个hadoop实例运行的守护进程不同，所需的配置也不太一样。
大致关系是这样的：
| Daemon | Environment Variable |
|---|---|
| NameNode | HADOOP_NAMENODE_OPTS |
| DataNode | HADOOP_DATANODE_OPTS |
| Secondary NameNode | HADOOP_SECONDARYNAMENODE_OPTS |
| ResourceManager | YARN_RESOURCEMANAGER_OPTS |
| NodeManager | YARN_NODEMANAGER_OPTS |
| WebAppProxy | YARN_PROXYSERVER_OPTS |
| Map Reduce Job History Server | HADOOP_JOB_HISTORYSERVER_OPTS |
export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC"
其他配置还包括：
HADOOP_PID_DIR -指定用于存储守护进程id files的目录
HADOOP_LOG_DIR -指定用于存储守护进程log files的目录
HADOOP_HEAPSIZE / YARN_HEAPSIZE-指定最大的heapsize，单位是MB
HADOOP_PREIFX-貌似就是个前缀，还需要在系统级别配置这个环境变量。实际就是hadoop的安装目录，哈哈。
此外还有下面的环境变量：
| Daemon | Environment Variable |
|---|---|
| ResourceManager | YARN_RESOURCEMANAGER_HEAPSIZE |
| NodeManager | YARN_NODEMANAGER_HEAPSIZE |
| WebAppProxy | YARN_PROXYSERVER_HEAPSIZE |
| Map Reduce Job History Server | HADOOP_JOB_HISTORYSERVER_HEAPSIZE |
etc/hadoop/core-site.xml中
| Parameter | Value | Notes |
|---|---|---|
| fs.defaultFS | NameNode URI | 主节点URI，类似hdfs://host:port/ |
| io.file.buffer.size | 131072 | SequenceFiles的读写缓存 |
为NameNode配置
| Parameter | Value | Notes |
|---|---|---|
| dfs.namenode.name.dir | NameNode持久化namespace和事务日志的目录 | 可以配多个目录以保证冗余，逗号分隔。 |
| dfs.hosts / dfs.hosts.exclude | permitted和excluded的datanodes清单 | 使用这些文件来管理allowable datanode清单 |
| dfs.blocksize | 268435456 | HDFS blocksize |
| dfs.namenode.handler.count | 100 | 处理来自DataNodes的RPC（remote procedure call）的线程数 |
| Parameter | Value | Notes |
|---|---|---|
| dfs.datanode.data.dir | 用于存储blocks的目录，用逗号做分隔符 | 数据将会存储在所有列举出的目录中 |
ResourceManager和NodeManager的配置
Parameter
| Value | Notes | |
|---|---|---|
| yarn.acl.enable | true / false | 是否开启ACLs（一种权限管理），默认false. |
| yarn.admin.acl | Admin ACL | 设置集群的管理。由由逗号分隔的用户和逗号分隔的group组成，这两部分中间用空格隔开。默认是*表示所有人都可以访问，若设置为空格则表示所有人无权访问。 |
| yarn.log-aggregation-enable | false | 是否开启 log aggregation |
| Parameter | Value | Notes |
|---|---|---|
| yarn.resourcemanager.address | ResourceManager host:port for clients to submit jobs. | host:port If set, overrides the hostname set in yarn.resourcemanager.hostname. |
| yarn.resourcemanager.scheduler.address | ResourceManager host:port for ApplicationMasters to talk to Scheduler to obtain resources. | host:port If set, overrides the hostname set in yarn.resourcemanager.hostname. |
| yarn.resourcemanager.resource-tracker.address | ResourceManager host:port for NodeManagers. | host:port If set, overrides the hostname set in yarn.resourcemanager.hostname. |
| yarn.resourcemanager.admin.address | ResourceManager host:port for administrative commands. | host:port If set, overrides the hostname set in yarn.resourcemanager.hostname. |
| yarn.resourcemanager.webapp.address | ResourceManager web-ui host:port. | host:port If set, overrides the hostname set in yarn.resourcemanager.hostname. |
| yarn.resourcemanager.hostname | ResourceManager host. | host Single hostname that can be set in place of setting all yarn.resourcemanager*address resources. Results in default ports for ResourceManager components. |
| yarn.resourcemanager.scheduler.class | ResourceManager Scheduler class. | CapacityScheduler (recommended), FairScheduler (also recommended), or FifoScheduler |
| yarn.scheduler.minimum-allocation-mb | Minimum limit of memory to allocate to each container request at the Resource Manager. | In MBs |
| yarn.scheduler.maximum-allocation-mb | Maximum limit of memory to allocate to each container request at the Resource Manager. | In MBs |
| yarn.resourcemanager.nodes.include-path / yarn.resourcemanager.nodes.exclude-path | permitted/excluded NodeManagers清单. | 使用该清单来控制allowable NodeManagers. |
| Parameter | Value | Notes |
|---|---|---|
| yarn.nodemanager.resource.memory-mb | NodeManager的可用物理内存,单位MB | 定义NodeManager中可以用来运行容器的所有资源 |
| yarn.nodemanager.vmem-pmem-ratio | 任务所占用的虚拟内存超过物理内存的最大比例 | 虚拟内存可以按照这个比例超过物理内存 |
| yarn.nodemanager.local-dirs | 媒介数据存放的目录 | 配置多个路径可以分散IO |
| yarn.nodemanager.log-dirs | 日志文件存放的目录 | 配置多个路径可以分散IO |
| yarn.nodemanager.log.retain-seconds | 10800 | 仅当log-aggregation失效时才有效，用来指定日志文件存放在NodeManager的默认时间。单位是秒 |
| yarn.nodemanager.remote-app-log-dir | /logs | 仅当log-aggregation生效时才有效。当应用结束时，日志文件将会转移到这个HDFS目录。需要设置合适的权限。 |
| yarn.nodemanager.remote-app-log-dir-suffix | logs | 仅当log-aggregation生效时才有效。远程日志目录的后缀名，日志将会被聚集到${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam} |
| yarn.nodemanager.aux-services | mapreduce_shuffle | Map Reduce applications.所需的Shuffle service |
| Parameter | Value | Notes |
|---|---|---|
| yarn.log-aggregation.retain-seconds | -1 | 保存聚合日志的时间。-1表示无效。 |
| yarn.log-aggregation.retain-check-interval-seconds | -1 | 检查聚合日志保存时间的时间间隔，0或负数表示聚合日志保存时间的十分之一。 |
为MapReduce Application配置
| Parameter | Value | Notes |
|---|---|---|
| mapreduce.framework.name | yarn | 将执行的框架设置为YARN |
| mapreduce.map.memory.mb | 1536 | maps操作的资源上限 |
| mapreduce.map.java.opts | -Xmx1024M | maps操作的子虚拟机的heap-size上限 |
| mapreduce.reduce.memory.mb | 3072 | reduces操作的资源上限 |
| mapreduce.reduce.java.opts | -Xmx2560M | reduces子虚拟机的heap-size上限 |
| mapreduce.task.io.sort.mb | 512 | 执行sorting data for efficiency（为了提升效率而进行的排序操作）时的内存上限 |
| mapreduce.task.io.sort.factor | 100 | 对文件进行排序时，一次融合的流的数目 |
| mapreduce.reduce.shuffle.parallelcopies | 50 | reduce操作中，从maps操作的大的结果集中复制数据的最大并行数. |
| Parameter | Value | Notes |
|---|---|---|
| mapreduce.jobhistory.address | MapReduce JobHistory 服务器的 host:port | 默认端口是10020. |
| mapreduce.jobhistory.webapp.address | MapReduce JobHistory Server Web UI的 host:port | 默认端口是19888. |
| mapreduce.jobhistory.intermediate-done-dir | /mr-history/tmp | 写入历史文件的目录 |
| mapreduce.jobhistory.done-dir | /mr-history/done | MR JobHistory Server管理历史文件的目录 |
hadoop允许管理者配置NodeManager，使其周期性执行一个管理者提供的脚本来判断这个节点是否是健康的。
若该脚本判断节点不健康，它需要打印以Error开头的一行信息到标准输出。NodeManager周期性执行该脚本，并检查输出。若检查到ERROR，则标记该节点为unhealthy。接着ResourceManager会将该节点加入黑名单，接下来的任务也不会被提交到该节点。直到某次运行脚本时检测结果为healthy才将它从黑名单移除。
下列etc/hadoop/yarn-site.xml中的参数用来控制节点健康监控脚本
| Parameter | Value | Notes |
|---|---|---|
| yarn.nodemanager.health-checker.script.path | Node health script | check使用的脚本 |
| yarn.nodemanager.health-checker.script.opts | Node health script options | check脚本使用的options |
| yarn.nodemanager.health-checker.script.interval-ms | Node health script interval | 运行check脚本的时间间隔 |
| yarn.nodemanager.health-checker.script.timeout-ms | Node health script timeout interval | check脚本执行的超时时间 |
Slaves File
在etc/hadoop/slaves文件中列出所有slave的hostname或IP地址，一个一行。Helper脚本将会使用这个文件中的清单来在多个主机执行命令。它不会被任何基于java的配置项使用。为使用该功能，运行hadoop的账号需要实现ssh免密码登录。
Hadoop Rack Awareness
hadoop很多组件都是机架敏感的。hadoop守护进程通过激活一个管理者配置的模型来获得关于机架的信息。
Hadoop日志打印使用log4j，配置文件位于etc/hadoop/log4j.properties
操作Hadoop集群
完成以上配置后，可以将它们集中发送到所有机器的HADOOP_CONF_DIR目录（猜测就是etc/hadoop）。
推荐用不同的用户运行HDFS和YARN。
启动步骤
1、格式化dfs
[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>（我觉得这个集群名称是可以随便取的）
2、启动hdfs的namenode
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode
3、启动datanode
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode
4、如果etc/hadoop/slaves和ssh免密码登录都配置好了，那么上面的操作可以用下面的脚本代替。
[hdfs]$ $HADOOP_PREFIX/sbin/start-dfs.sh
5、启动ResourceManager
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager
6、启动NodeManager
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager
7、启动webAppProxy服务器，若采用多服务器负载均衡，则需要依次启动它们。
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver
8、如果etc/hadoop/slaves和ssh免密码登录都配置好了，那么上面的操作可以用下面的脚本代替。
[yarn]$ $HADOOP_PREFIX/sbin/start-yarn.sh
9、启动MapReduce JobHistory Server
[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver
关闭步骤
1、关闭NameNode
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode
2、关闭DataNode
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode
3、如果etc/hadoop/slaves和ssh免密码登录都配置好了，那么上面的操作可以用下面的脚本代替。
[hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh
4、关闭ResourceManager
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager
5、关闭NodeManager
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager
6、如果etc/hadoop/slaves和ssh免密码登录都配置好了，那么上面的操作可以用下面的脚本代替。
[yarn]$ $HADOOP_PREFIX/sbin/stop-yarn.sh
7、关闭WebAppProxy server.
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop proxyserver
8、关闭MapReduce JobHistory Server
[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR stop historyserver
其中中括号中的是执行命令行的账号。
Web Interfaces
下面列举了hadoop集群的所有web ui
| Daemon | Web Interface | Notes |
|---|---|---|
| NameNode | http://nn_host:port/ | Default HTTP port is 50070. |
| ResourceManager | http://rm_host:port/ | Default HTTP port is 8088. |
| MapReduce JobHistory Server | http://jhs_host:port/ | Default HTTP port is 19888. |
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- hadoop2.7.2学习笔记01-启动单节点集群
- hadoop学习笔记1----构造模块与集群安装ssh与启动Hadoop
- Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
- Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
- hadoop2.5.2学习及实践笔记（四）—— namenode启动过程源码概览
- Hadoop学习笔记-Hadoop集群配置（最全面总结）
- Hadoop学习笔记（两）设置单节点集群
- Hadoop学习笔记（11）-集群不稳定问题一例（内存不稳定）
- Hadoop学习笔记（十一）---hadoop集群安装及配置
- Hadoop学习笔记(3)——Hadoop的安装、配置和启动
- 第114讲：Hadoop集群安装解析学习笔记
- C# Hadoop学习笔记（三）—集群部署结构
- zookeeper3.3学习笔记3：观察hadoop集群中的zookeeper
- hadoop学习笔记之-生产环境Hadoop大集群配置安装
- Hadoop学习笔记（十四）---Hbase集群安装及配置
- Hadoop学习笔记—13.分布式集群中节点的动态添加与下架
- hadoop学习笔记-生产环境hadoop集群安装
- hadoop学习笔记之-生产环境Hadoop大集群配置安装
- hadoop学习笔记<二>----hadoop集群环境的配置
- Hadoop2.6.0学习笔记（八）Hadoop启动脚本介绍