Hadoop学习笔记(4)hadoop集群模式安装
2015-03-11 17:33
309 查看
具体的过程参见伪分布模式的安装,集群模式的安装和伪分布模式的安装基本一样,只有细微的差别,写在下面:
修改masers和slavers文件:
在hadoop/conf文件夹中的配置文件中有两个文件masters和slavers两文件,分别记录物理机器的主节点和从节点。分别以文本格式把主节点和从节点的名字写入到这两个文件中。
向各个节点复制hadoop:
在一个节点中安装好hadoop并且配置好了hadoop/conf/…下的一些配置文件之后,就能把hadoop复制到各个节点了:
这样就把各个节点都安装好了hadoop了。
格式化hadoop的文件系统:
在copy完hadoop后,要在各个节点中分别格式化他们的hadoop文件系统。
启动hadoop:
在主节点中执行start-all.sh就能启动整个hadoop系统,然后能看到各个进程都启动,然后可以在各个节点中通过jsp命令查看他们各自运行的java进程。
注意:一定要事先关闭他们的防火墙,不然防火墙会组织9000或者9001等端口的使用,这样的话会阻止一些进程的启动,导致hadoop无法正常的运行。
在hadoop的安装或者运行过程中,出现问题之后一定要去看logs信息,看java抛出的异常,这样就能知道问题的源头。
修改masers和slavers文件:
在hadoop/conf文件夹中的配置文件中有两个文件masters和slavers两文件,分别记录物理机器的主节点和从节点。分别以文本格式把主节点和从节点的名字写入到这两个文件中。
向各个节点复制hadoop:
在一个节点中安装好hadoop并且配置好了hadoop/conf/…下的一些配置文件之后,就能把hadoop复制到各个节点了:
#scp -r /usr/local/hadoop hadoop2:/usr/local/
这样就把各个节点都安装好了hadoop了。
格式化hadoop的文件系统:
在copy完hadoop后,要在各个节点中分别格式化他们的hadoop文件系统。
启动hadoop:
在主节点中执行start-all.sh就能启动整个hadoop系统,然后能看到各个进程都启动,然后可以在各个节点中通过jsp命令查看他们各自运行的java进程。
注意:一定要事先关闭他们的防火墙,不然防火墙会组织9000或者9001等端口的使用,这样的话会阻止一些进程的启动,导致hadoop无法正常的运行。
在hadoop的安装或者运行过程中,出现问题之后一定要去看logs信息,看java抛出的异常,这样就能知道问题的源头。
相关文章推荐
- hadoop学习笔记-生产环境hadoop集群安装
- 第114讲:Hadoop集群安装解析学习笔记
- hadoop学习笔记之-hbase完全分布模式安装-5
- 第127讲:Hadoop集群管理之安全模式解析及动手实战学习笔记
- hadoop学习笔记1----构造模块与集群安装ssh与启动Hadoop
- hadoop学习笔记之hadoop伪集群安装
- hadoop学习笔记之完全分布模式安装
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- hadoop学习笔记之-生产环境Hadoop大集群配置安装
- 第117讲:Hadoop集群之安装IP配置、Slaves、namenode和secondarynamenode的配置学习笔记
- hadoop学习笔记之-生产环境Hadoop大集群配置安装
- Hadoop学习笔记(十四)---Hbase集群安装及配置
- 第116讲:Hadoop集群之安装Java、创建Hadoop用户、配置SSH等实战学习笔记
- Hadoop学习笔记(3)hadoop伪分布模式安装
- hadoop学习笔记之--完全分布模式安装
- hadoop学习笔记之hadoop伪集群安装
- Hadoop 学习笔记五 集群安装
- hadoop学习笔记七 -- hadoop集群高可用架构安装配置
- Hadoop学习笔记(十一)---hadoop集群安装及配置
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置