centos系统下完全分布式安装hadoop2.2.0
2016-07-05 21:43
459 查看
a) 配置IP,IP地址是静态的是大前提
b)删除/usr/local目录下的所有的内容(可选)
c)把jdk和hadoop的tar包使用swinscp导入到centos系统的/usr/local目录下(注意 hadoop编译环境和你的环境的位数)
d)关闭防火墙和selinux安全策略(使用chkconfig默认开机关闭)
网上有很多的教程都是说关闭防火墙和seLinux,本人不赞同,不推荐。
关闭防火墙是因为集群中的节点通过端口通信是会被拦截。如果你防火墙的机制就知道防火墙的重要性,推荐开放开放端口并制定规则如:
iptables -I INPUT -p tcp –dport 端口号 -j ACCEPT
e)查看hostname, vi /etc/hosts文件,建立主机名和ip地址的映射
f)ssh免密码登录
网上有很多教程。http://blog.csdn.net/share_free/article/details/52496873
j)解压hadoop的tar包并重命名
h)添加可执行脚本的path环境变量
vi /etc/profile
在profile中配置的PATH变量是系统性的全局的,所有用户都可用,在用户的.bashrc是单个用户的PATH
i)修改hadoop的配置文件
j)把配置好的hadoop文件,/etc/hosts文件, /etc/profile/
~/.ssh/authorized_keys分发给其他节点
k)选择一个节点格式化namenode,这个节点将是主节点
hadoop namenode -format
m)web界面和wordcount实例验证安装正确
b)删除/usr/local目录下的所有的内容(可选)
c)把jdk和hadoop的tar包使用swinscp导入到centos系统的/usr/local目录下(注意 hadoop编译环境和你的环境的位数)
d)关闭防火墙和selinux安全策略(使用chkconfig默认开机关闭)
网上有很多的教程都是说关闭防火墙和seLinux,本人不赞同,不推荐。
关闭防火墙是因为集群中的节点通过端口通信是会被拦截。如果你防火墙的机制就知道防火墙的重要性,推荐开放开放端口并制定规则如:
iptables -I INPUT -p tcp –dport 端口号 -j ACCEPT
e)查看hostname, vi /etc/hosts文件,建立主机名和ip地址的映射
f)ssh免密码登录
网上有很多教程。http://blog.csdn.net/share_free/article/details/52496873
j)解压hadoop的tar包并重命名
h)添加可执行脚本的path环境变量
vi /etc/profile
在profile中配置的PATH变量是系统性的全局的,所有用户都可用,在用户的.bashrc是单个用户的PATH
i)修改hadoop的配置文件
j)把配置好的hadoop文件,/etc/hosts文件, /etc/profile/
~/.ssh/authorized_keys分发给其他节点
k)选择一个节点格式化namenode,这个节点将是主节点
hadoop namenode -format
m)web界面和wordcount实例验证安装正确
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- hadoop上传文件功能实例代码
- java结合HADOOP集群文件上传下载
- Hadoop 2.x伪分布式环境搭建详细步骤
- Java访问Hadoop分布式文件系统HDFS的配置说明