Hadoop全分布模式操作
2014-03-08 10:13
204 查看
摘要:介绍Hadoop全分布模式操作,实现真正意义上的集群架构。
关键词:Hadoop 全分布模式 文件配置
利用Hadoop解决大数据问题时,我们是用全分布模式来操作Hadoop。
如何基于全分布模式来操作Hadoop,构建Hadoop集群呢?具体步骤如下。
第一步:配置hosts文件。
执行命令: vi /etc/hosts,修改所有的节点,使得彼此之间都能把主机名解析为ip,即实现主机名与ip的绑定。
第二步:建立Hadoop运行账号
在所有节点上都建立运行Hadoop的账号,建议不要使用root账号,因为其权限最大,有时会带来意想不到的麻烦。
第三步:配置ssh,实现免密码登录
针对每个节点都要进行相同操作
首先,检查是否安装了ssh
依次执行命令:which ssh
which sshd
which ssh-keygen
其次,生成ssh密钥对
执行命令: ssh-keygen -r rsa
最后,分发ssh公钥
把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中
第四步:下载并解压Hadoop安装包
第五步:配置namenode,修改hdfs-site.xml文件
第六步:配置hadoop-env.sh
说明:以上三步配置可以参照伪分布模式操作Hadoop的配置
第七步:配置masters和slaves文件
第八步:向各节点复制Hadoop
第九步:格式化namenode,启动Hadoop
鉴于作者实验环境和资源有限,目前是基于伪分布模式操作Hadoop。因此,上述关于Hadoop全分布模式的操作,作者目前还没有试验过,仅是通过查阅相关文档和资料,进行的一个步骤归总。若有问题或不足,欢迎读者指正。
Source:
1 http://www.wangluqing.com/2014/02/hadoop-clustermodel-operation/
2 http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html
3 http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html
4 炼数成金之《Hadoop数据分析平台》课程的第二课,实施Hadoop集群
相关文章推荐
- Hadoop伪分布模式操作
- Hadoop伪分布模式操作
- Hadoop全分布模式操作
- hadoop全分布模式的详细操作
- 搭建hadoop本地模式和伪分布和hdfs操作四
- Ubuntu下 hadoop2.5.1 (伪分布模式) 配置工作
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- Hadoop-1.2.1伪分布下 hive-0.10.0内嵌模式安装
- hadoop学习笔记(2) 伪分布模式配置
- Hadoop学习之以伪分布模式部署Hadoop及常见问题
- Hadoop伪分布模式安装以及在Eclipse中运行第一个MapReduce项目
- 个人hadoop学习总结:Hadoop集群+HBase集群+Zookeeper集群+chukwa监控(包括单机、伪分布、完全分布安装操作)
- Ubuntu 安装 Hadoop(伪分布模式)
- Linux(CentOS)下伪分布模式安装Hadoop
- centos6.4安装hadoop-1.2.1全分布模式
- hadoop(二) - 伪分布模式的安装
- 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群
- Hadoop-2.4.1学习之以伪分布模式部署Hadoop
- Hadoop伪分布模式简易安装手册
- Hadoop伪分布模式配置