您的位置:首页 > 运维架构

分布式Hadoop安装入门(1)——简介和准备工作

2015-02-03 14:08 281 查看
分布式Hadoop安装入门(1)——简介和准备工作 ​

分布式Hadoop安装入门(2)——免密码SSH

分布式Hadoop安装入门(3)——安装jdk

分布式Hadoop安装入门(4)——安装Hadoop

Hadoop是大数据处理和分析中最常用的技术,如果想深入研究大数据,那么Hadoop是一定要会的。抱着这个简单的想法,拿自己的两台笔记本当实验机,玩儿一下Hadoop。

安装Hadoop可以分为单机Hadoop,伪分布式Hadoop,分布式Hadoop三种,本文介绍的是分布式Hadoop的配置,分布式和单机在配置会不太一样哦,如果想试试单机的,那只看下文jing1的配置即可。

本文是一边按照 @童俊杰-show​的 分布式Hadoop的搭建(Ubuntu) 配置一边总结的,部分内容雷同,我这里配置时出问题的部分我补充了解决方法。

一、环境介绍

两台Dell inspiron笔记本,均重装了linux系统,Ununtu11.10。(如果是三台机器还可以参考分布式Hadoop的搭建(Ubuntu)

二​、准备工作

正式解压配置hadoop之前,准备工作很多……准备工作都成功的话,后面都小case了。

1.用户名

装系统时候注意用户名设成一样的,例如我的设成jing。如果已经装好系统了,那修改成一样的。

2.网络配置

ifconfig,查看两台机器的ip地址,机器1为192.168.1.106,机器2为192.168.1.104

互相ping一下看是否通。我的两台是可以ping通的,所以这步顺利通过。

3.修改hostname

新装的linux,hostname乱七八糟,我们需要修改成简单易记的,因此将机器1的hostname改为jing1,机器2改为jing2。下面介绍重启后不会失效的改名方法,以机器1为例:

sudo gedit /etc/hostname 将hostname文件中原来的名字改为jing1,保存

sudo gedit /etc/hosts 在hosts文件中原来的名字改为jing1,保存

重新打开终端,发现已经变为jing@jing1: 了,说明成功鸟:)

4.修改/etc/hosts

打算在Hadoop中,jing1做namenode,jing2做datanode

在jing1中删除127.0.0.1那一行或者两行,然后添加:

192.168.1.106 jing1 jing1

192.168.1.104 jing2 jing2

在jing1中删除127.0.0.1那一行或者两行,然后添加:

192.168.1.106 jing1 jing1

192.168.1.104 jing2 jing2

注意:三台机器的话

在jing1中添加:

192.168.1.106 jing1 jing1

192.168.1.104 jing2 jing2

192.168.1.* jing3 jing3

在jing3中添加:

192.168.1.106 jing1 jing1

192.168.1.* jing3 jing3



5.下载jdk和Hadoop

电梯直达 最新jdk hadoop-0.20.2.tar.gz
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: