史无前例详细从零开始安装Hadoop集群

1.安装一个VM虚拟机管理工具。（这个网上自行下载，傻瓜式一键安装就好）

2.配置VM的环境



2.1配置Windows中vmnet8网卡的ip配置



3.创建一个虚拟机（空白的虚拟机，稍后用自己的ISO镜像文件装系统）

4.安装Linux的虚拟机系统（虚拟机的设置中按照如下进行设置）



5.启动Linux系统，进行基础配置

安装本地yum源

先确保虚拟机的驱动已经连接（在虚拟机的可移动设备的cd/dvd那一栏打√）

然后执行命令：

mkdir /mnt/cdrom   

mount -t iso9660 -o loop /dev/cdrom /mnt/cdrom

检查是否成功： ls /mnt/cdrom  看看有没有文件

配置yum源地址，只想  /mnt/cdrom   

 cd /etc/yum.repos.d/

 rename .repo .repo.bak *

 cp CentOS-Media.repo.bak cdrom.repo

 vi cdrom.repo



安装ssh工具包

yum install -y openssh.x86_64 openssh-clients.x86_64

6.配置Linux的网络环境

配置ip





配置主机名

 vi /etc/sysconfig/network

 改成hadoop01

配置域名映射

vi/etc/hosts



关闭 防火墙

service iptables stop

chkconfig iptables off

用远程连接工具连接虚拟机hadoop01（连接之前，保证Windows和虚拟机之间能够相互ping通）



ping通后就用crt远程连接工具连接到虚拟机

连接之后开始安装JDK

上传jdk的安装包到hadoop01 上，然后建一个apps目录，来解压安装包



解压完成后，配置JAVA_HOME 和PATH变量

vi /etc/profile

 

克隆虚拟机

将hadoop01克隆出hadoop02和hadoop03

然后，在hadoop02和03上进行网卡的配置

首先，删除老的eth0网卡，将新的eth1网卡改名为eth0






结果






修改eth0的ip地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0



结果如下



修改主机名

vi /etc/sysconfig/network

02就改成hadoop02

03 就改成hadoop03

安装Hadoop
上传安装包到hadoop01上  解压到apps目录下



修改配置文件

配置文件在：/root/apps/hadoop-2.8.1/etc/hadoop
 vi hadoop-env.sh



vi core-site.xml



vi hdfs-site.xml

<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/root/dfsdata/name/</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/root/dfsdata/data/</value> </property> </configuration>

l 拷贝安装目录到hadoop02和03

scp -r hadoop-2.8.1/ hadoop03:$PWD

启动HDFS
在三台机器上将hadoop的目录都配置到/etc/profile下
vi/etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_60 export HADOOP_HOME=/root/apps/hadoop-2.8.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后  ：source/etc/profile
格式化namenode       ： 
 hadoop namenode -format
启动namenode：   
hadoop-daemon.sh start namenode
启动datanode:

hadoop-daemon.sh start datanode
去web界面访问namenode节点的50070端口 查看状态