搭建Hadoop伪集群笔记

修改主机名(centos7 将hostname配置从/etc/sysconfig/network移动到了/etc/hostname)
hostnamectl --static set-hostname centos

安装jdk
yum  localinstall  jdk-8u151-linux-x64.rpm
配置Java环境变量
vi ~/.bash_profile
PATH=$PATH:/usr/java/jdk1.8.0_151/bin
source  ~/.bash_profile

由于hadoop 节点之间通过ssh访问,因此不能让其输入密码
配置ssh 采用私钥无密码登录
ssh_keygen -t rsa -P ''
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
如果 ssh localhost  不需要输入密码说明配置成功

解压hadoop

配置(测试之后发现不能使用localhost 必须使用主机名)
配置文件目录(/HADOOP_HOME/etc/hadoop/)

修改hadoop-evn.sh
配置JAVA_HOME
export JAVA_HOME =/usr/java/jdk1.8.0_151
修改core-site.xml
<!-- 指定NameNode-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdfs:centos:9000/</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
<property>

修改 hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/tmp/dfs/name</value>
</property>

修改 mapreduce-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<property>

修改yarn-site.xml
<!-- 指定ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>centos</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

配置hadoop的环境变量
vi     /etc/profile
添加如下配置
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

初始化namenode

hdfs namenode -format (hadoop namenode -format)

启动
start-all.sh