Hadoop 伪分布式安装

安装jdk

1）解压   
tar -zxvf ./jdk-8u151-linux-x64.tar.gz -C /usr/local

解压在c盘的usr/local下

2）配置环境变量  
vi /etc/profile    在文件后面添加

##java config

export JAVA_HOME=/usr/local/jdk1.8.0_151

export JRE_HOME=/usr/local/jdk1.8.0_151/jre

export PATH=$PATH:/usr/local/jdk1.8.0_151/bin

export
CLASSPATH=./:/usr/local/jdk1.8.0_151/lib:/usr/local/jdk1.8.0_151/jre/lib

保存退出  重启配置 source /etc/profile

3）查看jdk

cd /usr/local       或 cd jdk1.8.0_151     ll

4）检测jdk

javac或java -version‑

1.安装hadoop

1）解压   tar
-zxvf ./hadoop-2.8.4.tar.gz -C /usr/local                 解压在c盘的usr/local下

2）配置环境变量  
vi /etc/profile    在文件后面添加

##hadoop config

export HADOOP_HOME=/usr/local/hadoop-2.8.4

export PATH=PATH:PATH:PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOPH​OME/bin:HADOOP_HOME/sbin:

3）配置让hadoop知道jdk在哪       vi
/usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh

找到export JAVA_HOME   改成  export JAVA_HOME=/usr/local/jdk1.8.0_151

保存退出 重新启动   
source /usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh

4）测试hadoop

which hadoop  或  hadoop version  或   hadoop

2.修改/usr/local/hadoop-2.8.4/etc/hadoop/core-site.xml
文件，

fs.defaultFS

hdfs://localhost:9000

hadoop.tmp.dir

/usr/hadoop/tmp

fs.defaultFS直接用localhost就行，如果重命名了主机名，也可以用重命名的。

3.修改/usr/local/hadoop-2.8.4/etc/hadoop/hdfs-site.xml

dfs.name.dir

/usr/hadoop/hdfs/name

namenode上存储hdfs名字空间元数据

dfs.data.dir

/usr/hadoop/hdfs/data

datanode上数据块的物理存储位置

dfs.replication

1

4.SSH免密码登录

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >>
~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

5.hdfs启动与停止

第一次启动hdfs需要格式化，之后启动就不需要的：

cd /usr/local/hadoop-2.8.4

./bin/hdfs namenode -format

启动命令：

./sbin/start-dfs.sh

停止命令：

./sbin/stop-dfs.sh

浏览器输入：http://192.168.56.8:50070    /9870 查看效果：

6.接下来配置yarn文件. 配置/usr/local/hadoop-2.8.4/etc/hadoop/mapred-site.xml    。这里注意一下，hadoop里面默认是mapred-site.xml.template 文件，如果配置yarn，把mapred-site.xml.template   重命名为mapred-site.xml 。如果不启动yarn，把重命名还原。

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

mapreduce.framework.name

yarn

7.配置/usr/local/hadoop-etc/hadoop/yarn-site.xml文件，

yarn.nodemanager.aux-services

mapreduce_shuffle

8.启动yarn

启动：

cd /usr/local/hadoop-2.8.4

./sbin/start-yarn.sh

停止：

./sbin/stop-yarn.sh

可以用jps命令查看启动了什么进程：

浏览器输入：http://119.29.174.43:8088      (8088是默认端口，如果端口占用，先把占用的端口杀掉 netstat -ano)

这样，dfs和yarn就启动成功了。