Linux下Hadoop伪分布式环境搭建笔记

 

1、Jdk 安装配置 

 

sudo apt-get install openjdk-7-jreopenjdk-7-jdk
注：该命令安装jdk地址 /usr/lib/jvm/
 
安装好 OpenJDK后，需要找到相应的安装路径(/usr/lib/jvm/)，这个路径是用于配置
JAVA_HOME环境变量的。
接着配置 JAVA_HOME环境变量，为方便，我们在 ~/.bashrc中进行设置执行如下命令：
vim ~/.bashrc   （vim没有可以用apt-get安装 
sudo apt-get install vim）
在bashrc文件最前面添加如下单独一行如下图：
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64   (Java安装目录)

 
source~/.bashrc    配置文件生效
检验Jdk :
java  -version

 

2、安装hadoop

下载地址
http://apache.fayea.com/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz 

 

将hadoop-2.5.2 解压到/usr/local/hadoop 目录下

 

 

修改配置文件 

*-site.xml

（linux虚拟机ip为192.168.1.26）

 

1、core-site.xml

 

<configuration>

 

<property>

 

<name>fs.defaultFS</name>

 

<value>hdfs://192.168.1.26:9000</value>

 

</property>

 

<property>

 

<name>hadoop.tmp.dir</name>

 

<value>file:/usr/local/hadoop/tmp</value>

 

<description>a base for othertemporary directories.</description>

 

</property>

 

</configuration>

 
 

2、hdfs-site.xml

 

<configuration>

 

<property>

 

<name>dfs.replication</name>

 

<value>1</value>

 

</property>

 

<property>

 

<name>dfs.namenode.name.dir</name>

 

<value>file:/usr/local/hadoop/dfs/name</value>

 

</property>

 

<property>

 

<name>dfs.namenode.data.dir</name>

 

<value>file:/usr/local/hadoop/dfs/data</value>

 

</property>

 

<property>

 

<name>dfs.permissions</name>

 

<value>false</value>

 

<description>

 

permissionchecking is turned off

 

</description>

 

</property>

 

</configuration>

 

 

3、mapred-site.xml

 

 

<configuration>

 

<property>

 

<name>mapred.job.tracker</name>

 

<value>hdfs://192.168.1.26:9001</value>

 

</property>

 

<property>

 

<name>mapreduce.framework.name</name>

 

<value>yarn</value>

 

</property>

 

</configuration>

 

 

 

4、yarn-site.xml

 

 

<configuration>

 

<!-- Sitespecific YARN configuration properties -->

 

<property>

 

<name>yarn.nodemanager.aux-services</name>

 

<value>mapreduce_shuffle</value>

 

</property>

 

</configuration>

运行 

1.     首先格式化namenode   （不格式化namenode 可能会启动错误）

cd %Hadoop Home%/bin

./hdfs namenode -format

2.  运行dfs和 yarn
cd %Hadoop Home%/sbin

./start-dfs.sh

./start-yarn.sh

 
检验运行 
用  jps命令 出现一下进程 

 

运行成功   验证   ip：8088  和  ip ： 50070 验证