hadoop伪分布环境搭建

hadoop的伪分布（单节点）

 1、设置ip地址,可以在centos系统桌面中有个电脑图标，右击edit connections进行IP设置

  使用命令ifconfig验证，如果验证不过使用命令service network restart网络重启（或者重启系统）

 2、关闭防火墙chkconfig iptables off ，用chkconfig --list iptables验证

  service iptables stop 只是临时关闭防火墙，在重启系统后无效

 3、设置主机名 vi /etc/sysconfig/network文件中 ，设置hostname=xxxx

 4、设置主机名与ip映射关系，vi /etc/hosts文件中 

   加上 ip  主机名（主机名和ip之间有个空格）

 5、进行免密码登录，执行ssh-keygen -t rsa ,连续按下enter键3次

  然后执行ssh-copy-i -i 主机名，使用ssh命令ping 本机

 6、安装Java环境

  使用文件上传工具，把jdk-6u24-linux-i586.bin文件上传到Linux服务器上/usr/local/目录下

  执行tar -zxvf jdk-6u24-linux-i586.bin进行解压，如果没有执行权限，用chmod u+x jdk-6u24-linux-i586.bin赋予执行权限

  配置环境变量,执行vi /etc/profile ，添加export JAVA_HOME=/usr/local/jdk ，export PATH=.:$JAVA_HOME/bin:$PATH

  然后执行 source /etc/profile 命令，java -version命令验证

 7、安装hadoop环境

  使用文件上传工具，把hadoop-1.1.2.tar.gz文件上传到Linux服务器上 /usr/local/目录下

  执行tar -zxvf hadoop-1.1.2.tar.gz进行解压，如果没有执行权限，用chmod u+x hadoop-1.1.2.tar.gz赋予执行权限

  配置环境变量，执行 vi /etc/profile，添加export HADOOP_HOME=/usr/local/hadoop

  export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

  然后执行 source /etc/profile命令，

  然后修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件

  7.1 修改hadoop-env.sh文件

  添加 export JAVA_HOME=/usr/local/jdk/

  7.2 修改core-site.xm文件

  <configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://cluster11:9000</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/hadoop/tmp</value>
   </property>  
</configuration>

      7.3 修改hdfs-site.xml文件
<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property>
</configuration>
7.4 修改4.mapred-site.xml文件
<configuration>
   <property>
       <name>mapred.job.tracker</name>
       <value>cluster11:9001</value>
   </property>
</configuration>

 8、格式化hadoop

   bin/hdfs namenode -format

 9、执行start-all.sh启动脚本

 10、执行jps命令，可以看到5个进程

  jobtracker

  datanode

  tasktracker

  secondarynameNode

  nameNode