hadoop初识之三：搭建hadoop环境（配置HDFS，Yarn及mapreduce 运行在yarn）上及三种运行模式（本地模式，伪分布式和分布式介）

--===============安装jdk（解压版）==================

--root 用户登录

--建立文件层级目录

   /opt下分别 建 modules/softwares/datas/tools 文件夹

--查看是否安装jdk

   rpm -qa|grep java

--缷载系统自带的jdk:nodeps是忽略依赖，强制缷载

   rpm -e --nodeps java-1.5.0

--jdk tar包上传到softwares中:上传工具

--解压jdk到modules中

   tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

--配置环境变量

   vi /etc/profile

      ##JAVA_HOME

      export JAVA_HOME=/opt/modules/jdk1.7.0_67

      export PATH=$PATH:$JAVA_HOME/bin

   source /etc/profile

   退出后重新登录进去

--测试

   java -version

--===============安装hadoop-2.5.0（解压版）==================

--解压jdk到modules中

   tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules

   mv hadoop-2.5.0-cdh5.3.6/ hadoop-2.5.0

--可以使用默认，也可以更改

   vi /opt/modules/hadoop-2.5.0/etc/hadoop/hadoop-env.sh

   export JAVA_HOME=/opt/modules/jdk1.7.0_67

   export HADOOP_CONF_DIR=/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop

--在hadoop2.5.0下

   mkdir input

   cp etc/hadoop/*.xml input/

--===================启动集群==========================

   1.本地模式：mapreduce 运行在本地,启动jvm

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar grep input output 'dfs[a-z.]+'

   2.伪分布式模式：

--++++++++++++++配置hadoop中hdfs+++++++++
=》配置  core-site 配置hdfs为默认路径和临时文件夹,及配置HDFS垃圾回收时间是7天
    <configuration>

             <property>

                  <name>fs.defaultFS</name>
          <value>hdfs://master:8020</value>

             </property>

             <property>

                 <name>hadoop.tmp.dir</name>
         <value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp</value>

             </property>
        </configuration>

   <property>

        <name>fs.trash.interval</name>
<value>10080</value>

   </property>

=>配置hdfs-site.xml伪分布式模式备份为1
  <configuration>

          <property>

               <name>fs.replication</name>

        <value>1</value>

          </property>

       </configuration>
=》第一次使用时格式化hdfs系统
   bin/hdfs namenode -format

    =》启动namenode/datanode
  sbin/hadoop-daemon.sh start namenode
  jps 测试是否成功（有两个进程）

    =》查看日志文件
  ll logs
  查看以.log结尾的日志，而不是以.out结尾的
=》查看hdfs web界面
  master:50070/若打不开，则使用ip地址 或 配置window系统hosts文件
  若仍打不开，则关闭linux防火墙

         重启后生效 

           开启： chkconfig iptables on 

           关闭： chkconfig iptables off 

         即时生效，重启后失效 

           开启： service iptables start 

           关闭： service iptables stop 

--+++++++++++++++配置yarn+++++++++++++++++

     => cd /etc/hadoop/yarn-env.sh
   export JAVA_HOME=/opt/modules/jdk1.7.0_67

     =>yarn-site.xml----运行mapreduce

        <property>

             <name>yarn.resourcemanager.hostname</name>
    <value>master</value>

        </property>

        <property>

             <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>

        </property>
=>配置/slaves
=》启动yarn
   sbin/yarn-daemon.sh start resourcemanager
   sbin/yarn-daemon.sh start nodemanager
=>查看jps进程
=》yarn监控界面：master:8088

--+++++++++++++++++配置mapreduce默认运行在yarn上，初始默认local模式++++++++++++

     => cd /etc/hadoop/mapred-env.sh
   export JAVA_HOME=/opt/modules/jdk1.7.0_67

     => cd /etc/hadoop/mapred-site.sh
  <configuration>

           <property>

                <name>mapreduce.framework.name</name>

        <value>yarn</value>

           </property>

        </configuration>

--+++++++++++++测试+++++++++++++++++

     bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar  wordcount /user/npl/wordcount/input /user/npl/wordcount/output

--3.分布式模式：多些节点，在slaves中配置