单机伪分布式环境搭建(配置Hadoop)

1、解压Hadoop压缩包








2、配置Hadoop

 /opt/modules/hadoop-2.5.0/etc/hadoop/Hadoop-env.sh








/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-env.sh





/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-env.sh 








在这3个文件中都配置

export JAVA_HOME=/opt/modules/jdk1.7.0_67

3、与hdfs相关的配置

 1>、core-site.xml

<!--NameNode地址，8020是指定进程8020，访问入口-->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://bigdata.ibeifeng.com:8020</value>

    </property>

 

 

<!--hadoop在运行时产生的文件，元数据在本地的存放目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/modules/hadoop-2.5.0/data</value>

</property>








2>、hdfs-site.xml

<!--存放到hdfs上的文件的副本数，伪分布式配置为1 -->

<property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>








 3）格式化namenode  只格式化一遍，不要重复格式化

    ${HADOOP_HOME}目录下：

$ bin/hdfs namenode -format





4）启动hdfs守护进程

$ sbin/hadoop-daemon.sh start namenode  //启动namenode进程








$ sbin/hadoop-daemon.sh start datanode    //启动datanode



用jps查看进程是否启动








5)HDFS文件系统常用命令

$ bin/hdfs dfs -rm -R  /文件名  删除文件命令

$ bin/hdfs dfs -mkdir -p  /文件名  创建文件命令

$ bin/hdfs dfs -ls  /        查看所有文件命令

$ bin/hdfs dfs -put /原文件路径 /目标路径   上传文件命令

4.配置YARN  任务调度 （Mapreduce） 资源管理（resourcemanager
nodemanager）

${HADOOP_HOME}/etc/hadoop目录下配置yarn-site.xml

=======yarn-site.xml=====

<!-- 指定ResorceManager所在服务器的主机名-->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>[hostname]</value>

</property>

 

<!-- 指明在执行MapReduce的时候使用shuffle-->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>



复制并重名模板文件

$ cp  mapred-site.xml.template  mapred-queues.xml

=======mapred-site.xml=====

${HADOOP_HOME}/etc/hadoop目录下配置mapred-site.xml

 

<!-- 指定MapReduce基于Yarn来运行-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

 


 

4.启动hdfs yarn进程

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

5.配置日志聚合

=======mapred-site.xml=========
**追加到原来配置和后面
<property>
<name>mapreduce.jobhistory.address</name>
<!--配置实际的主机名和端口-->
<value>[hostname]:10020</value>
</property>
 
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>[hostname]:19888</value>
</property>



==============yarn-site.xml=======
<property>
<name>yarn.log-aggregation-enable</name>

<value>true</value>
</property>
<!--日志保存时间-->
<property>

<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>



6.停止所有进程重新启动，以便配置文件生效
1）停止进程
$ sbin/hadoop-daemon.sh stop namenode
$ sbin/hadoop-daemon.sh stop datanode
$ sbin/yarn-daemon.sh stop resourcemanager
$ sbin/yarn-daemon.sh stop nodemanager
2）启动进程
$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
3）启动历史
启动历史服务
$ sbin/mr-jobhistory-daemon.sh start historyserver