Hadoop-2.2.0 + hbase-0.98.4-hadoop2 RedHat x64 伪分布式安装小札（及配置文件）

64位32位一旦有了Hadoop-2.2.0的 x64位包就都是一样一样的了~ 找到一个LONG同学的包分享在此： pan.baidu.com/s/1ntlupaL

记录一些安装过程中遇到的问题

HADOOP-2.2.0 安装过程：

（1） 基本配置文件：

最开始的 namenode 没有起来（/bin/hdfs namenode -format 失败），错误显示忘记了，最终采取官网相关配置文件直接抄过来OK hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/SingleCluster.html

core-site.xml:

<!--HDFS's default url path-->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/mymiss/hadoop/hadoop_tmp</value>
    </property>
</configuration>

mapred-site.xml:

<!--mapreduce configuration turned to yarn-->
<configuration>
  <property>
    <name>mapreduce.cluster.temp.dir</name>
    <value></value>
    <description>No description</description>
    <final>true</final>
  </property>

  <property>
    <name>mapreduce.cluster.local.dir</name>
    <value></value>
    <description>No description</description>
    <final>true</final>
  </property>

<pre code_snippet_id="466799" snippet_file_name="blog_20140910_2_2772340" name="code" class="plain">  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

</configuration>

（2） java路径设置

执行 /sbin/start-all.sh 显示 "J***A_HOME"找不到。修改 /etc/hadoop/hadoop_site.xml 里面的 export J***A_HOME=/usr/java/jdk1.7.0_45 即可，修改完以后似乎还需要 . /etc/profile （source /etc/profile）让它生效这样子？记不太清了..‘

（3）/etc/profile hadoop相关配置设置

报了个 org.apache.hadoop.fs.FsShell 找不到的错误，发现是 /etc/profile 里面有关 hadoop 的一些路径没有配置。

#for java1.7.0
export J***A_HOME=/usr/java/jdk1.7.0_45
export CLASSPATH=/usr/java/jdk1.7.0_45/lib
export PATH=$J***A_HOME/bin:$PATH

#for hadoop2.2.0

export HADOOP_DEV_HOME=/home/mymiss/hadoop/hadoop-2.2.0
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPREDUCE_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop

（4）外联端口设置

使用$ sbin/yarn-daemon.sh start nodemanager 这些发现相应日志下游端口没有配置的错误，参照一个博客对端口进行了配置

yarn-site.xml。

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 2014/9/10 hadoop-->
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>localhost:8031</value>
    <description>host is the hostname of the resource manager and 
    port is the port on which the NodeManagers contact the Resource Manager.
    </description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>localhost:8030</value>
    <description>host is the hostname of the resourcemanager and port is the port
    on which the Applications in the cluster talk to the Resource Manager.
    </description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    <description>In case you do not want to use the default scheduler</description>
  </property>

  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
    <description>the host is the hostname of the ResourceManager and the port is the port on
    which the clients can talk to the Resource Manager. </description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value></value>
    <description>the local directories used by the nodemanager</description>
  </property>

  <property>
    <name>yarn.nodemanager.address</name>
    <value>0.0.0.0:8765</value>
    <description>the nodemanagers bind to this port</description>
  </property>  

  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>10240</value>
    <description>the amount of memory on the NodeManager in GB</description>
  </property>
 
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/app-logs</value>
    <description>directory on hdfs where the application logs are moved to </description>
  </property>

   <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value></value>
    <description>the directories used by Nodemanagers as log directories</description>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>shuffle service that needs to be set for Map Reduce to run </description>
  </property>

</configuration>

HBASE安装相关

（5）基础配置文件

hbase遇到启动时后说端口已经站用的情况，查看下来也是配置文件的问题

hbase-env.sh:

# 2014/9/10 added 
export J***A_HOME=/usr/java/jdk1.7.0_45

export PATH=$J***A_HOME/bin:$J***A_HOME/jre:$PATH  

export HBASE_MANAGES_ZK=true

export HBASE_CLASSPATH=/opt/hadoop-2.2.0/etc/hadoop

export  HBASE_LOG_DIR=/data/hbase/logs

hbase-site.xml:

<configuration>
<property>

    <name>hbase.rootdir</name>

    <value>hdfs://localhost:9000/hbase</value>

</property>

<property>

   <name>hbase.cluster.distributed</name>

   <value>true</value>

</property>

<property>

   <name>hbase.tmp.dir</name>

   <value>/data/tmp_hbase</value>

</property>

<property>

    <name>hbase.zookeeper.property.dataDir</name>

    <value>/data/hbase/zookeeper</value>

</property>

<property>

    <name>hbase.zookeeper.property.clientPort</name>

     <value>2181</value>

</property>

<property>

   <name>hbase.zookeeper.quorum</name>

    <value>localhost</value>

</property>

</configuration>

看了一下上述两个配置文件应该是按照http://blog.csdn.net/wohunter2010/article/details/23261251 搬过来的～

成果展示～～：

（1）$HADOOP_DEV_HOME/sbin/start-all.sh $HBASE_HOME/bin/start-hbase.sh

至此完成～～把 hadoop hbase 都起起来jps是酱紫的:



其中 HQuorumPeer HRegionServer HMaster 是 HBASE的其余除了jps都是 Hadoop 的～

（2）使用本地 127.1：50070查看 NameNode 情况如下：

（3）使用本地 127.1：50075（直接点击那个HDFS也是一样的）查看 HDFS 情况如下：

（4）系统自带 wordcount 尝试

这里是尝试使用自带的wordcount.jar的执行结果
blog.csdn.net/bamuta/article/details/14226243

$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.2.0-sources.jar org.apache.hadoop.examples.WordCount /input /output

（5）使用 8088查看hadoop resourcemanager情况

（www.hadoopor.com/redirect.php?tid=5477&goto=lastpost hadoop体系默认端口一览表）

（6）尝试使用简单的 Hbase shell命令

来建表等操作如下图所示http://blog.csdn.net/yuanpengs/article/details/7825686：

心得体会

综上总结完毕，主要是个操作步骤总结和其他人博客的链接啦～ 提供以后回忆使用～“常回头看看”，这还是高中戴建宁老师的叮嘱呢，十分对～遥远的祝老师们节日快乐～

（今天在路上还在想，一个人到研究生培养过他的老师也会有好多好多了吧，有的时候有点点幽怨的想他们只教知识不教大家如何生活，以致于现在的我什么都不想做，想想找工作就怕的不行不行的，晚上搭搭环境人开心点了，觉得这个念头真是幼稚的不行～一来谁有限制谁怎么生活么？没有，只是自己一味按照划定的小标准在生活，现在来到社会这个看不到标准的地方迷茫也只能怪自己呗～ 二来他们在每个阶段的传授，的对美好未来的描绘，描绘即使他们本人都没有亲历过的美好前景，这般童话般美好的谎言虽然有点点被现实的残酷的不公平给击碎了，但正是这些童话的引导下我们来到了这里，见识到了一个比他们所见还宽广的世界，一个相对而言更公平的能力说话的地方...
亲历生活的种种不美好却一味告诉大家“外面的世界”是多么美好想想也是件微微残酷的事情，而桃李天下的他们是否又真的从满天下的桃李那里了解到了他们规划的已经达到的外面，桃李们类似我这种似乎正陷在个子人生的泥潭中无暇顾及其他呢.唉....多的是继续为小朋友们织梦吧～想想真是惭愧，只有真正把握掌控自己的生活，坚定的去规划，勇敢的直面挑战，才能以身作则告诉小朋友们，学弟学妹们，快来吧，世界却事实美好的～遥祝天下所有的教师，尤其是纯粹的低年级教师们教师节快乐！）