Hadoop环境搭建之一安装jdk,hadoop基本配置及运行MapReduce案例在本地模式下

需要在root用户下

如果安装老版的jdk,可以卸载重新安装 如java

卸载已经安装的java

rpm -qa|grep java
这里会打印出三行
rpm -e --nodeps 将上面的三行写到后面,用空格隔开

cd 安装软件的目录

ls 查看

解压jdk

tar -zxf jdk -C 解压到的目录

cd jdk1.7.0_67/

pwd 查看当前路径

vi /etc/profile

export JAVA_HOME=java的路径
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile 使之生效

exit 退出一下

java -version 查看版本

tar -zxf hadoop-2.5.0.tar.gz -C 解压缩路径

cd hadoop-2.5.0/

cd etc/hadoop/

echo ${JAVA_HOME}

查看jdk安装目录

vi hadoop-env

将export JAVA_HOME = jdk安装的目录

cd ..
cd hadoop-2.5.0
mkdir input
cp etc/hadoop/*.xml input/
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
cat output/*

例子 统计文件中单词的个数

cd hadoop-2.5.0

mkdir wcinput

cd wcinput/

touch wc.input

vi wc.input

wc.input 文件中插入hadoop yarn hadoop mapreduce hadoop hdfs yarn nodemanager

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount wcinput wcoutput

cat wcoutput/part-r-00000

本地模式Mapreduce程序运行在本地,启动JVM