centos7下hadoop安装

centos7下hadoop安装

jdk安装

1.centos下默认安装的是openjdk,需要先卸载。先检查是否含有openjdk的包

$ java -version
$ rpm -qa | grep java

2.如果发现有安装好的OpenJDK以及安装包的话那么首先依次执行卸载。 卸载命令：

$ rpm -e –nodeps tzdata-java-2012c-1.el6.noarch
$ rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.x86_64

3.下载jdk安装包，并解压

$ tar -zxvf jdk-linux-x64.tar.gz

4.安装完成后需要配置环境变量,编辑/etc/profile文件:

$ vim /etc/profile

在文件尾部添加如下配置:

$ export JAVA_HOME=/usr/local/jdk1.8.0-131
$ export JRE_HOME=$JAVA_HOME/jre
$ export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
$ exprot PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

hadoop安装

1.下载hadoop安装包，并解压

$ tar -zxvf hadoop-2.6.5.tar.gz

2.配置hadoop环境变量，编辑/etc/profile文件:

$ export HADOOP_PREFIX=/usr/local/hadoop-2.6.5
$ export PATH=$HADOOP_PREFIX/sbin:$HADOOP_PREFIX/bin:$PATH

3.单机测试

$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar grep input output 'dfs[a-z.]+'
$ cat output/*

伪集群配置

1.编辑 etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

2.编辑etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

3.初始化文件系统

$ bin/hdfs namenode -format

4.启动namenode和datanode守护线程

$ sbin/start-dfs.sh

5.测试

复制input文件夹到分布式文件系统

$ bin/hdfs dfs -put etc/hadoop inpu

运行示例程序

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar grep input $ output 'dfs[a-z.]+'

查看输出文件

从文件系统复制出结果

$ bin/hdfs dfs -get output output
$ cat output/*

或者

从文件系统直接查看

$ bin/hdfs dfs -cat output/*

最后关闭守护进程

$ sbin/stop-dfs.sh

yarn配置

1.配置etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.配置etc/hadoop/yarn-site.xml:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

3.启动yarn

$ sbin/start-yarn.sh