hadoop学习(一)------------搭建单机本地运行环境
2015-03-23 10:57
399 查看
软件准备:
1.操作系统为ubuntu kylin 14.04 LTS http://www.ubuntu.com/download/desktop
2.java SDK为jdk1.7.0_15 http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u72-oth-JPR
3.hadoop版本为1.2.1 http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/
软件安装:
1.首先在vmware中安装ubuntu操作系统
2.ubuntu默认没有设置root用户密码,所以我们先设置其密码,再使用root用户进行操作."sudo passwd root"设置root密码
3.安装java
mkdir /usr/lib/java
tar -xvf jdk-xxx.tar.gz
然后修改.bashrc文件加入java的环境变量
export J***A_HOME=/usr/lib/java/jdk1.7.0_15
export JRE_HOME=${J***A_HOME}/jre
export CLASS_PATH=.:${J***A_HOME}/lib:${JRE_HOME}/lib
export PATH=${J***A_HOME}/bin:${PATH}
3.1.source .bashrc使设置生效
3.2.java -version确认安装成功
4.安装SSH
hadoop采用SSH进行通信,此时要设置密码为空,即不需要密码登录,这样免去每次都输入密码。
一般默认都安装了SSH,如果没有安装,用apt-get install ssh命令下载安装即可。
4.1.启动SSH
service ssh start
4.2.确认SSH启动
ps -e | grep ssh
4.3.设置免密码登录,生成私钥和公钥:
ssh-keygen -t rsa -P ""
在/root/.ssh/中生成id_rsa和id_rsa.pub分别为私钥和公钥。
将公钥追加到authorized_keys中,这个文件保存的所有允许以当前用户身份登录到SSH客户端用户的公钥内容。
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
4.4 ssh localhost确认现在可以不用密码登录.
5.安装rsync
apt-get install rsync
6.安装hadoop
mkdir /usr/local/hadoop
tar -xvf hadoop-1.2.1-bin.tar.gz
6.1配置java
cd /usr/local/hadoop/hadoop-1.2.1/conf
vi hadoop-env.sh
export J***A_HOME=/usr/lib/java/jdk1.7.0_15
source hadoop-env.sh使配置生效
6.2在root环境变量PATH中加入hadoop
vi /root/.bashrc
export J***A_HOME=/usr/lib/java/jdk1.7.0_15
export JRE_HOME=${J***A_HOME}/jre
export CLASS_PATH=.:${J***A_HOME}/lib:${JRE_HOME}/lib
export PATH=${J***A_HOME}/bin:${PATH}:/usr/local/hadoop/hadoop-1.2.1/bin
source .bashrc
6.3.hadoop version确认安装配置成功
7.运行自带的WordCount例子
cd /usr/local/hadoop/hadoop-1.2.1
mkdir input
hadoop jar hadoop-examples-1.2.1.jar wordcount input output
这个例子会运行自带的wordcount并把结果输出到output中.这个例子是统计文件中单词出现的个数。
查看运行结果 cat output/*
至此,单机模式安装配置完成。
1.操作系统为ubuntu kylin 14.04 LTS http://www.ubuntu.com/download/desktop
2.java SDK为jdk1.7.0_15 http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u72-oth-JPR
3.hadoop版本为1.2.1 http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/
软件安装:
1.首先在vmware中安装ubuntu操作系统
2.ubuntu默认没有设置root用户密码,所以我们先设置其密码,再使用root用户进行操作."sudo passwd root"设置root密码
3.安装java
mkdir /usr/lib/java
tar -xvf jdk-xxx.tar.gz
然后修改.bashrc文件加入java的环境变量
export J***A_HOME=/usr/lib/java/jdk1.7.0_15
export JRE_HOME=${J***A_HOME}/jre
export CLASS_PATH=.:${J***A_HOME}/lib:${JRE_HOME}/lib
export PATH=${J***A_HOME}/bin:${PATH}
3.1.source .bashrc使设置生效
3.2.java -version确认安装成功
4.安装SSH
hadoop采用SSH进行通信,此时要设置密码为空,即不需要密码登录,这样免去每次都输入密码。
一般默认都安装了SSH,如果没有安装,用apt-get install ssh命令下载安装即可。
4.1.启动SSH
service ssh start
4.2.确认SSH启动
ps -e | grep ssh
4.3.设置免密码登录,生成私钥和公钥:
ssh-keygen -t rsa -P ""
在/root/.ssh/中生成id_rsa和id_rsa.pub分别为私钥和公钥。
将公钥追加到authorized_keys中,这个文件保存的所有允许以当前用户身份登录到SSH客户端用户的公钥内容。
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
4.4 ssh localhost确认现在可以不用密码登录.
5.安装rsync
apt-get install rsync
6.安装hadoop
mkdir /usr/local/hadoop
tar -xvf hadoop-1.2.1-bin.tar.gz
6.1配置java
cd /usr/local/hadoop/hadoop-1.2.1/conf
vi hadoop-env.sh
export J***A_HOME=/usr/lib/java/jdk1.7.0_15
source hadoop-env.sh使配置生效
6.2在root环境变量PATH中加入hadoop
vi /root/.bashrc
export J***A_HOME=/usr/lib/java/jdk1.7.0_15
export JRE_HOME=${J***A_HOME}/jre
export CLASS_PATH=.:${J***A_HOME}/lib:${JRE_HOME}/lib
export PATH=${J***A_HOME}/bin:${PATH}:/usr/local/hadoop/hadoop-1.2.1/bin
source .bashrc
6.3.hadoop version确认安装配置成功
7.运行自带的WordCount例子
cd /usr/local/hadoop/hadoop-1.2.1
mkdir input
hadoop jar hadoop-examples-1.2.1.jar wordcount input output
这个例子会运行自带的wordcount并把结果输出到output中.这个例子是统计文件中单词出现的个数。
查看运行结果 cat output/*
至此,单机模式安装配置完成。
相关文章推荐
- hadoop学习(一)------------搭建单机本地运行环境
- Hadoop2.x实战:Eclipse本地开发环境搭建与本地运行wordcount实例
- Hadoop环境搭建之二配置启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)
- 本地Hadoop学习环境搭建(win10 Linux子系统)
- 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (四) 导入Hadoop源码+wordcount程序+运行
- spark学习7之IDEA下搭建Spark本地编译环境并上传到集群运行
- 大数据学习系列之一 ----- Hadoop环境搭建(单机)
- Hadoop环境搭建之一安装jdk,hadoop基本配置及运行MapReduce案例在本地模式下
- 大数据学习系列之一 ----- Hadoop环境搭建(单机)
- hadoop1学习系列1——运行环境搭建
- 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)
- Hadoop 2.x环境搭建之单机运行模式配置
- hadoop初识之三:搭建hadoop环境(配置HDFS,Yarn及mapreduce 运行在yarn)上及三种运行模式(本地模式,伪分布式和分布式介)
- hadoop平台搭建(3)--hadoop安装、环境配置、单机运行
- MR-eclipse本地开发环境搭建&Hadoop学习总结
- hadoop学习之单机环境搭建
- ubuntu12.04下安装hadoop-1.0.3 并搭建单机伪分布式运行环境(一)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- 开始hadoop前的准备:ubuntu学习笔记-基本环境的搭建(ssh的安装,SecureCRT连接,vim的安装及使用、jdk的安装)