Hadoop单机模式,并执行WordCount
2016-04-28 08:49
323 查看
1、在Ubuntu系统上安装Java:
去官网下载ubuntu支持的java jdk,移动到/soft下并解压
设置环境变量:
选择我们的JAVA作为系统默认的JAVA
更新设定
更新系统配置文件:
检查版本
2、安装SSH
第一步:安装
第二步:检查版本是否成功
第三步:创建ssh-key
说明:多次回车后
第四步:
说明:
~代表你的/home/用户明目录
假设你的用户名是x,那么~/就是/home/x/
.是代表此目录本身,但是一般可以不写
所以cd~/. 和cd~ 和cd~/效果是一样的
但是.后面有东西又是另外一个问题,点在文件名头部,代表一个隐藏文件
~/.local是你的主目录下一个.local的文件夹的路径,并且从.可以看出,这是一个饮藏文件,如果不用ls-a的话,一般ls是无法看到的
第五步:
第六步:输入如下命令,测试是否成功
输入yes后
再次
3、安装Hadoop单机
下载Hadoop2.7.1.tar.gz并解压到soft下
配置Hadoop环境变量
添加如下内容
更新系统配置文件
进入hadoop路径并执行:
添加java路径
让目录生效
4、单机模式下运行WordCount
创建input目录,里面随便放个文件文件
创建output目录
运行如下命令
运行如下命令
即可产生结果
注意:第一个_SUCCESS只是一个成功标志,里面没有内容,运行结果在part-r-00000中。
去官网下载ubuntu支持的java jdk,移动到/soft下并解压
设置环境变量:
sudo gedit/etc/profile export JAVA_HOME=/home/kun/soft/jdk1.8.0_60 export JRE_HOME=/home/kun/soft/jdk1.8.0_60/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
选择我们的JAVA作为系统默认的JAVA
sudo update -alternatives --install /usr/bin/java java/home/kun/soft/jdk1.8.0_60/bin/java 300 sudo update -alternatives --install /usr/bin/javac javac/home/kun/soft/jdk1.8.0_60/bin/javac 300
更新设定
sudo update-alternatives --config java
更新系统配置文件:
source /etc/profile
检查版本
kun@hadoop-master:~$ java -version java version "1.8.0_60" Java(TM) SE Runtime Environment (build 1.8.0_60-b27) Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)表示成功!
2、安装SSH
sudo apt-get -y update
第一步:安装
sudo apt-get install openssh-server
第二步:检查版本是否成功
ssh-v
第三步:创建ssh-key
ssh-keygen-t rsa
说明:多次回车后
第四步:
cd~/.ssh
说明:
~代表你的/home/用户明目录
假设你的用户名是x,那么~/就是/home/x/
.是代表此目录本身,但是一般可以不写
所以cd~/. 和cd~ 和cd~/效果是一样的
但是.后面有东西又是另外一个问题,点在文件名头部,代表一个隐藏文件
~/.local是你的主目录下一个.local的文件夹的路径,并且从.可以看出,这是一个饮藏文件,如果不用ls-a的话,一般ls是无法看到的
第五步:
catid_rsa.pub >> authorized_keys
第六步:输入如下命令,测试是否成功
ssh localhost
输入yes后
再次
ssh localhost
3、安装Hadoop单机
下载Hadoop2.7.1.tar.gz并解压到soft下
配置Hadoop环境变量
sudo gedit/etc/profile
添加如下内容
export HADOOP_HOME=/home/kun/soft/hadoop-2.7.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
更新系统配置文件
source /etc/profile
进入hadoop路径并执行:
sudo gedit etc/hadoop/hadoop-env.sh
添加java路径
export JAVA_HOME=/home/kun/soft/jdk1.8.0_60
让目录生效
source /home/kun/soft/hadoop-2.7.1/etc/hadoop/hadoop-env.sh
4、单机模式下运行WordCount
创建input目录,里面随便放个文件文件
创建output目录
运行如下命令
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jarwordcount input output/1
运行如下命令
cat output/1/*
即可产生结果
注意:第一个_SUCCESS只是一个成功标志,里面没有内容,运行结果在part-r-00000中。
相关文章推荐
- C# 调用 PowerShell
- CentOS 6.5环境实现corosync+pacemaker实现DRBD高可用
- CentOS 6.5环境实现corosync+pacemaker实现DRBD高可用
- 为Docker容器设置固定IP实现网络联通(1)——通过Pipework为Docker容器设置
- 【转】shell十三问,为linux学习打基础(下)
- shell十三问,为linux学习打基础(一)
- Linux基础(软件安装)
- tomcat 8.0特性
- tomcat7.0 特性
- centos 查看硬盘使用情况
- 查看centos内存命令
- kali linux进行arp欺骗和dos攻击
- shell字符串相等比较,注意对字符串为空的时候的处理
- opencv在Linux安装出现“The CXX compiler identification is unknown”问题
- Openstack小试牛刀之Keystone
- Linux学习日志(三)
- Linux Shell 02 流程控制语句
- read op case $op in
- centos启动流程及GRUB
- nginx配置性能优化笔记