linux搭建hadoop平台
2016-04-18 23:16
603 查看
linux搭建hadoop平台
linux搭建hadoop平台软件预下载
安装
配置环境
查看版本
配置hadoop
配置SSH
HDFS
创建用户目录
开启deamons
进行具体的操作
关闭deamons
软件预下载
hadoop:wget http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz wget http://apache.opencas.org/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
注意:
网上较多教程为hadoop-1.0.0,apache网站已不再提供下载;
src提供java源码,非src版不提供。
java
在官网下载即可,2016-04-08使用的是1.8版本。
笔者使用Ubuntu快速安装:
sudo apt-get install openjdk-7-jdk sudo apt-get install openjdk-7-jre
安装
hadoop:解压即可java
配置环境
$vi /etc/profile
配置以下环境:
#java export JAVA_HOME=/your/java/home export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin #hadoop export HADOOP_HOME=/your/hadoop/hadoop-2.6.4 export PATH=$PATH:$HADOOP_HOME/bin
更新:
$source /etc/profile
查看版本
$java -version $hadoop version #在hadoop-2.6.4/bin文件夹下
配置hadoop
在etc/hadoop文件夹下,分别更改core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml。更改的值根据三种模式,如下:
配置SSH
$sudo apt-get install ssh $ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ssh localhost
HDFS
$hdfs namenode -format
创建用户目录
$hadoop fs -mkdir -p /user/$USER
开启deamons
$start-dfs.sh $start-yarn.sh $mr-jobhistory-daemon.sh start historyserver
进行具体的操作
关闭deamons
$stop-dfs.sh $stop-yarn.sh $mr-jobhistory-daemon.sh stop historyserver
相关文章推荐
- linux切换多版本的php
- 消息队列的实现
- Linux基础: 系统加载过程和运行级别含义
- Linux基础: 一切都是文件
- linux的零复制splice、tee
- Selinux SeAndroid理解
- linux文件系统 tty who 环境变量 获取帮助
- Linux内核执行流程
- ARM Linux的启动全过程
- linux—原子操作
- 开源应用巨头红帽发布第一个OpenSh…
- linux多线程函数pthread_cond_wait
- 我的Linux学习之路——1菜鸟篇——初识Linux
- linux进程创建
- Linux下htop的使用
- Linux C 学习
- Linux高级管理(一)
- linux 多线程环境下的几种锁机制
- CentOS7 使用yum命令安装Java SDK(openjdk)
- IBM与Linux和大银行共同创建开源区…