Hadoop 在linux 单机上伪分布式 的安装
2013-04-21 13:03
363 查看
1,安装JDK
sudo apt-get install openjdk-6-jdk
2,配置JAVA 环境变量
输入命令:sudo gedit /etc/profile
打开profile 在文件最下面加入如下内容:
# set java home export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386/ export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH" export PATH="$JAVA_HOME:$PATH"
注意根据自己安装的java路径添加,可以用
ls /usr/lib/jvm/ , 查看已安装的jdk路径。验证jdk是否安装成功:
java -version
3,配置SSH免密码登录
a, 安装SSH ,输入命令:sudo apt-get install ssh
b,配置可以免密码登录本机。
查看在本用户下是否有文件夹 .ssh, 没有此文件夹 则创建一个名为.ssh的文件夹.
命令:
ls -l /home/u (自己的用户目录)
c, 再创建id_dsa id_dsa.pub 两个文件,这是SSH一对私钥和公钥。
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
d, 把id_dsa.pub 追加到授权key 里面
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
d, 验证是否成功。
ssh localhost
显示
Welcome to Ubuntu 12.10 (GNU/Linux 3.2.0-29-generic-pae i686)
* Documentation: https://help.ubuntu.com/
Last login: Sun Apr 21 11:16:27 2013 from daniel-optiplex-320.local
4,Hadoop 安装
a, 下载Hadoop点击打开链接
b, .解压Hadoop
tar xzvf hadoop-1.0.4-bin.tar.gz -C /home/user注意解压到自己的用户目录user下。
c ,伪分布式Hadoop 配置
转到/home/user/下的 hadoop目录下。
cd conf , 进入配置文件夹,进行修改。
修改文件 hadoop-env.sh 配置JDK即可
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386/
修改文件 core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
修改文件 hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
修改文件 mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
5,启动 Hadoop
首先把Hadoop bin 目录加入PATH 系统环境变量。sudo vim /etc/profile在最后一行添加:
export PATH=/home/user/hadoop-1.0.4/bin/:$PATH
注意这个路径是你加压后 Hadoop目录下bin目录的路径。
修改完,然后输入命令:
source /etc/profile
a,格式化文件系统
hadoop namenode –format
b, 启动hadoop
启动关闭所有服务 start-all.sh/stop-all.sh
启动关闭HDFS: start-dfs.sh/stop-dfs.sh
启动关闭MapReduce: start-mapred.sh/stop-mapred.sh
c, 用jps命令查看进程,确保有 namenode,dataNode,JobTracker,TaskTracker
或者通过 浏览器验证 Hadoop安装是否成功。
MapReduce的web页面
http://localhost:50030
HDFS的web页面
http://localhost:50070
遇到的错误:
跑 MapReduce程序时如果出现,java.io.IOException: Too many open files 错误在需要在
修正的方法是去 /etc/security/limits.conf 加上這行: - nofile 8192
安装完hadoop 2.2.0 版本 提交任务总是处于Pending状态,不能Running。
解决方法:
确保所有节点的配置文件mapred-site.xml中包含:
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
更高版本的安装(Hadoop 2.2.0)参见:http://my.oschina.net/heartdong/blog/186026 , http://hi.baidu.com/kongxianghe123/item/d02118ceff090824ee466585
Eclipse下运行Hadoop 1.0.4 WordCount例子.
相关文章推荐
- linux下从安装JDK到安装ssh到hadoop单机伪分布式部署
- linux(redhat)环境下Hadoop 2.2.0安装部署(单机伪分布式)
- 【Linux学习笔记】Hadoop_安装,单机测试,伪分布式
- linux下从安装JDK到安装ssh到hadoop单机伪分布式部署
- Hadoop 在Linux 单机上伪分布式 的安装过程
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装&单机/伪分布式配置_Hadoop2.7.2/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04(转)
- 完全分布式hadoop集群安装之二:linux虚拟机安装及管理(centos 6.0 32位)
- Hadoop安装_单机伪分布式配置
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- hadoop伪分布式环境搭建:linux操作系统安装图解
- 虚拟机下Linux系统Hadoop单机/伪分布式配置:Hadoop2.5.2+Ubuntu14.04(半原创)
- linux安装Hadoop-单机环境
- 安装一:Linux hadoop2.7.3(单机模式)
- Hadoop安装教程_单机/伪分布式配置
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置