Ubuntu 13.10下Hadoop 2.2 安装、配置、编译(伪分布式)
2014-03-04 16:55
357 查看
1、安装JDK。在此不做解说,上篇博文里已介绍过。http://www.cnblogs.com/lifeinsmile/p/3578677.html
2、配置ssh。
ssh服务,用于管理远程Hadoop守护进程。
2.1安装ssh server:$sudo apt-get install openssh-server
2.2免密码ssh的设置: $ssh-keygen –t rsa (输入命令后一路回车即可)。
2.3设置密钥授权:
$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
2.4安装完成后,测试运行:$ ssh localhost (尝试用ssh连接本机,如果不需要输入密码则成功)
3、hadoop 2.2.0编译。
可参考:http://blog.csdn.net/cruise_h/article/details/18709969
需要注意的是,在进行编译时,一定要进入解压目录,确保当前目录下存在pom.xml,否则编译失败。
4、hadoop2.2配置。(编译好的文件夹hadoop-2.2.0放在目录/home/hadoop 下)
4.1修改全局环境变量。
$sudo gedit /etc/profile 在文中添加一行:export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
4.2修改配置文件。
待修改的配置文件存放于/home/haoop/hadoop-2.2.0/etc/hadoop,可将下列代码直接粘贴到相应文件内。
文件core-site.xml
文件hdfs-site.xml
文件mapred-site.xml
5、hadoop启动。
以下操作均在目录/home/hadoop/hadoop-2.2.0下进行。
5.1 格式化namenode:
5.2 启动manager管理并测试。
方式一:
方式二:进入目录sbin,分别执行./start-dfs.sh 与./start-yarn.sh,注意启动顺序
jps
若启动成功即可在主节点上看到resourceManager与nameNode,在从节点上看到dataNode进程。
配置hadoop2.2过程中参考其他博文有http://my.oschina.net/u/179537/blog/189239
6、查看各节点信息
主节点地址:8088 查看整个集群节点情况
详见http://blog.csdn.net/zzhongcy/article/details/19912577
2、配置ssh。
ssh服务,用于管理远程Hadoop守护进程。
2.1安装ssh server:$sudo apt-get install openssh-server
2.2免密码ssh的设置: $ssh-keygen –t rsa (输入命令后一路回车即可)。
2.3设置密钥授权:
$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
2.4安装完成后,测试运行:$ ssh localhost (尝试用ssh连接本机,如果不需要输入密码则成功)
3、hadoop 2.2.0编译。
可参考:http://blog.csdn.net/cruise_h/article/details/18709969
需要注意的是,在进行编译时,一定要进入解压目录,确保当前目录下存在pom.xml,否则编译失败。
4、hadoop2.2配置。(编译好的文件夹hadoop-2.2.0放在目录/home/hadoop 下)
4.1修改全局环境变量。
$sudo gedit /etc/profile 在文中添加一行:export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
4.2修改配置文件。
待修改的配置文件存放于/home/haoop/hadoop-2.2.0/etc/hadoop,可将下列代码直接粘贴到相应文件内。
文件core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.2.0/hadoop_tmp</value> </property> </configuration>
文件hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/namenode </value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/datanode</value> </property> </configuration>
文件mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
5、hadoop启动。
以下操作均在目录/home/hadoop/hadoop-2.2.0下进行。
5.1 格式化namenode:
bin/hdfs namenode -format
5.2 启动manager管理并测试。
方式一:
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
方式二:进入目录sbin,分别执行./start-dfs.sh 与./start-yarn.sh,注意启动顺序
jps
若启动成功即可在主节点上看到resourceManager与nameNode,在从节点上看到dataNode进程。
配置hadoop2.2过程中参考其他博文有http://my.oschina.net/u/179537/blog/189239
6、查看各节点信息
主节点地址:8088 查看整个集群节点情况
详见http://blog.csdn.net/zzhongcy/article/details/19912577
相关文章推荐
- Ubuntu 13.10下Hadoop 2.2 安装、配置、编译(伪分布式)
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Ubuntu14安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.4/Ubuntu16.04
- Ubuntu系统下的Hadoop集群(1)_Hadoop安装教程_单机/伪分布式配置
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Ubuntu与Centos的Hadoop安装以及编译运行MapReduce,Hadoop集群安装配置教程
- Ubuntu Hadoop 单机/伪分布式安装配置资料梳理及常见错误处理
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- 【图文绝对详细】Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_hadoop-2.7.5/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop学习笔记_Ubuntu下伪分布式安装及配置
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Ubuntu下伪分布式模式Hadoop的安装及配置