Hadoop 伪分布式安装
2016-02-24 15:05
381 查看
在远程服务器创建hadoop用户
groupadd hadoop 添加一个组 useradd hadoop -g hadoop 添加用户
将编译好的hadoop文件上传至工作目录,我这里是/opt目录
hadoop也要设置环境变量,使用vi /etc/profile命令编辑添加如下内容:
export HADOOP_HOME=/opt/hadoop export PATH=$HADOOP_HOME/bin:$PATH
同样也要执行source /etc/profile使配置文件生效,然后执行命令使用命令chown -R hadoop:hadoop hadoop/将其所有者改为hadoop
修改hadoop的配置文件
1. 修改hadoop目录下的conf/hadoop-env.sh文件加入java的安装路径export JAVA_HOME=/opt/java/jdk
2. 把hadoop目录下的conf/core-site.xml文件修改成如下:
<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/data/tmp</value> </property>
3. 把hadoop目录下的conf/ hdfs-site.xml文件修改成如下:
//因为是伪集群所以值是1,如果是集群,就是几台的值 <property> <name>dfs.replication</name> <value>1</value> </property>
4. 把hadoop目录下的conf/ mapred-site.xml文件修改成如下:
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
运行hadoop
1. 格式化分布式文件系统bin/hdfs namenode -format
2. Start NameNode daemon and DataNode daemon
sbin/start-dfs.sh
3.执行jps如果包含一下进程就是启动成功了:
3200 SecondaryNameNode 3271 JobTracker 3370 TaskTracker 3002 NameNode 3106 DataNode 5687 Jps
启动成功之后可以用浏览器访问(NameNode后台):localhost:50070/
运行YARN
修改mapred-site.xml内容如下:<configuration>
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
</configuration>
修改yarn-site.xml:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
Start ResourceManager daemon and NodeManager daemon:
sbin/start-yarn.sh
启动成功之后可以用浏览器访问(ResourceManager后台):localhost:8088/
之前在云主机上安装一直以为官方提供的压缩包是32位,原来官网从hadoop2.5版本开始就提供了64位。坑了好几天了。
查看hadoop是32位还是64位:
/hadoop-2.7.0/lib/native$ file libhadoop.so.1.0.0 //hadoop的native目录
官方文档:http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html
相关文章推荐
- Hadoop 1.2.1 伪分布式模式安装
- 伪分布式hadoop安装的几个问题
- hadoop2.7.2安装
- Hadoop Yarn 安装
- 在Windows上构建和安装Hadoop 2.0或更新的版本
- Hadoop安装及配置
- hadoop伪分布式部署及测试
- mac 10.10安装hadoop 2.6.0以及配置伪节点
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) - 狂奔的蜗牛 - 博客频道 - CSDN.NET http://blog.csdn.net/hitwengqi/article/detai
- Hadoop2.5.1集群安装
- hadoop单机版安装
- Hadoop2.2.0单节点安装及测试
- hadoop工作日志-安装,挂载HDFS
- hadoop安装部署
- hadoop安装
- hadoop学习笔记之hadoop伪集群安装
- Hadoop-2.8.0安装教程---单机/伪分布式配置
- 安装Hadoop
- win10主机如何在校园网的条件下在虚拟机上安装Hadoop并实现远程SSH操控
- win7+cygwin+hadoop亲测成功