安装Hadoop需要配置的几个文件
2016-04-19 00:53
459 查看
记录安装hadoop时需要配置的几个文件。
export JAVA_HOME=/usr/jdk
export JAVA_HOME=/usr/jdk
然后执行
此时执行
在slave上可以看到
配置master上的
hadoop-env.sh
修改JAVA_HOME值export JAVA_HOME=/usr/jdk
yarn-env.sh
修改JAVA_HOME值export JAVA_HOME=/usr/jdk
slaves
加入几个节点的hostnameslave1 slave2
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>768</value> </property> </configuration>
yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration>
将master的配置文件复制到其他节点
sudo scp -r /usr/hadoop/hadoop-2.6.2 hadoop@slave1:~/
启动hadoop
在hadoop-2.6.2文件夹下执行hdfs namenode -format
然后执行
sbin/start-all.sh
此时执行
jps在master上可以看到
13077 ResourceManager 14518 Jps 12779 SecondaryNameNode 12444 NameNode
在slave上可以看到
7126 DataNode 7336 NodeManager 7722 Jps
相关文章推荐
- Hadoop的“Hello world”---WordCount
- Haddop学习笔记---HDFS体系结构
- 【OpenCV】OpenCV1.0图像直方图
- fastDFS 一二事 - 简易服务器搭建(单linux)
- Shell编程详解
- 关于Windows和Linux的那些事儿
- (原创)关于PopupWindow的showAsDropDown()和showAtLocation()使用方式及其区别
- 【整理】Linux下中文检索引擎coreseek4安装,以及PHP使用sphinx的三种方式(sphinxapi,sphinx的php扩展,SphinxSe作为mysql存储引擎)
- with check option使用
- Android架构知识
- Zookeeper+HDFS+YARN监控
- studyphp环境软件Nginx隐藏index.php和Pathinfo模式配置例子
- 电脑手机微网站三站合一对企业有哪些优势?
- 最强大经典的php企业网站源码模板,一键安装就可以使用
- CenOS 7.1安装Docker、Docker-compose
- docker registrator配合consul使用的问题
- Centos 6.4打包tengine的rpm安装包教程
- linux云服务器硬盘分区及挂载
- nginx reload 命令报:nginx: [error] invalid PID number
- shell脚本基础知识