hadoop2.6 配置及优化思路
2015-08-11 00:00
295 查看
1.vi /opt/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/jdk1.7.0_75
2.vi /opt/hadoop-2.6.0/etc/hadoop/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://spore:9000</value>
</property>
注:spore为机器的hostname
<!--是否使用本地库,注意hadoop的位数与操作系统的位数是否匹配-->
<property>
<name>hadoop.native.lib</name>
<value>true</value>
</property>
<!--关闭hdfs用户组权限,测试环境下建议打开,方便不同用户访问-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!--hadoop数据存放点,默认/tmp,会重启丢数据,最好配一个-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6.0/tmp</value>
</property>
3.vi /opt/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
<!--数据备份数,生产环境最好配置3以上-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4.vi /opt/hadoop-2.6.0/etc/hadoop/mapred-site.xml
<!--使用yarn进行资源管理-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.vi /opt/hadoop-2.6.0/etc/hadoop/slaves
添加slave的hostname
优化:
尽量使用combiner减少键值对数目,本地合并键值对,减少网络传输,优化效果明显
调大mapreduce中间结果缓存的内存
巧用复合键让系统完成排序,不必要自己实现排序
export JAVA_HOME=/opt/jdk1.7.0_75
2.vi /opt/hadoop-2.6.0/etc/hadoop/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://spore:9000</value>
</property>
注:spore为机器的hostname
<!--是否使用本地库,注意hadoop的位数与操作系统的位数是否匹配-->
<property>
<name>hadoop.native.lib</name>
<value>true</value>
</property>
<!--关闭hdfs用户组权限,测试环境下建议打开,方便不同用户访问-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!--hadoop数据存放点,默认/tmp,会重启丢数据,最好配一个-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6.0/tmp</value>
</property>
3.vi /opt/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
<!--数据备份数,生产环境最好配置3以上-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4.vi /opt/hadoop-2.6.0/etc/hadoop/mapred-site.xml
<!--使用yarn进行资源管理-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.vi /opt/hadoop-2.6.0/etc/hadoop/slaves
添加slave的hostname
优化:
尽量使用combiner减少键值对数目,本地合并键值对,减少网络传输,优化效果明显
调大mapreduce中间结果缓存的内存
巧用复合键让系统完成排序,不必要自己实现排序
相关文章推荐
- Linux 查看系统硬件信息(实例详解)
- LINUX内核学习起步:学习开发环境搭建
- 安装PostgreSQL数据库(Linux篇)
- Linux神器之Strace的实践(Ubuntu上服务幽灵般的消失)
- VMware克隆CentOS6.4后 eth0无法初始化/找不到eth0的问题
- 如何建立自己的个人网站
- openstack之cinder
- linux read 用法
- oop_day02_类、重载_20150810
- 自动监控脚本
- ubuntu的系统设置不见了怎么找回
- Linux开关机相关命令
- Linux多线程编程小结
- Linux多任务编程 编写多进程程序及其代码
- openssl命令行Base64编解码
- atitit.系统架构图 的设计 与工具 attilax总结
- atitit.系统架构图 的设计 与工具 attilax总结
- linux简单cpu压力工具
- Linux(cent OS)下软件包管理-源码包与rpm包的区别
- selenium+pillow实现网站定点截图并插入邮件发送