Hadoop添加节点datanode
2016-07-06 15:18
615 查看
1.部署hadoop 和普通的datanode一样。安装jdk,ssh 2.修改host 和普通的datanode一样。添加namenode的ip 3.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 4.在新节点的机器上,启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker 5.均衡block [root@slave-004 hadoop]# ./bin/start-balancer.sh 这个会非常耗时 1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率 2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长 [root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5 3)设置balance的带宽,默认只有1M/s <property> <name>dfs.balance.bandwidthPerSec</name> <value>1048576</value> <description> Specifies the maximum amount of bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second. </description> </property>
相关文章推荐
- Node.js 官方文档中文版
- Cannot read property 'nodeType' of undefined
- first nodejs 安装GTK
- nodejs 设计思想杂记 三 observer模式
- 19. Remove Nth Node From End of List
- ionic+nodejs开发遇到的跨域和post请求数据问题
- node和iisnode express手工安装
- nodepad + 插件
- nodejs 单例模式实现
- 深入解析桶排序算法及Node.js上JavaScript的代码实现
- Windows下 Nodejs 框架 Express 环境搭建
- NodeJs系列一:神奇的nodejs
- nodejs设计思想杂技二 callback 模式
- PAT (Advanced Level) 1115. Counting Nodes in a BST (30)
- nodejs 设计思想杂记一 reactor模式
- LeetCode - 19. Remove Nth Node From End of List
- 【leetcode】24. Swap Nodes in Pairs
- leetcode: Swap Nodes in Pairs
- Cassandra remove the offline node
- NodeJS学习三之API