关于集群数据负载均衡
2010-08-13 15:32
357 查看
一、环境
1、hadoop 0.20.2
2、操作系统 Linux
二、关于负载均衡
1、一般情况下,数据在录入集群的时候就进行负载均衡,根据各个节点的情况来做数据平衡分发存放。
2、但是如果在新增节点之后,如果想做到负载均衡则需要使用balancer的命令。对于这个命令,一般是有一个阀值,默认是10%
也就是说,节点之间差额不过10%,集群认为就是均衡的。
3、当然,负载的越平均,查询相对也较快,但是均衡的过程会耗时不少。
三、操作
1、新添加节点到集群,启动节点机器
1、hadoop 0.20.2
2、操作系统 Linux
二、关于负载均衡
1、一般情况下,数据在录入集群的时候就进行负载均衡,根据各个节点的情况来做数据平衡分发存放。
2、但是如果在新增节点之后,如果想做到负载均衡则需要使用balancer的命令。对于这个命令,一般是有一个阀值,默认是10%
也就是说,节点之间差额不过10%,集群认为就是均衡的。
3、当然,负载的越平均,查询相对也较快,但是均衡的过程会耗时不少。
三、操作
1、新添加节点到集群,启动节点机器
sh hadoop-daemon.sh start datanode sh hadoop-daemon.sh start tasktracker
2、启动balancer命令
sh stop-balancer.sh
3、查看进程jps
15294 NameNode 15961 Balancer 15553 JobTracker 15473 SecondaryNameNode 16162 Jps
可以看到balancer已启动
4、检查是否在平衡,通过http://192.168.3.131:50070/dfsnodelist.jsp?whatNodes=LIVE查看
四、总结
1、平衡的过程比较慢,但是在这个过程中可以执行一些job
2、数据的平衡是缓慢进行的。
3、平衡的阀值一般是10%,可以通过修改阀值来再次平衡
4、负载均衡如果重复启动,将会提醒要求先停止
5、写的不对或是有疑问,欢迎发邮件沟通。dajuezhao@gmail.com
相关文章推荐
- 关于集群、负载均衡、分布式的区别
- 关于集群、负载均衡、分布式的区别
- 027 关于大数据中的分布集群的搭建
- solr管理配置,关于数据导入,集群复制及日志配置
- 关于负载均衡、集群、分布式之间的联系
- 关于SSH框架的集群,负载均衡,以及缓存集群的配置搭建 (二)
- solr管理配置,关于数据导入,集群复制及日志配置
- 关于负载均衡、集群、正反向代理的理解
- 关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)
- 关于SSH框架的集群,负载均衡,以及缓存集群的配置搭建 (一)
- 请教各位前辈关于负载均衡、集群、分布式之间的联系
- MySQL数据切分、负载均衡和集群
- 关于集群、负载均衡、分布式的区别(转)
- 关于集群、负载均衡、分布式的区别
- kettle对排序记录节点集群时,关于数据不准问题
- jQuery之事件对象/大数据,云计算,分布式,负载均衡,集群,微服务详解
- 关于集群、负载均衡、分布式的区别(转)
- 【数据平台】关于Hadoop集群namenode format安全事故
- 关于集群、负载均衡、分布式的区别
- 关于集群、负载均衡、分布式的区别