第118讲:Hadoop内存需求量及Namenode内存使用详解学习笔记
2015-10-25 21:32
731 查看
第118讲:Hadoop内存需求量及Namenode内存使用详解学习笔记
本期内容:
1.hadoop的内存使用
2.namenode内存使用详解
namenode内存大小涉及到集群的规模。
hadoop默认为每一个终端分配1GBm内存
hadoop2.6.0中mapper和reducer都叫yarn child。
具体在worker上运行的map和reduc任务个数取决于cpu个数。
如果设定map和reduc任务个数超过cpu个数,能得到更好的利用率。
map和reduc任务个数设为cpu(core)的个数的1-2倍比较好。
现在生产环境中每台worker机的内存一般为32G内存。
ganglia监控集群中的内存和cpu的使用状况。
namenode节点非常消耗内存:
1.block个数
2.文件名称的长度
3.系统目录的个数
1GB内存可以管理百万个block文件。
例:bolck为128M,副本为3个,200台集群,4TB数据,需要的Namenode内存为:
200x 4000000MB / (128MB x 3)
secondary namenode需要的内存与namenode需要的内存大概一样。
一般secondary namenode与namenodef运行在不同机器上。
以上内容是从王家林老师DT大数据课程第118讲的学习笔记。
DT大数据微信公众账号:DT_Spark
王家林老师QQ:1740415547
王家林老师微信号:18610086859
DT大数据梦工厂1至118集scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group
第118讲视频网站地址:
本期内容:
1.hadoop的内存使用
2.namenode内存使用详解
namenode内存大小涉及到集群的规模。
hadoop默认为每一个终端分配1GBm内存
hadoop2.6.0中mapper和reducer都叫yarn child。
具体在worker上运行的map和reduc任务个数取决于cpu个数。
如果设定map和reduc任务个数超过cpu个数,能得到更好的利用率。
map和reduc任务个数设为cpu(core)的个数的1-2倍比较好。
现在生产环境中每台worker机的内存一般为32G内存。
ganglia监控集群中的内存和cpu的使用状况。
namenode节点非常消耗内存:
1.block个数
2.文件名称的长度
3.系统目录的个数
1GB内存可以管理百万个block文件。
例:bolck为128M,副本为3个,200台集群,4TB数据,需要的Namenode内存为:
200x 4000000MB / (128MB x 3)
secondary namenode需要的内存与namenode需要的内存大概一样。
一般secondary namenode与namenodef运行在不同机器上。
以上内容是从王家林老师DT大数据课程第118讲的学习笔记。
DT大数据微信公众账号:DT_Spark
王家林老师QQ:1740415547
王家林老师微信号:18610086859
DT大数据梦工厂1至118集scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group
第118讲视频网站地址:
51CTO | http://edu.51cto.com/lesson/id-77404.html |
相关文章推荐
- Node.js 命令行程序开发资料
- 3.nodejs权威指南--文件
- 2.nodejs权威指南--Buffer
- Promise
- LeetCode OJ:Count Complete Tree Nodes(完全二叉树的节点数目)
- Swap Nodes in Pairs(LintCode)
- 44.Swap Nodes in Pairs
- mac sublime下运行 nodejs
- [24]Swap Nodes in Pairs
- Leetcode: Populating Next Right Pointers in Each Node II
- sublime Text 3 node.js plugin
- node,core,CPU和GPU的关系
- Hadoop namenode无法启动
- Populating Next Right Pointers in Each Node
- uva548 -treeDescription Download as PDF You are to determine the value of the leaf node in a given
- leetcode 19 Remove Nth Node from end of list
- 关于nodeJS的配置
- node 域名
- 41.Remove Nth Node From End of List
- Reverse Nodes in K-Group - LeetCode