Spark官方文档中推荐的硬件配置
2015-07-31 16:33
288 查看
1、关于存储:
1)、可能的话,Spark节点与HDFS节点是一一对应的
2)、如果做不到,那至少保证Spark节点与HDFS节点是一个局域网内
2、关于硬盘:
1)、官方推荐每台机子4-8个硬盘,然后不需要做RAID(因为本身你的硬盘就是用来做),配置
3、关于内存
1)、官方建议给spark配置当前机器内存的75%比较合理
2)、当一个节点的内存超过200G的时候,建议将当前节点的worker换成两个,平均分配你的资源。 因为超过200G后,JAVA的JVM表现的不太好。
4、网络
1)、官方是建议千兆以上的多网上(十个?), 这个怎么配置我不太懂,运维真的是一窍不通啦。 后期再去琢磨
5、CPU
1)、官方建议至少每个节点要8-16个CPU,这个要看情况啦。
1)、可能的话,Spark节点与HDFS节点是一一对应的
2)、如果做不到,那至少保证Spark节点与HDFS节点是一个局域网内
2、关于硬盘:
1)、官方推荐每台机子4-8个硬盘,然后不需要做RAID(因为本身你的硬盘就是用来做),配置
spark.local.dir结点啦
3、关于内存
1)、官方建议给spark配置当前机器内存的75%比较合理
2)、当一个节点的内存超过200G的时候,建议将当前节点的worker换成两个,平均分配你的资源。 因为超过200G后,JAVA的JVM表现的不太好。
4、网络
1)、官方是建议千兆以上的多网上(十个?), 这个怎么配置我不太懂,运维真的是一窍不通啦。 后期再去琢磨
5、CPU
1)、官方建议至少每个节点要8-16个CPU,这个要看情况啦。
相关文章推荐
- form表单无刷新上传文件
- 【Lua】loadfile、dofile、require详解
- leetcode 075 —— Sort Colors
- VC:CString.Format()函数详解
- Spark入门--倒排索引
- 如何为公司导入项目管理制度
- 插入数据时密码使用MD5加密算法加密
- Anddroid之Menu用法
- jQuery 插件集锦——《导航篇》
- PCIe SSD Wear-Leveling磨损均衡
- 20150725 前端开发工具DreamWeaver及Sublime方法技巧总结
- Rice-IIIP (1)
- jmp指令对应的机器码
- MFC&ATL&STL比较
- HDOJ1025(最长上升子序列)
- 暑假集训第三周第二阶段 搜索 D - 变形课
- 碉堡了!麻省理工学院开发出自动修复 Bug 的系统
- 如何使用php实现评委评分器
- 分享一个最近很火的响应式后台模板
- 【第二弹】【POJ1276】【Cash Machine】