第115讲:Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等学习笔记
2015-10-12 22:24
525 查看
第115讲:Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等学习笔记
本期内容:
1.hadoop商业硬件的选择
2.hadoop集群规模建议
3.hadoop网络拓扑结构
4.机架感知
1.hadoop商业硬件的选择
hadoop可以运行在普通的硬件上。但hadoop运行时对内存和CPU有要求。普通的硬件不等于非常低端的硬件。8个CPU4Core2.5GHz,16GBRAM,4TB-SATA硬盘,网络也非常重要,最好万兆网。
2.hadoop集群规模建议
hadoop的规模,最低10个节点,具体规模根据业务需要。
硬盘容量要用业务数据加上20%-30%的中间数据量。
3.hadoop网络拓扑结构:
数据不动代码动,要选择好数据存储方式。
hadoop倾向于机架内的数据传输而不是机架间的数据传输。
4.机架感知:
通过DNSToSwitchMapping接口指定网络地址和网络位置间的关系
public interface DNSToSwitchMapping{
public List<String> resolve(List<String> names);
}
配置接口实现机架感知。
总之:建议内存128GB,8个CPU,4Core,5TB硬盘。
以上内容是从王家林老师DT大数据课程第115讲的学习笔记。
DT大数据微信公众账号:DT_Spark
王家林老师QQ:1740415547
王家林老师微信号:18610086859
DT大数据梦工厂1至117集scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group
第115讲视频网站地址:
本期内容:
1.hadoop商业硬件的选择
2.hadoop集群规模建议
3.hadoop网络拓扑结构
4.机架感知
1.hadoop商业硬件的选择
hadoop可以运行在普通的硬件上。但hadoop运行时对内存和CPU有要求。普通的硬件不等于非常低端的硬件。8个CPU4Core2.5GHz,16GBRAM,4TB-SATA硬盘,网络也非常重要,最好万兆网。
2.hadoop集群规模建议
hadoop的规模,最低10个节点,具体规模根据业务需要。
硬盘容量要用业务数据加上20%-30%的中间数据量。
3.hadoop网络拓扑结构:
数据不动代码动,要选择好数据存储方式。
hadoop倾向于机架内的数据传输而不是机架间的数据传输。
4.机架感知:
通过DNSToSwitchMapping接口指定网络地址和网络位置间的关系
public interface DNSToSwitchMapping{
public List<String> resolve(List<String> names);
}
配置接口实现机架感知。
总之:建议内存128GB,8个CPU,4Core,5TB硬盘。
以上内容是从王家林老师DT大数据课程第115讲的学习笔记。
DT大数据微信公众账号:DT_Spark
王家林老师QQ:1740415547
王家林老师微信号:18610086859
DT大数据梦工厂1至117集scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group
第115讲视频网站地址:
51CTO | http://edu.51cto.com/lesson/id-77349.html |
相关文章推荐
- 测通网络连接
- iOS笔记网络--get请求和post请求
- 7层网络模型
- iOS开发swift版异步加载网络图片(带缓存和缺省图片)
- 对网络协议的理解
- BitmapFactory.decodeStream方法返回null的错误分析
- TCP和UDP
- Android开发菜鸟级入门4--网络编程之套接字UDP
- Ubuntu设置自动连接无线网络
- http://www.cnblogs.com/bluestorm/archive/2012/05/10/2493592.html
- SNS用户关系网络合并
- Linux下网络编程TCP/UDP简介
- http
- Theano入门——卷积神经网络
- Theano入门——神经网络
- 动手学习TCP:4种定时器
- Android中Parcelable接口用法http://www.cnblogs.com/renqingping/archive/2012/10/25/Parcelable.html
- 配置linux httpd conf
- 洛谷1262间谍网络(tarjan缩点)
- HTTP、Scoket网络协议浅解