Hadoop集群注意事项--随笔

虽然Hadoop构建在commodity hardware之上,但仍有许多注意点,这里建议创建Hadoop集群时考虑以下几点:

1. 建议不要Raid,特别是软Raid,在hadoop的conf里设置replica为3左右会比较好

2. 系统最好有多个硬盘组成盘阵,类似Raid0,但不是Raid0, JBOD比较好,但现在很多硬件都不提供支持了

3.OS安装的时候文件系统造成记住别用LVM,先单盘模式安装即可,这样其它的几块盘都可以设置一个挂载点路径

4.在Hadoop的Conf里可以设置使用所有的挂载点(hdfs-site.xml: dfs.data.dir)逗号隔开多个路径

5.针对tasktracker,可以设置mapred-site.xml里的mapred.local.dir,提高本地Cache的效率,逗号隔开多个路径

参见: http://hadoop.apache.org/common/docs/current/mapred_tutorial.html