hadoop生产实践
2013-02-28 14:34
134 查看
hadoop生产实践
1 机器选项，廉价机器，普通PC，普通硬盘。尽量不使用虚拟化（可用性，没必要）。
2 不同node不能共用一个物理硬盘，
3 内存,namenode 32g datanode 4g
4 cpu,内存较高的服务器作为datanode可以考虑虚拟机，需做cpu能力/内存 测试 .但是不同的虚拟节点依然不能共用同一个物理硬盘，防止IO冲突。
5 用dns代替hosts,linux下dns搭建，bind安装
6 镜像 ghost 安装集群，自动化脚本编写awk
1 机器选项，廉价机器，普通PC，普通硬盘。尽量不使用虚拟化（可用性，没必要）。
2 不同node不能共用一个物理硬盘，
3 内存,namenode 32g datanode 4g
4 cpu,内存较高的服务器作为datanode可以考虑虚拟机，需做cpu能力/内存 测试 .但是不同的虚拟节点依然不能共用同一个物理硬盘，防止IO冲突。
5 用dns代替hosts,linux下dns搭建，bind安装
6 镜像 ghost 安装集群，自动化脚本编写awk
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Hadoop 2.0 NameNode HA和Federation实践
- Hadoop hive sqoop zookeeper hbase生产环境日志统计应用案例（故障篇）
- Hadoop家族学习路线、实践案例
- hadoop-impala十大优化之（8）—impala优化之HDFS缓存最佳实践
- kafka生产实践
- kafka生产实践(详解)
- hadoop学习之-Sqoop与关数据库(mysql)之间导入实践
- 【hadoop学习】在伪分布式hadoop上手把手实践word count程序【上】
- Hadoop管理员的十个最佳实践(转)
- Hadoop管理员的十个最佳实践
- Hadoop中的集群配置和使用技巧——分布式计算开源框架Hadoop入门实践（二）
- [Hadoop编程实践]一个实用、清晰的MapReduce程序
- [转] 分布式计算开源框架Hadoop入门实践
- laravel5项目部署到生产环境的最佳实践
- Hadoop 实践（三） hadoop dfs 命令
- 分布式计算开源框架Hadoop入门实践（一）
- 从Hadoop到Spark的架构实践
- hive(01)、基于hadoop集群的数据仓库Hive搭建实践
- 生产环境下Hadoop大集群安装与配置+DNS+NFS
- Hadoop平台上用Sqoop在Hive和DB2数据库之间传输数据的实践和总结