hadoop 优化之container
2015-12-03 16:30
387 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/tadonis/article/details/50162713
首先说明container的概念。Container的一些基本概念和工作流程如下:
(1) Container是YARN中资源的抽象,它封装了某个节点上一定量的资源(CPU和内存两类资源)。它跟Linux Container没有任何关系,仅仅是YARN提出的一个概念(从实现上看,可看做一个可序列化/反序列化的Java类)。
(2) Container由ApplicationMaster向ResourceManager申请的,由ResouceManager中的资源调度器异步分配给ApplicationMaster;
(3) Container的运行是由ApplicationMaster向资源所在的NodeManager发起的,Container运行时需提供内部执行的任务命令(可以使任何命令,比如java、Python、C++进程启动命令均可)以及该命令执行所需的环境变量和外部资源(比如词典文件、可执行文件、jar包等)。
另外,一个应用程序所需的Container分为两大类,如下:
(1) 运行ApplicationMaster的Container:这是由ResourceManager(向内部的资源调度器)申请和启动的,用户提交应用程序时,可指定唯一的ApplicationMaster所需的资源;
(2) 运行各类任务的Container:这是由ApplicationMaster向ResourceManager申请的,并由ApplicationMaster与NodeManager通信以启动之。
相关文章推荐
- Hadoop作业JVM堆大小设置优化
- hadoop集群优化
- Nutch的Hadoop方式爬取效率优化
- 第三章Hadoop 分布式系统(翻译粗略 优化中)
- Hadoop(八)Hadoop数据压缩与企业级优化
- Centos优化Hadoop
- Hadoop问题集锦:Unauthorized request to start container
- [大牛翻译系列]Hadoop(13)MapReduce 性能调优:优化洗牌(shuffle)和排序阶段
- Hadoop平台优化综述
- hadoop & hive任务优化之系统概况及任务详情查看方法
- Hadoop系列深入优化
- Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException
- hadoop错误-YarnException: Unauthorized request to start container
- Hadoop 实例10 Join讲解3: 将人员的地址ID完善成为地址名称,输出格式要求:人员Id,姓名,地址 ----优化方案
- 关于org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container
- hadoop 集群优化
- Hadoop集群网络性能优化:Hadoop机架感知实现及配置
- hadoop MR任务优化总结
- hadoop-impala十大优化之(8)—impala优化之HDFS缓存最佳实践
- Hadoop小文件优化