mapreduce内存溢出，导致Killing container问题
2017-08-26 16:36
381 查看
17/08/25 20:06:31 INFO mapreduce.Job: Task Id : attempt_1503705857308_0004_m_000000_0, Status : FAILED
Container [pid=1682,containerID=container_1503705857308_0004_01_000002] is running beyond virtual memory limits. Current usage: 58.1 MB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory used. Killing container.
问题原因： Hadoop运行时使用的虚拟内存不足， hadoop物理内存默认与主机的内存一致，hadoop虚拟内存l默认是hadoop物理内存的2.1倍。
解决问题：
修改hadoop物理内存的大小可以在mapred-site.xml设置：
mapreduce.map.memory.mb
2048
mapreduce.reduce.memory.mb
2048
或 修改hadoop虚拟内存与hadoop物理内存的比率值可以在yarn-site.xml设置：
yarn.nodemanager.vmem-pmem-ratio
3
Container [pid=1682,containerID=container_1503705857308_0004_01_000002] is running beyond virtual memory limits. Current usage: 58.1 MB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory used. Killing container.
问题原因： Hadoop运行时使用的虚拟内存不足， hadoop物理内存默认与主机的内存一致，hadoop虚拟内存l默认是hadoop物理内存的2.1倍。
解决问题：
修改hadoop物理内存的大小可以在mapred-site.xml设置：
mapreduce.map.memory.mb
2048
mapreduce.reduce.memory.mb
2048
或 修改hadoop虚拟内存与hadoop物理内存的比率值可以在yarn-site.xml设置：
yarn.nodemanager.vmem-pmem-ratio
3
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Android 异步获取网络图片并处理导致内存溢出问题解决方法
- Android---加载图片 解决图片过大导致的内存溢出问题
- JceSecurity/BouncyCastleProvider导致JVM内存溢出、CPU过高问题排查
- 导致内存溢出的原因有哪些？内存溢出问题又如何解决
- 解决RabbitMQ队列超长QueueingConsumer导致JVM内存溢出的问题
- Tomcat Session机制，不及时释放导致内存溢出的性能问题分析
- 全量导入数据 导致solr内存溢出 崩溃问题解决
- android图片占用计算&导致内存溢出的问题
- POI读写大数据量excel，解决超过几万行而导致内存溢出的问题
- Android 异步获取网络图片并处理导致内存溢出问题解决方法
- 关于ViewPager加载多个导致OOM内存溢出的问题。
- 解决因数据库一次查询数据量过大导致的内存溢出问题
- 解决Bitmap导致的内存溢出问题
- 高并发下，log4j日志打印行数导致的内存溢出问题
- Hibernate导致的内存溢出问题
- Android 异步获取网络图片并处理导致内存溢出问题解决方法
- session不及时释放导致内存溢出的性能问题分析
- session不及时释放导致内存溢出的性能问题分析
- Elasticsearch批量更新索引导致内存溢出问题
- 完美解决因数据库一次查询数据量过大导致的内存溢出问题