Hadoop使用中遇到的问题
2013-08-28 16:38
183 查看
Error: java.io.IOException: All datanodes 10.3.1.63:56010 are bad. Aborting...
13/08/27 15:47:09 INFO mapreduce.Job: Task Id : attempt_1377256988757_0077_r_000000_2, Status : FAILED
Error: java.io.IOException: All datanodes 10.3.1.63:56010 are bad. Aborting...
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:941)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DFSOutputStream.java:756)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:425)
经查明,问题原因是linux机器打开了过多的文件导致。用命令ulimit -n可以发现linux默认的文件打开数目为1024
用root帐户修改/etc/security/limits.conf 添加如下一行:* - nofile 102400
修改/etc/pam.d/login添加如下一行 session required pam_limits.so
Refs:
永久修改linux open file: http://www.5dlinux.com/article/1/2007/linux_2713.html
hadoop使用中的几个小细节:http://www.alidata.org/archives/245
本文出自 “梦的脚印” 博客,请务必保留此出处http://daisy8867.blog.51cto.com/1043582/1284440
13/08/27 15:47:09 INFO mapreduce.Job: Task Id : attempt_1377256988757_0077_r_000000_2, Status : FAILED
Error: java.io.IOException: All datanodes 10.3.1.63:56010 are bad. Aborting...
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:941)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DFSOutputStream.java:756)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:425)
经查明,问题原因是linux机器打开了过多的文件导致。用命令ulimit -n可以发现linux默认的文件打开数目为1024
用root帐户修改/etc/security/limits.conf 添加如下一行:* - nofile 102400
修改/etc/pam.d/login添加如下一行 session required pam_limits.so
Refs:
永久修改linux open file: http://www.5dlinux.com/article/1/2007/linux_2713.html
hadoop使用中的几个小细节:http://www.alidata.org/archives/245
本文出自 “梦的脚印” 博客,请务必保留此出处http://daisy8867.blog.51cto.com/1043582/1284440
相关文章推荐
- 大数据下Hadoop及Hbase使用中遇到的若干问题及汇总
- windows平台使用Cygwin安装hadoop遇到的问题
- hadoop+hive使用中遇到的问题汇总
- 在OS X上使用eclipse远程连接Hadoop遇到的问题总结
- 初次使用 Hadoop Streaming 的过程(遇到各种各样的问题)
- hadoop 不使用hostname,使用ip遇到的问题(Datanode denied communication with namenode because hostname cann)及解决方案
- hadoop使用pig进行数据分析时遇到的问题(10020号端口问题,连接拒绝)
- 使用Hadoop遇到问题笔记
- hadoop中使用distributed cache遇到的问题
- 在使用hadoop中遇到的一些有关linux的问题
- hadoop+hive使用中遇到的问题汇总
- 使用Python实现Hadoop MapReduce程序遇到的问题解决办法
- linux系统安装hadoop-1.2.1遇到的问题【linux本机上的主机名和域名问题、不可以使用默认的localhost;完全没有启动】
- 大数据学习--使用Hadoop2.6.0遇到的相关问题
- 在eclipse中配置好hadoop的插件后使用DFS遇到的问题
- spark结合Hadoop2.2.0 HA使用中遇到的问题
- hadoop在使用PathFilter时遇到的问题
- hadoop中使用python写mapreduce遇到的问题
- 在hadoop-2.2.0集群上使用TotalOrderPartitioner进行排序时遇到的新旧接口问题
- 创建普通用户登录并使用Hadoop集群遇到的若干问题