hadoop问题
2014-02-11 00:00
260 查看
1、hadoop重启不能找到namenode,可能原因是没有指定临时存储目录,默认会存储到root根目录下的tmp文件中,重启后会消失,所以在core-site.xml文件中加入临时文件配置即可!
2、hadoop格式化会询问yes or no,yes大写!
3、配置SSH时,每台机器都需要配置自己的为密码,master与slaves互相持有其公钥!
4、hadoop命令操作Java,
bin/hadoop fs -ls,
将文件放到hadoop文件下,bin/hadoop fs -put ../input ./in
删除文件 bin/hadoop fs -rmr file,并没有物理删除,只是放在回收站中,里面可以设置时间阈值,超过阈值删除。
恢复与清空 bin/hadoop fs -move file
快照:
5、修改hdfs源码实现,namenode多点,这样一个namenode宕机不至于造成损失!《HDFS高可用》
6、HDFS思想是硬件设备坏掉是常态,解决这个的方法就是冗余!
7、datanode一次写入不能修改!
8、心跳机制:datanode向namenode定期发送信号,告诉namenode我还活着!
9、设置hadoop-classpath! hadoop环境变量!
10、分片问题,分片只能非常完全接近block。
性能调优
11、combiner 预处理过程,减少带宽,传输速度快!可以优化在此。
12、处理小文件,将小文件合成大文件。
13、减少map阶段的输出。
14、maperd-site.xml设置JVM重用。
15、如果maperd任务还未完成就出现故障,jobtracker会要求其他节点重新执行该maperd任务。
16、如果reduce任务还未完成就出现故障,jobtracker会要求其他节点继续执行reduce任务。
2、hadoop格式化会询问yes or no,yes大写!
3、配置SSH时,每台机器都需要配置自己的为密码,master与slaves互相持有其公钥!
4、hadoop命令操作Java,
bin/hadoop fs -ls,
将文件放到hadoop文件下,bin/hadoop fs -put ../input ./in
删除文件 bin/hadoop fs -rmr file,并没有物理删除,只是放在回收站中,里面可以设置时间阈值,超过阈值删除。
恢复与清空 bin/hadoop fs -move file
快照:
5、修改hdfs源码实现,namenode多点,这样一个namenode宕机不至于造成损失!《HDFS高可用》
6、HDFS思想是硬件设备坏掉是常态,解决这个的方法就是冗余!
7、datanode一次写入不能修改!
8、心跳机制:datanode向namenode定期发送信号,告诉namenode我还活着!
9、设置hadoop-classpath! hadoop环境变量!
10、分片问题,分片只能非常完全接近block。
性能调优
11、combiner 预处理过程,减少带宽,传输速度快!可以优化在此。
12、处理小文件,将小文件合成大文件。
13、减少map阶段的输出。
14、maperd-site.xml设置JVM重用。
15、如果maperd任务还未完成就出现故障,jobtracker会要求其他节点重新执行该maperd任务。
16、如果reduce任务还未完成就出现故障,jobtracker会要求其他节点继续执行reduce任务。
相关文章推荐
- Hadoop中使用正则匹配的效率问题
- 安装hadoop-eclipse-plugin-2.7.2.jar出现问题
- cdh4.1.2 hadoop和oozie集成问题
- Warning:$HADOOP_HOME is deprecated问题
- hadoop2.6.0实践:A02 问题处理 util.NativeCodeLoader: Unable to load native-hadoop library for your platform
- 配置Hadoop集群:java.net.NoRouteToHostException: No route to host问题的解决
- hadoop的dfs.replication和备份数问题
- Hadoop问题小记
- hadoop2项目问题Missing artifact jdk.tools:jdk.tools:jar:1.8
- Eclipse/MyEclipse连接Hadoop集群出现:Unable to ... ... org.apache.hadoop.security.AccessControlExceptiom:Permission denied问题
- hadoop安装常见问题
- Hadoop学习之以伪分布模式部署Hadoop及常见问题
- 「hadoop」一些问题集
- 学习Hadoop时遇到的问题以及解决方法
- hadoop常见问题汇总
- .Hadoop NameNode单点问题解决方案之二 AvatarNode 部署
- hadoop问题之java.net.NoRouteToHostException: 没有到主机的路由
- Hadoop日志存放问题
- hadoop1.x权限问题
- hadoop 32位库问题