hadoop常见错误问题及解决方法（3）

21、从本地上传文件至HDFS文件系统，报如下错误：

INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink

INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023

WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.

解决方法：

关闭防火墙，命令：service iptables stop;

禁用selinux：编辑/etc/selinux/config文件，设置“SELINUX=disabled”。

 

22、格式化HDFS文件系统时，报错：

Format aborted in /home/hadoop/dfs/name

解决方法：/home/hadoop/dfs/name是dfs.name.dir参照指向的本地路径，把这个目录删除，再格式化就可以了。

 

23、hadoop节点用什么来监控？

答：如果是监控集群，用ganglia；如果是监控hadoop进程等，用jmx。

 

24、数据展示和分析的区别？

答：展示：就是做报表，各种维度的报表；

分析：偏数据挖掘了，它是对数据进行分析总结。

 

25、hadoop需要什么样的网络？

答：hadoop核心使用Shell(SSH)来驱动从节点上的服务器进程，并在主节点和从节点之间使用password-less SSH连接。

 

26、全分布式环境下为什么需要password-less SSH？

答：这是因为集群中通信国语频繁，Job Tracker需要尽可能快的给TaskTracker分配任务。

 

27、这会导致安全问题吗？

答：完全不用担心。Hadoop集群是完全隔离的，通常情况下无法进行互联网操作。与众不同的配置，因此我们完全不需要在意这种级别的安全漏洞，比如说通过互联网入侵等等。Hadoop为机器之间的连接提供了一种相对安全的方式。

 

28、为什么SSH本地主机需要密码？

答：在SSH中使用密码主要是增加安全性，在某些情况下，根本不会设置密码通信。

 

29、假如NameNode中没有数据会怎么样？

答：没有数据的NameNode就不能称之为NameNode，通常情况下，NmaeNode肯定是有数据的。

30、当JobTracker宕机时，NameNode会发生什么?

答：当JobTracker失败时，集群仍然可以正常工作，只要NameNode没有问题。