安装配置hadoop和eclipse插件遇到的坑和解决办法

本人在安装配置Hadoop2.8.0版本时遇到了一些问题，有个别问题最长的卡了1周时间才解决，通过在官网和各大论坛查找解决方案，解决了目前遇到的所有问题，特总结一下，给自己也给别人提供方便。

Hadoop安装过程参考：http://blog.csdn.net/uq_jin/article/details/51451995，我总结一下一个干净的hadoop服务器安装主要有以下几步：安装Linux操作系统--安装JDK--配置环境变量--修改/etc/hosts--关闭防火墙--配置无密码ssh登录--修改$HADOOP_HOME/etc/hadoop目录下的xml和env配置--重启linux--format hdfs--启动dfs和yarn；

一坑：一定要format，否则namenode不会启动，这玩意不启动，其他都白瞎。

二坑：core-site.xml配置fs.defaultFS的value时，不要用localhost。理由：除非你只希望本机能访问hadoop，否则请用IP或hostname

三坑：配好后，运行wordcount没问题，但是sort会提示你的txt不是SequenceFile。原因：官方example中sort只接受二进制文件内容排序，所以，普通的txt不支持，可以通过官方工具来生成二进制文件：hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar randomwriter rand,不过这个命令生成的是10个1G的文件，在单机上可是要执行很久的。。。

四坑：eclipse插件，如果是windows，记得下载hadoop-bin.zip包，里面有winutils.exe和hadoop.dll等文件，要解压到%HADOOP_HOME%/bin目录下，其中hadoop.dll要拷贝到%WINDOWS%\System32目录，并重启windows系统；

五坑：eclipse的hadoop插件，配置“Hadoop Location”时，要修改“Advanced parameters”-“fs.defaultFS”的值与core-site.xml一致；

附录：

hadoop配置文件可配置属性参考：
http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/core-default.xml http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.8.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml