在安装Hadoop伪分布模式时的错误和一些问题

1、

因为在hadoop/etc中当时复制了一份hadoop，所以在执行start-dfs.sh时会出现Unable to load native-hadoop library for your platform... using builtin-java classes where applicable和Incorrect configuration: namenode address dfs.namenode.servicerpc-address
or dfs.namenode.rpc-address is not configured.的错误

 刚开始以为是32位和64位的原因就重新编译了，按照下面这篇博客
http://blog.csdn.net/ggz631047367/article/details/42460589
结果还是不对，

最后发现在执行start-dfs.sh时加上config参数  start-all.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo   表示是该路径下的 hadoop中的文件

执行成功。

在停止服务的时候先停止yarn， 执行stop-yarn.sh   再停止stop-dfs.sh

2、发现9000连接不了，运行hadoop是出现Master的9000端口拒绝访问的情况

   

可以选择关闭防火墙或者卸载防火墙，如果还是无法解决这种情况可能是因为hadoop的启动顺序不对。

应该按照如下得顺序启动

Step2: cd #your_hadoop_path

Step3: ./bin/hadoop namenode -format

Step4: ./sbin/start-all.sh

3、http://localhost:50070可以查看Hadoop的信息

通过netstat -ltn可以查看相应哪些端口被使用。

4、命令行hadoop fs -ls /可以查看当前hdfs下的文件情况

hadoop fs -mkdir 文件名  可以在hdfs下创建文件。

hadoop fs -put etc/hadoop_pseudo/  /usr/input可以把etc/hadoop_pseudo文件上传到hdfs的/uer/input中

5、在配置core-site.xml时

    <property>

        <name>hadoop.tmp.dir</name>           这一个property是用来保存临时文件信息，如果不设置，会自动保存在/usr/local/hadoop/tmp

中，如果重启hadoop这些数据就会被情况，hadoop的环境就失效了。

        <value>/home/zgr/hadoop_tmp</value>

        <description>Abase for other temporary directoies</description>

    </property>

     <property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

    </property>

6、每一次重新启动Hadoop的时候都要把hdfs下面的data和name文件夹彻底删掉，否则重启后没意义。

7、对core-site.xml,yarn-site.xml,hdfs-site.xml配置要小心