记一次关闭Hadoop时no namenode to stop异常

记一次关闭Hadoop时no namenode to stop异常

​ 在自己的虚拟机环境上跑着hadoop集群，一直正常运行着，不用的时候直接挂起虚拟机，今天需要做些调整，但是发现集群突然无法正常关闭了。遂祭出百度大法~：

大家都知道，关闭集群的命令是

stop-dfs.sh

和

stop-yarn.sh

,然鹅我执行完具体情况是这样的：

[simon@master ~]# stop-dfs.sh
Stopping namenodes on [master]
master: no namenode to stop
slave2: no datanode to stop
slave1: no datanode to stop
...

啊啊啊...这都是啥...俺有些不懂...

可以正常启动却不能停止？kiding me ?

执行

jps

命令，发现namenode,datanode等进程都正常运行着。纳了闷！

最终参考大佬们的博客之后， 开始阅读hadoop-daemon.sh脚本文件，然后找出问题了问题的原因。

1、首先确定，报错代码出现的位置：

if [ -f $pid ]; then
TARGET_PID=`cat $pid`
if kill -0 $TARGET_PID > /dev/null 2>&1; then
echo stopping $command
kill $TARGET_PID
sleep $HADOOP_STOP_TIMEOUT
if kill -0 $TARGET_PID > /dev/null 2>&1; then
echo "$command did not stop gracefully after $HADOOP_STOP_TIMEOUT seconds: killing with kill -9"
kill -9 $TARGET_PID
fi
else
echo no $command to stop
fi
rm -f $pid
else
echo no $command to stop
fi

没错了，报错代码就是后边几行

....省略
else
echo no $command to stop
fi

现在原因很明显，如果找不到pid文件，在停止集群的时候就会报出这个错误。那么什么是pid文件呢？为什么找不到呢？

2、经过查阅资料发现，在脚本中有这么一行代码

#第107行
pid=$HADOOP_PID_DIR/hadoop-$HADOOP_IDENT_STRING-$command.pid

• 这里可以看出，

  HADOOP_PID_DIR

  变量指定了hadoop的pid文件的存放目录。

• 那么这个pid文件是啥呢。Hadoop启动后，会把进程的PID号存储在一个文件中，这样执行stop-dfs脚本时就可以按照进程PID去关闭进程了。

  找到

  HADOOP_PID_DIR

  默认的路径 :

  if [ "$HADOOP_PID_DIR" = "" ]; then   #97~99行
  HADOOP_PID_DIR=/tmp
  fi

  ok， 明白了，存放集群pid文件的目录就是系统的

  /tmp

  目录，而这个目录下的文件系统会定期清理的。我这个集群自从搭建起来，一直运行着，pid文件也早就被清空了。所以我们给它换个指定目录，可以自己定义。我就把它设为了

  /home/tmp/pid

  。

3. 着手设置

既然

stop

命令无法使用，那我们只能手动关闭了，

jps

查看你的namenode\datanode等进程的PID，然后用kill -9干掉即可。

if [ "$HADOOP_PID_DIR" = "" ]; then   #97~99行
HADOOP_PID_DIR=/home/tmp/pid   # 创建这个文件夹用于存放pid文件
fi

大功告成，重启集群即可~