记一次关闭Hadoop时no namenode to stop异常

记一次关闭Hadoop时no namenode to stop异常

​ 在自己的虚拟机环境上跑着hadoop集群,一直正常运行着,不用的时候直接挂起虚拟机,今天需要做些调整,但是发现集群突然无法正常关闭了。遂祭出百度大法~:

大家都知道,关闭集群的命令是stop-dfs.shstop-yarn.sh,然鹅我执行完具体情况是这样的:

[simon@master ~]# stop-dfs.sh 
Stopping namenodes on [master]
master: no namenode to stop
slave2: no datanode to stop
slave1: no datanode to stop
...

啊啊啊...这都是啥...俺有些不懂...

可以正常启动却不能停止?kiding me ?

执行jps命令,发现namenode,datanode等进程都正常运行着。纳了闷!

最终参考大佬们的博客之后, 开始阅读hadoop-daemon.sh脚本文件,然后找出问题了问题的原因。

1、首先确定,报错代码出现的位置:

 if [ -f $pid ]; then
      TARGET_PID=`cat $pid`
      if kill -0 $TARGET_PID > /dev/null 2>&1; then
        echo stopping $command
        kill $TARGET_PID
        sleep $HADOOP_STOP_TIMEOUT
        if kill -0 $TARGET_PID > /dev/null 2>&1; then
          echo "$command did not stop gracefully after $HADOOP_STOP_TIMEOUT seconds: killing with kill -9"
          kill -9 $TARGET_PID
        fi
      else
        echo no $command to stop
      fi
      rm -f $pid
    else
      echo no $command to stop
    fi

没错了,报错代码就是后边几行

    ....省略
    else
      echo no $command to stop
    fi

现在原因很明显,如果找不到pid文件,在停止集群的时候就会报出这个错误。那么什么是pid文件呢?为什么找不到呢?

2、经过查阅资料发现,在脚本中有这么一行代码

#第107行
pid=$HADOOP_PID_DIR/hadoop-$HADOOP_IDENT_STRING-$command.pid 
  • 这里可以看出, HADOOP_PID_DIR 变量指定了hadoop的pid文件的存放目录。

  • 那么这个pid文件是啥呢。Hadoop启动后,会把进程的PID号存储在一个文件中,这样执行stop-dfs脚本时就可以按照进程PID去关闭进程了。

    找到HADOOP_PID_DIR 默认的路径 :

    if [ "$HADOOP_PID_DIR" = "" ]; then   #97~99行
      HADOOP_PID_DIR=/tmp
    fi
    

    ok, 明白了,存放集群pid文件的目录就是系统的/tmp目录,而这个目录下的文件系统会定期清理的。我这个集群自从搭建起来,一直运行着,pid文件也早就被清空了。所以我们给它换个指定目录,可以自己定义。我就把它设为了/home/tmp/pid

3.着手设置

既然stop命令无法使用,那我们只能手动关闭了,jps查看你的namenodedatanode等进程的PID,然后用kill -9干掉即可。

if [ "$HADOOP_PID_DIR" = "" ]; then   #97~99行
  HADOOP_PID_DIR=/home/tmp/pid   # 创建这个文件夹用于存放pid文件
fi

大功告成,重启集群即可~

原文地址:https://www.cnblogs.com/simon-1024/p/11741469.html