远程服务器监控重启方案

摘要：如果你的服务器主要服务不定期被kill掉，如何来尽可能保证服务正常？

前几天某台服务器出现了问题，主要的进程（包括Web服务、top、vi这样的命令）都会不定期被kill掉，经过分析认为这台服务器的系统出现了问题，必须要进行重装。而这台服务器上面挂载了很重要的Web服务，要保证服务还能够正常的运行，必须要进行服务的迁移。

但是新服务器到位还需要一定时间，这段时间内我们如何来保证服务的正常性呢？采用人工的方式费时费力，而且0点到8点全时段监控是不太可能的。采用crontab的方式可行，但是问题是crontab最小的运行间隔为1分钟，服务在1分钟内出现问题的几率很大，那么服务最长不可用的时间为1分钟，影响很大。用执行脚本的方式可行，但是也会被kill掉，无法起到一直监控的作用。有什么好的方式呢？

解决问题的思路是我们在其他服务器上监控服务状态（这个很容易实现），并且通过远程执行脚本的方式来进行服务的重启。

1、监控服务状态

监控服务状态的方式有多种，例如远程获取系统进程列表分析和HTTP请求。我们用最简单的方式：通过HTTP请求的状态判断服务的可用性。

1）先在被监控的服务器（下文用服务器1代替）上写一个简单的PHP页面，只需要输出固定的内容。

<?php
           echo “alive”;
?>

2）在监控服务器（下文用服务器2代替）上用Perl脚本访问这个Web页面，如果取得的内容和确定的内容不一致，视为服务不可用（也可以使用HTTP状态码判断）。下面是check_down.pl代码：

use LWP::Simple;
use POSIX qw(strftime);
 
sub convert_format_time {
   my $time = shift;
   my $utc = strftime( "%z", localtime );
   $utc = substr( $utc, 0, -2 );
   return strftime( "%Y-%m-%d %H:%M:%S", localtime( ( 8 - $utc )* 60 * 60 + $time ) );
}
 
while(true) {
        open($FH,">>check_result.out") or die "$!";
        $result =LWP::Simple::get("http://xxx.xxx.xxx.xxx/check_down.php");
        $time = convert_format_time(time);
 
        if($result ne 'alive') { # server error
                print $FH "serverdown!-" . $result . "-" . $time . "\n";
        }
       else  { # server alive
                print $FH "serveralive.-" . $time . "\n";
        }
 
        close($FH);
        sleep(1);
}

2、远程执行重启脚本

检测到服务不可用，下面是最关键的步骤，远程执行重启脚本。

1）下面是服务器1上检测并重启的Shell脚本check_down.sh。

#!/bin/bash
php_procs=`psaux | grep php-fpm | grep -v grep | wc -l`
 
if [ $php_procs-lt 1 ]
then
        /etc/init.d/nginx start
        /etc/init.d/php5-fpm start
fi

2）我们要在服务器2上调用服务器1上的此脚本，可以采用ssh的方式，但是关键是执行ssh命令时不需要输入密码。

执行ssh命令不需要密码的方式如下：

在服务器2上执行"ssh-keygen-t rsa"，一路回车即可。
在服务器1进入/root/.ssh目录，执行“viauthorized_keys”，将服务器2上/root/.ssh/id_rsa.pub文件中的内容追加到此文件中。
可以直接在服务器2上使用“ssh root@服务器1的ip”的方式登陆了，远程执行重启脚本的方式是“ssh root@服务器1的ip '/path/check_down.sh'”。

3）调整Perl脚本，在服务器down掉的情况下加入远程执行重启脚本的调用。

if($result ne 'alive') { # server error
        $restart_result = `ssh root\@ip'/usr/local/bin/check_down.sh'`;
        print $FH "serverdown!-" . $result . "-" . $time . "\n";
        print$FH "$restart_result" . "\n";
}

大功告成！

在服务器2上启动Perl脚本“perl check_down.pl&”，然后就可以在输出的日志文件里看到结果了：

server alive.-2011-07-10 21:05:25
server down!--2011-07-22 21:05:26
Starting nginx: nginx.
 * Starting PHP5 FPM...
   ...done.
 
server alive.-2011-07-10 21:05:29

总结：

如上的方案很简单，但是编写了Shell、Perl、PHP脚本，它们各自提供了不同的作用。另外重要的是解决问题的思路，如何在不可能的情况下绕过问题从另外一个方面考虑解决方案。