nodejs 执行脚本并实时输出

接到需求

需要一个服务来执行shell脚本，要求可以实时打印shell脚本执行的过程，并看到脚本执行的结果。

明确任务目标：

这是一个web服务，需要执行shell脚本
当一个脚本执行的时候，再次发送请求需要等待当前脚本执行完毕，再自动执行这次请求
使用长连接而不是socket
添加脚本不需要重启服务器

这里采用的是express框架

开始

首先搭好express基本框架

新建app.js文件, npm install express

const express = require('express');
const app = express();

app.get('/:id', (req, res) => {
  const { id } = req.params;
  if (id === 'favicon.ico') {
    res.sendStatus(200);
    return;
  }
  // 执行脚本
});

app.set('port', 3018);
app.listen(app.get('port'), () => console.log(`server listening at ${app.get('port')}`));

新建文件

新建config.json用于配置id和脚本名的对应关系，新建scripts目录用于存放脚本。

这里定义一个函数execute参数为id和response对象，代码如下：

const pidDict = {};
async function execute(id, res) {
  delete require.cache[require.resolve('./config.json')];
  const config = require('./config.json');
  const filePath = config[id];
  if (!filePath) {
    res.sendStatus(404);
    return;
  }
  console.log(`The script:${filePath} with ${id} begin execute`);
  const readable = new Readable();
  readable._read = () => {};
  readable.pipe(res);
  while (pidDict[id]) {
    readable.push('
Waiting for another script request.');
    await wait(5000);
  }
  const handle = spawn('sh', [`./scripts/${filePath}`]);
  pidDict[id] = handle.pid;

  handle.stdout.on('data', (data) => {
    readable.push(`
${data}`);
    getLogger(filePath).log(`
${data}`);
  });

  handle.stderr.on('data', (data) => {
    getLogger(filePath).warn(`
${data}`);
    readable.push(`
${data}`);
  });

  handle.on('error', (code) => {
    getLogger(filePath).error(`child process error with information: 
${code}`);
    readable.push(`child process error with information: 
${code}`);
    delete pidDict[id];
    readable.push(null);
  });

  handle.on('close', (code) => {
    getLogger(filePath).log(`child process close with code ${code}`);
    delete pidDict[id];
    readable.push(null);
  });
}

解释：

首先要加载config.json，需要注意的是，因为是需要动态引入，所以这里不能直接使用require('config.json')，在这之前，需要先删除引入的缓存：delete require.cache[require.resolve('./config.json')];
获取文件路径 const filePath = config[id];
新建读写流，可以直接发送到前端。
再执行脚本前，需要判断当前有无脚本执行，这里在外部定义了一个pidDict，文件对应的id直接指向文件执行的handle的pid

紧接着就是输入输出流了

handle.stdout是标准输出
handle.stderr是错误输出，这里指的是输出的警告
handle的error事件指的是脚本执行中遇到的错误，也就是脚本执行不成功报的错误信息

这里定义了两个外部函数，一个是自定义的日志打印，另一个是遇到有脚本执行时的等待

新建utility.js

   const fs = require('fs');
   
   /**
    * time wait
    *
    * @param time {number} time(ms) to wait
    */
   /* eslint-disable compat/compat */
   const wait = async (time = 1000) => {
     return new Promise((resolve) => {
       setTimeout(resolve, time);
     });
   };
   
   /**
    * set log
    *
    * getLogger(path).level
    *    level:
    *        log
    *        trace
    *        debug
    *        info
    *        warn
    *        error
    * @param path
    */
   function getLogger(path) {
     return require('tracer').console({
       transport: (data) => {
         console.log(data.output);
         fs.appendFile(`./logs/${path}.log`, `${data.rawoutput} 
`, () => {});
       },
     });
   }
   
   module.exports = {
     wait,
     getLogger,
   };

新建脚本

现在，新建scripts/hello-world.sh

#!/bin/sh
   
echo 'hello...'
sleep 5
echo 'world!'

config.json中注册该脚本

{
  "hello-world": "hello-world.sh"
}

执行node app.js，通过curl http://localhost:3018/hello-world即可观察到运行结果。

附

这里放上app.js的完整代码

const express = require('express');
const { spawn } = require('child_process');
const { Readable } = require('stream');
const { wait, getLogger } = require('./utility');

const app = express();

app.get('/:id', (req, res) => {
  // 执行脚本
  const { id } = req.params;
  if (id === 'favicon.ico') {
    res.sendStatus(200);
    return;
  }
  execute(id, res).then();
});

const pidDict = {};

/**
 * 执行sh脚本
 *
 * @param id 脚本id
 * @param res response object
 */
/* eslint-disable no-underscore-dangle, no-await-in-loop */
async function execute(id, res) {
  delete require.cache[require.resolve('./config.json')];
  const config = require('./config.json');
  const filePath = config[id];
  if (!filePath) {
    res.sendStatus(404);
    return;
  }
  console.log(`The script:${filePath} with ${id} begin execute`);
  const readable = new Readable();
  readable._read = () => {};
  readable.pipe(res);
  while (pidDict[id]) {
    readable.push('
Waiting for another script request.');
    await wait(5000);
  }
  const handle = spawn('sh', [`./scripts/${filePath}`]);
  pidDict[id] = handle.pid;

  handle.stdout.on('data', (data) => {
    readable.push(`
${data}`);
    getLogger(filePath).log(`
${data}`);
  });

  handle.stderr.on('data', (data) => {
    getLogger(filePath).warn(`
${data}`);
    readable.push(`
${data}`);
  });

  handle.on('error', (code) => {
    getLogger(filePath).error(`child process error with information: 
${code}`);
    readable.push(`child process error with information: 
${code}`);
    delete pidDict[id];
    readable.push(null);
  });

  handle.on('close', (code) => {
    getLogger(filePath).log(`child process close with code ${code}`);
    delete pidDict[id];
    readable.push(null);
  });
}

app.set('port', 3018);
app.listen(app.get('port'), () => console.log(`server listening at ${app.get('port')}`));