NodeJS Child_process의 spawn(), exec(), fork()

NodeJS 런타임에서 새로운 프로세스를 생성하고 싶다면

일반적으로 Child_process 패키지의 다음의 메서드들을 활용할 수 있다.

• Child_process.fork()
• Child_process.exec()
• Child_process.spawn()

여기에서는 위 메서드들이 작동하는 방식을 동명의 시스템 콜들과 연관 지어 비교하고자 한다.

 

 

들어가기 전에...

이 글을 이해하기 위해서는 시스템 콜과 시스템 콜의 종류인 fork()와 exec()이 무엇인지 알아야한다.

이들에 대해 먼저 간단하게 소개하고 넘어가겠다.

시스템 콜

시스템 콜이란 유저 모드에서 작동하는 프로세스들이 운영체제의 권한이 필요한 작업을 운영체제에 요청하기 위해 호출되는 인터페이스를 의미한다.

파일 입출력이나 프로세스의 생성 및 실행 등의 작업에 대한 권한이 프로세스들에게 있을 경우

컴퓨터는 외부 공격으로부터 매우 취약해지기 때문에,

해당 작업들에 대한 권한은 운영체제에게 있으며 프로세스들은 운영체제에 이를 요청하는 방식으로 작동한다.

fork()

fork() 는 프로세스를 생성하는 시스템 콜로, 부모 프로세스를 복사하는 방식으로 작동한다. 

fork() 가 호출된 시점의 실행 컨텍스트를 완전히 복사하기 때문에,

자식 프로세스는 부모 프로세스 코드의 시작 지점부터 실행되는 것이 아닌 fork() 호출 이후의 코드 흐름이 실행된다.

fork() 의 반환 값은 부모와 자식에서 서로 다른데, 부모 프로세스에서는 자식 프로세스의 Id가 반환되고 자식 프로세스에서는 0이 반환된다. 

따라서 fork() 호출 이후 if 분기를 통해 다른 코드 흐름이 실행되도록 코드를 구성할 수 있다.

exec()

exec() 는 fork()와는 달리 새로운 프로세스를 생성하는 시스템 콜이 아니다.

exec() 이 호출되면 기존 프로세스를 새로운 프로세스로 완전히 대체한다. 따라서 새로운 코드 흐름이 작동하기는 하지만 기존 프로세스는 완전히 사라지게 된다.

리눅스에서는 fork()와 exec()의 조합을 통해 쉘을 구현하고 있다.

 

 

Spawn 메서드

이제 본론으로 돌아와서, Child_process 패키지의 프로세스 생성 메서드들을 들여다보자.

NodeJS 공식 문서에 작성된 spawn 메서드의 사용 예시는 다음과 같다.

const { spawn } = require('node:child_process');
const ls = spawn('ls', ['-lh', '/usr']);

ls.stdout.on('data', (data) => {
  console.log(`stdout: ${data}`);
});

ls.stderr.on('data', (data) => {
  console.error(`stderr: ${data}`);
});

ls.on('close', (code) => {
  console.log(`child process exited with code ${code}`);
});

spawn 메서드는 명령어와 인자들을 입력 받고 이를 이용하여 새로운 프로세스를 생성한다.

해당 메서드는 ChildProcess 객체를 반환하고, 이후 표준 입출력을 통해 부모와 자식 간 데이터 전송(IPC)이 가능하다.

이 때 데이터는 Stream의 형태를 띄게 된다.

spawn 메서드가 실행되면 차례대로 fork(), exec() 시스템 콜이 호출되고, 추가적으로 IPC를 위한 pipe() 도 호출된다.

이 때 exec으로 명령어를 직접 실행하기 때문에 쉘은 관여하지 않는다.

 

 

Exec 메서드

공식 문서의 exec() 메서드 예시는 다음과 같다. 

const { exec } = require('node:child_process');
exec('cat *.js missing_file | wc -l', (error, stdout, stderr) => {
  if (error) {
    console.error(`exec error: ${error}`);
    return;
  }
  console.log(`stdout: ${stdout}`);
  console.error(`stderr: ${stderr}`);
});

exec() 메서드는 exec() 시스템 콜과 달리, 새로운 프로세스를 생성한다.

명령어를 하나의 문자열에 모두 담아 호출하고, 자식과 부모 간의 통신은 함께 전달되는 콜백 함수를 통해 이루어진다.

spawn() 메서드와 기능 상 유사해 보이나 이런 차이가 존재하는 이유가 뭘까?

spawn() vs exec()

두 메서드의 차이는 크게 2가지이다.

• 명령어 전달 방식
• 부모 자식 간의 통신 구현 방식

첫번째 차이의 이유는 바로 쉘의 실행 유무이다.

spawn()은 쉘을 실행시키지 않지만 exec()은 쉘을 실행시킨다.

구체적으로, exec() 메서드는 내부적으로 spawn() 메서드를 이용하여 쉘을 실행시키고 해당 쉘에서 명령어를 실행시키는 방식으로 작동한다.

이로 인해 exec() 메서드에서는 쉘에서 제공하는 기능의 이용이 가능하다. 예시로는 쉘의 파이프 기능이 있다. (명령어 연결 기능, pipe() 시스템 콜과 완전히 다름)

따라서 spawn() 메서드에는 하나의 명령어만 전달할 수 있으나, exec() 메서드는 여러 명령어를 연결하여 전달할 수 있다.

두번째 차이의 이유는 프로세스 간 데이터 통신에 이용되는 방식에 있다.

spawn() 메서드는 Stream을 이용한다. 이에 실시간으로 데이터를 수신할 수 있어야하기 때문에 이벤트 등록 방식으로 데이터를 주고 받는다.

exec() 메서드는 Buffered을 이용한다. 즉, 자식 프로세스의 데이터를 차곡차곡 쌓아 한번에 전달하기 때문에 하나의 콜백에서 모든 수신이 가능하다.

이러한 차이 때문에 대규모 데이터의 송수신이 필요할 때에는 Stream을 이용하는 spawn() 메서드가 유리하다. 

exec() 메서드를 활용한다면 데이터 처리를 위한 오버헤드가 커지고, 데이터가 너무 커지는 경우에는 아예 에러가 발생한다.

 

Fork 메서드

공식문서의 fork() 메서드 예제는 다음과 같다.

if (process.argv[2] === 'child') {
  setTimeout(() => {
    console.log(`Hello from ${process.argv[2]}!`);
  }, 1_000);
} else {
  const { fork } = require('node:child_process');
  const controller = new AbortController();
  const { signal } = controller;
  const child = fork(__filename, ['child'], { signal });
  child.on('error', (err) => {
    // This will be called with err being an AbortError if the controller aborts
  });
  controller.abort(); // Stops the child process
}

위 예시는 스스로의 복사본을 만드는 예시로, 시스템 콜의 fork와 유사하게 동작하지만 Child process의 fork() 메서드는 다른 js 파일에 대해서도 작동한다. 예시는 아래와 같다.

// parent.js
const { fork } = require('child_process');
const path = require('path');

const child = fork(path.join(__dirname, 'child.js'));

child.on('message', (msg) => {
  console.log(`Parent process received message: ${msg}`);
});

child.send('Hello from parent process!');

// child.js
process.on('message', (msg) => {
  console.log(`Child process received message: ${msg}`);
  process.send('Hello from child process!');
});

위 예시를 통해 알 수 있는 점은 우선 fork() 메서드는 오직 NodeJS (js파일)에 대해서만 작동한다는 것이다. 

NodeJS 공식문서에서도 fork() 메서드는 spawn() 메서드의 스페셜 케이스(Node 명령어 수행)라고 언급하고 있다.

The child_process.fork() method is a special case of child_process.spawn() used specifically to spawn new Node.js processes.

또한 자식 프로세스(child.js)에서 특별한 설정 없이 process 객체에 접근하여 부모 프로세스와 통신을 수행하는데, 이는 fork() 메서드를 통해 실행된 프로세스는 기본적으로 빌트인 IPC 구성을 포함하고 있기 때문이다. 

따라서 fork() 메서드를 활용하면 Node 프로세스 간에 Stream 통신을 쉽게 구현할 수 있다.

 

참조

https://nodejs.org/api/child_process.html#child-process

https://stackoverflow.com/questions/48698234/node-js-spawn-vs-execute

https://stackoverflow.com/questions/17861362/node-js-child-process-difference-between-spawn-fork

Child process | Node.js v19.7.0 Documentation

Node.js Spawn vs. Execute

node.js child process - difference between spawn & fork