Process · Linux userspace / kernel ABI

execve와 process image 교체

PID를 유지한 채 주소 공간, signal disposition, credentials, fd inheritance가 새 실행 파일 기준으로 재구성되는 순서를 봅니다.

Series
07 / 38
Build
cc -std=c17 -Wall -Wextra -O2 exec_replace.c -o exec_replace
Run
./exec_replace
Kernel
Linux 6.18.37 LTS

execve는 새 process를 만드는가, 현재 process를 바꾸는가?

execve는 새 PID를 만들지 않는다. 호출한 task가 새 mm, code, stack, credentials를 받아 같은 PID로 계속 실행된다. 성공 시 이전 코드로 돌아오지 않는다는 점이 일반 함수와 가장 큰 차이다.

모든 상태가 사라지는 것도 아니다. close-on-exec가 없는 fd, current working directory, umask, 일부 signal mask와 resource limit는 남고, caught signal disposition과 address mapping은 초기화된다.

구조 그림

그림 1. 같은 PID에서 교체되는 것과 남는 것

execve 이전

  • PID 4120
  • 여러 thread
  • old text/data/heap/stack
  • fd 0,1,2,7
  • caught signal handlers

유지/판정

  • PID·cwd·umask 유지
  • FD_CLOEXEC 적용
  • credential 재계산
  • resource limit 유지

execve 이후

  • PID 4120
  • 호출 thread 하나
  • new PT_LOAD + stack
  • fd 0,1,2
  • caught handler reset

execve는 새 process를 추가하지 않는다. process identity 일부는 유지하고 userspace image를 새 ELF 기준으로 교체한다.

호출 흐름

그림 2. 사용자 코드의 요청과 처리 결과
parent state argv/env/fd 준비
execve binary 검증
point of no return old mm 폐기
ELF loader new stack/mm
entry 같은 PID, 새 image

exec 전후를 process identity와 process image로 나눠 본다. PID는 유지되지만 userspace pointer와 thread 구성은 전부 새 image 기준이다.

그림 3. 커널 내부에서 지나가는 주요 지점
do_execveat_common filename과 argv
bprm_execve binary handler
begin_new_exec old image 교체
setup_new_exec personality/name
start_thread entry와 stack

함수 이름을 외우기 위한 그림이 아니다. 반환값, 파일 디스크립터, 메모리 매핑, 대기 큐 가운데 무엇이 다음 단계로 전달되는지 확인한다.

Linux 6.18.37 LTS 소스 위치

glibc 함수에서 멈추지 않고 syscall 구현과 커널 객체가 만나는 파일까지 내려간다. 링크는 동일한 태그의 원본 파일을 가리킨다.

파일함수·구조체여기서 볼 것
fs/exec.c do_execveat_common(), bprm_execve() argv/envp 복사와 binary handler 호출
fs/exec.c begin_new_exec(), setup_new_exec() old mm을 버린 뒤 되돌릴 수 없는 구간
fs/binfmt_elf.c load_elf_binary() ELF segment와 initial stack 생성

실행 예제 원본

아래 코드는 설명을 위해 중간 줄을 생략한 의사 코드가 아니다. 파일로 빌드해 실행할 수 있는 최소 예제다.

빌드cc -std=c17 -Wall -Wextra -O2 exec_replace.c -o exec_replace
01#define _GNU_SOURCE
02#include <errno.h>
03#include <fcntl.h>
04#include <stdio.h>
05#include <stdlib.h>
06#include <unistd.h>
07
08extern char **environ;
09
10int main(void)
11{
12    int fd = open("exec.log", O_WRONLY | O_CREAT | O_TRUNC | O_CLOEXEC, 0644);
13    if (fd < 0) {
14        perror("open");
15        return 1;
16    }
17    dprintf(fd, "before exec pid=%ld\n", (long)getpid());
18
19    char *const argv[] = { "sh", "-c",
20        "printf 'after exec pid=%s\n' $$; ls -l /proc/$$/fd", NULL };
21    execve("/bin/sh", argv, environ);
22
23    int saved = errno;
24    dprintf(STDERR_FILENO, "execve failed: %d\n", saved);
25    close(fd);
26    return 1;
27}

실행 결과

x86_64 Linux에서 예제를 실행한 결과입니다.

실행 환경

2026-11-04 x86_64 Debian 환경(Linux 6.12.94, gcc 14.2.0, glibc 2.41, -std=c17)에서 위 원본을 그대로 빌드하고 실행했다. 이 글의 기준 환경(ARM64, Linux 6.18.37 LTS)과 다르므로 PID, inode, 주소 값은 실행할 때마다 달라질 수 있다.

exec 뒤에도 PID는 그대로였고, O_CLOEXEC로 연 exec.log fd는 새 shell의 /proc/PID/fd에 남지 않았다. 실험에서 O_CLOEXEC를 빼자 3 -> .../exec.log가 상속되어 나타났다.

$ ./exec_replace
after exec pid=194954
total 0
lr-x------ 1 user user 64 Nov  4 00:09 0 -> /dev/null
l-wx------ 1 user user 64 Nov  4 00:09 1 -> /path/to/execve-process-replacement/run.log
l-wx------ 1 user user 64 Nov  4 00:09 2 -> /path/to/execve-process-replacement/run.log
exec_replace 실행 결과와 O_CLOEXEC 제거 실험을 담은 터미널 캡처
빌드·실행·strace·추가 실험 기록을 정리한 이미지입니다. 호스트명·경로·계정명은 일반 표기로 바꿨으며, 생략한 출력은 이미지에 표시했습니다.

ARM64 실행 결과

ARM64 에뮬레이터(QEMU, Cortex-A53)에서도 실행했습니다.

BusyBox의 ls가 /proc/PID/fd/3 항목을 읽을 때 해당 항목이 없다는 경고를 출력했지만, 명령의 종료 값은 0이었습니다. execve 전후 PID는 같았으며 열린 fd 목록에 exec.log는 없었습니다. 경고와 종료 값도 아래에 그대로 남겼습니다.

ARM64 실행 명령과 출력 화면: execve-process-replacement
ARM64 QEMU 실행 기록
실행 출력 원문

저장된 실행 로그를 화면에 표시한 이미지입니다.

after exec pid=398
total 0
lrwx------    1 root     root            64 Nov  4 02:35 0 -> /dev/console
lrwx------    1 root     root            64 Nov  4 02:35 1 -> /dev/console
lrwx------    1 root     root            64 Nov  4 02:35 2 -> /dev/console
ls: /proc/398/fd/3: cannot read link: No such file or directory
lr-x------    1 root     root            64 Nov  4 02:35 3
exec_command_exit=0
before exec pid=398
검증 절차 종료 값: 0
실행 환경

위 C 예제를 ARM64용으로 교차 컴파일한 뒤, 2026-11-04에 Linux 6.18.58-0-virt에서 실행했습니다. QEMU virt의 Cortex-A53 에뮬레이션(TCG, CPU 2개, 메모리 512 MiB)을 사용했으며, 실물 ARM 보드에서 측정한 결과는 아닙니다. GCC 15.2.0과 glibc 2.43으로 정적 링크했고, 게스트의 셸과 기본 명령은 Alpine 3.23.7을 사용했습니다. 이 글의 기준 버전인 Linux 6.18.37과는 패치 버전이 다릅니다.

게스트 안에서 root로 실행했고, 네트워크는 내부 루프백만 사용했습니다. 호스트 디스크는 연결하지 않았습니다. 여기서 확인한 것은 예제의 실행 결과이며, 실제 보드의 성능·타이밍이나 커널 내부 경로 전체를 검증한 것은 아닙니다.

위 예제 소스는 바꾸지 않았습니다. x86_64 호스트에서 ARM64용으로 교차 컴파일한 뒤 게스트 안에서 실행했으며, 격리된 실행 환경을 위해 정적 링크 옵션을 추가했습니다. 빌드에 사용한 UAPI 헤더는 7.0.0이며, 실행 중인 커널 버전과는 별개입니다.

aarch64-linux-gnu-gcc-15 -static -std=c17 -Wall -Wextra -O2 exec_replace.c -o exec_replace

set +e
/examples/exec_replace
rc=$?
set -e
echo "exec_command_exit=$rc"
cat exec.log
test "$rc" -le 1

실행 명령·출력 원문 · 환경·해시 기록 · 전체 부팅·실행 기록

코드 조각별 설명

실제 코드 12행O_CLOEXEC

open과 FD_CLOEXEC 설정을 하나의 syscall로 묶어 다른 thread가 fork/exec하는 사이 fd가 유출되는 경쟁 조건을 없앤다.

실제 코드 17행dprintf(fd

exec 전에 기록한 file 내용은 남지만 O_CLOEXEC 때문에 새 image의 fd table에는 해당 slot이 닫힌 상태로 보인다.

실제 코드 19행char *const argv[]

argv[0]은 관례상 프로그램 이름이고 배열은 NULL pointer로 끝나야 한다. kernel은 문자열과 pointer 개수를 제한한다.

실제 코드 21행execve("/bin/sh"

성공하면 아래 줄은 실행되지 않는다. /bin/sh의 ELF entry에서 새 userspace 흐름이 시작된다.

실제 코드 23행int saved = errno

실패 직후 errno를 저장해 dprintf나 close가 값을 바꾸기 전에 원래 이유를 보존한다.

세부 동작

01

fd 상속은 allowlist로 설계한다

기본적으로 fd는 exec를 넘어간다. 모든 생성 syscall에 CLOEXEC variant를 사용하고, 명시적으로 넘길 fd만 child setup에서 dup2/dup3로 표준 번호나 약속한 번호에 배치한다.

close_range()는 큰 fd table을 정리할 때 /proc/self/fd 순회보다 race가 적다.

02

credential 변경은 binary metadata와 함께 일어난다

setuid/setgid bit, file capability, no_new_privs, mount nosuid, ptrace 상태가 새 effective credential 계산에 참여한다. 환경 변수만 지우는 것으로 privilege boundary가 완성되지 않는다.

secure-execution mode에서는 dynamic linker가 LD_PRELOAD 같은 환경 변수를 제한한다.

03

실패 가능한 구간과 복구 불가능한 구간을 나눈다

kernel은 가능한 한 binary를 검증한 뒤 old mm을 폐기한다. 그래도 교체가 시작된 뒤 치명적 오류가 나면 원래 image로 돌아갈 수 없어 signal로 종료될 수 있다.

실무에서는 parent가 child exec 성공 여부를 CLOEXEC pipe로 확인한다. exec 성공 시 pipe write end가 자동으로 닫히고, 실패 시 errno를 write한다.

객체와 수명

대상언제 생기고 없어지는가확인할 값
linux_binprmexec 준비부터 binary handler 완료까지 존재한다file, cred, argc/envc
fd tableprocess에 남지만 CLOEXEC slot은 exec commit 때 닫힌다close_on_exec bitmap
mm_struct새 image용 mm이 설치되고 이전 mm 참조가 해제된다VMA, arg_start/end, exe_file

실패 조건과 오해하기 쉬운 부분

겉으로 보이는 현상실제 원인 후보확인 방법
execve가 ENOENTbinary 또는 PT_INTERP 없음readelf -l과 pathname 확인
EACCESdirectory search permission, noexec mount, file modenamei -l, findmnt 옵션
child가 잘못된 fd 보유CLOEXEC 누락 또는 open/fcntl race/proc/PID/fd와 strace -f

직접 확인

  1. 실행 후 /proc/새 shell PID/fd 목록에 exec.log fd가 없는지 확인한다.
  2. O_CLOEXEC를 제거해 같은 fd가 shell에 상속되는 차이를 비교한다.
  3. 전용 pipe를 만들고 child exec 실패 errno를 parent로 보내는 handshake를 구현한다.
실행./exec_replace
추적strace -f -e trace=execve,close ./exec_replace

원문