Syscall / ELF · Linux userspace / kernel ABI

libc wrapper에서 syscall까지

write() 한 번이 함수 호출 규약, syscall 번호, 레지스터, 커널 진입 코드를 거쳐 파일 객체에 도달하는 과정을 확인합니다.

Series
01 / 38
Build
cc -std=c17 -Wall -Wextra -O2 syscall_write.c -o syscall_write
Run
./syscall_write
Kernel
Linux 6.18.37 LTS

write()는 평범한 C 함수인가, 커널 진입점인가?

응용 프로그램은 보통 glibc의 write()를 호출한다. 이 함수는 인자를 architecture ABI에 맞춰 레지스터에 싣고 syscall instruction을 실행한다. 커널은 syscall 번호로 구현 함수를 선택하고 음수 errno 값을 반환한다.

libc wrapper와 kernel syscall 구현을 같은 함수로 생각하면 디버깅 위치를 잘못 잡는다. 사용자 공간에서는 -1과 errno를 보고, 커널 경계에서는 음수 오류 코드와 실제 반환 byte 수를 본다.

구조 그림

그림 1. write() 호출에서 바뀌는 실행 영역과 값의 표현
Applicationfd=1 · buffer pointer · count
glibc write()C ABI → syscall register ABI · errno 변환
CPU entrysyscall instruction · pt_regs · syscall number
VFSfd table → struct file → file_operations
Returnkernel: byte/-errno · libc: byte/-1 + errno

사용자 공간의 -1/errno와 커널의 음수 오류 코드는 같은 위치에 존재하지 않는다. 각 층이 바로 아래 층에 넘기는 값을 표시했다.

호출 흐름

그림 2. 사용자 코드의 요청과 처리 결과
main() buffer와 count 준비
write() glibc wrapper
syscall x86-64 instruction
ksys_write fd를 struct file로 변환
return byte count 또는 errno

사용자 함수의 반환값과 커널 내부 반환값은 표현 방식이 다르다. libc가 음수 커널 오류를 -1과 errno로 바꾸는 지점을 분리해서 본다.

그림 3. 커널 내부에서 지나가는 주요 지점
entry_SYSCALL_64 pt_regs 저장
__x64_sys_write argument decode
ksys_write fdget_pos
vfs_write file_operations
f_pos offset 갱신

함수 이름을 외우기 위한 그림이 아니다. 반환값, 파일 디스크립터, 메모리 매핑, 대기 큐 가운데 무엇이 다음 단계로 전달되는지 확인한다.

Linux 6.18.37 LTS 소스 위치

glibc 함수에서 멈추지 않고 syscall 구현과 커널 객체가 만나는 파일까지 내려간다. 링크는 동일한 태그의 원본 파일을 가리킨다.

파일함수·구조체여기서 볼 것
arch/x86/entry/entry_64.S entry_SYSCALL_64 CPU가 userspace register를 pt_regs로 바꾸는 첫 지점
fs/read_write.c ksys_write(), vfs_write() 정수 fd가 struct file과 file_operations로 바뀌는 과정
include/linux/syscalls.h SYSCALL_DEFINE3(write) syscall prototype과 argument type

실행 예제 원본

아래 코드는 설명을 위해 중간 줄을 생략한 의사 코드가 아니다. 파일로 빌드해 실행할 수 있는 최소 예제다.

빌드cc -std=c17 -Wall -Wextra -O2 syscall_write.c -o syscall_write
01#include <errno.h>
02#include <stdio.h>
03#include <string.h>
04#include <unistd.h>
05
06int main(void)
07{
08    const char message[] = "syscall boundary\n";
09    size_t done = 0;
10
11    while (done < sizeof(message) - 1) {
12        ssize_t n = write(STDOUT_FILENO, message + done,
13                          sizeof(message) - 1 - done);
14        if (n > 0) {
15            done += (size_t)n;
16            continue;
17        }
18        if (n < 0 && errno == EINTR)
19            continue;
20        fprintf(stderr, "write: %s\n", strerror(errno));
21        return 1;
22    }
23    return 0;
24}

실행 결과

x86_64 Linux에서 예제를 실행한 결과입니다.

실행 환경

2026-11-04 x86_64 Debian 환경(Linux 6.12.94, gcc 14.2.0, glibc 2.41, -std=c17)에서 위 원본을 그대로 빌드하고 실행했다. 이 글의 기준 환경(ARM64, Linux 6.18.37 LTS)과 다르므로 PID, inode, 주소 값은 실행할 때마다 달라질 수 있다.

libc의 syscall 래퍼로 write를 호출한 결과가 정상 출력되었다. 본문의 NASM 예제도 그대로 조립·링크해 실행했고, strace에서 write가 16바이트를 반환한 뒤 exit(0)으로 끝났다.

$ ./syscall_write
syscall boundary
$ strace -e trace=write,exit ./hello_nasm   # lab: NASM example from this page
write(1, "hello from NASM\n", 16hello from NASM
)       = 16
exit(0)                                 = ?
+++ exited with 0 +++
syscall_write 실행과 NASM 예제 strace 결과를 담은 터미널 캡처
빌드·실행·strace·추가 실험 기록을 정리한 이미지입니다. 호스트명·경로·계정명은 일반 표기로 바꿨으며, 생략한 출력은 이미지에 표시했습니다.

ARM64 실행 결과

ARM64 에뮬레이터(QEMU, Cortex-A53)에서도 실행했습니다.

ARM64 실행 명령과 출력 화면: syscall-libc-abi
ARM64 QEMU 실행 기록
실행 출력 원문

저장된 실행 로그를 화면에 표시한 이미지입니다.

syscall boundary
검증 절차 종료 값: 0
실행 환경

위 C 예제를 ARM64용으로 교차 컴파일한 뒤, 2026-11-04에 Linux 6.18.58-0-virt에서 실행했습니다. QEMU virt의 Cortex-A53 에뮬레이션(TCG, CPU 2개, 메모리 512 MiB)을 사용했으며, 실물 ARM 보드에서 측정한 결과는 아닙니다. GCC 15.2.0과 glibc 2.43으로 정적 링크했고, 게스트의 셸과 기본 명령은 Alpine 3.23.7을 사용했습니다. 이 글의 기준 버전인 Linux 6.18.37과는 패치 버전이 다릅니다.

게스트 안에서 root로 실행했고, 네트워크는 내부 루프백만 사용했습니다. 호스트 디스크는 연결하지 않았습니다. 여기서 확인한 것은 예제의 실행 결과이며, 실제 보드의 성능·타이밍이나 커널 내부 경로 전체를 검증한 것은 아닙니다.

위 예제 소스는 바꾸지 않았습니다. x86_64 호스트에서 ARM64용으로 교차 컴파일한 뒤 게스트 안에서 실행했으며, 격리된 실행 환경을 위해 정적 링크 옵션을 추가했습니다. 빌드에 사용한 UAPI 헤더는 7.0.0이며, 실행 중인 커널 버전과는 별개입니다.

aarch64-linux-gnu-gcc-15 -static -std=c17 -Wall -Wextra -O2 syscall_write.c -o syscall_write

/examples/syscall_write

실행 명령·출력 원문 · 환경·해시 기록 · 전체 부팅·실행 기록

코드 조각별 설명

실제 코드 8행const char message[]

문자열 literal의 끝에는 NUL이 붙지만 write()로 내보낼 데이터 길이에는 NUL을 포함하지 않는다.

실제 코드 11행while (done <

write()는 요청한 길이보다 적게 쓸 수 있으므로 완료 byte를 별도로 누적한다.

실제 코드 12행ssize_t n = write

성공 시 byte 수, 실패 시 -1이므로 size_t가 아니라 음수를 표현할 수 있는 ssize_t로 받는다.

실제 코드 18행errno == EINTR

signal handler 실행 때문에 실제 쓰기 전에 중단된 경우 같은 위치에서 다시 시도한다.

실제 코드 20행strerror(errno)

오류를 출력하기 전에 errno를 바꾸는 다른 함수를 호출하지 않는다. 멀티스레드에서는 errno가 thread-local이다.

세부 동작

01

호출 규약과 syscall 규약은 별개다

C 함수 호출은 compiler ABI를 따르고, syscall 진입은 architecture가 정한 별도 레지스터 배치를 따른다. x86-64에서는 syscall 번호가 rax에 있고 네 번째 인자는 함수 호출 때의 rcx가 아니라 r10으로 옮겨진다.

wrapper를 우회해 inline assembly를 쓰면 cancellation point, errno 변환, vDSO 선택 같은 libc 정책도 직접 책임져야 한다. 단순히 instruction 한 줄을 줄이는 최적화가 아니다.

02

fd는 커널 포인터가 아니다

STDOUT_FILENO 값 1은 프로세스의 파일 디스크립터 표를 찾기 위한 작은 정수다. ksys_write()가 fdget_pos()로 struct file 참조를 잡은 뒤에야 open file description에 도달한다.

dup()나 fork() 뒤에는 서로 다른 fd가 같은 struct file을 가리킬 수 있다. 이때 file offset과 status flag가 공유된다.

03

반환값은 데이터 흐름의 일부다

regular file에서도 signal, resource limit, filesystem error 때문에 짧은 쓰기가 생길 수 있다. pipe, socket, nonblocking fd에서는 더 흔하다.

n == 0인 write 결과를 무한 재시도하지 않도록 실제 프로그램은 대상 종류와 진행 보장 조건도 정해야 한다.

객체와 수명

대상언제 생기고 없어지는가확인할 값
int fdopen 또는 상속으로 생기고 close/exec close-on-exec에서 사라진다FD_CLOEXEC, fd table slot
struct fileopen file description이며 마지막 참조가 떨어질 때 해제된다f_pos, f_flags, f_op
errno실패한 libc 호출이 현재 thread의 값을 기록한다반환값이 -1일 때만 읽기

실패 조건과 오해하기 쉬운 부분

겉으로 보이는 현상실제 원인 후보확인 방법
write()가 -1EBADF, EPIPE, EFAULT, filesystem 오류strace 반환값과 signal(SIGPIPE) 확인
일부 byte만 기록pipe/socket 공간, signal, quota, limit반환 byte를 누적했는지 확인
프로그램이 갑자기 종료닫힌 pipe/socket에 써 SIGPIPE 수신SIGPIPE disposition과 EPIPE 확인

직접 확인

  1. 예제를 터미널에서 실행하고 strace가 write(1, ..., 17)처럼 fd, buffer, count를 표시하는지 확인한다.
  2. stdout을 head -c 1에 pipe한 뒤 큰 buffer를 반복 전송하여 EPIPE와 SIGPIPE의 관계를 본다.
  3. objdump -d로 실행 파일의 write@plt 호출을 찾고, gdb에서 해당 wrapper와 syscall 직전 레지스터를 비교한다.
실행./syscall_write
추적strace -e trace=write ./syscall_write

NASM에서는 libc 없이 커널 경계로 진입합니다

아래 예제는 Linux x86-64 ABI에서 ELF 진입점 _start를 직접 정의합니다. i386·x32·다른 CPU에 번호와 레지스터를 그대로 적용하지 않습니다. 번호는 rax, 인자 1~6은 rdi·rsi·rdx·r10·r8·r9, 반환값은 rax입니다. 네 번째 인자는 C 함수 호출의 rcx와 다릅니다. syscall은 rcx·r11을 덮으므로 그곳에 루프 상태를 보관하지 않습니다.

global _start
section .rodata
message: db "hello from NASM", 10
message_len: equ $ - message
section .text
_start:
    lea rsi, [rel message]
    mov edx, message_len
.write_more:
    mov eax, 1
    mov edi, 1
    syscall
    cmp rax, -4
    je .write_more
    test rax, rax
    jle .failed
    add rsi, rax
    sub rdx, rax
    jnz .write_more
    xor edi, edi
    mov eax, 60
    syscall
.failed:
    mov edi, 1
    mov eax, 60
    syscall

write 번호 1과 exit 번호 60을 사용합니다. 성공한 바이트 수만큼 rsi를 옮기고 rdx를 줄여 부분 쓰기에 대비합니다. raw 반환값 -4(EINTR)는 같은 구간을 재시도하며, 다른 음수 또는 진행 없는 0은 상태 1로 종료합니다. libc가 오류를 -1과 errno로 표현하는 것과 구분합니다. 닫힌 파이프의 SIGPIPE는 기본 처리 상태에서 이 오류 분기에 도달하기 전에 프로세스를 종료할 수 있습니다.

nasm -f elf64 hello_nasm.asm -o hello_nasm.o
ld hello_nasm.o -o hello_nasm
./hello_nasm
strace -e trace=write,exit ./hello_nasm

실제로 실행한 범위

2026-10-29, WSL2 Linux 6.18.33.2의 x86-64 환경에서 NASM 3.01·GNU ld 2.46·strace 6.19로 빌드·실행했습니다. 이 실행 커널은 본문의 소스 분석 버전 6.18.37과 다릅니다. 예제 파일에 위 코드를 넣고 도구가 준비된 Linux 환경에서 실행합니다.

시험관찰해석 범위
정상 실행16바이트 출력, write=16, exit=0hello from NASM과 줄바꿈
첫 write에 EINTR 주입같은 16바이트 재시도, exit=0실제 신호 타이밍 실험 아님
첫 반환값 4 주입다음 요청은 o from NASM과 줄바꿈 12바이트주입된 첫 4바이트는 실제로 쓰이지 않음
첫 반환값 0 / EBADF 주입두 경우 모두 exit=1진행 없음·오류 분기 확인

오류 주입은 제어 흐름을 확인하는 시험입니다. 실제 파이프 압력에 의한 부분 쓰기나 모든 오류 경로를 검증했다는 뜻은 아닙니다. 원 자료의 고급 예제 전체를 이 실행 결과로 승인하지 않습니다.

자료: NASM ELF 출력 형식, syscall ABI, write 반환값, 고정 커널의 진입 레지스터. 주제 출발점은 Ayman Alheraki의 NASM 자료이며, 이 예제와 실행 검사는 별도로 작성했습니다.

원문