Scheduler · Linux 6.18.37 LTS · source + diagram note

NOHZ

Linux v6.18.37에서 idle 진입, tick 정지 판단, scheduler의 NOHZ balance 기록을 서로 다른 상태로 추적합니다.

전체 흐름

NOHZ idle 경로에서 idle 진입, periodic tick 정지, scheduler의 idle balancing 기록은 서로 다른 사건이다. Linux v6.18.37은 tick_sched의 TS_FLAG_* 상태로 정지를 검사한다.

시간 계층

tick_nohz_idle_enter는 idle 시간을 시작한다. 별도 idle loop 호출이 tick 정지 가능성과 다음 timer event를 판단한다.

scheduler 계층

첫 실제 정지 뒤 nohz_balance_enter_idle가 호출되더라도 active CPU·domain 조건에서 기록을 생략할 수 있다.

그림 1. v6.18.37 idle 진입·tick 정지·scheduler 기록의 경계
idle loop 진입tick_nohz_idle_enter가 TS_FLAG_INIDLE 설정
tick 정지 판단tick_nohz_idle_stop_tick이 정지 조건·다음 이벤트 검사
첫 실제 정지TS_FLAG_STOPPED 전환 시에만 다음 단계 호출
scheduler 기록nohz_balance_enter_idle이 추가 조건 후 mask/load 상태 갱신
idle 진입만으로 tick이 멈추지 않는다. RCU quiescent-state 처리와 scheduler idle balance 기록은 동일한 상태가 아니다. 이 그림은 idle dynticks 발췌 범위이며 실행 중 CPU의 NO_HZ_FULL 전체 경로를 뜻하지 않는다.

tick-sched.c:1204–1266와 fair.c:12705–12756를 연결했다. 첫 stopped 전환과 scheduler의 조건부 기록을 분리해 읽는다.

소스 코드 위치

Linux v6.18.37 고정 소스

함께 읽을 파일:
kernel/time/tick-sched.c — idle enter, stop decision, flag, exit
kernel/sched/fair.c — NOHZ idle balance 상태 기록

tick-sched.c의 nohz_balance_enter_idle는 호출 지점이다. 정의는 fair.c에 있다. 두 파일의 v6.18.37 tag를 나눠 읽는다.

버전 경계: v6.6의 ts->tick_stopped 직접 필드 검사와 달리, 이 버전은 tick_sched_flag_test(ts, TS_FLAG_STOPPED)를 사용한다. 이 글의 발췌는 idle tick에 초점을 맞추며 NO_HZ_FULL은 idle 이탈 분기에서만 필요한 만큼 언급한다.

대표 코드

idle 진입: TS_FLAG_INIDLE

원본 코드: kernel/time/tick-sched.c, 1245–1266행
/**
 * tick_nohz_idle_enter - prepare for entering idle on the current CPU
 *
 * Called when we start the idle loop.
 */
void tick_nohz_idle_enter(void)
{
	struct tick_sched *ts;

	lockdep_assert_irqs_enabled();

	local_irq_disable();

	ts = this_cpu_ptr(&tick_cpu_sched);

	WARN_ON_ONCE(ts->timer_expires_base);

	tick_sched_flag_set(ts, TS_FLAG_INIDLE);
	tick_nohz_start_idle(ts);

	local_irq_enable();
}

라인별 주석

원본 코드: kernel/time/tick-sched.c, v6.18.37 1245–1266행. 왼쪽 번호는 위 발췌문의 줄 번호이며 고정 원문과 대조한 행만 설명한다.

06void tick_nohz_idle_enter(void)

현재 CPU가 idle loop를 시작할 때 호출하는 함수다. 여기서는 tick 정지 여부를 결정하지 않는다.

08 struct tick_sched *ts;

현재 CPU의 tick 상태를 가리킬 포인터를 준비한다. 실제 주소는 아래의 per-CPU 조회에서 얻는다.

10 lockdep_assert_irqs_enabled();

진입 시 로컬 인터럽트가 허용돼 있어야 한다는 전제를 진단한다. lockdep 설정에 의존하는 확인이며, 이 줄이 인터럽트를 허용하거나 오류 복구를 하는 것은 아니다.

12 local_irq_disable();

현재 CPU의 인터럽트를 잠시 막고 tick 상태 변경 구간에 들어간다.

14 ts = this_cpu_ptr(&tick_cpu_sched);

per-CPU tick_cpu_sched에서 지금 CPU의 tick_sched 주소를 얻는다. CPU 전체가 하나의 ts를 공유하지 않는다.

16 WARN_ON_ONCE(ts->timer_expires_base);

이전 timer 만료 기준이 남은 상태로 idle 진입했는지 한 번 경고한다. 이 경고가 곧 tick을 정지시키지는 않는다.

18 tick_sched_flag_set(ts, TS_FLAG_INIDLE);

이 버전은 구조체의 직접 대입 대신 TS_FLAG_INIDLE 비트를 설정한다. 이 비트만으로 tick 정지는 성립하지 않는다.

19 tick_nohz_start_idle(ts);

idle 시작 시각과 계측 상태를 준비한다. 이 호출만으로 periodic tick이 멈추지는 않는다.

21 local_irq_enable();

이 함수가 막았던 로컬 인터럽트를 다시 허용한다. 다른 CPU의 인터럽트 상태는 바꾸지 않는다.

읽는 법: TS_FLAG_INIDLE과 idle 시간 측정을 시작한다. 이 함수 안에서 periodic tick을 멈추지 않는다.

정지 판단과 첫 stopped 전환

원본 코드: kernel/time/tick-sched.c, 1204–1238행
void tick_nohz_idle_stop_tick(void)
{
	struct tick_sched *ts = this_cpu_ptr(&tick_cpu_sched);
	int cpu = smp_processor_id();
	ktime_t expires;

	/*
	 * If tick_nohz_get_sleep_length() ran tick_nohz_next_event(), the
	 * tick timer expiration time is known already.
	 */
	if (ts->timer_expires_base)
		expires = ts->timer_expires;
	else if (can_stop_idle_tick(cpu, ts))
		expires = tick_nohz_next_event(ts, cpu);
	else
		return;

	ts->idle_calls++;

	if (expires > 0LL) {
		int was_stopped = tick_sched_flag_test(ts, TS_FLAG_STOPPED);

		tick_nohz_stop_tick(ts, cpu);

		ts->idle_sleeps++;
		ts->idle_expires = expires;

		if (!was_stopped && tick_sched_flag_test(ts, TS_FLAG_STOPPED)) {
			ts->idle_jiffies = ts->last_jiffies;
			nohz_balance_enter_idle(cpu);
		}
	} else {
		tick_nohz_retain_tick(ts);
	}
}

라인별 주석

원본 코드: kernel/time/tick-sched.c, v6.18.37 1204–1238행. 왼쪽 번호는 위 발췌문의 줄 번호이며 고정 원문과 대조한 행만 설명한다.

03 struct tick_sched *ts = this_cpu_ptr(&tick_cpu_sched);

현재 CPU의 tick_sched를 가져온다. 아래의 정지 조건과 만료 시각은 이 CPU의 상태로 판단한다.

11 if (ts->timer_expires_base)

앞서 계산해 둔 timer 만료 기준이 있는지 확인한다. 있으면 다음 두 줄의 재계산 경로를 건너뛴다.

13 else if (can_stop_idle_tick(cpu, ts))

캐시가 없을 때 idle tick을 멈출 수 있는지 검사한다. 거짓이면 아래 else에서 정지 시도 없이 반환한다.

14 expires = tick_nohz_next_event(ts, cpu);

정지 가능할 때 다음 event 시각을 계산한다. idle 진입 자체가 정지 허가를 뜻하지는 않는다.

20 if (expires > 0LL) {

양의 만료 시각이 있을 때만 tick 정지 경로로 간다. 다른 결과는 아래의 tick 유지 경로로 갈라진다.

21 int was_stopped = tick_sched_flag_test(ts, TS_FLAG_STOPPED);

호출 전 TS_FLAG_STOPPED 상태를 저장한다. 이미 정지된 상태와 이번에 처음 정지한 상태를 구분하기 위해서다.

23 tick_nohz_stop_tick(ts, cpu);

계산한 조건에 따라 실제 tick 정지를 시도한다. 성공 여부는 아래에서 정지 비트를 다시 검사한다.

28 if (!was_stopped && tick_sched_flag_test(ts, TS_FLAG_STOPPED)) {

호출 전에는 정지되지 않았고 호출 뒤에는 정지된 첫 전환에서만 안쪽을 실행한다.

30 nohz_balance_enter_idle(cpu);

첫 정지 전환을 scheduler에 알린다. 이 함수의 내부 조건에 따라 scheduler의 idle CPU 기록은 생략될 수 있다.

33 tick_nohz_retain_tick(ts);

양의 만료 시각이 없는 분기에서 보관된 timer 만료 기준인 timer_expires_base를 0으로 지운다. 이 경로는 tick_nohz_stop_tick을 호출하지 않는다.

읽는 법: 캐시한 timer 만료 시각을 쓰거나 can_stop_idle_tick과 tick_nohz_next_event를 거친다. 실제 첫 TS_FLAG_STOPPED 전환일 때만 scheduler 함수가 호출된다.

scheduler의 조건부 idle balance 기록

원본 코드: kernel/sched/fair.c, 12705–12756행
void nohz_balance_enter_idle(int cpu)
{
	struct rq *rq = cpu_rq(cpu);

	WARN_ON_ONCE(cpu != smp_processor_id());

	/* If this CPU is going down, then nothing needs to be done: */
	if (!cpu_active(cpu))
		return;

	/*
	 * Can be set safely without rq->lock held
	 * If a clear happens, it will have evaluated last additions because
	 * rq->lock is held during the check and the clear
	 */
	rq->has_blocked_load = 1;

	/*
	 * The tick is still stopped but load could have been added in the
	 * meantime. We set the nohz.has_blocked flag to trig a check of the
	 * *_avg. The CPU is already part of nohz.idle_cpus_mask so the clear
	 * of nohz.has_blocked can only happen after checking the new load
	 */
	if (rq->nohz_tick_stopped)
		goto out;

	/* If we're a completely isolated CPU, we don't play: */
	if (on_null_domain(rq))
		return;

	rq->nohz_tick_stopped = 1;

	cpumask_set_cpu(cpu, nohz.idle_cpus_mask);
	atomic_inc(&nohz.nr_cpus);

	/*
	 * Ensures that if nohz_idle_balance() fails to observe our
	 * @idle_cpus_mask store, it must observe the @has_blocked
	 * and @needs_update stores.
	 */
	smp_mb__after_atomic();

	set_cpu_sd_state_idle(cpu);

	WRITE_ONCE(nohz.needs_update, 1);
out:
	/*
	 * Each time a cpu enter idle, we assume that it has blocked load and
	 * enable the periodic update of the load of idle CPUs
	 */
	WRITE_ONCE(nohz.has_blocked, 1);
}

라인별 주석

원본 코드: kernel/sched/fair.c, v6.18.37 12705–12756행. 왼쪽 번호는 위 발췌문의 줄 번호이며 고정 원문과 대조한 행만 설명한다.

03 struct rq *rq = cpu_rq(cpu);

CPU 번호에 해당하는 scheduler runqueue를 얻는다. 앞 블록의 시간 계층 tick_sched와 다른 상태다.

08 if (!cpu_active(cpu))

CPU가 active가 아니면 scheduler의 idle balance 등록을 하지 않고 반환한다.

16 rq->has_blocked_load = 1;

blocked load를 다시 확인할 필요가 있음을 runqueue에 기록한다. 뒤의 조기 반환보다 먼저 수행된다.

24 if (rq->nohz_tick_stopped)

scheduler가 이미 tick 정지를 기록했다면 mask와 개수를 중복 갱신하지 않고 out으로 간다.

28 if (on_null_domain(rq))

balance domain이 없는 완전 격리 CPU라면 idle CPU mask에 넣지 않고 반환한다. 앞의 rq->has_blocked_load 설정은 유지된다.

31 rq->nohz_tick_stopped = 1;

scheduler 쪽 runqueue에 tick 정지 상태를 기록한다. 시간 계층의 TS_FLAG_STOPPED와 별도 필드다.

33 cpumask_set_cpu(cpu, nohz.idle_cpus_mask);

이 CPU를 scheduler의 idle CPU mask에 추가한다. 이 mask 설정만으로 RCU 상태를 설명할 수 없다.

34 atomic_inc(&nohz.nr_cpus);

scheduler가 세는 idle CPU 수를 원자적으로 늘린다. mask 변경과 함께 중복 등록을 피해야 한다.

41 smp_mb__after_atomic();

앞선 원자 연산 뒤 메모리 순서를 보장한다. 바로 위 원문 주석은 mask를 놓친 관찰자가 blocked/update 상태를 보게 하려는 이유를 설명한다.

51 WRITE_ONCE(nohz.has_blocked, 1);

out 경로에 도달한 경우 idle CPU들의 blocked load를 주기적으로 다시 확인하도록 표시한다. active 또는 null-domain 조기 반환에는 도달하지 않는다.

읽는 법: CPU active/domain 조건을 통과하면 rq->nohz_tick_stopped, idle CPU mask 및 load 재검사 상태를 기록한다. 이 함수가 clockevent를 직접 멈추지 않는다.

함수별 분석

tick_nohz_idle_enter는 idle 계측을 시작한다. tick 정지 여부는 별도 tick_nohz_idle_stop_tick에서 결정된다.

그림 2. v6.18.37 tick 유지와 정지를 가르는 gate
정지 가능성can_stop_idle_tick: NOHZ mode, reschedule, pending softirq, timekeeping 담당 CPU 등 검사
다음 이벤트tick_nohz_next_event: timer, RCU·arch·irq_work의 즉시 tick 요구 반영
새 정지 보류정지 불가 또는 가까운 이벤트이면 tick을 유지·재판정한다.
정지 시도유효한 만료 시각이면 tick_nohz_stop_tick; 첫 stopped 전환만 scheduler에 통지

호출이 반드시 stopped 상태를 뜻하지 않는다. tick-sched.c:1204–1238에서 expires와 전환 전후 flag를 함께 확인한다.

1. 다음 event와 정지 가능성

timer expiry가 캐시되었으면 사용하고, 아니면 can_stop_idle_tick을 거쳐 tick_nohz_next_event를 계산한다. 즉시 작업이 요구되면 새 정지를 생략한다.

2. scheduler 통지는 조건부

!was_stopped && tick_sched_flag_test(ts, TS_FLAG_STOPPED)일 때 호출한다. fair.c의 함수는 별도 active/domain 조건에 따라 scheduler idle CPU 기록을 갱신한다.

구조체와 필드

시간/tick을 다루는 per-CPU tick_sched와 load balance를 다루는 scheduler의 rq·nohz를 나눠 본다.

그림 3. v6.18.37 tick 상태와 scheduler 상태의 분리
tick_sched 시간 계층TS_FLAG_INIDLE·TS_FLAG_IDLE_ACTIVE·TS_FLAG_STOPPED
rq·nohz scheduler 계층rq->nohz_tick_stopped·nohz.idle_cpus_mask·blocked-load 재검사
첫 전환 연결tick-sched.c가 실제 첫 stopped 전환에서만 fair.c 함수를 호출
RCU 진행 조건다음 tick 계산에 영향을 줄 수 있으나 scheduler idle mask 자체가 RCU quiescent state는 아님

TS_FLAG_STOPPED와 rq->nohz_tick_stopped는 저장 위치와 갱신 조건이 달라 항상 같은 값이라고 전제할 수 없다.

관찰점갱신 함수뜻
TS_FLAG_INIDLEtick_nohz_idle_enter/exitidle loop 진입·이탈
TS_FLAG_STOPPEDtick_nohz_stop_tick·restartperiodic tick 정지 상태
rq->nohz_tick_stoppednohz_balance_enter/exit_idlescheduler가 기록한 idle balance 상태

실행 단계와 상태 변화

idle 진입이 tick 정지를 강제하지 않듯, idle 이탈도 모든 구성에서 같은 방식으로 periodic tick을 재시작하지 않는다. NO_HZ_FULL CPU라면 의존성 검사를 거쳐 정지 상태를 유지할 수 있다.

그림 4. v6.18.37 idle 체류·IRQ·이탈의 조건부 타임라인
idle 진입TS_FLAG_INIDLE 설정, idle 시간 측정 시작
tick 판단다음 만료와 stop 가능성에 따라 유지 또는 TS_FLAG_STOPPED
idle 중 IRQIRQ exit 후 다음 tick을 다시 평가할 수 있음; 즉시 restart와 동일시하지 않음
idle 이탈TS_FLAG_INIDLE 해제; stopped이면 full-dynticks 의존성에 따라 keep/restart
scheduler의 idle CPU mask는 첫 실제 stop 때 조건부로 추가된다. busy tick에서 nohz_balance_exit_idle가 별도로 정리할 수 있으므로 위 네 칸과 1:1 동기화하지 않는다.

tick-sched.c:1204–1238, 1287–1295, 1410–1472 및 fair.c:12539–12554, 12671–12756의 서로 다른 경로를 구분했다.

관찰 기준: TS_FLAG_INIDLE ≠ TS_FLAG_STOPPED ≠ rq->nohz_tick_stopped.

불변 조건과 실패 사례

시간 계측

periodic tick을 멈춰도 idle time accounting이 사라지는 것은 아니다. idle exit의 tick_nohz_account_idle_time 경로를 확인한다.

다음 event

timer·RCU·irq_work 등 즉시 작업이 있으면 장시간 tick 정지를 가정할 수 없다. IRQ 뒤에도 event 재평가가 필요할 수 있다.

scheduler 기록

fair.c의 idle CPU mask는 RCU quiescent state도, clockevent의 stop flag 자체도 아니다.

full-dynticks

idle dynticks와 실행 중 CPU의 NO_HZ_FULL은 별도 조건을 사용한다. idle exit에서도 full-dynticks 구성에 따라 tick update 경로가 갈린다.

계측과 검증

설정 여부와 실제 전환을 분리한다. full-dynticks CPU 목록만 읽고 idle tick이 멈췄다고 결론 내리지 않는다.

관찰점해석할 것
trace_tick_stop첫 TS_FLAG_STOPPED 설정은 success=1, full-dynticks의 tick 의존성 검사는 success=0과 해당 dependency를 기록한다. 모든 재시작을 기록하는 이벤트가 아니며 idle enter만으로 발생하지 않는다.
tick_nohz_idle_stop_tick 분기can_stop_idle_tick과 다음 timer event가 새 정지를 허용했는지 확인한다.
rq->nohz_tick_stopped · nohz.idle_cpus_maskfair.c의 scheduler idle balance 기록이다. TS_FLAG_STOPPED와 별도다.
/sys/devices/system/cpu/nohz_fullfull-dynticks로 구성한 CPU 목록이며 idle tick stop 횟수는 아니다.

원본: tick-sched.c의 stop/exit와 fair.c의 scheduler 기록을 함께 본다.

추가 확인 사항

  • can_stop_idle_tick이 false를 돌려 새 stop을 포기하는 조건은 무엇인가?
  • tick_nohz_next_event에서 timer·RCU·irq_work 요구가 다음 만료를 어떻게 당기는가?
  • 첫 TS_FLAG_STOPPED 전환 뒤에도 rq->nohz_tick_stopped가 설정되지 않을 수 있는 이유는 무엇인가?
  • tick_nohz_idle_exit가 full-dynticks CPU에서 tick을 계속 멈출 수 있는 조건은 무엇인가?