RESEARCH · EVIDENCE

매끄러운 스케일링과 갑작스러운 점수: quanta와 측정 지표

평균 손실의 모양, 과제별 능력, 채점 방식은 각각 다른 층위에서 설명해야 합니다.

quanta는 가설 모델이며 실제로 발견된 내부 부품이 아닙니다

Michaud 등의 Quantization Model of Neural Scaling은 지식·기술의 이산 단위를 가정하고 자주 필요한 단위부터 학습하는 모델을 제안합니다. 각 변화가 급격해도 빈도가 다른 많은 단위를 평균하면 매끄러운 손실 곡선이 나올 수 있다는 설명입니다. 실제 LLM 내부의 모든 학습이 이 구조를 따른다고 확정된 것은 아닙니다.

원 논문은 합성 과제로 가능성을 시험하고 실제 언어 모델의 변화도 분석합니다. 여기서는 그림과 군집을 새로 분석하지 않았으므로, 원고에 있던 세부 표본 수와 군집 결과를 독자적으로 관측한 결과처럼 옮기지 않습니다.

남은 빈도의 합이 멱법칙이 되는 조건

설명용으로 단위 빈도를 p_k ∝ k^(−α−1), α>0이라 하고 앞의 n개를 이미 배웠다고 가정합니다. 남은 손실이 아직 배우지 않은 단위의 빈도 합에 비례한다면, 큰 n에서 꼬리 합을 적분으로 근사할 수 있습니다.

가정에 따른 꼬리 적분 · 실제 모델 측정값이 아님
남은 손실 ∝ Σ(k>n) k^(−α−1)
          ≈ ∫[n,∞] x^(−α−1) dx
          = n^(−α) / α
n: 학습한 단위 수
α: 양의 빈도 분포 지수

n을 곧바로 파라미터 수나 훈련 step으로 바꾸려면 그 양과 학습 단위 수 사이의 추가 관계가 필요합니다. 합성 과제를 이렇게 설계할 수 있다고 해서 자연어 과제의 내부 메커니즘까지 확인되는 것은 아닙니다.

같은 출력도 지표에 따라 계단처럼 보일 수 있습니다

Schaeffer 등의 Are Emergent Abilities of Large Language Models a Mirage?는 같은 출력에 적용하는 비선형·불연속 지표가 갑작스러운 능력처럼 보이는 효과를 만들 수 있다고 분석합니다. 그렇다고 이 설명이 학습 변화가 전혀 없다는 증명이 되지는 않습니다.

직접 만든 예시로, 열 자리 답 중 아홉 자리를 맞힌 결과와 열 자리를 모두 맞힌 결과를 비교해 보겠습니다. 전체가 정확해야 점수를 주면 0→1이고, 자리별 비율이면 0.9→1입니다. 같은 두 출력의 변화가 다른 수치로 표현됩니다. 이 예시는 LLM 실험 결과가 아니라 채점 규칙의 차이를 보여 줍니다.

한 번의 급락만으로 반복되는 변화라고 판단할 수는 없습니다

Michaud의 후속 재검토는 단일 seed에서 급락한 것처럼 보이는 일부 토큰이 다른 seed에서는 이미 부분 진전을 보였다고 설명합니다. 저자는 일부 과제만 이산적으로 학습되는 약한 quanta 가설을 선호한다는 견해를 제시합니다. 이는 연구자의 해석이며 quanta가 실측된 고정 부품이라는 뜻이 아닙니다.

같은 과제·출력에서 지표를 바꾸고, 모델 규모와 seed를 구분하며, 평균뿐 아니라 개별 변화와 불확실성을 함께 보아야 합니다. 내부 메커니즘의 변화와 평가 지표의 효과는 각각 다른 증거로 따져 봐야 합니다.

grokking은 또 다른 실험 축입니다

원래 grokking 연구는 작은 알고리즘 데이터셋에서 과적합 이후에도 훈련하면서 일반화가 크게 개선되는 현상을 다룹니다. 한 모델의 훈련 시간 축과 서로 다른 규모의 LLM을 비교하는 축은 같지 않습니다. 두 현상의 곡선 모양이 비슷하다고 해서 같은 메커니즘이라고 단정할 수는 없습니다.

이 글은 기존 원고를 위 논문과 저자 설명에 비추어 정리한 이론 해설입니다. 모델 훈련, 토큰 손실 재계산, 인과 회로 검증은 하지 않았고 원저자의 도표도 옮겨 싣지 않았습니다.

English summary. A frequency-tail model can yield smooth aggregate loss despite discrete assumed units. Metrics and seed variation provide alternative explanations for sharp scores. Grokking concerns generalization during extended training, not the same axis as model-size scaling. No model experiment was performed.