스케일링 법칙

모델 크기·데이터 양·연산량을 키우면 성능이 예측 가능한 곡선을 그리며 좋아진다는 경험 법칙입니다. 2020년 전후 오픈AI 연구로 정식화됐고, 「크게 만들면 좋아진다는 걸 수학적으로 믿을 수 있게」 해 줬습니다.

이 법칙이 수백조 원 투자 경쟁의 이론적 근거입니다. GPU를 사 모으고 데이터센터를 짓는 이유가 「키우면 좋아진다」니까요. 반대로 「스케일링이 한계에 왔다」는 논쟁 기사는 이 법칙이 계속 통할지를 묻는 것이고, 추론 시간 컴퓨트는 그 답으로 나온 새 축입니다.