AI 연산 가성비, 21개월마다 두 배로 뛴다

요약

에포크AI가 2023~2025년 분기별 실제 AI칩 구매 데이터를 분석한 결과 달러당 연산 성능이 연평균 49%, 21개월마다 두 배씩 늘었다
개선 속도는 균일하지 않았다. 2023년엔 거의 정체였다가 B200이 풀리기 시작한 2024년 44%, 신세대 칩으로 지출이 옮겨간 2025년엔 80% 뛰었다
구글 TPU v6e는 H100 대비 성능/달러가 약 6배에 달하는데, 엔비디아식 마진 대신 자체 설계·제조 구조의 낮은 원가가 배경으로 지목됐다

연평균 성능/달러 개선율: 49%(90% 신뢰구간 36~66%), 21개월마다 두 배
연도별 개선폭: 2023년 거의 정체 → 2024년 +44% → 2025년 +80%
GB300 vs P100(2016, 2025년 달러 기준): 가격 약 5.5배, 성능 약 200배, 비용효율 약 37배
TPU v6e 성능/달러: H100 대비 약 6배(그래프상 약 4.5~5x 구간)
분석 방식: 2023~2025년 분기별 실제 구매 칩 기준, 버블 크기가 해당 분기 지출액
출처·발행: Epoch AI, 2026년 8월 13일

1달러가 사는 연산력, 21개월마다 두 배

AI 인프라에 쏟아붓는 돈은 매년 늘어나지만, 같은 1달러로 살 수 있는 연산 능력도 함께 커지고 있다. AI 리서치 기관 에포크AI(Epoch AI)가 2023년부터 2025년까지 분기별로 실제 구매된 AI칩 데이터를 분석한 결과, 달러당 성능은 연평균 49% 개선된 것으로 나타났다. 21개월마다 두 배로 뛰는 속도다. 이는 특정 칩의 스펙표가 아니라 그 기간 실제로 팔리고 배치된 칩들의 지출 가중 평균을 기준으로 낸 수치로 알려졌다. 신뢰구간은 연 36~66%로, 폭이 넓지만 방향성은 뚜렷하다.

매끈한 곡선이 아니라 계단식 도약

주목할 점은 이 개선이 매끈하게 이뤄지지 않았다는 것이다. 2023년엔 대부분의 지출이 엔비디아 H100 한 종류에 머물면서 성능/달러가 거의 정체됐다. 2024년 들어 B200이 출하되기 시작하자 44% 뛰었고, 2025년엔 지출 대부분이 최신 세대로 넘어가면서 80% 급등했다. 새 칩 세대가 나올 때마다 값은 비싸지지만, 그보다 훨씬 큰 폭으로 성능이 뛰면서 결과적으로 가성비가 개선되는 구조다.

대표적 사례가 엔비디아의 GB300이다. 2025년 달러 기준으로 GB300 가격은 2016년 출시된 P100의 약 5.5배지만, 성능은 약 200배에 달해 비용효율로는 약 37배 개선된 것으로 집계됐다. 9년 사이 가격은 5배 남짓 올랐는데 성능은 200배 뛴 셈이니, 단순히 '더 비싸진 칩'이 아니라 '훨씬 남는 장사'가 된 셈이다.

칩별 성능/달러, H100 기준으로 보면

에포크AI가 공개한 차트를 보면 칩 세대별 격차가 크다. 아래는 H100의 2025년 가격을 1배(1x) 기준으로 놓았을 때 각 칩의 대략적인 성능/달러 구간이다.

칩	등장 시기	성능/달러(H100=1x)
H20	2024 Q1~2025 Q3	0.3x 6
A100	2023 Q1~Q3	0.55~0.6x 11
H100/H200	2023 Q1~2025 Q3	0.75~0.95x 17
GB200	2025 Q1~Q3	1.6~1.7x 33
GB300	2025 Q3~	2~2.2x 42
Trainium2	2024 Q3~2025 Q3	3.7~4x 78
TPU v6e	2024 Q3~2025 Q3	4.5~5x 95

표에서 보듯 구글의 자체 설계 반도체 TPU v6e는 엔비디아 H100 대비 성능/달러가 6배에 이른다고 에포크AI는 추정했다. 엔비디아를 거치지 않고 직접 설계·제조 계약을 맺는 구조라 마진이 낮게 붙는다는 점이 이유로 꼽혔다. 아마존의 자체 칩 Trainium2도 H100 대비 4배 안팎의 가성비를 보여, 클라우드 대기업들이 자체 칩 개발에 뛰어드는 이유를 숫자로 뒷받침한다.

왜 이 수치가 인프라 경쟁의 배경이 되나

최근 구글이 앤스로픽에 150억 달러 규모의 금융 보증을 제공하며 텍사스 데이터센터 지분 20%와 함께 자체 TPU 공급 구조를 갖추기로 한 사례는 지난 7월 31일 확인된 바 있다. 이런 거래의 이면에는 결국 '같은 돈으로 얼마나 많은 연산을 확보하느냐'는 계산이 깔려 있다. 성능/달러가 매년 큰 폭으로 개선되는 구간에서는 구형 칩에 장기 계약을 묶어두기보다, 신세대 칩으로 빠르게 갈아타는 쪽이 유리해진다. AI 기업들이 데이터센터 계약을 짧은 주기로 재협상하거나 자체 반도체 설계에 뛰어드는 배경도 이런 흐름과 맞닿아 있다.

그래서 무엇이 달라지나

이번 분석이 알려주는 건 AI 인프라 투자가 '밑 빠진 독에 물 붓기'가 아니라는 점이다. 지출은 계속 늘지만 그 지출로 사는 연산력은 매년 더 빠르게 늘고 있다는 뜻이다. 다만 그 개선이 특정 칩 세대의 등장 시점에 몰려 있다는 점은 클라우드 업체와 AI 기업 모두에 시사하는 바가 크다. 신세대 칩 도입 타이밍을 놓치면 경쟁사보다 훨씬 비싼 값에 같은 연산력을 사는 셈이 되기 때문이다. 구글처럼 자체 칩을 설계하는 쪽과 엔비디아 칩에 의존하는 쪽 사이의 비용 격차가 이번 데이터로 숫자상 드러난 셈이어서, 앞으로 데이터센터 계약과 칩 조달 전략을 지켜볼 때 참고할 만한 기준점이 하나 늘었다.