메타, 기가와트급 슈퍼클러스터 프로메테우스 공개

메타가 오하이오주 뉴올버니에 짓고 있는 기가와트급 슈퍼클러스터 프로메테우스의 내부 설계를 10월 19일 공개했다. 메타는 같은 날 공식 X 계정에서 Muse Wonder를 포함한 Muse 기반 모델을 모두 이 클러스터에서 학습했다고 밝혔다. 1단계 공사는 이미 끝났고, 다 지으면 GPU 약 100만 개가 한 대의 기계처럼 맞물려 돌아간다.

공개의 핵심은 규모가 아니라 가동률이다. Muse Wonder 학습에서 사전학습의 굿풋은 85%를 넘었고 강화학습은 90%를 넘었다. 굿풋은 투입한 연산 가운데 실제 학습에 쓰인 몫이다. 학습이 끊기는 평균 간격(MTBI)은 GPU 시간으로 약 4만7000시간이었고, 그 뒤 펌웨어 수정을 함대 전체에 깔아 5만4000시간 이상으로 늘렸다. 메타 엔지니어 케빈 리, 야샤르 바야니, 아메드 샤리프, 이 준 송은 공동 기고에서 "대형 학습 작업은 성능을 유지하려면 모든 것이 최적으로 돌아가야 하고, 호스트 하나의 문제가 작업 전체를 늦추거나 멈출 수 있다"고 썼다.

출발점은 평범한 데이터센터였다. 2년 전 뉴올버니는 웹 트래픽을 처리하는 전통적인 시설이었고, 메타는 이곳을 프론티어 모델 학습장으로 고쳐 지었다. 지금 프로메테우스에는 GPU 수십만 개가 기존 건물, AI 전용 건물, 신속 배치형 구조물에 나뉘어 들어가 있고 광섬유로 묶여 하나의 기계로 작동한다. 메타는 앞으로 메타 슈퍼인텔리전스 랩스의 다음 프론티어 모델을 위해 클러스터를 계속 키운다고 밝혔다.

하드웨어는 엔비디아 플랫폼 두 세대가 섞여 있고 세 번째가 곧 들어온다. 첫 플랫폼 카탈리나는 GB200 NVL72를 두 랙으로 나눈 아리엘 구성이다. 랙마다 GPU 36개가 NVLink로 묶여 72개짜리 단일 도메인을 이루고, HBM3e 메모리 13.4테라바이트와 FP8 기준 최대 720페타플롭스를 낸다. 메타는 GPU 하나당 네트워크 대역폭을 업계보다 먼저 800기가비트로 올리려고 이 구성을 골랐다. 두 번째 플랫폼 클레멘테는 GB300 NVL72로, GPU당 메모리를 192기가바이트에서 288기가바이트로 1.5배 늘리고 72개 GPU를 랙 하나에 담았다. 성능은 GB200 NVL72보다 5~10% 높고 랙 전력은 약 135킬로와트다.

건물 사이를 잇는 망이 학습 속도를 좌우한다. 건물 단위 이더넷 패브릭 하나가 GPU를 최대 2만736개까지 연결하고, 그 위에 백엔드 애그리게이션(BAG) 망이 2킬로미터에서 100킬로미터 넘게 떨어진 건물 패브릭을 묶는다. 이 거리에서는 빛의 속도가 제약이 되기 때문에 메타는 사전학습이 느려지지 않도록 메타 슈퍼인텔리전스 랩스와 따로 최적화 작업을 벌였다. 프로메테우스 전체에는 광섬유 가닥 수백만 마일과 스위치 수만 대, 광모듈 수백만 개가 들어갔고, 10킬로미터가 넘는 구간에는 800G-ZR 코히어런트 광모듈을 쓴다.

장애의 크기도 달라졌다. H100 세대의 NVL8에서는 NVLink로 단단히 묶인 GPU가 8개였지만 NVL72에서는 72개라 고장 하나가 번지는 범위가 9배로 커졌다. 메타는 NVL72 도메인마다 64개 GPU만 학습에 쓰고 나머지 8개를 랙 안의 예비로 둔다. GPU가 고장 나면 예비가 곧바로 자리를 메우고 작업은 마지막 체크포인트에서 다시 시작한다. 랙 전체 고장에 대비해 랙 약 2%를 더 확보한다. GPU 3만2768개로 돌리는 학습이라면 NVL72 랙 523개, GPU 3만7656개를 준비해야 하고, 이는 실제 가동 규모보다 약 13% 많다. 이 여유분 가운데 11%는 72개 중 64개만 쓰는 배치 구조에서 나온다.

숫자가 가장 크게 바뀐 곳은 중단 횟수다. 2025년 중반 초기 가동 때 중단은 GPU 8000개당 하루 1000건 가까이 치솟았다. 메타는 1년 동안 원인을 하나씩 쪼개 고친 끝에 중단을 99% 줄였다. 초기 GB200 배치의 최대 병목은 60만 개가 넘는 NVLink 연결의 신호 품질이었고, GB300으로 메모리 용량을 키우자 HBM과 LPDDR 메모리 오류가 주요 원인으로 떠올랐다. 펌웨어 묶음 배포는 GPU 10만 개 이상에 몇 시간 안에 수정본을 깔 수 있게 됐고, 포드 하나를 업그레이드하는 시간의 90번째 백분위는 7시간 넘게 걸리던 것이 2시간으로 줄었다. 메타가 내건 목표는 GPU 8000개당 하루 중단 2건, 학습 중단 간격 약 10만 GPU 시간이다.

필자들은 이 안정성을 혼자 만든 결과로 그리지 않았다. 그들은 "이런 수준의 신뢰성을 유지하려면 전통적인 공급사 관계를 넘어서는 엔비디아와의 공동 엔지니어링 모델이 필요하다"고 밝혔다. 두 회사 팀은 데이터센터에 함께 상주하며 실시간 원격 측정 자료를 나누고, 시스템이 멈출 때마다 원인을 함께 분해한다. 메타는 스케줄링과 인프라를, 엔비디아는 펌웨어와 신호 진단, 메모리 처리를 맡는 식으로 책임을 나눈다.

전력도 새로운 문제를 낳았다. 수만 개 GPU가 연산과 통신을 한꺼번에 오가면 클러스터 부하가 30~40%씩 갑자기 출렁이고, 대형 학습을 시작하거나 멈출 때는 수십 메가와트가 몇 초 만에 움직인다. 메타는 전력 상한 관리 체계 다이나모 디머로 이를 다룬다. 클러스터가 전기 한도에 가까워지면 작업을 멈추는 대신 GPU 전력 상한을 서서히 낮춘다. 랙 단위 배터리 백업과 커패시터 트레이, 시설 단위 배터리 에너지 저장장치가 순간 급등을 받아 낸다. 메탈이 확인한 엔지니어링 블로그 원문에 따르면 메타는 뉴올버니 지역 전력회사들과 협력해 이 부지의 에너지 비용 전액을 지불하고 있다고 밝혔다.

다음 단계는 이미 정해져 있다. 엔비디아 베라 루빈 NVL72를 쓰는 산미겔 플랫폼이 기존 네트워크에 바로 붙는다. 랙당 FP4 기준 최대 2.52엑사플롭스를 내고 랙 전력은 170킬로와트를 넘으며, 와트당 성능은 GB300 NVL72보다 10~20% 높다. 메탈은 메타가 프론티어 모델 Muse Wonder를 공개했다고 보도한 바 있으며, 이번 공개는 그 모델을 만든 바닥의 설계도다. 루이지애나주 리치랜드 패리시에 짓는 다음 슈퍼클러스터 하이페리온은 프로메테우스의 교훈을 처음부터 반영해 설계된다. 필자들은 "프로메테우스 규모에서 안정성은 풀 수 있는 결과가 있는 엔지니어링 과제"라고 적었다. 100만 GPU 시대의 경쟁은 칩을 몇 개 사느냐보다 그 칩을 얼마나 오래 멈추지 않고 돌리느냐로 옮겨 가고 있다.