엔비디아, 베라 루빈에 Groq 3 LPX 얹어 토큰 속도 4배로

AI가 모델을 훈련하는 단계에서 추론하는 단계로 넘어가면서, 인프라가 감당해야 할 일도 달라졌어요. 에이전트는 답변 한 번으로 끝나지 않고 추론하고, 도구를 쓰고, 다른 AI 시스템과 정보를 주고받으면서 토큰을 계속 생성해요. 문맥 창 — AI가 한 번에 기억하며 읽을 수 있는 분량 — 도 점점 커지고 있고요. 엔비디아는 이 흐름을 두고 훈련 인프라와는 다른, 처리량·응답성·비용 효율을 동시에 맞추는 새로운 인프라가 필요하다고 설명했어요.

엔비디아가 강조하는 건 개별 부품을 따로 최적화하는 방식이 아니라 '익스트림 코디자인'이에요. 베라 루빈의 컴퓨팅, Spectrum-X 이더넷의 네트워킹, Groq 3 LPX의 추론 가속을 하나의 통합 시스템으로 설계했다는 뜻이에요. 루빈 GPU가 대규모 문맥 처리를 맡고, LPX가 지연에 민감한 디코드(토큰 생성) 작업을 가속하는 구조로 역할을 나눠요.

10만 토큰 문맥에서 초당 3,400 토큰

실제 성능은 아티피셜 애널리시스 — 모델의 속도와 가격을 독립적으로 재는 분석 회사 — 의 벤치마크로 제시됐어요. 오픈소스 에이전트 모델 Gemma 4 31B를 10만 토큰 길이의 장문맥 환경에서 돌렸을 때, 초당 3,400개의 출력 토큰을 냈다고 해요. 이 수치는 에이전트 시스템에서 특히 중요한 조건인데, 가장 가까운 대안 플랫폼보다 4배 빠르다고 엔비디아는 밝혔어요.

랙 하나 규모로 보면 Groq 3 LPX 배포는 LPU 가속기 256개를 칩 간 직결 링크로 묶는 구성까지 가능하다고 해요. 이렇게 모인 LPU 무리는 결정론적(같은 입력에 항상 같은 지연을 내는) 추론에 최적화된 하나의 거대 프로세서처럼 동작한다는 설명이에요.

SpaceXAI·CoreWeave·Nebius가 먼저 붙었다

이번 발표에는 이 플랫폼을 실제로 들여놓은 업체 셋이 함께 이름을 올렸어요.

파트너	도입 내용
SpaceXAI	지구 데이터센터부터 궤도 위성까지, 차세대 에이전트 AI 아키텍처에 베라 CPU 배치 계획
CoreWeave	베라 루빈 랙을 연결하는 Spectrum-X Multiplane을 상용 환경에 배포
Nebius	Groq 3 LPX를 채택한 첫 AI 클라우드, 자사 Token Factory에 결합

SpaceXAI는 오케스트레이션, 도구 사용, 코드 실행, 데이터 처리, 시뮬레이션처럼 CPU 부담이 큰 에이전트 작업을 베라 CPU로 가속할 계획이라고 밝혔어요. CoreWeave는 여러 스위치를 병렬로 연결해 고대역폭에 손실 없는 네트워크를 만드는 Spectrum-X Multiplane을 이미 프로덕션에 넣었고요. Nebius는 자사 추론 서비스 Token Factory에 Groq 3 LPX를 더해 코딩 에이전트 같은 실시간 서비스의 응답성을 끌어올리겠다고 했어요.

네트워크도 같이 바뀐다 — Spectrum-X Multiplane

AI 팩토리 규모가 커지면 병목은 칩이 아니라 네트워크에서 먼저 터져요. 기존 방식대로 클러스터를 키우려면 세 번째 네트워크 계층을 더해야 하는데, 그러면 지연이 늘고 케이블·광트랜시버·전력 비용까지 같이 뛰어요. Spectrum-X Multiplane은 서버 한 대의 네트워크 연결을 여러 개의 독립된 '플레인'으로 쪼개, 각 플레인이 자체 2계층 네트워크로 동작하게 하는 방식으로 이 문제를 피해요. 그 결과 세 번째 계층 없이도 GPU 51만2,000개까지 뻗어나가는 평평한 네트워크를 만들 수 있다고 해요.

이 분산과 장애 대응은 ConnectX SuperNIC 안의 전용 하드웨어 엔진이 자동으로 처리해요. 8개 플레인 구성에서 하나가 죽어도 전체 대역폭의 약 90%가 그대로 유지되고, 복구 속도는 소프트웨어 기반 방식보다 11배 빠르다고 엔비디아는 설명했어요. 이걸 AI 팩토리 전체 처리량으로 환산하면 1.6배 높은 산출로 이어진다고 해요. 이 구조를 뒷받침하는 하드웨어는 102.4Tb/s급 Spectrum-6 이더넷 ASIC 기반 SN6000 시리즈 스위치와, GPU당 최대 1,600Gb/s를 지원하는 ConnectX-9 SuperNIC이에요. 여기에 데이터센터 여러 곳을 하나의 슈퍼 팩토리처럼 묶는 Spectrum-XGS 이더넷을 더하면 다중 사이트 간 협업 연산(NCCL collectives) 속도가 1.9배 빨라진다고 밝혔어요.

다섯 번째 축, Scale-In

엔비디아는 이번에 네트워킹의 새로운 축도 함께 소개했어요. 이름은 Scale-In, BlueField-4 프로세서와 DOCA 소프트웨어 플랫폼 위에서 Spectrum-X 이더넷으로 연결돼요. 기존에는 데이터센터 안팎을 드나드는 접근 네트워크(north-south)로 취급되던 영역을 하나의 가속화된 인프라 도메인으로 묶는 구조라고 설명했어요.

에이전트가 데이터·스토리지·서비스와 끊임없이 상호작용하면서, 이제 보안·운영·저장까지 컴퓨팅과 나란히 가속돼야 한다는 게 엔비디아의 논리예요. Scale-In은 멀티테넌트 네트워킹, 고성능 스토리지 접근, 실리콘 단의 보안, 탄력적 프로비저닝, 실시간 관측성을 제공하면서 인프라 처리를 호스트 컴퓨팅 자원과 분리해 둔다고 해요.

에디터의 시선

이번 발표를 한 줄로 정리하면, 엔비디아가 훈련용 GPU를 파는 회사에서 추론 파이프라인 전체를 파는 회사로 넘어가는 중간 단계예요. Groq 3 LPX, Spectrum-X Multiplane, Scale-In 세 가지를 같은 날 한 콘퍼런스에서 묶어 내놓은 건 우연이 아니에요. 훈련 시절엔 GPU 개수와 대역폭만 재면 됐지만, 에이전트 추론은 지연·문맥 길이·네트워크 장애 대응까지 한꺼번에 걸리는 문제라서 엔비디아 스스로 인프라를 통째로 코디자인하지 않으면 팔 게 없다고 판단한 셈이에요.

예전엔 GPU 클러스터를 늘리는 게 곧 성능 확장이었지만, 이번 발표를 보면 그 등식이 깨졌어요. 초당 3,400 토큰이라는 숫자 자체보다, 그걸 10만 토큰짜리 긴 문맥에서 냈다는 조건이 더 중요해요. 짧은 프롬프트에서 빠른 건 누구나 할 수 있고, 진짜 병목은 대화가 길어지고 도구 호출이 겹겹이 쌓일 때 드러나거든요. 국내에서 에이전트형 서비스를 준비하는 팀이라면 지금 벤치마크를 짧은 문맥으로만 돌려보고 안심하는 건 위험해요. 실제 서비스에서 쓰일 문맥 길이 그대로 지연을 재보는 게 먼저예요.

네트워크 쪽 숫자도 실무적으로 곱씹어 볼 값어치가 있어요. 플레인 하나가 죽어도 대역폭 90%를 지킨다는 건, 장애 대응을 위해 별도로 여유분 인프라를 사놓지 않아도 된다는 뜻이거든요. 인프라를 직접 굴리는 게 아니라 클라우드 사업자를 통해 GPU를 빌려 쓰는 국내 스타트업 입장에서는, 이런 구조가 실제로 요금이나 안정성에 반영되는지 계약 전에 물어보는 게 남는 장사예요.

다음 몇 주 안에는 Groq 3 LPX를 실제로 얹은 클라우드가 더 늘어날 가능성이 커요. 엔비디아 스스로도 이번 발표를 '시작일 뿐'이라며 더 많은 모델과 최적화가 뒤따를 거라고 했으니, 이번 벤치마크 수치가 다음 세대에서 다시 갱신되는 흐름이 이어질 거예요.