이미지: METAL LAB 생성
요약
- 오픈AI가 첫 자체 추론 칩 Jalapeño의 첫 벤치마크 결과를 핫칩스 콘퍼런스에서 공개했어요.
- 세미애널리시스 인퍼런스X 테스트에서 와트당 처리량이 엔비디아 블랙웰 시스템보다 최대 1.9배 높게 나왔어요.
- 브로드컴과 함께 만든 이 칩은 2026년 말 소량 배포를 시작해 2027년 본격 확대될 예정이에요.
- 발표 계기
- 미국 팔로알토 Hot Chips 콘퍼런스, 2026년 8월 25일(화)
- 칩 이름
- Jalapeño, 오픈AI 첫 자체 추론 전용 칩
- 개발 파트너
- 브로드컴과 공동 개발, 2024년 중반 설계 시작·2025년 11월 양산 착수
- 테스트 모델
- GPT-OSS 120B·DeepSeek R1 670B·Kimi K2.5 1T
- 핵심 성능
- 와트당 AI 작업량 1.5~1.9배, 종단 지연 1.7~3.6배 감소, 대화형 워크로드 2.1~4.1배
- GPT-OSS 처리량
- 85,448 tokens/sec/kW (기존 최고 44,960 대비 1.9배)
- 배포 일정
- 2026년 말 소량, 2027년 본격 확대 (오픈AI 하드웨어 총괄 리처드 호)
오픈AI가 자체 개발한 추론 전용 칩 Jalapeño의 첫 성능표를 공개했어요. 미국 팔로알토에서 열린 Hot Chips 콘퍼런스에서 나온 수치인데, 세미애널리시스의 공개 벤치마크 인퍼런스X로 측정한 결과 와트당 처리량이 지금 나와 있는 최고 시스템보다 최대 1.9배 높았어요.
올해 6월 공개됐던 그 칩이에요
Jalapeño는 올해 6월 처음 이름이 알려졌던 칩이에요. 이번에 나온 건 그 뒤로 진행된 실측 테스트의 첫 결과예요. 오픈AI 하드웨어 총괄 리처드 호는 언론 콜에서 이 칩이 단위 전력당 더 많은 AI 작업을 처리하면서도 응답 속도는 더 빠르다고 설명했어요. 다만 비교 대상이 엔비디아의 최신 루빈이 아니라 한 세대 전인 블랙웰 시스템이라는 점은 짚어둘 필요가 있어요. Jalapeño가 본격 배포될 즈음이면 경쟁 제품도 한참 더 나아가 있을 가능성이 크거든요.
세 개 모델로 확인한 숫자
세미애널리시스가 공개한 인퍼런스X 벤치마크로 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 세 모델을 돌려봤어요. 오픈AI가 수치를 제공했고 세미애널리시스가 일부 실행을 현장에서 검증했다고 해요.
| 모델 (파라미터) | Jalapeño | 기존 최고 시스템 | 배율 |
|---|---|---|---|
| GPT-OSS · 120B | 85,448 | 44,960 | 1.9× 100 |
| DeepSeek R1 · 670B | 19,641 | 11,781 | 1.7× 89 |
| Kimi K2.5 · 1T | 18,195 | 11,862 | 1.5× 79 |
단위는 초당 혼합 토큰 수를 킬로와트로 나눈 값이에요. 실사용 감각으로 보면 GPT-OSS 기준 사용자 한 명당 초당 약 1,400개 토큰을, DeepSeek R1 기준으로는 동시 요청 하나에서 초당 700개 이상을 뽑아냈다고 오픈AI 발표 자료는 밝혔어요. 눈여겨볼 대목은 Jalapeño가 멀티토큰 예측이나 추측 디코딩 같은 가속 기법을 쓰지 않고 이 수치를 냈다는 점이에요. 비교 대상 시스템 일부는 이런 기법을 이미 쓰고 있었으니, 아직 개선 여지가 남아 있다는 뜻이기도 해요.
16개월 만에 나온 첫 세대 칩
Jalapeño는 오픈AI가 브로드컴과 손잡고 만들었어요. 설계는 2024년 중반에 시작해 2025년 11월 최종 설계가 양산 라인으로 넘어갔고, 첫 칩 설계부터 완성된 도면이 공장으로 가기까지는 9개월이 걸렸다고 해요. 오픈AI는 이 과정에 자사 모델을 직접 투입했다고 밝혔는데, 옛 세대 모델이 칩 설계를, 최신 모델이 프로그래밍과 최적화를 도왔다고 설명했어요.
딜런 패털 세미애널리시스 CEO의 트윗에서는 "보통 1세대 칩은 경쟁력이 없는데, 오픈AI는 엔비디아 블랙웰과 루빈까지 넘어섰다"고 평가했어요. 세미애널리시스는 메모리 규격이 같은 엔비디아 베라 루빈과 견줘도 Jalapeño가 메가와트당 출력 토큰 수에서 앞섰다고 봤어요. 다만 총소유비용(토큰당 TCO)으로 따지면 두 시스템은 거의 대등한 수준이었다고 하고요.
경쟁이면서 여전히 고객
Jalapeño는 오픈AI 자사 모델에 맞춰 튜닝된 칩이 아니라 범용 LLM 추론 가속기예요. 학습은 못 하고 추론만 처리하고요. 오픈AI 최고재무책임자(CFO) 사라 프라이어는 이 칩이 데이터센터·칩·모델·개발자 플랫폼·제품·디바이스를 하나의 시스템으로 묶는 오픈AI가 밝힌 컴퓨트 전략 문서의 일부라고 설명했어요. 엔비디아·AMD·AWS·세레브라스·코어위브 같은 기존 파트너십을 대체하는 게 아니라 보완한다는 입장이에요. 실제로 엔비디아와 AMD, AWS는 오픈AI의 투자자이자 컴퓨트 파트너이기도 해서, 이번 발표가 협력과 경쟁이 동시에 얽힌 구도를 보여주는 셈이에요.
아직은 엔지니어링 샘플 단계
엔비디아와 AMD는 이미 DeepSeek V4 Pro, Kimi K3 같은 더 큰 모델로 낸 결과를 공개했는데 Jalapeño는 아직 이 모델들로 테스트되지 않았어요. 루빈 시스템은 이미 고객에게 출하되고 있지만 Jalapeño는 아직 엔지니어링 샘플 단계를 벗어나지 못한 것으로 알려졌어요. 리처드 호는 올해 말 소량 배포를 시작해 2027년에 본격적으로 규모를 키우겠다고 밝혔어요.
에디터의 시선
오픈AI가 칩을 직접 만들겠다고 선언한 건 지난해였지만, 실측 숫자를 들고 나온 건 이번이 처음이에요. 그리고 그 숫자가 경쟁자의 최신 세대가 아니라 한 세대 전 제품을 기준으로 나왔다는 사실이 이 발표의 무게를 정확히 가늠하게 해줘요. 첫 세대 칩이 상용 시스템을 이겼다는 것 자체는 의미가 크지만, 진짜 승부는 Jalapeño가 본격 배포되는 2027년 그때 엔비디아 루빈이 어디까지 가 있느냐에 달려 있어요.
이 발표에서 더 흥미로운 대목은 사실 벤치마크 숫자보다 개발 과정이에요. 오픈AI는 옛 모델로 칩을 설계하고 새 모델로 그 설계를 최적화했다고 밝혔는데, 이게 사실이라면 반도체 설계에 필요한 노하우를 외부 툴체인 없이 자사 AI로 축적하고 있다는 뜻이에요. 세미애널리시스가 "엔비디아의 쿠다(CUDA) 해자가 죽었을 수 있다"고 쓴 것도 이 지점을 겨냥한 말이에요. 새 칩에서 새 모델을 얼마나 빨리 굴릴 수 있느냐가 앞으로 반도체 경쟁의 진짜 기준이 될 수 있다는 얘기죠.
국내 기업 입장에서 이 소식을 읽는 법은 간단해요. 당장 Jalapeño를 빌려 쓸 방법은 없어요. 하지만 추론 비용이 매출의 상당 부분을 차지하는 서비스 기업이라면, 자체 칩을 확보한 빅테크와 엔비디아에 의존하는 나머지 기업 사이의 원가 격차가 2027년부터 벌어지기 시작할 수 있다는 신호로 봐야 해요. 지금은 어느 클라우드·모델 조합이 토큰당 비용을 가장 잘 관리하는지 챙겨보는 정도가 현실적인 대응이에요.
앞으로 몇 달 안에는 DeepSeek V4 Pro나 Kimi K3처럼 더 큰 모델을 놓고 Jalapeño와 엔비디아 루빈을 나란히 돌린 두 번째 벤치마크가 나올 가능성이 커요. 그 결과가 이번 첫 세대 성적표의 진짜 의미를 확인시켜 줄 거예요.
댓글