마이크로소프트, AI 추론 칩 Maia 300 공개

마이크로소프트가 10월 12일 3세대 자체 AI 추론 칩 Maia 300을 공개하고, 2027년부터 Maia 제품군을 수 기가와트 규모로 배치해 자사 제품과 서비스의 주력 추론 시스템으로 삼겠다고 밝혔다. 회사는 Maia 300이 선도적인 GPU 기반 시스템보다 메가와트당 40% 많은 토큰을 낼 것으로 내다봤다. 가속기 96개를 다 채운 랙 구성에서는 랙 단위 토큰 처리량이 전 세대 Maia 200의 최대 7배다.

발표의 전제는 이미 돌고 있는 2세대다. 마이크로소프트에 따르면 Maia 200은 현재 Microsoft Copilot 운영 워크로드를 처리하며 사내 MAI 팀의 차세대 모델 개발을 지원하고 있고, 연말까지 GitHub Copilot과 Microsoft Foundry가 뒤를 잇는다. 이 칩 위에서는 오픈AI 모델과 자체 MAI 모델, 주요 오픈소스 모델이 함께 돈다. 미국과 유럽, 호주에 배치되고 있으며 Teams와 Copilot, Cowork에 들어간 AI 기능에서 선도 GPU 인프라보다 와트당 최대 1.7배 많은 토큰을 낸다고 회사는 밝혔다. 스콧 거스리 클라우드·AI 그룹 총괄부사장은 발표 영상에서 "Maia 200은 AI 서비스의 실제 지표로 잰 결과 우리 설비에서 가장 성능이 좋은 AI 인프라"라고 말했다.

Maia 300의 설계 목표는 추론, 그중에서도 긴 문맥과 메모리를 많이 쓰는 디코드 단계다. 칩 하나에 HBM4 메모리 스택 8개를 얹어 최대 메모리 대역폭 18.0TB/s를 내고, 전력 설계 기준(TDP)은 950와트다. 연산과 메모리 컨트롤러, 입출력 기능을 따로 떼어 낸 멀티 칩렛 구조를 처음 썼고 연산 칩렛은 TSMC의 N2P 공정으로 만든다. 칩 안의 SRAM을 소프트웨어가 관리하는 임시 저장 공간으로 써서 HBM의 부담을 덜고, 개선된 MXFP4 같은 저정밀 형식으로 연산과 KV 캐시 저장에 드는 메모리를 줄였다. 사우라브 디게 애저 하드웨어 시스템 기획·아키텍처 부사장은 이 변화를 멀티 칩렛과 HBM4, 새 정밀도 형식, 차세대 스케일업 네트워크, 더 크고 전력 효율이 높은 랙까지 다섯 갈래로 정리했다.

랙 단위 숫자가 처리량 7배의 근거다. Maia 300 랙 하나는 가속기 96개를 167킬로와트 전력 안에 묶고 HBM 27.6TB와 합산 HBM 대역폭 1.7PB/s를 하나의 고속 스케일업 영역으로 쓴다. 가속기 사이 연결은 텐서 병렬 처리에 맞췄고, 이더넷 기반의 자체 AI 전송 방식으로 랙 하나에서 데이터센터 규모까지 같은 토폴로지로 넓힌다. 메탈이 확인한 마이크로소프트 공개 사양표에 따르면 칩 한 개의 HBM 용량은 288GB, 양방향 스케일업 대역폭은 3.2TB/s이며 스케일업 영역 하나에 Maia 가속기 약 1만2000개가 묶인다.

회사가 숫자를 와트와 메가와트로 내세우는 데는 이유가 있다. 라니 보카 애저 하드웨어 시스템·인프라 사장은 "AI의 경제성은 최대 연산 성능이 아니라 시스템 전체가 얼마나 효율적으로 대규모 토큰을 만들어 내느냐로 점점 더 결정된다"고 말했다. 마이크로소프트는 대형 추론 시스템의 병목이 연산 능력이 아니라 데이터 이동이라고 보고, 소프트웨어 정의 데이터플로 구조와 AI 보조 커널 최적화로 데이터를 덜 옮기는 쪽을 택했다. 칩 분석가 오스틴 라이언스는 회사가 배포한 분석가 논평 자료에서 에이전트가 계획하고 도구를 부르고 다시 추론하는 동안 문맥이 유지돼야 하기 때문에 추론이 점점 데이터 이동 문제가 된다고 짚었다.

모델 조직과의 결합도 이번 발표의 한 축이다. 무스타파 술레이만 마이크로소프트 AI 최고경영자(CEO)는 "칩과 모델의 공동 설계는 우리가 프런티어 초지능을 만드는 데 결정적"이라고 말했다. 그는 지난 몇 년 동안 MAI 모델을 Maia 200에 올리며 얻은 교훈이 그대로 Maia 300 설계에 들어갔다고 덧붙였다. 짐 클리웨인 Microsoft 365 테크니컬 펠로는 Maia 200이 Copilot과 Cowork에서 정보 요약과 콘텐츠 작성, 여러 단계 작업을 받치는 기반 인프라라고 설명했다. 회사는 두 세대가 GitHub의 코딩 경험과 Foundry의 모델 서빙, MAI 팀의 추론·데이터 생성, 의료진의 행정 부담을 줄이는 Dragon Copilot까지 맡도록 설계됐다고 밝혔다.

자체 칩으로 의존을 줄이려는 흐름은 클라우드 밖에서도 이어진다. 메탈은 웨이모가 로보택시용 자체 칩을 개발해 엔비디아 의존을 줄인다고 보도한 바 있다. 무어 인사이츠 앤드 스트래티지의 팻 무어헤드는 같은 논평 자료에서 Maia 100에서 200, 300으로 이어진 흐름이 자체 실리콘 전략의 성숙을 보여 준다며, 그 규모에서는 자체 실리콘이 성능을 넘어 마이크로소프트 자체 AI 서비스의 수익성을 끌어올리는 요인이 될 수 있다고 평가했다.

Maia 300의 실제 운영 배치는 2027년에 시작한다. 마이크로소프트는 다음 달 샌프란시스코와 온라인에서 열리는 Microsoft Ignite 2026에서 전략을 더 공개하겠다고 밝혔다. 회사가 내건 메가와트당 40%는 아직 배치 전의 기대치이고, Maia 200의 와트당 1.7배는 이미 서비스에서 잰 값이다. 2027년의 수 기가와트 배치는 그 두 숫자 사이의 거리를 실제 데이터센터에서 확인하는 무대가 된다.