루마이, 광 추론 서버 ARIA 연구소 배치

영국 광 연산 기업 루마이(Lumai)가 첫 광 추론 서버 아이리스 노바(Iris Nova)를 영국 고등연구발명청(ARIA)의 스케일링 인퍼런스 랩(Scaling Inference Lab)에 배치한다고 11월 3일 발표했다. 이 연구소에 들어가는 첫 광 추론 플랫폼이다. 루마이는 트랜지스터 대신 빛으로 AI 추론의 핵심 연산을 처리하면 데이터센터 전력 소비를 90%까지 줄일 수 있다고 주장한다. 이번 배치는 그 주장을 상업 데이터센터와 같은 조건에서 처음으로 검증받는 자리다.

스케일링 인퍼런스 랩은 ARIA가 5,000만 파운드를 대고 비영리 단체 커먼AI(CommonAI CIC)가 운영하는 시험장이다. 표준 전력과 냉각, 랙 구성을 갖춘 실제 상업 환경에서 차세대 연산 구조를 실제 워크로드로 시험한다. 커먼AI는 6월 9일 첫 클러스터를 콰타플롭 AI(Quettaflop AI)와 함께 배치해 감가상각된 구형 GPU가 소프트웨어 설계로 성능을 메울 수 있는지 시험한다고 밝혔다. 같은 날 영국 과학혁신기술부는 연구소에 2,000만 파운드 이상을 추가로 약속했다. 두 번째 클러스터는 칼로섬(Callosum)과 함께 서로 다른 칩을 엮어 돌리는 이기종 하드웨어 운용을 맡기로 했다.

양쪽 수장은 이번 배치에 무게를 실었다. 셴신 궈(Xianxin Guo) 루마이 공동창업자 겸 최고경영자(CEO)는 "이제 AI 배치 속도를 제한하는 것은 수요가 아니라 전력"이라고 말했다. 그는 "상업 데이터센터에서 다중 노드 시스템을 돌려 보는 것이 새 연산 구조가 실제 배치에 준비됐는지 증명하는 자리"라고 덧붙였다. 데이비드 루이스(David Lewis) ARIA 최고과학기술책임자는 "루마이의 기술은 우리가 평가한 광 연산 플랫폼 가운데 가장 성숙했다"며 AI 추론의 에너지 효율을 높이고 공급이 빠듯한 세계 하드웨어 공급망 의존을 줄일 잠재력이 있다고 밝혔다.

루마이는 2021년 옥스퍼드대 광학 연구에서 분사했다. 루마이 보도자료에 따르면 아이리스는 숫자를 빛의 세기로 바꾸고 렌즈 같은 수동 광학 부품으로 계산한다. 계산 자체에 드는 에너지는 무시할 만한 수준이고 성능을 올려도 전력은 거의 늘지 않는다는 것이 회사 설명이다. 모든 것을 빛으로 하지는 않는다. 보도에 따르면 필립 버(Phillip Burr) 루마이 제품 총괄은 행렬 곱셈은 광학이 맡고 메모리와 제어, 비선형 함수는 전자 회로가 처리하는 혼합 구조라고 설명했다.

이 설계가 겨누는 지점은 추론의 첫 단계다. 대형 모델 추론은 프롬프트와 맥락을 한꺼번에 처리하는 프리필(prefill)과 출력 토큰을 하나씩 만드는 디코드(decode)로 나뉜다. 버 총괄은 "프리필은 연산이 병목인 단계로, 모델 가중치 하나가 프롬프트의 모든 토큰에 다시 쓰여 산술이 지배한다"고 말했다고 보도는 전했다. 디코드는 메모리 대역폭이 병목이라 계산이 빨라져도 이득이 작고, 높은 정밀도와 끊임없는 가중치 갱신이 필요한 학습도 지금의 광 연산에 맞지 않는다는 것이 그의 설명이다. 그는 "GPU는 학습과 디코드에 여전히 잘 맞는다"며 프리필을 GPU에서 덜어 내면 그만큼 GPU를 디코드에 돌릴 수 있다고 했다.

메탈이 확인한 루마이 제품 페이지는 아이리스 노바의 사양을 적고 있다. 광학 엔진은 최대 2048×2048 크기의 행렬 곱셈을 INT4·INT8 수준 정밀도로 처리하고, 효율은 와트당 최대 100TOPS다. 10kW 전력 예산 안에서 1엑사OPS를 내도록 설계했으며 지금은 Llama 8B와 70B 모델을 실시간으로 돌린다. 다음 세대인 아이리스 아우라(Iris Aura)와 아이리스 테트라(Iris Tetra)도 예고했다. 루마이는 디코드용 실리콘과 짝을 이루면 실리콘만 쓰는 시스템보다 추론 한 번당 에너지 효율이 16배 이상 좋고 총소유비용은 기존 GPU 구조의 약 10분의 1이라고 주장했다.

데이터센터 운영자가 따질 대목은 설치 조건이다. 보도에 따르면 아이리스 노바는 표준 공랭식 랙에서 돌아가고 액체 냉각이 필요 없다. 부품도 새 소재나 맞춤 제작이 아니라 데이터센터 통신용으로 이미 대량 생산되는 것을 쓴다. 소프트웨어는 파이토치(PyTorch)와 표준 네트워크 인터페이스, 프리필과 디코드를 다른 하드웨어에 나눠 맡기는 분리형 서빙 프레임워크 vLLM·SGLang과 맞물린다. 버 총괄은 운영자에게 결정적인 요소가 전체 연산 가운데 프리필이 차지하는 비중이라며, 긴 프롬프트와 큰 맥락을 거듭 처리하는 에이전트 작업에서 프리필이 지배적이라고 짚었다.

전력 문제의 규모를 두고 루마이는 큰 숫자를 내놨다. 회사 추산으로는 선도 AI 연구소 한 곳의 연산 목표를 기존 가속기만으로 채우면 앞으로 5년 안에 인프라 비용이 100조 달러에 이르고 추가 전력은 1,000GW를 넘는다. 개빈 페리스(Gavin Ferris) 커먼AI CEO는 "영국은 자국 AI 연산 역량을 쌓으면서 가진 전력 안에서 해내야 한다"며 새로운 연산 방식을 찾아 증명해야 한다고 말했다. 메탈은 PJM이 데이터센터 전력 백스톱 조달안을 다시 제출한 소식을 보도한 바 있다. 송전망이 늘어나는 부하를 어떻게 감당할지가 규제 테이블에 오른 사이, 같은 전력으로 더 많은 토큰을 뽑는 쪽에서도 해법을 찾고 있다.

90%와 16배는 아직 루마이가 내놓은 수치다. 루마이는 이번 배치로 상업 환경에서 실제 AI 워크로드를 돌리고 시스템 단위 성능 데이터를 확보해 다음 양산 제품 설계에 반영하겠다고 밝혔다. 엔지니어 관점에서 눈여겨볼 것은 구조 그 자체다. 프리필과 디코드를 다른 칩에 나눠 맡기는 분리형 서빙이 표준이 될수록 GPU 하나로 모든 단계를 처리하던 데이터센터 설계가 단계별 전용 하드웨어의 조합으로 바뀐다. 독립 연구소가 내놓을 랙 단위 측정치가 그 전환이 전력 예산 안에서 실제로 성립하는지 가를 첫 근거가 된다.