메타, 멘로파크 인프라 랩 AI 하드웨어 공개

그가 든 비유는 PC 조립이에요. 요구 사항을 정한 뒤 여러 사이트에서 부품을 사 모으는 과정을 AI 회사도 똑같이 거치는데, 어느 규모부터는 기성품을 사는 것보다 직접 설계하는 쪽이 효율적이라는 거예요. 서버로 채울 방이 하나 있다고 하면 기성품만으로는 GPU 1,000개가 들어갈 자리에, 직접 설계한 하드웨어로는 같은 공간에 두 배의 연산 용량을 넣을 수 있다고 영상은 설명해요. 시스템이 촘촘해질 뿐 아니라 칩 하나하나가 더 강해지기 때문이에요.

실물 비교가 이 영상의 핵심이에요. 톰 쇼가 먼저 보여 준 트레이에는 NVIDIA H100 칩 8개가 들어 있고, 바로 옆 트레이에는 NVIDIA GB300 4개가 들어 있어요. 그는 두 칩의 세부 비교는 하지 않겠다면서도 GB300 4개가 H100 8개보다 강력하다고 말했어요. 크기가 훨씬 작아 랙 하나에 더 많은 칩이 들어가고, 칩 하나의 성능도 세니까 랙 하나에 담기는 연산량이 크게 늘어나요. 그런데 이 GB300을 H100 트레이에 그냥 끼워 넣을 수는 없어요. 가장 큰 이유가 냉각이에요.

H100 트레이는 공랭식이었고 GB300 트레이는 수랭식이에요. 영상에서 이름을 밝히지 않은 메타 하드웨어 엔지니어링 팀의 엔지니어는 트레이 안의 콜드 플레이트로 냉각액을 흘려 그 판에 닿는 칩을 식히고, 냉각액이 트레이와 콜드 플레이트와 랙을 폐쇄 루프로 돌면서 데이터센터 안에서 열교환으로 열을 밖으로 내보낸다고 설명했어요. 요즘 GPU는 열이 너무 많아 어느 시점부터는 공기만으로 식히는 게 효율이 떨어지는 정도가 아니라 아예 불가능해진다고 그는 덧붙였어요. 톰 쇼가 8월에 메타 뉴스룸에 쓴 냉각 해설 글에 따르면 이 냉각액은 물과 글리콜을 섞은 것으로 최대 10년까지 갈아 주지 않고 쓸 수 있고, 액체 냉각 설비가 없는 건물에는 펌프와 열교환기를 랙 안에 넣은 공기 보조 액체 냉각 방식을 써요. 그는 그 글에서 "폐쇄 루프 액체 냉각과 건식 냉각기를 쓰는 전형적인 AI 데이터센터는 한 해에 풀서비스 식당 두어 곳보다 적은 물을 써요"라고 적었어요. 같은 서버를 공기로 식히려면 서버 트레이 크기가 거의 두 배가 돼야 하는데, 직접 칩에 닿는 액체 냉각은 같은 랙에 더 많은 GPU를 넣게 해 준다는 게 그 글의 설명이에요.

냉각 다음은 네트워크예요. 새 칩은 초당 더 많은 데이터를 처리하는데, 기존 네트워크 장비는 그 처리량을 받치지 못해요. 영상 속 랙에는 GPU 72개가 있고, 이전 데이터센터 영상에서 H100 16개를 묶던 방식은 이 규모에서는 더 이상 통하지 않아요. 엔지니어의 설명에 따르면 72개 GPU는 랙 내부의 중앙 스위치 네트워크로 묶이고, 랙 뒤쪽의 구리 케이블 백플레인이 72개짜리 스케일업 도메인 안의 GPU 메시를 이뤄요. 그 위에 여러 랙을 건물 하나, 나아가 여러 건물에 걸쳐 잇는 스케일아웃 인터커넥트 층이 하나 더 있어요. 학습 작업은 관리자가 랙에 나눠 주고 랙이 트레이에 다시 나눠 주는 단순한 그림이 아니라, 72개 GPU나 훨씬 큰 클러스터에 작업을 흩뿌리는 조직된 혼돈에 가깝다고 해요. 그는 혁신이 네트워크의 양이 아니라 그걸 낮은 지연으로 해내는 데 있다면서 "모든 요소의 통합이 진짜 과제예요"라고 말했어요. 강한 칩을 사서 배치해도 학습 중에 칩 사이로 데이터를 나르는 네트워크가 없으면 칩을 제대로 못 쓴다는 뜻이에요.

혁신은 멈추지 않는다는 말이 이 영상에서는 문자 그대로예요. GB300 72개짜리 랙은 올해 초에 배치됐는데 메타는 이미 다음 프로토타입을 만들고 있어요. 사양이나 배치 일정은 영상에 나오지 않지만, 양산 준비는 아직이고 거의 다 왔다는 게 회사 설명이에요. 새 랙은 기존보다 꽤 크고, 엔지니어들은 트럭 운송 중 겪는 충격과 진동 주기를 견디는지, 뒤쪽 연결부가 확실히 체결되는지 구조 검증에 공을 들였어요. 랙이 처지거나 정렬이 어긋나면 간섭이 생겨 신뢰성이 떨어지는데, 특히 컴퓨트 트레이나 네트워크 트레이를 정비할 때 문제가 된다고 해요. PC 조립 비유로 돌아가면 최신 부품으로 갈아 끼우는 게 아니라 요구에 맞춰 케이스 자체를 다시 설계한 셈이고, 때로는 폼팩터까지 바꿔야 한다는 거예요.

이렇게 만든 랙은 수십만 대 단위로 쓰여요. 회사에 따르면 하드웨어 엔지니어링의 목표는 공장에서 완전히 통합한 시스템을 좋은 상태로 데이터센터에 보내는 거예요. 크레이트에서 내린 랙을 전용 자재 취급 장비로 데이터 열에 옮겨 놓고 몇 가지를 연결한 뒤 켜면, 첫 시도에 켜지고 프로비저닝돼 플릿의 일부가 되는 게 이상적인 그림이에요. 배송 상자를 열자마자 바로 쓸 수 있는 가전처럼, 데이터센터 현장에서 손댈 일을 최대한 줄이는 방향이에요.

영상이 보여 준 하드웨어 혁신은 모두 AMD와 NVIDIA가 만든 칩 위에 세워졌지만, 랩 한쪽에는 메타가 직접 설계한 자체 실리콘 칩의 프로토타입도 있어요. 톰 쇼는 이 규모에서는 아주 맞춤한 방식이 필요하기 때문이라고 설명했고, 이 칩 역시 아직 양산 준비가 안 된 프로토타입이라고 분명히 했어요. 메탈은 웨이모가 로보택시용 자체 칩을 만들어 엔비디아 의존을 줄이려는 움직임을 보도한 바 있는데, 규모가 커진 회사가 냉각과 랙과 칩까지 직접 설계하는 흐름은 메타에서도 같은 방향으로 가고 있어요.

냉각 방식은 곧 물 사용량으로 이어져요. 톰 쇼의 8월 냉각 해설 글에 따르면 메타는 한 데이터센터의 시범 운영에서 강화학습으로 공기 냉각 공급 팬의 에너지를 평균 20%, 물 사용량을 4% 줄였고, 이 방식을 공랭식 데이터센터 전반으로 넓혔어요. 2025년에는 액체 냉각 네트워크 랙 플랫폼 아이스팩을 오픈 컴퓨트 프로젝트를 통해 공개했어요. 메탈은 G20 행사장 밖에서 데이터센터의 물과 전기를 두고 벌어진 항의를 보도한 바 있는데, 어떤 냉각을 고르느냐가 물을 얼마나 쓰느냐를 정한다는 이 영상의 설명은 그 논쟁의 한가운데에 있는 이야기예요.

이 랩이 말하는 AI 인프라의 진짜 경쟁력은 GPU를 몇 개 샀느냐가 아니라, 새 칩이 나올 때마다 냉각과 네트워크와 랙을 얼마나 빨리 다시 짜서 수십만 대 단위로 공장에서 찍어 낼 수 있느냐에 있어요. 메타는 그 답을 남의 부품으로 조립한 PC가 아니라 케이스부터 다시 그린 자기 설계에서 찾고 있어요.