HBM 메모리
High Bandwidth Memory
GPU 바로 옆에 여러 층으로 쌓아 붙여, 데이터를 아주 빠르게 주고받게 만든 고속 메모리다.
쉽게 말하면
HBM 메모리는 GPU 옆에 바짝 붙어서 데이터를 빠르게 실어 나르는 고속 메모리다. 보통 메모리는 칩 옆 기판에 넓게 늘어서 있지만, HBM은 여러 장의 메모리 칩을 아파트처럼 층층이 쌓아 GPU와 최단 거리로 연결한다. 층을 쌓고 거리를 줄인 만큼 한 번에 오가는 데이터량이 크게 늘어난다.
비유하자면 일반 메모리는 여러 갈래로 뻗은 좁은 도로망 같고, HBM은 목적지 바로 옆에 세운 고속 물류 터미널 같다. AI 모델을 학습시키거나 추론할 때는 GPU가 끊임없이 숫자 더미를 읽고 써야 하는데, 이 물류가 느리면 아무리 GPU 연산 속도가 빨라도 전체 작업은 병목에 걸린다. 그래서 최신 AI 가속기에는 거의 예외 없이 HBM이 함께 들어간다.
다만 HBM은 만드는 공정이 복잡하고 생산량이 한정돼 있어, AI 서버 수요가 몰리면 GPU 자체보다 먼저 부족해지는 부품으로 자주 지목된다.