NVIDIA, 공유 GPU 위에서 완전 격리된 K8s 테넌트 구현법 공개

NVIDIA 개발자 블로그가 하나의 GPU 인프라 위에서 여러 팀이 완전히 격리된 쿠버네티스 클러스터를 운영할 수 있는 아키텍처를 소개했다. 팀마다 전용 클러스터를 두면 필요 이상의 격리 비용이 발생하고, 반대로 클러스터 하나를 여러 팀이 공유하면 CRD 버전 충돌이나 RBAC 중첩, GPU 용량 분배 문제가 커진다는 지적에서 출발한 방식이다.

KAI Scheduler와 vCluster 조합

KAI Scheduler는 AI 워크로드용으로 설계된 토폴로지 인식 스케줄러로, 팀별 쿼터와 동적 GPU 할당을 지원하며 기본 kube-scheduler와 병행 운용된다. schedulerName: kai-scheduler로 지정된 파드만 이 스케줄러가 처리하고 나머지는 기존 방식대로 처리된다고 설명됐다. NVIDIA GPU Operator와도 통합되며 수천 개 노드 규모까지 다룰 수 있는 것으로 알려졌다.

vCluster는 팀마다 독립된 API 서버, 컨트롤러, 데이터스토어, 스케줄러를 갖춘 가상 클러스터를 물리 노드 위에 프로비저닝한다. 테넌트 입장에서는 전용 클러스터와 구분이 안 될 정도로 격리되지만, 실제로는 기반 노드와 GPU를 그대로 공유해 하드웨어를 물리적으로 나눌 필요가 없다.

재현 가능한 테스트 구성

튜토리얼은 NVIDIA L40S GPU 1개와 팀 3곳이 GPU 일부씩을 나눠 쓰는 소규모 환경으로 구성돼 자원이 제한된 사용자도 따라 할 수 있도록 했다. 같은 방식이 수백 개 GPU 노드와 수십 개 팀 규모의 환경에서도 동일하게 작동하며, 노드 풀과 큐 계층, 테넌트 클러스터 수를 늘려 확장할 수 있다고 밝혔다. 실습을 마치면 3개 팀이 각자 격리된 테넌트 클러스터에서 실제 GPU 파드를 실행하면서도 다른 팀의 워크로드는 볼 수 없는 상태를 확인할 수 있다.