토폴로지 인식 스케줄러
topology-aware scheduler
GPU와 서버의 물리적 배치·연결 구조를 파악해 작업을 가장 효율적인 위치에 배정하는 스케줄링 방식
쉽게 말하면
토폴로지 인식 스케줄러는 컴퓨터 작업을 어디에 배치할지 정할 때, 그냥 빈자리를 찾는 게 아니라 서버와 GPU가 실제로 어떻게 연결돼 있는지까지 따져보는 방식이다. 사무실에서 같은 프로젝트를 하는 팀원들을 되도록 가까운 자리에 앉혀야 회의하러 오가는 시간이 줄어드는 것과 비슷하다. 물리적으로 가까운 GPU끼리는 데이터를 주고받는 속도가 훨씬 빠르기 때문에, 같은 작업에 쓰이는 GPU들을 최대한 가까운 곳에 몰아 배치하면 전체 처리 속도가 올라간다.
보통 컴퓨터 자원을 나눠 쓰게 해주는 기본 관리 프로그램은 빈자리만 확인하고 작업을 던져 넣는다. 반면 이런 스케줄러는 GPU 간 연결 구조, 팀별로 미리 정해둔 사용 할당량, 실시간으로 남는 자원까지 함께 계산해서 배치를 결정한다. 그래서 같은 물리 서버 여러 대를 여러 팀이 나눠 쓰는 상황에서도 각 팀의 작업이 서로 방해받지 않고 제 몫의 자원을 효율적으로 받을 수 있다.
기사에서 이렇게 나와요
기사에서는 "KAI Scheduler는 AI 워크로드용으로 설계된 토폴로지 인식 스케줄러로, 팀별 쿼터와 동적 GPU 할당을 지원"한다고 설명한다. 여기서 오해하기 쉬운 점은 이것이 쿠버네티스의 기본 스케줄러를 완전히 대체한다고 생각하는 것인데, 실제로는 특정 이름으로 지정된 작업만 이 스케줄러가 맡고 나머지는 기존 기본 스케줄러가 그대로 처리하는 병행 구조다.