KAI 스케줄러

KAI 스케줄러는 여러 팀이 같은 컴퓨터 자원, 특히 GPU라는 계산 장치를 함께 쓸 때 누가 얼마나 쓸지 정리해주는 프로그램이다. 사무실 건물 하나를 여러 부서가 함께 쓸 때 회의실 배정을 맡는 관리인을 떠올리면 된다. 팀마다 미리 정해둔 몫이 있지만, 그날그날 필요에 따라 여유 공간을 유동적으로 더 내주기도 한다.

이 프로그램은 여러 컴퓨터를 하나의 시스템처럼 묶어 관리하는 기반 기술 위에서 작동하는데, 그 기술이 원래 갖고 있던 기본 관리 방식을 통째로 밀어내지는 않는다. 특정 방식으로 지정된 작업만 KAI 스케줄러가 맡아 처리하고, 나머지는 기존 방식 그대로 흘러간다. 그래서 팀 전용 컴퓨터 묶음을 따로 두는 것보다 자원을 덜 낭비하면서도, 한 묶음을 여럿이 어수선하게 나눠 쓸 때 생기는 충돌 문제를 줄일 수 있다는 게 이 방식의 취지다.

기사는 "KAI Scheduler는 AI 워크로드용으로 설계된 토폴로지 인식 스케줄러로, 팀별 쿼터와 동적 GPU 할당을 지원하며 기본 kube-scheduler와 병행 운용된다"고 설명한다. 여기서 오해하기 쉬운 지점은 이 스케줄러가 기존 관리 방식을 완전히 대체한다고 생각하는 것인데, 실제로는 지정된 일부 작업만 맡고 나머지는 원래 방식대로 처리되는 병행 구조다.