엔비디아 NIM

엔비디아 NIM은 엔비디아가 만든, AI 모델을 실제 서비스에서 곧바로 돌릴 수 있게 포장해주는 소프트웨어 상자다. 모델 하나를 서버에 올리려면 원래 여러 부품을 손수 조립하고 최적화해야 하는데, NIM은 이 과정을 미리 끝낸 완제품 형태로 제공한다.

비유하자면 즉석 조리 밀키트에 가깝다. 요리사가 재료를 직접 손질하는 대신, 이미 손질되고 간이 맞춰진 재료 상자를 받아 데우기만 하면 되는 것처럼, 개발자는 모델을 처음부터 세팅하는 대신 NIM 상자를 받아 실행 명령만 내리면 바로 질문에 답하는 서버가 만들어진다.

이 상자는 자체 컴퓨터나 회사 서버에 올려 쓸 수도 있고, 클라우드에서 빌려 쓸 수도 있다. 그래서 코딩 에이전트나 다른 프로그램이 모델에게 말을 걸 때 뒷단 선택지 중 하나로 자주 등장한다.

기사는 엔비디아의 라우팅 프록시 스위치야드를 소개하며 코딩 에이전트의 뒷단 후보로 "vLLM, NVIDIA NIM, Ollama 또는 오픈AI 호환 엔드포인트"를 나열한다. 여기서 NIM은 모델 그 자체가 아니라 모델을 담아 서빙하는 방식이라는 점을 헷갈리지 말아야 한다. 즉 클로드 코드 같은 에이전트가 겉으로는 평소처럼 작동해도, 실제 응답은 NIM으로 띄운 오픈소스 모델이 처리하는 구조가 가능해진다.