인퍼런스 프로바이더스

인퍼런스 프로바이더스는 허깅페이스가 운영하는 일종의 배차 창구다. 허깅페이스는 수많은 AI 모델을 모아둔 큰 서고 같은 곳인데, 서고에 책이 있다고 해서 그 책을 바로 읽어주는 사람이 있는 건 아니다. 실제로 모델을 돌려서 결과를 내놓는 일은 컴퓨터 자원을 가진 여러 업체가 맡는데, 인퍼런스 프로바이더스는 사용자가 고른 모델을 이런 업체들의 서버로 연결해 대신 실행시켜 준다.

택시를 부르는 앱을 떠올리면 쉽다. 앱 자체는 차를 소유하지 않지만 여러 택시 회사와 연결되어 있어, 사용자는 앱 하나로 이 회사 저 회사의 차를 골라 탈 수 있다. 허깅페이스도 비슷하게 Together AI, Fireworks AI, Groq 같은 인프라 업체들을 목록에 붙여두고, 사용자가 어떤 업체의 서버로 모델을 돌릴지 고를 수 있게 한다.

이번에 Baseten이라는 업체가 이 목록에 새로 이름을 올렸다. 즉 허깅페이스가 Baseten이라는 회사를 사들이거나 직접 개발한 게 아니라, 기존에 여러 업체를 이어주던 창구에 선택지 하나가 더 늘어난 것이다.

기사에서는 "허깅페이스가 Baseten을 Inference Providers 목록에 추가했다"는 식으로 쓰인다. 여기서 오해하기 쉬운 부분은, 이게 허깅페이스가 새로운 서버를 직접 만든 게 아니라 Baseten이라는 별도 회사의 인프라를 연결 목록에 더한 것이라는 점이다. 즉 개발 주체(모델을 만든 곳)와 실행을 대행하는 업체는 서로 다르다.

허깅페이스 사이트에서 원하는 모델 페이지를 열어보면, 그 모델을 어떤 업체의 서버로 실행할 수 있는지 목록이 함께 표시되는 경우가 있다. 그 목록에서 원하는 업체를 고르면 API 키를 받아 코드에서 바로 호출해 쓸 수 있다. 특정 업체가 더 빠른지 저렴한지는 모델과 시점에 따라 달라지므로, 같은 모델을 여러 업체로 번갈아 호출해보며 비교해보는 것도 방법이다.