추론 제공자

추론 제공자란 AI 모델이 질문에 답을 계산하는 순간을 대신 처리해주는 회사를 말한다. 식당에 비유하면, 눈앞의 앱은 간판과 메뉴판을 걸고 손님을 받는 매장이고, 추론 제공자는 그 뒤에서 실제로 요리를 만드는 주방을 빌려주는 곳이다. 손님은 매장 이름만 보고 주문하지만, 음식을 실제로 조리하는 주방은 다른 회사가 운영하는 경우가 많다.

이런 구조 덕분에 앱 하나 안에서도 작업 단계마다 다른 주방에 요리를 맡길 수 있다. 예를 들어 코딩을 도와주는 도구라면 코드를 짜는 단계, 계획을 세우는 단계, 그림을 보는 단계, 결과를 검토하는 단계마다 서로 다른 모델을 골라 쓸 수 있다. 하나의 만능 모델에 매달리는 대신, 단계마다 강점이 다른 모델을 조합해 쓰는 방식이다.

앱을 만든 회사와 추론을 처리하는 회사가 다를 수 있다는 점이 핵심이다. 개발자는 자신의 앱 안에서 어느 회사의 주방을 쓸지 골라 연결하기만 하면 된다.

기사에서는 "Together AI를 추론 제공자로 지원"이라는 식으로 쓰인다. Together AI가 코딩 에이전트 도구 Roomote 안에서 자사 인프라를 추론 처리용으로 제공한다는 뜻이다. 오해하기 쉬운 점은, 추론 제공자가 그 앱을 만든 회사라는 착각이다. Roomote를 만든 팀과 추론을 담당하는 Together AI는 서로 다른 회사다.