추론 인프라

추론 인프라란 이미 다 배운 AI 모델이 실제 손님(사용자)에게 답을 내놓을 때 쓰는 주방과 서빙 시스템 전체를 뜻한다. 모델이 레시피를 익히는 과정이 학습이라면, 그 레시피로 실제 요리를 만들어 접시에 담아 내는 과정이 추론이고, 이 과정을 돌리는 서버와 프로그램 뭉치가 추론 인프라다.

같은 레시피(모델)라도 어느 주방에서 조리하느냐에 따라 요리가 빨리 나오기도, 식어서 나오기도, 심지어 맛이 조금 달라지기도 한다. 마찬가지로 똑같은 AI 모델을 여러 회사가 각자의 서버에 올려 서비스해도, 응답 속도나 답변 품질이 회사마다 차이 날 수 있다. 그래서 모델을 만든 회사는 자기 모델을 여러 추론 인프라 회사에 맡겨보고 어디가 원래 성능을 그대로 살려내는지 확인하기도 한다.

결국 추론 인프라는 눈에 잘 안 띄지만, 사용자가 체감하는 챗봇의 반응 속도와 답변 품질을 좌우하는 뒷단의 부엌 같은 존재다.

기사에서는 "Together AI는 이번 벤치마크에서 4개 항목 중 3개에서 1위 또는 공동 1위를 기록했다"는 식으로 쓰인다. 여기서 오해하기 쉬운 점은, 이 순위가 모델 자체의 똑똑함을 겨루는 게 아니라 같은 모델을 어느 회사의 서버에서 돌렸을 때 품질과 속도가 더 잘 유지되는지를 비교한 것이라는 점이다.