레이턴시

요청을 보내고 응답이 시작되기까지의 지연 시간입니다. AI 제품의 체감 품질을 좌우하는 숫자로, 특히 음성 대화는 레이턴시가 사람의 대화 반응 속도(0.2~0.3초)에 가까워야 자연스럽습니다.

「더 똑똑하게」와 「더 빠르게」는 반대로 당기는 힘입니다 — 추론 모델처럼 오래 생각하면 똑똑해지지만 느려집니다. 그래서 회사들은 빠른 소형 모델과 깊은 대형 모델을 나눠 내놓고, 신형 칩 발표는 대개 「레이턴시를 얼마나 줄였나」를 자랑합니다.