첫 토큰까지의 시간
Time to First Token
AI에게 질문을 던진 뒤 답변의 첫 글자가 나오기까지 걸리는 시간을 재는 지표다.
쉽게 말하면
첫 토큰까지의 시간은 AI 서비스에 질문을 보낸 순간부터 화면에 답변의 첫 글자가 뜨기까지 걸리는 시간을 말한다. 식당에서 주문을 넣고 첫 반찬이 나오기까지 걸리는 시간을 재는 것과 비슷하다. 음식 전체가 다 나오는 시간이 아니라, 뭔가 반응이 왔다는 걸 처음 느끼는 순간까지의 시간만 잰다.
이 시간이 짧을수록 사용자는 AI가 빠르게 반응한다고 느낀다. 답변 전체를 다 만드는 데 시간이 오래 걸리더라도, 첫 글자가 빨리 뜨면 기다리는 사람은 덜 답답해한다. 그래서 챗봇이나 코딩 도우미처럼 사람과 실시간으로 대화하는 서비스에서는 전체 응답 속도만큼이나 이 첫 반응 속도가 중요하게 다뤄진다.
반대로 처리량이나 전체 종단 지연시간은 답변이 얼마나 빨리, 얼마나 많이 만들어지는지를 보는 다른 지표다. 첫 토큰까지의 시간은 그중에서도 사용자가 체감하는 첫인상에 해당하는 부분만 따로 떼어 잰다.
기사에서 이렇게 나와요
기사에서는 "처리량, TTFT(첫 토큰까지 시간), 종단 지연시간을 측정"한다고 언급된다. 여기서 TTFT는 서비스 전체 완료 속도가 아니라, 사용자가 질문을 던진 뒤 화면에 첫 반응이 뜨기까지 걸리는 시간만을 가리킨다는 점을 헷갈리지 않아야 한다.
직접 해보기
챗봇에 짧은 질문을 던져 보고, 엔터를 누른 순간부터 화면에 첫 글자나 커서 움직임이 나타나기까지 걸리는 시간을 스톱워치로 재보라. 이어서 답변 전체가 끝날 때까지 걸리는 시간도 재서 두 값을 비교해 보면, 첫 반응 속도와 전체 완료 속도가 서로 다른 지표라는 걸 체감할 수 있다.