Time to First Token
衡量从发出提问到AI回答的第一个字符出现所需时间的指标。
简单来说
首字延迟(Time to First Token, TTFT)指的是从你向AI服务发送提问的那一刻起,到屏幕上出现回答第一个字符为止所经过的时间。这就像在餐厅点菜后,计算第一道小菜端上桌所需的时间——不是测量整桌菜全部上完的时间,而只是测量你第一次感觉到"有反应了"的那一刻。
这个时间越短,用户就越会觉得AI反应迅速。即使生成完整答案需要很长时间,只要第一个字符很快出现,等待的人就不会那么焦躁。因此,在像聊天机器人或编程助手这类需要与人实时对话的服务中,这种首次反应速度和整体响应速度同样受到重视。
相比之下,吞吐量或端到端延迟是另外的指标,它们衡量的是答案生成的速度和数量。而首字延迟只单独衡量用户所感受到的"第一印象"部分。
在报道中是这样出现的
文章中提到会"测量吞吐量、TTFT(首字延迟)和端到端延迟"。这里需要注意,TTFT并不是指服务完成整体回答的速度,而是专指用户提问后,屏幕上出现第一次反应所需的时间。
亲手试一试
试着向聊天机器人提出一个简短的问题,用秒表测量从按下回车键到屏幕上出现第一个字符或光标动作所需的时间。接着再测量整个回答完成所需的时间,把两个数值进行比较,你就能切实感受到首次反应速度和整体完成速度是两个不同的指标。