Test-time Compute
通过在回答时投入更多计算(“思考”)来提升性能的方法——“想得越久就越聪明”。
简单来说
这种方法不是把模型做得更大,而是在回答的那一刻(推理阶段)投入更多计算量来提升性能。让模型想得更久、尝试多种解题路径、并自我检验答案——这些都属于推理阶段额外投入的计算。
当“靠加大训练规模来提升性能”遇到瓶颈争论时,这成为了第二条路径。可以理解为:与其增加复习(训练)时间,不如延长考试(推理)时间。推理模型的性能曲线——也就是“思考时间与正确率”的关系图——说的都是这件事。