provider adapter harness

provider adapter harness 指的是,在那些包裹住AI模型、让它真正能运作起来的外部程序中,由模型开发公司自己针对自家模型编写、并随模型一起发布的那一种。AI模型本身只能针对一个问题给出一个答案,而这个答案要如何被保留、传递给下一个问题,是由这个外部程序决定的。

打个比方。考试时,有一种方式是每答完一题就收走答卷,只允许你带一张手写便条进入下一题;另一种方式是让你把前一题解题时的全部演算过程原封不动地带进下一题。适用于任何模型的通用标准外壳更接近前者,而公司自己编写的provider adapter harness更接近后者。这就是为什么同一个模型、同一道题目,换上不同的外壳,分数、速度和成本都会差很多。

所以在看基准测试排名时,外壳的种类是必须核实的条件。用标准外壳测出的分数,和用开发商自己做的外壳测出的分数,即便面对同一张试卷,也近乎是在参加两场不同的考试。

文章中常会出现这样的说法:GPT-6 Astra 用标准外壳测得62.71%,用provider adapter harness测得99.95%。容易被误解的地方是,以为模型一夜之间变聪明了。实际上模型权重和题目都没有变,变的只是解题中间结果被完整带入下一题的程度。