Skill Lift
衡量给AI智能体配上某项功能的使用说明书(技能)后,性能提升了多少的差值。
简单来说
Skill Lift 是让同一个AI智能体解决同一个问题两次——一次给说明书,一次不给——然后测出的成绩差值。可以想象一下:刚搬到新社区,一个人没有地图到处摸索,另一个人拿着地图走。同样的人,同样的目的地,但有没有那一张地图,花费的时间和走错路的次数会截然不同。
这里扮演说明书角色的就是所谓的智能体技能(agent skill)。这是一份提前整理好的文档,写明这个程序是做什么的、什么时候该调用它、该怎么调用它,然后把这份文档交给智能体。把提示词、模型、任务完全固定不变,只改变是否给出这份说明书,得到的成绩差值就是该技能的实际贡献度,也就是Skill Lift。
这个数字之所以重要,是因为它能区分出"说得好听"的技能和"真正有用"的技能。无论说明书写得多漂亮,如果实际配上后分数没有提升,那就毫无意义;反之,如果能用数字确认提升幅度,就有了可以信赖并使用的依据。
在报道中是这样出现的
文章中会出现这样的Skill Lift数值:"答对准确率提升了41分,真正达成用户目标的有效性提升了39分,不走冗余步骤直达目标的效率提升了35分"。常见的误解是把这个数字当成模型本身性能的提升,但实际上模型完全没变,这只是附加一份说明书所产生的差值。也就是说,它并没有让模型变得更聪明,而是帮助模型更好地找到并运用自己原本就具备的能力。
亲手试一试
想亲自体会一下Skill Lift的概念,可以在使用某个AI工具时,不给任何说明就让它执行一个陌生功能,数一数需要试几次才能得到想要的结果。接着,把同一工具的用法整理成一段话放在提示词最前面,再提出同样的请求。两次尝试中试错次数的差异,就相当于那份说明书的Skill Lift。