上下文学习
In-context Learning
模型不改变权重,仅凭当下给出的示例或对话,当场学会完成新任务的能力
简单来说
上下文学习是指AI模型无需另外重新训练,仅凭当前对话或给出的示例,就能当场模仿学会新技巧的能力。
打个比方,与其让新员工接受数月的培训课程,不如在旁边示范一次操作,员工立刻就能照着做。这时员工本身的能力并没有变化——只是参考刚看到的内容当场模仿而已,一旦忘记那次示范,就得从头再学。AI也是同样的道理。模型内部储存的知识数值(称为权重)完全没有被改动,只是浏览了当下屏幕上出现的示例或说明,就给出了那一刻的答案。
机器人领域出现过一个引人注目的案例。让机械臂只看一次12秒的视频,演示把积木扫进碗里的动作,机器人无需额外训练就立刻照做了。开发方表示,这种能力并非刻意设计进去的功能,而是在用海量数据持续训练的过程中自然浮现出来的。给聊天AI在对话框里写几个示例,它便能立刻抓住规律作答,也是同样的原理。
在报道中是这样出现的
文章提到,机器人只看一段演示视频就能立刻完成新动作,是用上下文学习来解释的,并指出"既没有为促进上下文学习而做的架构改动,也没有元学习循环"。与常见的误解不同,这种能力并非专门设计加入的功能,而是经过长期大量数据训练后自然浮现出来的现象。
亲手试一试
在聊天机器人对话框里先给出如下两三条规则,再提出新问题,就能看到模型无需重新训练便直接沿用该规律作答。
苹果 -> Apple 香蕉 -> Banana 葡萄 ->
这样输入后,模型不会随便说出一个自己知道的英文单词,而是当场领会刚才两个示例中的规律(把水果名翻译成英文),回答Grape。就算把示例换成完全不同的规则,模型也会立刻跟上新规则——这就是上下文学习。
