涌现
Emergence
模型规模扩大后,突然出现从未被训练过的能力——惊喜与不安的共同来源。
简单来说
把模型做得越来越大时,一些小模型完全不具备的能力——翻译、算术、推理——会在某个规模节点上突然冒出来。没人教过的能力,就这样从「规模」中「涌现」了出来。
这和一只蚂蚁很简单、但蚂蚁群体却能搭桥是同一个道理。AI引发的惊喜和不安都源于此——因为这意味着连开发模型的公司自己也无法准确预知,下一个模型会冒出什么样的新能力。
Emergence
模型规模扩大后,突然出现从未被训练过的能力——惊喜与不安的共同来源。
把模型做得越来越大时,一些小模型完全不具备的能力——翻译、算术、推理——会在某个规模节点上突然冒出来。没人教过的能力,就这样从「规模」中「涌现」了出来。
这和一只蚂蚁很简单、但蚂蚁群体却能搭桥是同一个道理。AI引发的惊喜和不安都源于此——因为这意味着连开发模型的公司自己也无法准确预知,下一个模型会冒出什么样的新能力。