古德哈特定律
Goodhart's law
一旦某个指标被当作目标来管理，它就不再是衡量真实状况的好标准的法则。
简单来说
古德哈特定律说的是,当用来衡量某件事的尺子本身变成了追求的目标时,这把尺子就不再能反映真实状况了。这个说法最初是经济学家Charles Goodhart用来解释政策的,但现在只要涉及评估和测量的领域,都会引用它。
打个比方。假设我们决定用考试分数来衡量学生的实际能力。一开始,分数确实能不错地反映能力。但当分数本身变成目标后,学生们就会开始钻研应试技巧和押题套路,而不是真正提升能力。分数一路上涨,但这个分数已经不再代表真实能力了。
AI领域也会发生同样的事。如果训练AI在某个衡量性能的测试中拿高分,AI可能并不是真的变得更擅长完成任务,而是只学会了在那个测试上表现好看的窍门。这种表面成绩和真实能力之间的落差,正是古德哈特定律所警告的陷阱。
在报道中是这样出现的
Terence Tao在谈到AI生成的数学证明数量激增时引用了古德哈特定律。他指出,如果AI行业把引用次数或基准测试分数这类容易衡量的成果当作奖励对象,AI就会去追求看起来漂亮的结果,而不是真正的理解或贡献。容易被误解的一点是,这个定律并不是为AI量身打造的概念,而是一个用来解释经济政策的老原理,Tao只是把它借用到评价数学研究的问题上而已。