ARC-AGI-3 基准测试
ARC-AGI-3 benchmark
通过AI解决从未见过的谜题的能力来衡量其推理能力的测试
简单来说
ARC-AGI-3 基准测试让AI去解从未接触过的谜题,以此判断它是否具备真正的思考能力。这有点像学校考试不考你死记硬背了多少课本内容,而是当场给你一道从未见过的应用题,看你能解得多好。分数越高,说明这个AI越擅长在陌生情境中自己找出规律并解决问题。
比如,某个AI模型在这项测试中先拿到13.3分,后来又拿到38.3分,这通常被解读为它适应全新题型的能力提高了,而不只是记住了更多东西。因此,企业在推出新模型时常常会一并公布这个分数,用它来展示模型变得有多聪明。
在报道中是这样出现的
文章中会这样出现:"据确认,GPT-5.6 Sol 将 ARC-AGI-3 基准测试得分从13.3%提升到38.3%,同时输出token数量减少到约六分之一。" 这里容易被误解的一点是,这个数字衡量的不是聊天机器人的口才或知识量——由于该测试衡量的是解决从未见过的谜题的效率,分数上升更接近于说明它能用更短的回答解出更难的问题。