AA-Omniscience
衡量AI模型能否准确区分自己「知道」与「不知道」的基准测试,涵盖6大知识领域、600道题目。
简单来说
AA-Omniscience测的不是模型知道多少,而是它能否诚实地分清自己是知道还是不知道。测试在六个知识领域中提出600道问题:答对加分,自信满满地答错反而扣分,而如果承认不知道、选择不作答,则不扣分。
普通考试里,交白卷和答错通常都算零分,但这个测试不一样——它最看不惯的是明明不知道却自信地给出错误答案。正因为这种设计,有些模型即便实际知识量毫无增长,只要学会在不确定时保持沉默,分数也能大幅提升。
所以看这个分数时不能只看数字,还得同时看模型实际尝试作答的比例。如果作答尝试率大幅下降,那么分数的提升很可能不是因为知识面变广了,而是模型变得在没把握时更倾向于沉默。
在报道中是这样出现的
在Upstage Solar Pro 4的报道中提到,其AA-Omniscience分数从上一代的-53提升到-1,但报道指出这一改善并非源于知识增加,而是因为作答尝试率从92%降到41%,从而使幻觉率从88%降到24%。如果只看分数,很容易误以为模型「变聪明了」,但实际情况更接近于「不确定时学会了少说话」。在一篇比较搜索API的报道中,AA-Omniscience作为三大基准之一出现,充当了衡量模型在不借助搜索时自身知识水平的基线。