Lingo-Judge
LingoQA基准测试中用于给自动驾驶AI答案打分、评判其准确程度的评分标准
简单来说
Lingo-Judge是给自动驾驶AI答案打分的评判标准。就像老师看答卷打分一样,先让自动驾驶AI回答“现在这种情况该怎么判断”,再用这个标准给出的答案打分,看它答得有多准确。
这种评分被用在名为LingoQA的自动驾驶推理测试中。不同公司的自动驾驶模型参加同一场测试,按Lingo-Judge标准打分后再互相比较。比如文章中可能会说,某家公司的自动驾驶模型按这个标准比其他知名模型高出几分。
不过这个分数更接近相对比较的数字,而不是绝对的成绩单。评分标准或测试题目构成一旦发生变化,分数也会随之变动,因此也要留意这是发布方自己测出的结果这一点。
在报道中是这样出现的
文章中通常这样出现:“按Lingo-Judge指标计算,比Qwen2.5-VL 72B高17.0分,比GPT-4o高23.2分”。这里的分数并非绝对满分标准下的成绩,而是指在这种评分方式内部的相对优势,而且是发布公司自行测得的结果,需要与第三方验证区分看待。