双盲评测

双盲评测就像考试时监考官和考生互相看不到对方手中的牌一样。这和医院测试新药效果时，医生和患者都不知道谁吃的是真药的原理是一样的，只是把这个原理搬到了AI模型评测上。

以往从外部评测AI模型时，往往要在两种风险中做取舍。如果评测机构把测试题交给开发模型的公司，公司可能悄悄把这些题目混进训练数据里，从而拉高分数。反过来，如果公司把模型的内部构造整个交给评测机构，又可能泄露只有该公司才知道的技术诀窍。双盲评测在中间放置一个类似加密盒子的机制，让评测机构看不到模型内部，同时让公司看不到测试题目，从而同时化解这两种风险。

结果就是，双方都能保守各自的秘密，只有最终的评分结果才会从这个盒子里被取出来查看。这样一来，人们才更能相信这个分数不是靠提前看到题目而虚高得来的。

谷歌DeepMind宣布其"试行了全球首个双盲方式的AI评测"。这里的双盲并不只是设置多名评测者，而是指评测机构看不到模型权重、谷歌也看不到测试题目的结构。也就是说，"双"指的不是人数，而是双方互相隐藏信息这一点。