项目反应理论 (IRT)
Item Response Theory (IRT)
一种心理测量方法,用统计方式计算测试中每一道题目对区分应试者能力水平的有效程度。
简单来说
项目反应理论(IRT)是一种统计方法,用来计算测试中每一道题目到底能多好地区分出应试者的实力水平。
用学校考试来想会更容易理解。有些题目太简单了,不管成绩好还是差的学生都能答对,光看这一题根本分不出谁更厉害。反过来,有些题目恰好在实力出现差异的地方把对错分得清清楚楚,光看这一题就能很好地看出谁的实力更强。IRT就是分别计算每道题目的难度和区分能力的统计技术,比只看总分能更精确地估计实力。
最近的AI基准审查中,使用的是这一方法的多维扩展版本(MIRT)。当一道测试题实际上同时测量两种能力时,这种方法不会把两种能力混在一起,而是分别显示每种能力的关联程度有多高。
在报道中是这样出现的
艾伦人工智能研究所(Allen Institute for AI)用一种将项目反应理论扩展为多维版本的方法——BenchMIRT——发现了原本用来衡量安全性的基准BBQ中的题目,实际上与推理能力的关联比与安全性的关联更强。容易被误解的一点:IRT不是新的AI模型或基准,而是用来剖析现有测试题目作答数据的统计分析技术。