多维项目反应理论
Multidimensional Item Response Theory
当一道考题实际上同时测量多种能力时,用来从答题模式中把这些能力分别估计出来的统计方法
简单来说
多维项目反应理论(Multidimensional Item Response Theory,MIRT)是一种统计方法：当一道试题实际上同时在测量好几种能力时,仅凭应试者的答题模式,就能把这些能力逐一分离并估计出来。
用学校考试来理解会更容易。一份标注为"阅读理解"的试题,实际上可能不仅测试阅读能力,还同时测试词汇量和背景知识。项目反应理论原本是心理测量学(一门从答题模式反向推断一个人的能力或倾向的学科)的工具,最初假设一道题只测量一种能力,借此估计应试者的实力。而多维项目反应理论打破了这一假设,把混杂在同一道题里的多种能力同时解析出来。哪种能力混入了多少,事先并不需要知道——只需通过大量应试者(或AI模型)的答对、答错模式,用统计方法把它找出来。
最近这项技术被用来审查AI安全基准测试。一些本来是为了检测偏见而设计的题目,实际上要答对还需要准确追踪情境中的人物、并进行推理才能得出依据——多维项目反应理论正是被用来揪出这种"隐藏的第二种能力"。
在报道中是这样出现的
文章里可能会这样写："艾伦人工智能研究所用扩展版的多维IRT——BenchMIRT，对16个基准测试、约3.4万道题目进行审查，发现像BBQ这样的安全基准测试实际上与推理能力的关联更强。"容易误解的地方：这不是什么新的AI模型或产品，而是一种用来验证基准测试分数到底测量了什么的统计分析方法。