心理测量学

心理测量学是一门学科,也是一套技术,用来通过试题和分数来衡量智力、性格、能力倾向等肉眼看不见的东西。学校出考卷时,需要用统计方法验证某道题是否真的能区分出学生实力的高低,以及一组题目究竟是在测一种能力,还是把几种不同的能力混在一起测量。心理测量学正是处理这类验证工作的工具箱。

举个例子,如果一道题全校学生都做对,或者全都做错,那这道题就完全没用,因为它无法区分谁更擅长。心理测量学能找出并剔除这类无用的题目,还能揭示表面上相似的几套测验,实际上是不是在测量不同的东西。

最近,这套技术开始被用于评估对象不是人,而是AI语言模型的测验。心理测量分析发现,那些给AI拒绝危险请求的能力打分的安全基准测试,其实并非在测量一个统一的"安全性",而是把几种互不相关的特质混在一起衡量。

文章提到,"用于制作人类智商测试和能力倾向测验的心理测量技术,被直接搬用到语言模型安全基准的分析中。"这里容易产生的误解是,心理测量学并不是让AI变得更聪明或更安全的技术,而是一种用来检验测验本身是否设计得当、究竟在测量什么的统计方法论。