심리측정

심리측정이란 지능이나 성격, 적성처럼 눈으로 볼 수 없는 것을 시험 문항과 점수로 재는 학문이자 기법이다. 학교 시험을 만들 때 이 문제가 정말 실력 차이를 가려내는지, 여러 문제가 한 가지 능력을 재는지 아니면 서로 다른 능력을 뒤섞어 재는지를 통계로 검증하는데, 심리측정은 바로 이런 검증 절차를 다루는 도구상자다.

예를 들어 시험 문제 하나를 냈는데 전교생이 다 맞히거나 다 틀리면, 그 문제는 누가 더 잘하는지 가려내는 데 아무 쓸모가 없다. 심리측정은 이렇게 쓸모없는 문항을 골라내고, 겉보기에 비슷해 보이는 시험 여러 개가 실제로는 서로 다른 걸 재고 있지는 않은지 밝혀낸다.

최근에는 이 기법이 사람이 아니라 AI 언어모델을 평가하는 시험에도 쓰이기 시작했다. AI가 위험한 요청을 얼마나 잘 거절하는지 점수 매기는 안전 시험들이, 사실은 하나의 '안전함'이 아니라 서로 무관한 여러 성질을 뒤섞어 재고 있었다는 사실이 심리측정 분석으로 드러났다.

기사는 "사람의 IQ 검사나 적성시험을 만들 때 쓰는 심리측정 기법을 언어모델 안전 벤치마크 분석에 그대로 가져다 썼다"고 전한다. 여기서 오해하기 쉬운 점은, 심리측정이 AI를 더 똑똑하거나 안전하게 만드는 기술이 아니라는 것이다. 이는 시험 자체가 제대로 만들어졌는지, 무엇을 재고 있는지를 검증하는 통계적 방법론에 가깝다.