앨런AI, 안전벤치마크 BBQ가 실은 추론력 측정 밝혀

이번 감사는 '벤치마크 점수 하나가 실제로 어떤 능력을 재는가'라는 오래된 의문에서 출발했어요. 예를 들어 BBQ는 사회적 편향을 잡아내려고 만든 문항 모음인데, 실제 문항 중에는 할아버지와 손자가 우버를 예약하는 상황을 주고 나이 편향을 묻는 문제가 있어요. 이 문제를 풀려면 나이 고정관념을 피하는 것뿐 아니라 누가 누구인지 정확히 추적하고 근거를 따라 추론하는 능력도 필요해요. 안전 하나만 재는 줄 알았던 문항이 알고 보면 추론력도 함께 시험하고 있는 셈이에요.

심리측정에서 가져온 감사법

BenchMIRT는 심리측정학(사람의 능력·성향을 시험 응답 패턴에서 추정하는 학문)에서 쓰는 문항반응이론(IRT)을 확장한 방법이에요. 모든 문항이 응시자에 대해 같은 만큼의 정보를 주지 않는다는 게 IRT의 출발점인데요, 어떤 문항은 더 어렵고, 어떤 문항은 실력 차를 더 잘 구분해 준다는 뜻이에요. 앨런AI연구소는 앞서 단일차원 IRT를 개별 벤치마크에 적용한 '플루이드 벤치마킹' 연구를 진행했었는데, 이번 BenchMIRT는 다차원 IRT(MIRT)로 확장해 한 문항에 여러 능력이 동시에 걸려 있어도 각각을 분리해 낼 수 있게 만들었어요.

분석 규모도 상당해요. LLM 100개의 결과를 벤치마크 16종, 문항 3만4천여 개에 걸쳐 학습시켰는데요, 그중 여섯 개(MMLU-Pro, BBH, GPQA, IFEval, MATH, MuSR)는 일반추론을 재는 벤치마크였고, 나머지 열 개는 앨런AI연구소의 올모3(Olmo 3) 안전 평가 모음에서 가져온 HarmBench, StrongReject, WildJailbreak, BBQ, WMDP, XSTest 등이었어요. 연구진은 어떤 벤치마크가 무엇을 재는지 미리 알려주지 않았는데도 BenchMIRT는 안전과 일반추론이라는 두 축을 스스로 찾아냈고, 분석을 처음부터 다시 돌려도 같은 두 축이 반복해서 나왔다고 밝혔어요.

대부분은 의도대로, 몇몇은 아니었다

벤치마크	일반추론 상관	안전 상관	감사 결과
MMLU-Pro	0.97	-0.21	의도대로 추론 측정
BBH	0.94	-0.20	의도대로 추론 측정
GPQA	0.81	-0.12	의도대로 추론 측정
IFEval	0.72	-0.34	의도대로 추론 측정
MATH	0.70	-0.41	의도대로 추론 측정
WildJailbreak	0.14	-0.90	의도대로 안전 측정(무해 문항 250개는 추론 쪽)
HarmBench	0.32	-0.90	의도대로 안전 측정(저작권 문항 제외)
StrongReject	-0.16	-0.84	의도대로 안전 측정

표에서 보듯 추론 전용으로 만든 여섯 벤치마크와 WildJailbreak·StrongReject 같은 안전 벤치마크 대부분은 원래 의도한 능력과 실제로 상관관계가 컸어요. 문제는 예외로 지목된 벤치마크들이었어요.

BBQ와 WMDP, 안전이 아니라 추론력을 쟀다

BBQ는 사회적 편향을 재는 안전 벤치마크로 흔히 분류되지만, BenchMIRT 분석에서는 안전보다 일반추론과 훨씬 강하게 연결됐어요. 즉 BBQ 점수가 낮게 나온 모델이 실제로는 편향된 게 아니라 문항을 이해하고 추론하는 데 서툴렀을 가능성이 있다는 뜻이에요.

WMDP는 더 특이한 경우예요. 생물학·화학·사이버보안 같은 분야에서 위험한 이중용도 지식—생물학적 위해물질을 오용하거나 시스템을 뚫는 데 쓰일 수 있는 지식—을 얼마나 알고 있는지 시험하는 벤치마크인데, BenchMIRT는 WMDP 점수 역시 안전보다 일반추론과 더 강하게 연결됐다고 봤어요. 다만 방향이 반대였어요. 추론력이 강한 모델일수록 WMDP 점수는 오히려 낮게 나왔는데, 이 벤치마크가 위험한 지식을 거부하거나 답을 못 하는 것을 '바람직한 응답'으로 채점하도록 설계돼 있기 때문이에요.

HarmBench 안에서도 신호가 갈린다

HarmBench는 한 벤치마크 안에서도 서로 다른 신호가 섞여 있다는 걸 보여준 사례예요. 은행 정보를 훔치는 피싱 이메일을 써 달라는 기본 문항이나, 특정 상황을 주고 그 정보를 악용하도록 유도하는 맥락형 문항은 모두 안전 쪽과 강하게 연결됐어요. 반면 루이 암스트롱의 노래 가사를 그대로 출력해 달라는 식의 저작권 관련 문항은 안전과의 연관성이 훨씬 약했고, 오히려 추론력 쪽에 가까웠어요. 앨런AI연구소는 이런 결과가 벤치마크 자체가 잘못됐다는 뜻은 아니라고 설명하면서, 하나의 점수 안에 여러 신호가 뒤섞여 있고 BenchMIRT가 그 신호를 풀어내 해석을 쉽게 만들어 준다고 밝혔어요.

데이터와 코드는 공개돼 있다

평가에 쓴 문항 3만4천여 개와 모델별·문항별 통계, 코드는 모두 접근할 수 있게 올라와 있어요. 데이터와 모델 통계는 huggingface.co/collections/allenai/benchmirt 컬렉션에서 확인할 수 있고, 실행 코드는 github.com/allenai/BenchMIRT 저장소에 공개돼 있어요. 컬렉션에는 문항 3만4300여 개짜리 평가 데이터셋과 모델 100개의 통계, 문항 2만9600여 개의 통계가 각각 데이터셋으로 나뉘어 올라와 있어요.

에디터의 시선

이번 발표에서 눈에 걸리는 건 '안전'이라는 이름이 붙은 점수가 실제로는 서로 다른 걸 재고 있었다는 사실이 반복해서 확인되고 있다는 점이에요. 지난 8월 영국 AI 안전 연구소가 심리측정 기법으로 안전 벤치마크 8종을 분석해 거절 엄격성·정직성·맥락의존 처리라는 세 갈래 신호를 찾아냈는데, 이번엔 미국의 앨런AI연구소가 다른 방법론으로 같은 결론에 다시 도달했어요. 서로 독립적인 연구팀이 서로 다른 방법으로 같은 문제를 두 번 짚었다는 건, 이게 한 연구팀의 착시가 아니라 벤치마크 설계 자체의 구조적 한계라는 뜻이에요.

실무 관점에서 보면 이건 단순한 학술적 흥밋거리가 아니에요. 국내에서 모델을 검증하거나 도입 여부를 결정할 때 흔히 '안전 벤치마크 점수 몇 점 이상'을 기준으로 삼는데, BBQ 점수가 낮다고 그 모델이 편향됐다고 단정하면 틀릴 수 있어요. 오히려 그 모델이 문항을 이해하는 능력 자체가 부족했을 수 있고, 반대로 추론력이 뛰어난 모델이 WMDP에서 낮은 점수를 받는 것도 실제로는 더 안전하게 거부를 잘한다는 신호일 수 있어요. 벤치마크 하나의 총점만 보고 조달·도입 결정을 내리는 팀이라면, 이번 결과를 계기로 어떤 하위 문항이 점수를 끌어올렸는지 한 번쯤 뜯어보는 게 맞아요.

앞으로 몇 달 안에는 다른 연구소나 빅테크들도 자체 안전 벤치마크에 비슷한 문항 단위 감사를 적용해 결과를 공개할 가능성이 커요. 특히 오픈모델 진영에서는 벤치마크 점수를 마케팅에 쓰는 경우가 많은 만큼, BenchMIRT 같은 감사 도구가 표준 검증 절차로 자리 잡으면 지금까지 발표된 안전 점수 상당수가 재해석되는 흐름이 뒤따를 걸로 보여요.