멘티-벤치

멘티-벤치는 AI에게 「이 사람이 지금 무슨 생각을 하고 있을까」를 묻는 시험지다. 컵을 몰래 찬장에 옮겨놔도 방을 나갔던 사람은 여전히 컵이 테이블 위에 있다고 믿는다. 이런 장면 448개를 모아, AI가 겉으로 보이는 물리적 상황뿐 아니라 등장인물의 믿음·의도·감정까지 헤아려 정답을 고르는지 채점한다.

장면은 글로만 된 것 320개, 그림과 이야기가 함께 있는 것 100개, 소리와 영상이 섞인 것 28개로 나뉘고, 대부분 등장인물이 두 명 이상 나온다. 문제마다 선택지 여섯 개와 사람이 직접 쓴 정답 풀이가 붙어 있어, 단순히 답을 맞히는지뿐 아니라 왜 그 답이 맞는지까지 비교할 수 있다.

이 시험을 만든 이유는 기존 세상 시뮬레이션 기술들이 물체의 위치나 움직임은 정확히 그려내면서도, 그 안에 있는 사람이 무엇을 믿고 원하는지는 놓치기 때문이다. 로봇이나 사람을 돕는 프로그램이 이런 마음 상태를 못 읽으면 겉보기엔 그럴듯해도 실제 상황에서는 엉뚱하게 행동할 수 있다.

기사에서는 「Menti-Bench를 새로 만들었어요」처럼, 마음 상태를 반영한 세상 시뮬레이션 방식을 평가하려고 새로 제작한 문제집으로 등장한다. 여기서 나온 오픈AI·앤스로픽 모델들의 점수는 이 벤치마크가 특정 회사 제품이 아니라 연구팀이 공개한 평가 도구라는 점을 보여준다. 헷갈리기 쉬운 부분은, 멘티-벤치가 답을 여러 번 뽑아 다수결로 고르는 방식보다, 마음과 물리 상태를 함께 따져보는 방식에서 훨씬 높은 점수가 나왔다는 점이다.