월드모델에 '마음' 변수 더하니 정확도 63→88점으로 뛰었다

논문은 소라, 지니3, JEPA, 마블(Marble) 같은 기존 월드모델이 물체·위치·움직임·가림 같은 물리적 층위만 상태로 담는다고 짚어요. 그 세계 안 사람이 무엇을 믿고, 원하고, 사회적으로 적절하다고 여기는지는 아예 상태값에 들어가지 않는다는 거예요. 서비스 로봇이나 의료 보조, 협업 에이전트한테는 이게 치명적인데, 사람의 행동 대부분이 눈에 안 보이는 마음 상태에서 나오기 때문이에요. 컵이 찬장으로 옮겨진 장면은 물리적으로는 문제없이 재현되지만, 그 사람이 여전히 테이블 위에서 컵을 찾을 거라는 사실은 오직 그의 '믿음'을 따로 추적하는 모델만 알 수 있어요.

'마음' 변수를 더한 프레임워크, MWM

연구진이 GitHub에 공개한 이 프레임워크는 이름 그대로 'Mental World Modeling(MWM)'이에요. 기존 월드모델에 믿음, 주의, 목표, 의도, 감정, 규범, 사회적 관계 같은 변수를 얹었어요. 관찰 대상 에이전트는 자기 시점의 부분적인 장면만 보지만, 월드모델 자체는 전체 상태를 쥐고 있는 구조예요. 논문은 모든 행동을 물리적 매개체(말하기·가리키기·잡기)와 마음의 내용물(위로하기·속이기·거절하기)로 쪼개요. 테이블 위에서 컵을 슬쩍 밀어주는 똑같은 동작이 사과일 수도, 속임수일 수도, 배려일 수도 있는데 그 차이를 구분하는 건 오직 마음 변수뿐이라는 거예요. 연구진은 의식을 시뮬레이션한다고 주장하지는 않고, 마음 상태를 행동과 맥락에서 뽑아낸 가설로 취급하며 불확실성을 그대로 드러내야 한다고 못 박았어요.

6단계 파이프라인과 실험 결과

이론을 검증하려고 연구진은 추가 학습 없이 돌아가는 모듈형 파이프라인 MENTIS를 만들었어요. 장면을 해석하고 1인칭 시점을 렌더링한 뒤, 행동 후보를 물리·마음 요소로 나누고 두 상태를 병렬로 시뮬레이션해요. 각 분기는 물리적 타당성, 마음의 일관성, 사회적 적절성 세 기준으로 점수를 받고 마지막에 결정론적으로 하나가 선택돼요. 모든 단계가 기계가 읽을 수 있는 중간 결과를 남겨서, 어디서 틀렸는지 되짚을 수 있게 설계됐어요.

평가용으로는 448개 결정 장면을 모은 Menti-Bench를 새로 만들었어요. 텍스트 320개, 이미지 스토리 100개, 음성-영상 클립 28개로 구성됐고, 78%가 등장인물 두 명 이상이 얽힌 장면이에요. 각 장면마다 선택지 6개와 사람이 직접 작성한 정답 해설이 붙어 있어요.

방식	설명	F1 점수
직접 답변	모델이 한 번에 답변	63.3
자기일관성	같은 질문 6회 반복 후 다수결	77.9
MWM 파이프라인	마음·물리 상태 결합 시뮬레이션	87.9
인간	같은 프로토콜 적용	98.5

오픈AI의 GPT-5.6-Sol·GPT-4.1을 포함한 5개 모델과 앤스로픽의 Claude Fable 5·Claude Opus 4.8·Claude Haiku 4.5까지 총 8개 언어모델을 테스트했는데, 가장 약한 모델인 GPT-4.1에 MWM을 적용한 점수(84.9)가 가장 강한 모델인 GPT-5.6-Sol의 자기일관성 점수(83.6)를 앞질렀어요. 단순히 답을 여러 번 뽑아서 다수결로 고르는 것만으로는 이 격차를 못 메운다는 뜻이에요.

무엇을 빼봤더니 드러난 것

연구진은 파이프라인의 요소를 하나씩 빼며 각각이 실제로 기여하는지 확인했어요.

제거한 요소	점수 하락
마음 채널 제거	-12.1점
물리 채널 제거	-16.5점
물리·마음 전이를 독립적으로 예측(결합 안 함)	-6.4점

마음 모델링의 효과는 이론이 예측한 바로 그 지점에서 가장 크게 나타났어요. 등장인물끼리 상호작용하는 장면에서는 F1 점수가 26.4점 올랐지만, 사물 중심 장면에서는 14.0점 상승에 그쳤어요. 또 약한 기반 모델일수록 이 구조화된 접근에서 더 큰 이득을 봤는데, GPT-4.1은 MWM과 직접 답변 사이 격차가 28점인 반면 GPT-5.6-Sol은 21점이었어요.

사람과의 격차, 어디서 갈렸나

남은 격차가 어디서 오는지 보려고 연구진은 파이프라인의 중간 단계를 하나씩 사람이 만든 정답 해설로 바꿔봤어요. 가장 큰 개선은 완벽한 상태 전이 예측(+3.5점)에서 나왔고, 완벽한 초기 상태(+2.8점), 완벽한 관찰(+1.7점)이 뒤를 이었어요. 모든 중간 단계를 정답으로 바꾸면 파이프라인은 97점까지 올라가요. 남은 격차의 약 80%는 중간 단계, 특히 물리-마음 상태 전이를 시뮬레이션하는 과정의 예측 오류에서 나온다고 연구진은 밝혔어요. 지금 상태를 묘사하는 건 쉬운데, 결합된 물리-마음 세계가 어떻게 바뀌는지를 맞히는 게 진짜 어려운 일이라는 거예요.

월드모델 논쟁 속 이 연구

구글 딥마인드에서 최근 운영 총괄직을 내려놓은 데미스 하사비스는 자신의 연구 시간 대부분을 월드모델에 쓰고 있고, 이 분야에서 '챗GPT 순간'이 올 거라고 말해온 인물이에요. 오디세이(Odyssey) 같은 스타트업에는 이미 투자자들이 수억 달러를 쏟아붓고 있어요. 하지만 무엇을 '월드모델'이라고 부를지는 여전히 정리가 안 됐어요. 베이징대가 이끈 한 국제 연구팀은 최근 소라 같은 텍스트-투-비디오 모델은 현실 세계와의 피드백 루프가 없다는 이유로 월드모델 정의에서 아예 빼자는 더 좁은 기준을 제안했어요. 얀 르쿤은 오래전부터 생성형 접근이 막다른 길이라며 추상적 표현 학습 방식(JEPA)을 지지해왔는데, 이번 논문은 소라·지니·JEPA를 같은 계열로 묶고 셋 다 마음 상태를 빼먹었다고 똑같이 지적해요.

마음 상태를 다루는 문제는 언어모델이 계속 고전해온 영역과도 맞닿아 있어요. 메타 FAIR와 워싱턴대·카네기멜런대 연구팀은 이미 언어모델이 까다로운 마음이론(Theory of Mind) 테스트에서 실패하고, 믿음을 추론하는 것보다 세계 상태를 추적하는 데 더 약하다는 걸 보여준 바 있어요. MWM 프레임워크는 이런 마음 상태를 전처리 파이프라인으로 바깥에서 부여하는 방식인데, 모델 내부에서는 비슷한 게 자연 발생적으로 생기고 있다는 관측도 있어요. 앤스로픽은 클로드 내부에서 겉으로는 출력되지 않는 단어 형태의 생각을 담은 일종의 메모장을 발견했고, 이게 없으면 여러 단계를 거치는 추론이 무너진다고 밝힌 바 있어요.

직접 살펴보려면

MWM 프레임워크와 MENTIS 파이프라인은 별도 학습 과정 없이 기존 언어모델 위에 얹어 쓰는 구조라, 연구자라면 github.com/mental-world/Mentis 저장소에서 코드를 확인해 자신이 쓰는 모델에 그대로 적용해볼 수 있어요.

에디터의 시선

이 논문이 흥미로운 지점은 '더 큰 모델'이 아니라 '더 잘 짜인 절차'가 이겼다는 부분이에요. 가장 약한 모델에 마음 변수를 얹은 점수가 가장 강한 모델의 반복 샘플링을 이겼다는 건, 지금 업계가 벤치마크 점수를 올리려고 모델 크기와 추론 횟수에만 돈을 쓰고 있는 방식에 물음표를 던지는 결과예요. 로봇이나 상담 에이전트를 만드는 국내 팀이라면, 다음 모델 업그레이드를 기다리기 전에 지금 쓰는 모델 위에 이런 구조화된 전처리 단계를 얹는 쪽이 비용 대비 더 빠른 개선일 수 있어요.

동시에 이 연구는 얀 르쿤 본인의 JEPA까지 도매금으로 비판했다는 점에서 묘해요. 생성형 모델이 막다른 길이라며 추상적 표현 학습을 내세운 그의 접근조차, 결국 사람 마음을 안 본다는 같은 이유로 지적받은 셈이거든요. 물리 시뮬레이션 정확도 경쟁에만 매몰돼 있던 이 분야가, 이제는 '누가 사람 마음을 더 잘 흉내 내는가'라는 완전히 다른 경쟁 축으로 옮겨갈 조짐이 보여요.

실무적으로 봐야 할 숫자는 격차 분석 쪽이에요. 남은 오류의 80%가 상태 전이 예측에서 나온다는 건, 지금 상태를 잘 묘사하는 모델보다 상태가 바뀌는 순간을 잘 맞히는 모델이 다음 경쟁력이 될 거라는 뜻이에요. 앞으로 몇 달 안에 이 상태 전이 예측 자체를 파고드는 후속 논문이나 벤치마크가 나올 가능성이 커요.