게임 퍼즐 벤치마크

게임 퍼즐 벤치마크는 AI 모델에게 낯선 게임의 퍼즐을 풀게 해서 진짜 추론 실력을 재는 시험지다. 마치 경시대회에서 기출문제로 미리 답을 외운 학생과 처음 보는 문제 앞에서도 스스로 풀어내는 학생을 구분하려고, 아무도 본 적 없는 새 문제를 내는 것과 비슷하다.

Epoch AI는 앞서 체스 퍼즐로 모델을 평가해 왔는데, 이번에는 같은 방식을 다른 게임에 적용하면서 그 게임이 무엇인지는 밝히지 않았다. 유명한 게임의 퍼즐은 모델을 만드는 과정에서 이미 답과 함께 다뤄졌을 가능성이 있어서, 게임 이름이 알려지면 진짜 실력이 아니라 미리 익힌 패턴을 측정하게 될 위험이 있기 때문이다.

공개 시점 기준 최고 점수는 오퍼스 5가 기록한 59%다. 다른 모델의 점수나 전체 순위표는 이번 발표에 포함되지 않아, 오퍼스 5가 다른 모델보다 얼마나 앞서 있는지는 아직 확인되지 않는다.

기사 속 표현: "Epoch AI가 새로운 'game puzzles' 벤치마크를 공개했다... 기록 보유 모델은 Opus 5이며 점수는 59%다." 오해 바로잡기: 게임 이름을 숨긴 건 비밀주의가 아니라 답을 미리 외운 모델과 실제로 추론하는 모델을 구분하려는 설계다. 또한 59%라는 점수가 전체 1위를 뜻하지도 않는다 — 비교할 다른 모델 점수 자체가 이번 발표에 없다.