체스 퍼즐 벤치마크

체스 퍼즐 벤치마크는 AI에게 체스 문제지를 풀게 해서 채점하는 시험이다. 학교에서 수학 문제집을 풀리고 정답률로 실력을 재듯, 체스에서 정해진 상황(퍼즐)을 주고 최선의 수를 찾아내는지 확인해 점수를 낸다.

이런 시험이 필요한 이유는 AI가 '진짜로 생각해서' 답을 내는지, 아니면 이미 봤던 문제를 외워서 답하는지 구분하기 어렵기 때문이다. 체스 퍼즐처럼 유명한 문제 형식은 AI를 훈련시키는 과정에서 한 번쯍 스쳐 지나갔을 가능성이 있어, 순수한 사고력 측정에는 한계가 있다는 지적도 있다.

그래서 최근에는 이 체스 퍼즐 방식을 본떠서, 어떤 게임인지조차 밝히지 않은 새로운 시험지가 등장하기도 했다. 문제 유형을 숨겨야 AI가 미리 답을 외우지 못하게 막을 수 있다는 발상이다.

기사에서는 "이 평가는 이 단체가 앞서 운영해 온 Chess Puzzles 벤치마크와 유사한 형식을 따르지만, 문제를 가져온 게임이 체스가 아닌 다른 게임"이라고 설명한다. 여기서 오해하기 쉬운 부분은, 이번 기사에서 화제가 된 59% 점수는 새로 나온 비공개 게임 퍼즐 벤치마크의 결과이고, 체스 퍼즐 벤치마크 자체의 점수는 이 기사에 나오지 않았다는 점이다.

체스를 몰라도 감을 잡아볼 수 있다. AI 챗봇에게 다음처럼 물어보자.

"체스 기보를 하나 제시할게. 백이 두 수 안에 체크메이트를 만드는 방법을 찾아줘. [기보 붙여넣기]"

정답을 맞히는지, 왜 그 수를 골랐는지 설명이 논리적인지 살펴보면 벤치마크가 무엇을 재는지 체감할 수 있다.