엘로 점수

엘로 점수는 원래 체스 선수들의 실력을 매기려고 만든 계산법이다. 절대적인 점수를 채점하는 게 아니라, 두 선수를 붙여놓고 누가 이기고 졌는지만 보고 순위를 조정한다. 강한 선수를 이기면 점수가 많이 오르고, 약한 선수에게 지면 점수가 크게 떨어지는 식이다.

AI 업계에서는 이 방식을 산출물 평가에 그대로 빌려 쓴다. 예를 들어 두 AI 에이전트가 같은 과제를 각자 수행한 뒤, 심사자가 결과물 두 개를 나란히 놓고 어느 쪽이 더 나은지만 고르게 한다. 이걸 수백 번 반복하면 정답이 정해지지 않은 작업(영상 편집이나 3D 모델링처럼 맞고 틀림을 딱 잘라 말하기 어려운 결과물)도 점수로 줄을 세울 수 있다.

정답표가 있는 시험과 달리, 엘로 점수는 상대평가라서 「이 에이전트가 몇 점짜리 실력인가」보다 「이 에이전트가 다른 에이전트보다 나은가」를 보여준다. 그래서 정해진 정답이 없는 복잡한 실무 과제를 평가할 때 특히 유용하다.

메타 AI가 공개한 평가 프레임워크 WildArtifactBench는 에이전트의 결과물끼리 맞대결을 붙여 승률과 엘로 점수를 매긴다. 흔히 오해하듯 시험처럼 정답과 비교해 채점하는 방식이 아니라, 다른 에이전트의 결과물과 비교해 상대적으로 누가 더 나은지를 가리는 방식이다.