Benchmark Contamination

벤치마크 오염은 AI 모델이 실력을 재는 시험 문제를 학습 과정에서 이미 한 번 접해버려서, 점수가 실제 능력보다 높게 나오는 문제를 말한다. 시험 전날 우연히 답안지를 본 학생이 만점을 받았다고 해서 그 과목을 진짜 잘 아는 건 아닌 것과 같다.

문제는 이 답안지가 몰래 전달된 게 아니라는 데 있다. AI 모델은 인터넷에 있는 방대한 글을 재료 삼아 학습하는데, 그 재료 안에 어느 시험 문제와 정답이 우연히 섞여 들어가 있는 경우가 많다. 모델이 커지고 학습 재료가 늘어날수록 어떤 문제가 이미 섞여 있었는지 하나하나 확인하기가 점점 더 어려워진다.

그래서 점수만 보고 여러 모델의 실력을 비교하면 오해가 생길 수 있다. 오염된 시험으로 얻은 높은 점수는 진짜 실력이 아니라 '이미 본 문제'의 결과일 수 있기 때문이다.

기사는 "모델이 학습 과정에서 벤치마크 문제를 이미 접했다면 그 점수는 실제 능력을 보여주지 못해요. 이걸 '벤치마크 오염'이라고 부르는데요"라고 설명한다. 이를 막기 위해 구글 딥마인드는 평가 기관과 모델 양쪽이 서로 시험 문제와 모델 가중치를 보지 못하도록 암호화하는 이중맹검 방식을 시범 도입했다. 오해하기 쉬운 점: 벤치마크 오염은 모델이 의도적으로 부정행위를 한다는 뜻이 아니라, 대부분 학습 데이터에 시험 문제가 우연히 섞여 들어간 결과다.