엠엠엘유 (MMLU)

엠엠엘유는 AI 모델에게 여러 과목이 섞인 객관식 시험을 보게 해서 점수를 매기는 평가 방식이다. 수능이 국어·영어·수학·사회를 한 번에 묻는 것처럼, 이 시험도 역사·법률·의학·수학 같은 다양한 분야의 문제를 섞어 낸다. 모델이 얼마나 많은 지식을 미리 배워서 기억하고 있는지를 잰다.

다만 이 방식은 '이미 아는 것을 묻는 시험'이라는 한계가 있다. 회사가 실제로 궁금한 건 '내가 지금 건네주는 계약서나 보고서를 보고 제대로 답하는가'인데, 이건 사전 지식이 아니라 그 자리에서 준 자료를 읽고 이해하는 능력이라 전혀 다른 문제다. 시험 잘 보는 학생이 처음 보는 사건 서류를 척척 분석하는 건 아닌 것과 비슷하다.

한 기사는 새 기업용 벤치마크를 소개하며 "MMLU 같은 지식 시험형 평가는 모델이 이미 아는 것을 묻는다"고 짚었다. 오해하기 쉬운 점: 엠엠엘유 점수가 높다고 그 모델이 회사 문서를 던져줬을 때도 잘한다는 뜻은 아니다. 지식이 많은 것과, 주어진 자료를 근거로 정확히 추론하는 것은 서로 다른 능력이다.

챗봇에 아래처럼 여러 분야가 섞인 객관식 문제를 직접 내보면 감을 잡을 수 있다.

1. "다음 중 1919년 파리강화회의의 결과가 아닌 것은? A) B) C) D)" 같은 역사 문제를 낸다.
2. 곧바로 "부가가치세와 소득세의 과세 대상 차이를 고르시오"처럼 전혀 다른 분야의 문제를 이어서 낸다.
3. 정답과 근거를 함께 요청해, 모델이 실제로 아는 지식으로 답하는지 그럴듯하게 지어내는지 비교해본다.