에이에이-옴니셜런스

에이에이-옴니셜런스는 AI 모델이 얼마나 많이 아느냐가 아니라, 자기가 아는지 모르는지를 얼마나 정직하게 구분하느냐를 재는 시험이다. 여섯 개 지식 영역에 걸친 600개 질문을 던지고, 정답을 맞히면 점수를 더하고 틀린 답을 자신 있게 내놓으면 오히려 점수를 깎는다. 반대로 모르겠다며 답을 하지 않으면 감점하지 않는다.

일반 시험이라면 백지를 내나 틀린 답을 쓰나 둘 다 0점 처리되지만, 이 시험은 다르다. 모르면서 아는 척 자신 있게 틀린 답을 내는 쪽을 가장 나쁘게 본다. 이런 설계 때문에 어떤 모델은 아는 것 자체가 늘지 않아도, 모르는 질문에 입을 다무는 법을 배우는 것만으로 점수가 크게 오르기도 한다.

그래서 이 점수를 볼 때는 숫자만 볼 게 아니라 실제로 답을 시도한 비율까지 함께 봐야 한다. 답변 시도율이 크게 낮아졌다면, 점수 상승이 지식이 넓어져서가 아니라 자신 없을 때 조용해지는 쪽으로 바뀐 결과일 수 있기 때문이다.

업스테이지 Solar Pro 4 기사는 AA-Omniscience 점수가 전작 -53에서 -1로 올랐다고 전하면서도, 그 개선이 지식이 늘어서가 아니라 답변 시도율이 92%에서 41%로 떨어져 환각률(88%→24%)이 낮아진 결과라고 짚는다. 점수만 보고 '더 똑똑해졌다'로 오해하기 쉽지만, 실제로는 '모를 땐 말을 아끼게 됐다'는 뜻에 가깝다. 검색 API를 비교한 서치 인덱스 기사에서는 AA-Omniscience가 세 벤치마크 중 하나로 등장해, 검색 없이도 모델이 얼마나 아는지를 재는 기준선 역할을 한다.