Benchmarking

벤치마킹은 내가 만든 AI 모델이 얼마나 잘하는지 다른 회사의 잘나가는 모델과 같은 문제를 풀게 해서 점수를 비교하는 일이다. 학생이 자기 실력을 알고 싶을 때 전교 1등과 같은 시험지를 풀어보고 점수를 견주는 것과 비슷하다.

그런데 재밌는 점은, 이 비교를 하려면 종종 경쟁사의 모델을 실제로 빌려서 써봐야 한다는 것이다. 내 모델과 상대 모델에게 똑같은 질문을 던지고 답변의 정확도나 속도를 나란히 놓고 봐야 하기 때문이다. 그래서 회사들은 라이벌의 서비스를 고객처럼 이용하면서 동시에 자기 것을 더 낫게 다듬는, 조금은 아이러니한 상황에 놓이기도 한다.

이런 비교는 한 번으로 끝나지 않는다. 상대 모델이 업데이트되면 다시 비교해야 하고, 그 결과에 따라 자기 모델을 고치는 작업이 반복된다. 그래서 벤치마킹은 완성된 결론이라기보다, 계속 실력을 점검하는 과정에 가깝다.

기사에서는 메타 엔지니어들이 마이크로소프트의 AI 모델 장터에서 오픈AI 모델을 가져다 쓰는 목적이 자체 모델 성능을 벤치마킹하는 것이라고 설명한다. 여기서 오해하기 쉬운 점은 메타가 오픈AI 모델을 쓴다는 사실 자체를 '기술 종속'으로 오해하는 것인데, 실제로는 자기 모델의 위치를 확인하려는 비교 작업에 가깝고 동시에 메타는 이를 대체할 자체 서비스도 준비하고 있다.

두 AI 서비스에 똑같은 질문을 똑같이 입력해보고 답변을 비교해보라. 예시: '지구에서 달까지 거리와 이동 시간을 계산해줘' 라는 문장을 서로 다른 AI 챗봇 두 곳에 그대로 붙여넣고, 답의 정확도와 설명 방식이 어떻게 다른지 견줘보면 벤치마킹이 실제로 어떤 작업인지 감이 온다.