리플레이
replay
실제 대화 기록을 특정 시점에서 멈추고 AI가 그 뒤를 이어가게 한 뒤 결과를 채점하는 평가 방식
쉽게 말하면
리플레이는 실제 대화나 상황 기록을 중간 한 지점에서 멈춘 뒤, 그다음을 AI가 대신 이어가게 하고 그 결과를 평가하는 방법이다. 야구 중계에서 결정적 장면만 다시 돌려보며 "이 순간 다른 선수라면 어떻게 했을까"를 따져보는 것과 비슷하다.
예를 들어 학생과 과외 선생님이 나눈 실제 수학 수업 기록이 있다고 하자. 학생이 막혀서 도움이 필요한 순간에 기록을 딱 멈추고, 그 지점부터는 진짜 선생님 대신 AI가 선생님 역할을 맡아 대화를 이어간다. 학생 역할도 사람이 아니라 또 다른 AI가 연기한다. 이렇게 새로 만들어진 대화를 놓고, AI 선생님이 그 순간 적절히 힌트만 줬는지, 아니면 너무 쉽게 답을 알려줬는지를 채점한다.
이 방식이 유용한 이유는 AI를 처음부터 끝까지 통째로 평가하는 대신, 사람이 실제로 중요한 판단을 내렸던 순간만 콕 집어 비교할 수 있기 때문이다. 같은 시점에서 사람은 어떻게 했고 AI는 어떻게 했는지를 나란히 놓고 볼 수 있어, AI의 순간적 판단력을 더 정밀하게 들여다볼 수 있다.
기사에서 이렇게 나와요
기사는 "평가 방식은 '리플레이(replay)' 방식이다. 트랜스크립트를 핵심 판단 시점에서 멈추고, 언어 모델이 튜터 역할을 이어받아 다른 언어 모델이 연기하는 모의 학생과 5턴의 대화를 진행한다"고 설명한다. 흔히 오해하듯 과거 기록을 그대로 재생만 하는 게 아니라, AI가 그 지점부터 완전히 새로운 대화를 만들어내고 그것을 채점한다는 점이 핵심이다.