튜터모멘츠

튜터모멘츠는 AI 튜터가 학생을 도와줄 시점과 한 걸음 물러나 학생 스스로 고민하게 둘 시점을 얼마나 잘 구분하는지 재는 평가 도구다. 좋은 과외 선생님은 학생이 문제에서 막혔을 때 바로 정답을 불러주지 않는다. 대신 질문을 되돌려주며 학생이 스스로 생각할 여지를 남긴다. AI 튜터는 원래 '도움이 되도록' 훈련돼 있어서 이런 여지를 주지 않고 곧바로 답을 알려주기 쉬운데, 튜터모멘츠는 바로 이 '언제 개입할까'라는 판단을 시험대에 올린다.

이 평가는 실제 초등·중학교 학생을 대상으로 한 일대일 수학 과외 대화를 바탕으로 만들어졌다. 대화를 교사들이 표시해둔 중요한 판단 시점에서 멈춘 뒤, 평가하려는 AI 모델이 튜터 역할을 이어받아 다른 AI가 연기하는 가상의 학생과 짧게 대화를 나눈다. 그 대화를 놓고 학생이 도움을 필요로 할 때 실제로 도와줬는지, 더 어려운 생각을 할 준비가 됐을 때 도전을 줬는지, 필요 이상으로 문제를 쉽게 풀어주지 않았는지를 각각 채점한다.

실험 결과는 다소 반직관적이다. 비교 대상으로 넣은 실제 인간 튜터조차 점수가 그리 높지 않았는데, 이는 데이터 자체가 '튜터링이 더 나아질 수 있었던 순간'을 모아놓았기 때문이다. 반면 AI 모델에게 이 균형을 명시적으로 설명해주면 점수가 눈에 띄게 오른다. 즉 지금의 AI는 시키지 않으면 무조건 돕는 쪽으로 치우치기 쉽다는 뜻이다.

Ai2는 2026년 8월 7일, 학생을 도울 시점과 물러설 시점을 재는 프레임워크 튜터모멘츠의 프리뷰를 공개했다고 발표했다. 이후 다른 기사에서는 이를 '정답률 대신 언제 개입하느냐를 측정 대상으로 삼은 사례'로 인용했다. 흔한 오해는 이것이 AI 튜터의 정답 정확도를 재는 시험이라는 것인데, 실제로는 정답과 무관하게 개입 타이밍에 대한 판단력만을 채점한다.