튜터모먼츠 프리뷰

실제 미국 초중등학생과 과외 선생님이 나눈 수학 과외 대화를 모아, 인공지능이 좋은 튜터처럼 행동하는지 확인하려고 만든 대화 모음집이다. 좋은 과외 선생님은 학생이 막히면 바로 답을 알려주지 않고 "지금까지 뭘 알고 있어?"라고 되물어 학생이 스스로 생각하게 만든다. 반대로 학생이 이미 이해했다면 더 어려운 질문을 던져야 한다. TutorMoments-Preview는 이렇게 "지금 힌트를 줘야 할 때"와 "지금 더 어렵게 밀어붙여야 할 때"를 미국 현직 교사들이 직접 표시해 둔 과외 대화 462건을 담고 있다.

평가 방법도 독특하다. 대화를 교사가 표시한 그 순간에서 멈춘 뒤, 인공지능이 튜터 역할을 이어받고 또 다른 인공지능이 연기하는 가상의 학생과 대화를 이어가게 한다. 이렇게 만들어진 새 대화를 놓고 "학생이 도움이 필요할 때 도와줬는가", "학생이 준비됐을 때 더 어려운 질문을 던졌는가", "필요 이상으로 쉽게 만들지는 않았는가" 세 가지 기준으로 채점한다.

이 자료는 앨런AI 연구소가 미국의 과외 프로그램에서 수집한 세션을 바탕으로 만들었고, 개인정보는 제공 기관과 앨런AI 연구소가 두 차례에 걸쳐 제거한 뒤 공개했다. "프리뷰"라는 이름처럼 전체 자료의 일부를 먼저 공개한 버전이다.

기사에서는 "TutorMoments-Preview에는 462개의 과외 세션이 담겨 있다"처럼 자료의 규모를 설명할 때 등장한다. 오해하기 쉬운 점은, 이것이 AI가 수학 문제를 얼마나 잘 푸는지 재는 자료가 아니라는 것이다. AI가 학생을 얼마나 잘 "가르치는지", 즉 언제 도와주고 언제 더 밀어붙일지 판단하는 타이밍을 평가하는 자료다.

챗봇에 다음과 같은 프롬프트를 넣어보면 이 평가가 무엇을 재는지 체감할 수 있다.

"학생이 분수 문제를 풀다가 막혔어. 답을 바로 알려주지 말고, 학생이 스스로 다음 단계를 생각할 수 있도록 질문을 던져줘."

이후 대화를 이어가면서, 챗봇이 정말로 답을 미루고 질문으로 되묻는지, 아니면 곧바로 풀이를 설명해버리는지 확인해보면 된다.