터미널벤치

터미널벤치는 AI가 컴퓨터의 명령창 안에서 실제 작업을 얼마나 잘 처리하는지 시험하는 평가 도구다.

우리가 컴퓨터를 쓸 때는 대개 아이콘을 클릭하고 화면을 눈으로 확인하지만, 개발자들은 종종 글자만 입력해 명령을 내리는 검은 화면을 쓴다. 이 화면에서는 마우스도 그림도 없이 정확한 명령어 한 줄로 파일을 옮기고, 프로그램을 설치하고, 오류를 고쳐야 해서 실수하면 바로 티가 난다. 터미널벤치는 이런 환경에서 여러 단계짜리 실제 과제를 AI에게 던져주고, 사람 도움 없이 끝까지 해내는지를 채점한다.

단순히 질문에 대답을 잘하는 것과, 실제 작업 환경에서 손발을 움직여 일을 끝내는 것은 다른 능력이다. 터미널벤치는 후자, 즉 AI를 실무형 조수로 쓸 수 있는지 가늠하는 잣대 중 하나로 쓰인다.