프론티어코드 1.1 익스텐디드
FrontierCode 1.1 Extended
코딩 에이전트가 작업을 얼마나 잘 해내는지와 그 작업에 돈이 얼마나 드는지를 함께 재는 벤치마크표.
쉽게 말하면
프론티어코드 1.1 익스텐디드는 코딩 작업을 대신해 주는 AI 시스템의 성능과 비용을 한 표에 나란히 적어 비교하는 채점표다. 학교 시험이 정답률만 보여준다면 이 표는 정답률에 더해 그 시험을 치르는 데 든 수험료까지 같이 보여주는 셈이다.
표 안에는 두 가지 숫자가 짝지어 나온다. 하나는 중간 난이도 코딩 문제를 얼마나 잘 풀었는지 나타내는 점수고, 다른 하나는 그 문제 하나를 푸는 데 실제로 들어간 비용이다. 그래서 이 표를 보면 어떤 모델이나 실행 방식이 비슷한 실력을 더 싸게 내는지, 혹은 값은 비슷한데 실력 차이가 나는지를 한눈에 비교할 수 있다.
코딩 에이전트는 한 번 일을 맡기면 안에서 모델을 수십 번, 수백 번 불러 쓰기 때문에 문제 하나당 비용이 조금만 줄어도 전체 운영비에 미치는 영향이 크다. 그래서 이 벤치마크는 단순히 누가 더 똑똑한지보다 누가 더 경제적으로 똑똑한지를 드러내는 데 쓰인다.