이미지: @AIatMeta (X) 화면 갈무리
요약
- 메타 AI가 내부 평가 프레임워크 WildArtifactBench를 소개하며 과제 10개를 먼저 공개했다.
- 정답이 정해진 채점표 대신 사람과 에이전트 심사자의 승률·Elo 점수로 산출물을 겨룬다.
- 조류 울음소리 분석부터 관상동맥 협착 판독까지 실무형 과제가 섞여 있다.
- 명칭
- WildArtifactBench
- 발표
- 메타 AI 공식 X 계정, 2026-08-20 18:25 UTC
- 형태
- 내부 평가 프레임워크(프리뷰)
- 공개 과제 수
- 10개
- 평가 방식
- 사람·에이전트 심사자의 승률(win rate)과 Elo 점수
- 과제 구성
- instruction.md · data 폴더 · rubrics.json
- 예시 과제
- Bird Sound(오디오 분석), Coronary Stenosis(관상동맥 협착 판독) 등
정답 없는 과제를 어떻게 채점할까
메타 AI가 이번엔 새 모델이 아니라 채점 기준을 공개했다. 20일(현지시간) 공식 X 계정에 올린 글에서 메타 AI는 AI 에이전트의 실무 능력을 평가하는 내부 프레임워크 'WildArtifactBench'를 처음 소개했다. 새 모델이 나올 때마다 함께 붙던 성능 표 대신, 이번엔 그 성능을 재는 도구 자체가 주인공이다.
에이전트는 이제 답변 하나만 내놓지 않는다. 문서를 쓰고, 3D 모델을 뽑고, 영상을 편집하고, 의료 영상을 판독한다. 문제는 이런 산출물엔 정해진 정답이 없다는 점이다. 코드 문제처럼 "실행하면 통과·실패"로 가를 수도, 수학 문제처럼 숫자 하나로 맞고 틀림을 가릴 수도 없다. 메타 AI는 WildArtifactBench가 "복잡하고 실제 업무에 가까운 과제를 다양한 산출물 형식에 걸쳐" 평가하도록 설계됐다고 소개했다.
정답 대신 승률과 Elo 점수
채점 방식이 특이하다. 엄격한 정답 채점표(ground-truth rubric) 대신 사람 심사자와 다른 에이전트 심사자가 결과물끼리 맞대결을 붙여 승률과 Elo 점수를 매긴다. 체스나 온라인 게임 랭킹에 쓰이는 Elo 점수 체계를 그대로 가져와, 어느 에이전트의 산출물이 상대적으로 더 나은지 가르는 방식이다. 메타 AI는 이 방법이 "실무형 멀티모달 워크플로 전반으로 과제 범위를 넓힌다"고 설명했다. 이번에 먼저 공개한 과제는 10개로, 메타 AI는 이를 "멀티모달 에이전트가 실제로 전달하는 실용적 가치를 측정하는 능력을 한 걸음 더 끌어올리는" 시도라고 밝혔다.
공개된 10개 과제
| 과제명 | 분류 |
|---|---|
| Bird Sound | 오디오 분석 |
| Cardiac Ultrasound | 의료·헬스케어 |
| Cat Mesh | 디지털 디자인 |
| Coronary Stenosis | 관상동맥 조영 영상 분석 |
| Dqn Driving | 머신러닝 엔지니어링 |
| Kitchen Layout | 디지털 디자인 |
| Materials Metrology | 재료공학 정량 영상 분석 |
| Microchip Model | 3D 모델링 |
| Plywood Whale | 디지털 디자인 |
| Video Editing | 영상 편집 |
과제 하나는 세 조각으로 나뉜다
발췌된 과제 뷰어 화면을 보면 과제마다 세 요소로 구성돼 있다. 무엇을 만들라고 지시하는 instruction.md, 입력으로 주어지는 이미지·YAML·오디오 등 원본 자료가 담긴 data 폴더, 그리고 채점 기준을 담은 rubrics.json이다. 화면에는 Category·Input files·Input size·Criteria 네 개 탭이 함께 떠, 과제마다 입력 형식과 난이도를 견줘볼 수 있게 돼 있다.
어떻게 써보나
WildArtifactBench는 메타 AI 개발자 페이지 안 과제 뷰어에서 확인할 수 있다. 화면 왼쪽에 10개 과제 목록이 나열돼 있고, 상단 검색창으로 과제 이름을 찾을 수 있다.
- 과제 뷰어에서 살펴보고 싶은 과제(예: Bird Sound, Coronary Stenosis)를 고른다.
- 과제를 선택하면 화면에 Category·Input files·Input size·Criteria 탭이 뜬다.
- Task files 탭으로 들어가면 instruction.md·data 폴더·rubrics.json을 하나씩 열어볼 수 있다. 이미지는 자동으로 로드되고, YAML은 펼쳐야 보이며, 오디오는 메타데이터만 표시된다.
- 화면 상단의 전체 과제 압축 파일을 누르면 10개 과제 전체를 한 번에 내려받을 수 있다.
이번 발표에는 외부 개발자의 접근 범위나 참여 조건은 담기지 않았다. 다만 메타가 최근 터미널 코딩 에이전트 Muse Code처럼 장기 과제형 에이전트를 잇달아 내놓은 만큼, Dqn Driving이나 Microchip Model 같은 과제는 이런 에이전트의 실무 성능을 재는 시험대로 쓰일 가능성이 있다.
에디터의 시선
오픈AI·앤스로픽 같은 회사들도 자체 벤치마크를 만들지만 대부분 코딩·수학처럼 정답이 있는 영역에 머물러 있다. 메타가 의료 영상 판독, 3D 모델링, 영상 편집처럼 정답 없는 영역까지 평가 범위를 넓힌 건, 에이전트 경쟁의 무게중심이 "누가 문제를 더 잘 푸느냐"에서 "누가 결과물을 더 실무에 가깝게 뽑아내느냐"로 옮겨가고 있다는 신호로 읽힌다. 정답 채점이 불가능한 영역에서 Elo 방식을 들여온 것도 그 연장선이다. 벤치마크의 무게중심이 앞으로 "누가 더 정확한가"보다 "누가 더 선호되는가"를 재는 쪽으로 기울 가능성이 크다.
기존 에이전트 벤치마크를 실무에 붙여 보면 늘 같은 벽에 부딪힌다. 코딩 벤치마크는 "테스트를 통과하는가"는 재지만 "그 코드를 팀이 실제로 채택할 만한가"는 재지 못한다. 승률·Elo 방식은 적어도 그 간극을 메우려는 첫걸음이다.
국내에서 자체 에이전트를 만들거나 도입을 검토하는 팀이라면, 성능 표의 점수 하나보다 그 점수를 어떤 방식으로 매겼는지를 먼저 봐야 한다. 정답 있는 과제에서 잘하는 에이전트와 정답 없는 실무 산출물을 잘 뽑는 에이전트는 다른 능력이다. 자사 문서 포맷과 코드 스타일에 맞춘 소규모 평가셋을 별도로 만들어 두는 편이, 외부 벤치마크 점수보다 실제 도입 판단에 더 유용하다.
메타가 10개 과제로 시작한 WildArtifactBench의 범위를 넓히면, 다음 순서는 이 프레임워크로 Muse Code 같은 자사 에이전트의 성적표를 직접 공개하는 쪽일 가능성이 크다.
댓글