멀티모달 에이전트

멀티모달 에이전트는 글자만 주고받는 게 아니라 사진도 보고, 소리도 듣고, 영상도 만들고, 입체 모형까지 다루는 일 잘하는 비서다. 예전 챗봇이 질문에 문장으로 답하는 데 그쳤다면, 이 비서는 새의 울음소리를 듣고 종을 구분하거나, 심장 초음파 영상을 보고 이상 여부를 짚어내거나, 부엌 사진을 보고 가구 배치도를 그려주는 식으로 여러 감각을 동시에 쓴다.

문제는 이런 결과물엔 정답이 하나로 딱 떨어지지 않는다는 점이다. 수학 문제처럼 숫자를 맞히거나 코드처럼 실행해서 통과·실패를 가르는 방식이 안 통한다. 그래서 이 능력을 평가할 때는 사람이나 다른 에이전트가 결과물끼리 맞대결을 붙여 어느 쪽이 더 나은지 점수를 매기는 방식을 쓰기도 한다.

결국 멀티모달 에이전트는 텍스트 하나로는 해결이 안 되는, 여러 형태의 자료가 뒤섞인 실무 업무를 대신 처리하도록 만든 AI인 셈이다.

메타 AI는 새 채점 프레임워크를 소개하며 이를 "멀티모달 에이전트가 실제로 전달하는 실용적 가치를 측정하는 능력을 한 걸음 더 끌어올리는" 시도라고 밝혔다. 오해하기 쉬운 점은 이것이 새 모델 출시 발표가 아니라, 멀티모달 에이전트의 실력을 재는 채점 기준 자체를 공개한 것이라는 점이다.

1. 메타 AI 개발자 페이지의 과제 뷰어에서 새 소리 분석, 심장 초음파 판독, 3D 모델링 같은 과제 목록을 살펴본다.
2. 과제 하나를 골라 지시문(instruction), 입력 자료(이미지·오디오·YAML), 채점 기준(rubric) 세 요소가 어떻게 구성돼 있는지 확인한다.
3. 같은 지시문을 다른 AI 챗봇 두세 곳에 넣어보고 결과물(이미지 설명, 표, 요약 등)을 나란히 비교해본다. 어느 쪽이 더 지시를 잘 따랐는지 스스로 판정해보면 정답 없는 평가가 왜 어려운지 감이 온다.