AppWorld

AppWorld는 AI 에이전트에게 가짜로 만든 앱 세상에서 여러 단계짜리 심부름을 시켜보고 채점하는 시험 문제집이다. 실제 세상 대신 캘린더 앱, 메시지 앱, 결제 앱 같은 걸 9개 만들어 놓고, 그 안에서 AI가 스스로 여러 단계를 거쳐 임무를 완수하는지 지켜본다.

이 시험에는 585개의 과제가 있는데, 하나의 과제라도 '일정 잡기'처럼 간단하지 않고 조건과 예외가 얽힌 여러 단계로 구성돼 있다. 채점 방식도 두 가지다. 하나는 개별 과제 하나하나를 끝냈는지만 보는 관대한 채점, 다른 하나는 같은 상황을 조금씩 바꾼 모든 변형판까지 전부 통과해야 점수를 주는 훨씬 엄격한 채점이다. 후자가 더 매서운 이유는, 운 좋게 한 번 성공한 것과 어떤 변형이 와도 항상 성공하는 것은 다른 문제이기 때문이다.

결국 AppWorld는 특정 AI 모델이나 서비스가 아니라, 여러 회사의 다른 AI 에이전트들을 같은 조건에서 비교할 수 있게 만든 공통 시험장이다. 실제 사무 업무를 흉내 낸 앱들을 갖췄다는 점에서, 단순 질의응답이 아니라 '일을 끝까지 처리하는 능력'을 확인하려는 목적으로 만들어졌다.

기사에서는 "연구팀은 이 기억 기법을 AppWorld 벤치마크로 검증했다"처럼 쓰인다. 여기서 AppWorld는 IBM이 만든 기억 기법(ALTK-Evolve)이 아니라, 그 기법의 효과를 확인하기 위해 빌려 쓴 시험 환경이라는 점을 헷갈리지 않아야 한다.