LLM 에이전트에게 365일짜리 온라인 쇼핑몰을 맡겨봤더니, 사람보다 훨씬 빨리 자산 관리에 흥미를 잃었다

무엇을 했나

1. 기존 에이전트 벤치마크는 대부분 명확한 성공 기준이 있는 짧은 과제 위주였는데, 이 연구는 정답이 없고 장기간 일관성 있게 판단해야 하는 '오랫동안 흔들리지 않는 판단력(Long-Term Coherence)'을 재는 것을 목표로 삼았다.
2. 1688(중국 최대 도매 오픈마켓) 실제 상품 98,843건과 공급자 36,576곳 데이터를 바탕으로, 시간당 진행되는 8,760스텝(365일) 시뮬레이션을 만들고 26개의 상점 운영 도구(상품 검색, 등록, 가격 변경, 재무 확인 등)를 에이전트에게 제공했다.
3. 이 환경의 핵심은 '즉시 보이는 신호'와 '늦게 드러나는 결과'가 섞여 있다는 점이다. 새 주문은 현금을 즉시 묶어두지만, 반품·환불·나쁜 후기 같은 비정상 결과는 한참 뒤에 드러나며 상점 평점에 누적 영향을 준다.
4. GPT-5.6 Sol, Claude Opus 4.8, Qwen3.7-Max/Plus, GLM-5.2, DeepSeek-V4-Pro/Flash, Kimi K2.6 여덟 모델을 ReAct(최소 도구 제어)와 Hermes(코드 실행·계획·메모리·스킬 관리까지 갖춘 프레임워크) 두 방식으로 각 3회씩, 총 48회 365일 시뮬레이션을 돌렸다.
5. 결과는 사람 참가자 3명, 규칙 기반(Rule-based) 자동화 봉과 비교됐으며, 최고 성적 LLM 조합조차 사람 평균 최종 순자산의 27.3%에 그쳤고, 시간이 지날수록 활동량이 줄거나(운영적 일관성 상실) 목표에서 벗어나는(전략적 일관성 상실) 패턴이 관찰됐다.

실제로 확인된 결과

• 최고 성적 LLM 조합(Hermes+Qwen3.7-Max)도 사람 참가자 평균 최종 순자산의 27.3%만 달성했다.
• 여덟 모델 평균으로 볼 때 Hermes 프레임워크가 ReAct보다 최종 순자산 53.3%, GMV 71.5%, 주문 수 71.2% 더 높았고, 8개 모델 중 7개에서 Hermes가 더 나은 성과를 냈다(Kimi K2.6만 예외로 4.1% 낮음).
• 사람 참가자는 SWR(지속 활동 비율)이 100%였던 반면, LLM 구성들은 ReAct에서 10.6~99.4%, Hermes에서 17.8~66.1%로 활동이 시간이 갈수록 줄어드는 경향을 보였다.
• 일부 모델(예: Hermes Claude Opus 4.8)은 근거 없이 '상품 수를 줄이면 트래픽이 집중된다'는 잘못된 정책을 유지해 활성 매물이 47개에서 3개로 줄었고, 한 Kimi K2.6 실행에서는 104일째 '회복 불가' 판단 후 남은 523개 결정 구간 중 355개에서 아무 조치도 취하지 않았다.
• 사람 참가자는 자금 여유가 생기면서 조달 가격대를 초반 43.4~53.1위안에서 후반 58.7~90.8위안으로 넓혔지만, GLM-5.2, DeepSeek-V4-Flash, Kimi K2.6 등은 가격대가 거의 변하지 않았다.

어디에 쓸 수 있나

• 장기간 자율적으로 재고·가격·현금흐름을 관리해야 하는 자동화 에이전트를 설계할 때, 시간이 지나며 활동이 줄거나 목표에서 이탈하는지 점검하는 평가 틀로 참고할 수 있다.
• 여러 LLM과 에이전트 프레임워크(도구 호출 방식, 메모리·스킬 관리 유무)의 조합이 장기 성과에 어떤 차이를 만드는지 비교하는 실험 설계에 참고할 수 있다.
• 지연된 피드백(반품, 환불, 후기)이 누적되는 상황에서 에이전트가 과거 결정을 되짚어 수정하는지 진단하는 방법론으로 활용할 수 있다.

한계와 남은 검증

• 시뮬레이션은 1688 플랫폼 데이터를 바탕으로 한 가상 환경으로, 실제 온라인 판매점 운영과는 규제·경쟁·고객 행동 등에서 차이가 있을 수 있다.
• 평가는 3회 반복 실행에 기반하며, 특히 Qwen3.7-Max+Hermes처럼 변동계수 55.1%로 매우 불안정한 조합도 있어 결과 해석에 주의가 필요하다.
• 사람 참가자는 단 3명으로 전문 판매자가 아닌 비경험자였기 때문에, '사람 대비 27.3%'라는 수치를 일반적인 인간 전문가 성과 기준으로 확대 해석하기 어렵다.
• 논문에서 언급된 GPT-5.6, Claude Opus 4.8, Qwen3.7 시리즈 등은 실제 공개된 모델명과 다를 수 있어 특정 최신 모델 성능으로 그대로 받아들이기보다 벤치마크 설계 자체에 주목해야 한다.
• 코드 실행이나 스킬 생성 같은 Hermes의 부가 기능이 왜 특정 모델에서만 효과를 내는지에 대한 원인 분석은 사례 관찰 수준이며 추가 검증이 필요하다.

왜 중요한가

챗봇이나 짧은 작업 자동화를 넘어, 실제 업무처럼 몇 달간 스스로 판단하고 수정해야 하는 상황에서 지금의 LLM 에이전트가 얼마나 미덥지 못한지를 구체적 수치로 보여준다. 재고관리·판매 운영처럼 장기간 자율적으로 맡길 자동화 시스템을 설계하는 사람에게, 어디서 실패가 쌓이는지(활동 감소, 조기 포기, 근거 없는 정책 유지)를 미리 알려주는 참고 자료가 된다.

이 논문의 용어

• Long-Term Coherence · 긴 시간 동안 목적을 잃지 않고 누적된 증거에 맞춰 판단을 조정하는 능력
• POMDP(부분 관측 마르코프 결정 과정) · 에이전트가 전체 상태를 다 보지 못하고 일부 관측 정보만으로 결정을 내려야 하는 의사결정 모델
• Sustained Window Rate(SWR) · 30일 단위로 미끄러지며 확인했을 때, 도구를 한 번이라도 사용한 결정 구간의 최소 비율
• Hermes / ReAct · ReAct는 26개 도구만 쓰는 최소 제어 방식, Hermes는 여기에 코드 실행·메모리·스킬 관리 등을 더한 확장 프레임워크
• Upstream Supplier Events / Downstream Order Outcomes · 공급자 쪽에서 빨리 드러나는 사건(가격변동·품절 등)과 주문 쪽에서 늦게 드러나는 결과(반품·환불 등)

최신 논문

• AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다arXiv:2608.197992026-08-21
• 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기arXiv:2608.197582026-08-21
• 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법arXiv:2608.198612026-08-21
• 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다arXiv:2608.198912026-08-21
• 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법arXiv:2608.198802026-08-21
• AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다arXiv:2608.195642026-08-21
• 단어 뜻이 언제 어떻게 변했는지, 문법 구조까지 뜯어서 보여주는 오픈소스 도구단어 뜻이 언제 어떻게 변했는지, 문법 구조까지 뜯어서 보여주는 오픈소스 도구arXiv:2608.194722026-08-21
• AI로 주식 뉴스 요약해보니, 최신 검색보강 기법보다 오히려 단순 요약 방식이 더 정확했다AI로 주식 뉴스 요약해보니, 최신 검색보강 기법보다 오히려 단순 요약 방식이 더 정확했다arXiv:2608.195262026-08-21

METAL LAB 최신 기사

• 사카나AI, 일본 방위성과 정보분석 AI 실증 계약
• 헤르메스 에이전트, 쓸수록 스스로 스킬 만든다
• 저작권 책으로 AI 학습, 합법일까 불법일까 법정 공방
• 중국 그레이마켓, 앤스로픽 클로드 토큰 정가 10%에 유통
• AI 폭주 대응 계획, 5대 빅랩 중 최고점도 3점 그쳐