AI 에이전트 기억, 모델 크기별로 처방 다르게 줘야 성능 오른다

연구팀은 이 기억 기법을 AppWorld 벤치마크로 검증했다. 캘린더·메시지·결제 등 9개 시뮬레이션 앱에서 585개 다단계 과제(test_normal 168개, test_challenge 417개)를 수행시키고, 두 가지 지표로 점수를 매겼다. TGC(Task Goal Completion)는 개별 과제를 완전히 끝냈는지를 보는 일반적인 완료율이고, SGC(Scenario Goal Completion)는 같은 시나리오의 모든 변형(데이터·표현·예외 조건이 다른 버전)을 전부 통과해야만 점수를 주는 훨씬 엄격한 지표다.

여덟 개 모델, 세 갈래 반응

30B급 밀집 모델부터 최상급 독점 모델까지 8개를 시험한 결과, 모델은 세 가지 패턴 중 하나로 갈렸다.

모델	규모	반응 패턴	완료율(TGC) 변화	시나리오완료율(SGC) 변화
DeepSeek-V3.2	671B MoE	전체 세트 선호	+9.5%p	+16.1%p
gpt-oss-120b	117B MoE	압축 검색 선호	+16.1%p	토큰 +5%로 완료
GLM-5	745B MoE	포화(변화 없음)	측정 가능한 향상 없음	측정 가능한 향상 없음
GPT-5.5·Opus	-	TGC 포화, SGC는 여전히 상승	거의 상한 도달	각각 +7.2%p, +7.1%p

여유가 있는 강한 모델은 드문 예외 상황까지 담은 전체 가이드라인 세트를 받아들일 여력이 있었다. DeepSeek-V3.2가 이 부류였다. 반대로 상대적으로 약한 모델은 방대한 지침에 오히려 압도됐다. gpt-oss-120b는 신뢰도 높은 핵심 지침에 과제별로 필요한 몇 개만 골라 넣는 방식에서 가장 좋은 성적을 냈고, 전체 세트를 넣었을 때보다 토큰은 약 절반 수준만 썼다. GLM-5는 어느 쪽을 시도해도 눈에 띄는 변화가 없었는데, 연구팀은 이를 '포화' 패턴이라 부르면서도 원인을 단정하지는 않았다. 이미 해당 과제에서 한계에 가까웠거나, 가이드라인이 남은 실패 지점을 건드리지 못했거나, 모델이 지침을 제대로 적용하지 못했을 가능성을 모두 열어뒀다.

연구팀은 어떤 모델이 어느 패턴에 속하는지가 단순히 파라미터 수로 결정되지 않는다고 밝혔다. 벤치마크 여유도, 컨텍스트 윈도우 크기, 아키텍처, 가이드라인 품질, 과제 분포가 모두 영향을 주는 것으로 보이며, 이 요인들을 분리하는 작업은 아직 진행 중이라고 설명했다.

완료율보다 매서운 지표, SGC

엄격한 지표인 SGC는 대체로 TGC보다 더 크게 움직였다. DeepSeek는 TGC가 9.5%p 오를 때 SGC는 16.1%p 뛰었는데, 좋은 가이드라인이 평균적인 과제 수행보다 시나리오의 모든 변형을 통과하는 데 더 크게 기여하기 때문이라고 연구팀은 풀이했다. 이 효과는 상위권 모델에서도 사라지지 않았다. GPT-5.5와 Opus는 TGC 기준으로는 이미 상한에 가까웠지만 SGC는 각각 7.2%p, 7.1%p 더 올랐다. 남아 있는 실패 유형이 있는 한 기억은 계속 효과를 냈다는 뜻이다.

토큰 비용과 프롬프트 캐싱

전체 가이드라인 세트를 매 단계마다 다시 집어넣는 방식은 입력 토큰을 부풀린다. 반면 압축 검색 방식은 비용을 기준선에 가깝게 유지했고, 약한 모델에서는 정확도와 비용 모두에서 유리했다. DeepSeek는 기억을 넣든 안 넣든 ReAct 단계 수가 평균 18~19회로 비슷했다. 즉 추가 비용은 더 긴 추론 과정 때문이 아니라 입력 토큰이 늘어난 데서 나온 것이다. 연구팀은 실제 운영에서 비용을 줄이는 핵심 수단으로 프롬프트 캐싱을 꼽았다. 가이드라인 세트 중 매 단계 동일하게 반복되는 부분은 캐싱이 가능해, 이 접두부를 안정적으로 유지하도록 설계하면 전체 세트를 쓰는 강한 모델에서도 비용을 실용적인 수준으로 낮출 수 있다고 밝혔다.

한계와 다음 단계

연구팀은 이번 결과가 시작점이라고 선을 그었다. 현재 검색 방식은 코사인 유사도로 가이드라인 순위를 매기는데, 이 방식이 어떤 지침이 특정 과제에 실제로 도움이 되는지를 완벽히 예측하지 못한다는 점을 확인했다고 밝혔다. 또 매우 약한 모델은 자기 자신의 궤적에서 뽑아낸 자기증류 방식만으로는 신호가 부족해, 별도의 교사 모델 증류 방식을 검토 중이라고 전했다. 검증도 AppWorld 한 벤치마크에 한정돼 있어 더 넓은 에이전트 벤치마크와 실제 배포 환경에서의 검증이 진행 중이라고 덧붙였다. 컨텍스트 윈도우 크기와 모델 자체 역량을 분리하는 통제 실험도 아직 마치지 못한 과제로 남아 있다.

비슷한 시기 Nous Research도 에이전트 앱 헤르메스 데스크톱에 봇 모드를 공개해, 봇마다 역할·모델·기억을 따로 갖도록 구성하는 방향을 택했다. 에이전트에게 기억을 어떻게 나눠 줄지가 여러 회사에서 동시에 다뤄지는 주제라는 걸 보여준다.

에디터의 시선

이번 연구가 흥미로운 지점은 '기억을 주면 좋다'는 통념을 뒤집은 게 아니라, 그 통념에 조건을 하나 붙였다는 데 있다. 강한 모델일수록 더 많은 정보를 잘 소화한다는 건 직관과 일치하지만, 745B 규모의 GLM-5가 아무 반응을 보이지 않았다는 대목은 파라미터 수만으로 기억 용량을 예측할 수 없다는 걸 보여준다. 실무에서 에이전트 시스템을 설계해 본 사람이라면 익숙한 장면이다 — 같은 프롬프트 엔지니어링 기법을 여러 모델에 그대로 옮겨 붙이면, 어떤 모델은 반응하고 어떤 모델은 무반응이고 어떤 모델은 오히려 성능이 떨어진다. 이번 결과는 그 경험을 수치로 못박아 준다.

국내에서 에이전트 파이프라인을 운영하는 팀이라면 당장 두 가지를 점검해볼 만하다. 첫째, 지금 쓰는 모델이 컨텍스트 여유가 있는 상급 모델인지 아니면 중소형 모델인지에 따라 지침 주입 방식을 다르게 설계해야 한다. 중소형 모델에 전체 매뉴얼을 다 넣는 관행은 토큰 비용만 늘리고 성능은 오히려 깎아 먹을 수 있다. 둘째, 완료율(TGC) 하나만으로 기억의 효과를 판단하면 실제 이득을 과소평가한다. 이번 실험에서도 상위권 모델은 TGC로는 변화가 안 보였지만 SGC로는 여전히 개선됐다. 신뢰성을 따지는 서비스라면 시나리오 전체 통과율 같은 더 엄격한 지표를 함께 봐야 한다.

다음 몇 주 안에 이 문제는 '검색 알고리즘 고도화' 방향으로 이어질 가능성이 크다. 연구팀 스스로 코사인 유사도 기반 검색의 한계를 인정했고, 결과 신호로 학습하는 선택기(selector)를 다음 단계로 예고했다. AppWorld를 벗어난 실제 배포 환경 검증 결과가 나오면, 지금의 세 가지 패턴 분류가 더 세분화되거나 뒤집힐 수도 있다.