매일 아침, 어제의 AI를 한 통으로 정리해 보내드립니다메일로 받아보기

METAL LAB

EnvHarness: Awakening Static Worlds for Agent Learning

arXiv:2608.198802026-08-21

에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법

LLM 에이전트는 가상의 환경과 상호작용하며 배우는데, 사람이 손수 만든 환경은 한 번 만들어지면 고정되어 있어서 에이전트가 점점 잘하게 돼도 그 발전에 맞춰 바뀌지 않는다. EnvHarness는 환경 자체의 로직이나 정답 판정 장치는 건드리지 않은 채, 시작 상태를 바꾸거나(Stage), 허용된 행동·관찰을 바꾸거나(Contract), 여러 과제를 이어 붙이는(Chain) 식으로 겉에서 씌우는 부품을 추가한다. EnvRigger라는 자동화 장치가 에이전트의 성공·실패 기록을 관찰해 약점에 맞는 부품을 만들고 실제로 효과가 있는지 검증한 뒤에만 채택한다.

무엇을 했나

  1. 문제의식: 기존에 손으로 만든 학습 환경은 정적이라 특정 에이전트의 약점을 겨냥하지 못하고, 에이전트가 문제를 다 풀고 나면 더 가르칠 게 없어진다. 자동 환경 생성 기법들도 특정 분야에만 쓸 수 있고 신뢰하기 어려운 LLM 채점기에 의존한다는 한계가 있다.
  2. 해결책: 얼어붙은 LLM에 도구·메모리를 씌워 에이전트로 만드는 '에이전트 하네스'라는 개념을, 환경 쪽에 그대로 적용한 것이 EnvHarness다. 원래 환경의 로직과 검증 장치는 그대로 둔 채 Stage(시작 상태 변경), Contract(허용 행동·관찰·피드백 변경), Chain(여러 환경을 이어 하나의 긴 과제로 연결) 세 종류의 부품을 씌운다.
  3. 자동화: EnvRigger는 대상 정책(에이전트)을 블랙박스로 취급해 실행 기록을 관찰하고, 반복 행동 루프나 긴 관찰문 오독, 편법 악용 같은 문제를 진단한 뒤 그에 맞는 부품 후보를 작성하고, 새로운 시행으로 검증해 효과가 확인된 것만 채택한다.
  4. 결과: ALFWorld, WebArena, SWE-bench Verified, OfficeQA, SpreadsheetBench 등 4개 분야 5개 벤치마크에서, EnvHarness로 재구성한 환경으로 학습한 에이전트가 원본 환경 학습이나 분야별 전용 환경 생성 기법보다 우수했다. 별도 테스트 과제에서 최대 9.0점 향상을 보였고, SWE-bench Verified에서는 실행 단계 수를 9.8% 줄였다.
  5. 추가 발견: 같은 방식이 강화학습에서도 더 나은 학습 신호를 제공했고, 환경 개수를 늘려도 원본·생성 환경은 성능이 정체되는 반면 EnvHarness는 계속 향상되었으며, 약한 모델부터 강한 모델까지 다양한 백본에서 일관되게 통했다.
EnvHarness: Awakening Static Worlds for Agent Learning figure 0
EnvHarness: Awakening Static Worlds for Agent Learning figure 1
EnvHarness: Awakening Static Worlds for Agent Learning figure 2
Table 7 | Training and evaluation splits per benchmark.
BenchmarkTrainingEvaluation
ALFWorld100 tasks from the standard train setall remaining held-out tasks
WebArena20 tasks per sub-domainall remaining tasks
SWE-bench100 tasks from SWE-bench Lite407 Verified issues not in Lite
OfficeQA50 tasks (official split)172 official test tasks
SpreadsheetBench100 of the 400 verified tasks299 held-out tasks (897 instances)
Figure 2 | While an agent harness transforms a frozen LLM into a capable agent via plug-in components (e.g., skills, memory, tools) without altering model weights, EnvHarness applies this same principle to the other side of the interaction. It customizes a frozen environment with plug-in components while leaving original environment unchanged.
Figure 2 | While an agent harness transforms a frozen LLM into a capable agent via plug-in components (e.g., skills, memory, tools) without altering model weights, EnvHarness applies this same principle to the other side of the interaction. It customizes a frozen environment with plug-in components while leaving original environment unchanged.
Figure 3 | Overview of EnvHarness components wrapping the standard environment inter- face. The underlying base environment (native state transitions and original task verifier) remains completely frozen. From left to right: the base environment, followed by three EnvHarness compo- nents—Stage, Contract, and Chain. Highlighted arrows and headers indicate overridden interface methods, with code blo
Figure 3 | Overview of EnvHarness components wrapping the standard environment inter- face. The underlying base environment (native state transitions and original task verifier) remains completely frozen. From left to right: the base environment, followed by three EnvHarness compo- nents—Stage, Contract, and Chain. Highlighted arrows and headers indicate overridden interface methods, with code blo
EnvHarness: Awakening Static Worlds for Agent Learning figure 5

왜 중요한가

AI 에이전트를 훈련시키는 사람 입장에서, 매번 새 버전의 에이전트가 나올 때마다 학습 환경을 새로 설계할 필요 없이 계속 쓸모 있게 유지할 방법을 제시한다. 에이전트의 구체적 약점을 진단한 뒤 그에 맞게 연습 환경을 바꾼다는 아이디어는 코딩, 웹, 사무 자동화, 로봇형 과제 등 여러 분야에 같은 인터페이스로 적용될 수 있음을 보여준다.

EnvHarness: Awakening Static Worlds for Agent Learning figure 6
EnvHarness: Awakening Static Worlds for Agent Learning figure 7
Figure 4 | EnvRigger generating EnvHarness components for a target policy based on given task. The execution loop on the left runs the policy against the current environment, which is a frozen base environment wrapped by the active EnvHarness containing accepted components 𝑤1, . . . , 𝑤𝑘, while the resulting rollout trajectories feed the EnvRigger loop on the right. The EnvRigger operates syste
Figure 4 | EnvRigger generating EnvHarness components for a target policy based on given task. The execution loop on the left runs the policy against the current environment, which is a frozen base environment wrapped by the active EnvHarness containing accepted components 𝑤1, . . . , 𝑤𝑘, while the resulting rollout trajectories feed the EnvRigger loop on the right. The EnvRigger operates syste

이 논문의 용어

  • LLM 에이전트 · 대형 언어모델을 기반으로, 단순히 답만 하는 게 아니라 웹페이지 클릭이나 코드 수정처럼 환경 안에서 실제 행동을 취하는 AI 시스템
  • 환경(environment)과 검증 장치(verifier) · 에이전트가 상호작용하는 가상의 과제 설정과, 그 안에서 성공 여부를 채점하는 장치
  • Stage / Contract / Chain · EnvHarness의 세 부품 유형. Stage는 시작 상태 변경, Contract는 허용된 행동·관찰 변경, Chain은 두 과제를 이어 하나의 긴 과제로 연결
  • 블랙박스 관찰 · 에이전트 내부 가중치를 보지 않고 입력·출력과 행동 기록만으로 파악하는 방식
  • 강화학습(RL) / GRPO · 행동을 시도하며 얻은 보상 신호로 정책을 개선하는 학습 방법. GRPO는 이 논문에서 사용한 구체적인 최적화 알고리즘

논문 원문 초록 (영문)

LLM agents learn by interacting with environments, yet these environments are hand-built and static: blind to an agent's weaknesses, and quickly left behind as it improves. While recent environment generation methods attempt to address this, they require domain-specific pipelines, rely on expensive or unreliable verifiers, and still produce static environments. To alleviate the engineering burden of rebuilding environments from scratch, we propose Environment Harness (EnvHarness), a programmable layer of plug-in components that wraps a static environment to reshape its behavior without modifying the underlying logic. Operating through standard interfaces, EnvHarness applies across diverse domains while ensuring every reshaped environment retains its original verifier. To automate this process, we introduce EnvRigger, which treats the target policy as a black box, observing its execution trajectories to synthesize EnvHarness components targeting diagnosed flaws, and validating them via fresh rollouts. Across five benchmarks in four domains, EnvHarness outperforms both original environments and domain-specific environment generation pipelines, achieving up to a 9.0-point improvement on held-out instances with 9.8% fewer execution steps. Furthermore, EnvHarness provides a superior optimization signal for reinforcement learning, enabling continuous, targeted co-evolution of the policy and its environment.

저자 · Chengsong Huang, Zifeng Wang, Rujun Han, Jun Yan, Yanfei Chen, Zoey CuiZhu, Ke Jiang, Peng Xia, Han Yu, Yufan Zhuang, Yi

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Chengsong Huang et al., arXiv:2608.19880, CC BY 4.0