월~금 오전 7시, 일요일 오전 8시 — AI 뉴스와 용어를 보내드립니다메일로 받아보기

METAL LAB

AI 에이전트의 '실력'은 모델이 아니라 감싸는 틀(하네스)에서 나온다는 발견을 바탕으로, 그 틀을 작업마다 즉석에서 만들어주는 AI를 만들었다

arXiv:2608.255932026-08-27

JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution

AI 에이전트의 '실력'은 모델이 아니라 감싸는 틀(하네스)에서 나온다는 발견을 바탕으로, 그 틀을 작업마다 즉석에서 만들어주는 AI를 만들었다

AI 에이전트가 얼마나 잘 일하는지는 언어모델 자체보다 그 모델을 감싸는 '하네스'(기억 관리, 계획 방식, 행동 규칙, 도구 사용법을 정하는 틀)가 더 크게 좌우한다. JIT-Agent는 이 하네스를 작업이 주어질 때마다 즉석에서 새로 만들고, 오류가 나면 고치고, 실행 결과를 보고 점점 더 나은 하네스를 스스로 진화시키는 27B 규모 모델이다. DeepSeek-V4-Flash에 JIT-Agent를 붙이면 GPT-5.6을 특정 검색·업무 평가에서 앞서고, 이미 강한 GLM-5.2에도 최대 20.2점의 성능 향상을 준다.

METAL LAB 해설 도표

작업이 주어지면 생성기(JIT-Agent)가 그 자리에서 맞춤 하네스를 만들어 모델에 결합시키고, 그 결과 성능이 점점 좋아지는 흐름을 보여준다. 모델 자체는 바뀌지 않지만 감싸는 하네스가 즉석에서 새로 만들어지면서 실력을 끌어올린다.
METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 문제 제기: 에이전트 성능은 모델 혼자가 아니라 '모델+하네스' 조합에서 나오는데, 지금까지 하네스는 사람이 손으로, 작업별로 따로 설계해야 했고 확장이 어려웠다.
  2. 제안: JIT-Agent는 하네스를 기억(Memory), 계획(Planning), 행동(Action), 도구·기능 조율(Capability) 네 모듈로 표준화한 뒤, 주어진 작업을 보고 그 자리에서(Just-in-Time) 맞춤 하네스를 코드로 생성하는 27B 모델이다.
  3. 훈련 방식: 3단계로 훈련한다. 1단계는 더 강한 교사 모델의 예시로 작업에 맞는 하네스 생성을 배우고, 2단계는 생성이 실패했을 때 오류 진단을 보고 고치는 법을 배우며, 3단계(Evo-GDPO)는 이전 하네스들과 성능·속도·비용을 비교해 더 나은 설계를 스스로 찾아내도록 온라인으로 학습한다.
  4. 실험 결과: JIT-Agent가 만든 하네스를 붙인 DeepSeek-V4-Flash는 DeepSearchQA에서 GPT-5.6보다 9.1점, OdysseyBench에서 4.3점, PinchBench에서 8.7점 높았고, GLM-5.2는 xBench-DS에서 12.0점, AgentIF에서 6.9점 향상됐다. 또한 OpenCode, Claude Code 같은 완성된 에이전트 실행 환경과 비교해도 성능이 대등했고, DeepSeek V4·Mimo-V2.5·Qwen3.6 등 크기가 다른 여러 모델 계열에서 일관되게 성능을 높였다.
  5. 구성 요소: HarnessFactory라는 13개의 대표적인 기존 에이전트 설계(ReAct, ROMA 등)를 표준 틀로 재구현한 코드베이스를 만들어, JIT-Agent가 참고할 재료 뱅크로 활용했다.
Figure 1: Leaderboard across four representative agent benchmarks. JIT-Agent-generated harnesses consistently improve the underlying backbone agents across deep research, daily work, planning, and workspace tasks, demonstrating that just-in-time harness synthesis provides gains beyond model scaling alone.
Figure 1: Leaderboard across four representative agent benchmarks. JIT-Agent-generated harnesses consistently improve the underlying backbone agents across deep research, daily work, planning, and workspace tasks, demonstrating that just-in-time harness synthesis provides gains beyond model scaling alone.
Figure 2: Overview of JIT-Agent. Given a task, JIT-Agent composes a problem-specific agent harness by instantiating (rather than simply combining) four modules: memory, planning, action, and capability. Different task structures therefore induce distinct executable protocols and state organizations, as illustrated by the specialized harnesses for deep research, product generation, and autonomous research.
Figure 2: Overview of JIT-Agent. Given a task, JIT-Agent composes a problem-specific agent harness by instantiating (rather than simply combining) four modules: memory, planning, action, and capability. Different task structures therefore induce distinct executable protocols and state organizations, as illustrated by the specialized harnesses for deep research, product generation, and autonomous research.
Table 1: Harness optimization paradigms. Construction distinguishes harnesses found by ahead-of-time search, ahead-of-time harnesses subsequently edited with test-time feedback, and harnesses generated just in time for each task. Instance synthesis, Harness model, Learned repair, and Online evolution indicate whether a method directly synthesizes an instance-specific harness, trains the generator, learns repair from failed execution trajectories, and continues improving after deployment, respectively.
MethodConstructionInstance synthesisHarness modelLearned repairOnline evolution
AutoHarness (Lou et al., 2026)AOT (search)\xmark\xmark\xmark\xmark
Meta-Harness (Lee et al., 2026c)AOT (search)\xmark\xmark\xmark\xmark
AHE (Lin et al., 2026)AOT (search)\xmark\xmark\xmark\xmark
Adaptive AH (Liu et al., 2026c)AOT (test-time editing)\xmark\xmark\xmark\cmark
TTHE (Nie et al., 2026b)AOT (test-time editing)\xmark\xmark\xmark\cmark
RHI (Lee et al., 2026a)AOT (test-time editing)\xmark\xmark\xmark\cmark
Harness-R1 (Shao et al., 2026)AOT (test-time editing)\xmark\cmark\cmark\cmark
JIT-Agent (ours)JIT\cmark\cmark\cmark\cmark
Figure 3: Training pipeline of JIT-Agent. Stage I learns task-conditioned harness customization. Stage II converts failed harnesses and execution diagnostics into bounded repair trajectories. Stage III performs online evolution by comparing candidate harnesses against the incumbent bank, optimizing decoupled reward, latency, and cost advantages, and retaining frontier-improving designs.
Figure 3: Training pipeline of JIT-Agent. Stage I learns task-conditioned harness customization. Stage II converts failed harnesses and execution diagnostics into bounded repair trajectories. Stage III performs online evolution by comparing candidate harnesses against the incumbent bank, optimizing decoupled reward, latency, and cost advantages, and retaining frontier-improving designs.
Figure 4: Cost–performance trade-offs on DeepSearchQA and AgentIF. Marker color identifies the harness, while filled and open circles distinguish DeepSeek-V4-Flash and Qwen3.6-Flash. The horizontal axis is API cost per case in USD and the vertical axis is task performance. The dark-green step line traces the global Pareto frontier, and the pale yellow-green and blue-green regions contain pairings dominated by at least one Pareto-optimal point.
Figure 4: Cost–performance trade-offs on DeepSearchQA and AgentIF. Marker color identifies the harness, while filled and open circles distinguish DeepSeek-V4-Flash and Qwen3.6-Flash. The horizontal axis is API cost per case in USD and the vertical axis is task performance. The dark-green step line traces the global Pareto frontier, and the pale yellow-green and blue-green regions contain pairings dominated by at least one Pareto-optimal point.
Table 2: Seed bank ℬ0: 13 hand-written harnesses instantiating the four-module protocol 𝚷. Each row is a complete harness; columns follow the conceptual order of memory, planning, action, and capability orchestration.
♣ Memory♠ Planning♥ Action♠ Capability Orchestration
Harness𝐌∈𝔐𝐏∈𝔓𝐀∈𝔄𝐅∈𝔉
ReAct [83]FullHistoryNo explicit plannerReActFull registry
Plan-and-Execute [16]FullHistoryLinear roadmapReActFull registry
ReSum [77]ReSum memoryNo explicit plannerReActFull registry
Flash-Searcher [60]FullHistoryDAG planningReActFull registry
GAM [79]GAM retrievalDAGReActFull registry
MemoBrain [59]Reasoning graphNo explicit plannerMarker-guided executionFull registry
AggAgent [32]Isolated rollout historiesNo explicit plannerMulti-rollout aggregationFull registry
OAgent [100]Coordinator historyNo explicit plannerEnsemble votingFull registry
AgentFold [84]AgentFold memoryDAGReActFoldFull registry
HiAgent [22]Hierarchical memoryNo explicit plannerReActFull registry
DeepAgent [34]Three-tier memoryNo explicit plannerMarker-guided executionTool search
ROMA [1]Context isolationAtomizer + DAGRecursive executionFull registry
AOrchestra [63]Context isolationAtomizer + DAGRecursive executionAgent Delegation
Figure 5: JIT-generated harnesses consistently improve paired backbones over ReAct. Rows group three model families and two variants within each family; columns correspond to DeepSearchQA, AgentIF-Oneday, DeepPlanning-Shopping, and OfficeBench. Each panel compares the same backbone under a fixed ReAct harness (dashed) and a JIT-generated harness (solid), with callouts reporting the absolute score gain. DeepSearchQA uses a 100-example subset; the other three benchmarks use 50-example subsets.
Figure 5: JIT-generated harnesses consistently improve paired backbones over ReAct. Rows group three model families and two variants within each family; columns correspond to DeepSearchQA, AgentIF-Oneday, DeepPlanning-Shopping, and OfficeBench. Each panel compares the same backbone under a fixed ReAct harness (dashed) and a JIT-generated harness (solid), with callouts reporting the absolute score gain. DeepSearchQA uses a 100-example subset; the other three benchmarks use 50-example subsets.
Figure 6: Streaming test-time harness evolution across task streams. Cumulative accuracy (top), per-task API cost (middle), and per-task tool calls (bottom) on DeepPlanning-Shopping, DeepPlanning-Travel, and OfficeBench. Dashed curves represent Static JIT, where task-specific harness generations are independent, while solid curves represent Streaming JIT, which continuously incorporates execution feedback as new tasks arrive. Shaded regions show local variation around the streaming trajectories. Streaming JIT finishes with higher cumulative accuracy on all three benchmarks, while API-cost and tool-use trajectories remain task-dependent and of broadly similar scale.
Figure 6: Streaming test-time harness evolution across task streams. Cumulative accuracy (top), per-task API cost (middle), and per-task tool calls (bottom) on DeepPlanning-Shopping, DeepPlanning-Travel, and OfficeBench. Dashed curves represent Static JIT, where task-specific harness generations are independent, while solid curves represent Streaming JIT, which continuously incorporates execution feedback as new tasks arrive. Shaded regions show local variation around the streaming trajectories. Streaming JIT finishes with higher cumulative accuracy on all three benchmarks, while API-cost and tool-use trajectories remain task-dependent and of broadly similar scale.

실제로 확인된 결과

  • DeepSeek-V4-Flash + JIT-Agent가 GPT-5.6 대비 DeepSearchQA에서 +9.1점, PinchBench에서 +8.7점, OdysseyBench에서 +4.3점 높은 성능을 기록했다.
  • 이미 성능이 강한 GLM-5.2에 JIT-Agent를 적용했을 때도 xBench-DS +12.0점, AgentIF +6.9점 등 최대 20.2점의 절대 성능 향상이 관찰됐다.
  • JIT-Agent가 생성한 하네스는 OpenCode, Claude Code 같은 완성된 에이전트 실행 환경과 성능이 대등한 수준으로 나타났다.
  • DeepSeek V4, Mimo-V2.5, Qwen3.6 등 크기가 다른 여러 모델 계열에서 ReAct 대비 일관된 성능 향상이 확인됐고, DeepSearchQA·AgentIF 등에서 비용 대비 성능 파레토 프론티어를 개선했다.
Figure 7: Palimpsest: graph-planned artifact execution. GraphPlanPlanning converts the contact-processing request into a DAG; GraphPlanAction executes it with bounded width and depth, while GraphPlanMemory stores reusable artifacts and reasoning state.
Figure 7: Palimpsest: graph-planned artifact execution. GraphPlanPlanning converts the contact-processing request into a DAG; GraphPlanAction executes it with bounded width and depth, while GraphPlanMemory stores reusable artifacts and reasoning state.
Figure 8: Trapdoor: bounded research behind a delegated tool call. A synthesized delegate capability is intercepted by OrchestratorLoop, which runs a bounded subagent and writes extracted facts into FactGraphMemory.
Figure 8: Trapdoor: bounded research behind a delegated tool call. A synthesized delegate capability is intercepted by OrchestratorLoop, which runs a bounded subagent and writes extracted facts into FactGraphMemory.

어디에 쓸 수 있나

  • 기존에 쓰고 있는 상용/오픈 LLM을 바꾸지 않고 작업 종류(딥리서치, 쇼핑 계획, 여행 계획, 오피스 문서 작업 등)에 맞춰 실행 틀만 자동으로 맞춤 생성해 붙이는 용도로 검토할 수 있다.
  • 여러 개의 서로 다른 성격의 작업(연구 조사, 반복 사무 작업, 다단계 계획 수립)을 하나의 백본 모델로 처리해야 하는 상황에서 하네스를 매번 손으로 새로 짜지 않고 자동화하는 데 참고할 수 있다.
  • 실행 중 오류가 자주 나는 자동화 파이프라인에서, 실패 진단 결과를 보고 하네스를 자동으로 수정하는 방식의 설계 참고 사례로 쓸 수 있다.
Figure A.1: Origami: hierarchical work with folded context. ROMAPlanning creates isolated subtasks; HierarchicalMemory retains their trajectories and artifacts while fold_thought replaces only the active working context before aggregation.
Figure A.1: Origami: hierarchical work with folded context. ROMAPlanning creates isolated subtasks; HierarchicalMemory retains their trajectories and artifacts while fold_thought replaces only the active working context before aggregation.
Figure A.2: Turnstile: evidence first, itinerary second. TravelPlanning emits a travel specification and checklist, DataStoreMemory tracks the required evidence buckets, and DynamicToolPolicy exposes final_answer only after is_complete() succeeds.
Figure A.2: Turnstile: evidence first, itinerary second. TravelPlanning emits a travel specification and checklist, DataStoreMemory tracks the required evidence buckets, and DynamicToolPolicy exposes final_answer only after is_complete() succeeds.

한계와 남은 검증

  • 논문에 보고된 성능 수치는 DeepSearchQA, OdysseyBench, PinchBench, xBench-DS, AgentIF 등 특정 벤치마크와 특정 모델 조합(DeepSeek-V4-Flash, GLM-5.2 등)에서 측정된 것으로, 다른 작업이나 모델에 그대로 일반화된다고 단정할 수 없다.
  • 일부 벤치마크 비교는 100개 또는 50개 예시로 구성된 부분집합(subset)에서 이뤄져, 전체 데이터셋 기준의 절대적 성능 차이와는 다를 수 있다.
  • OpenCode, Claude Code와의 비교는 '성능이 대등하다'는 수준으로 보고되었고, 이들을 모든 상황에서 능가한다는 근거는 제시되지 않았다.
  • 저자들 스스로도 이번 연구가 하네스 전체를 즉석에서 통째로 재설계하는 다소 급진적인 형태이며, 실제 프로덕션에서는 안정적인 핵심 구조를 유지하면서 일부 구성요소만 필요할 때 교체하는 방식이 더 적합할 수 있다고 밝히며, 이는 아직 검증되지 않은 방향으로 남겨두었다.
Figure A.3: Gearbox: one phase shift rewrites the agent. PhaseAction is the sole writer of a shared phase register; PhaseToolPolicy and PhaseAwareMemory read that state to switch both exposed capabilities and typed memory schemas.
Figure A.3: Gearbox: one phase shift rewrites the agent. PhaseAction is the sole writer of a shared phase register; PhaseToolPolicy and PhaseAwareMemory read that state to switch both exposed capabilities and typed memory schemas.
Figure A.4: Pegboard: research as an evidence matrix. Every observation is extracted into a candidate × clue cell with a document identifier; matrix coverage drives both DynamicResearchPlanning and the transition to source-grounded verification.
Figure A.4: Pegboard: research as an evidence matrix. Every observation is extracted into a candidate × clue cell with a document identifier; matrix coverage drives both DynamicResearchPlanning and the transition to source-grounded verification.

왜 중요한가

지금까지 에이전트 성능을 올리려면 더 큰 모델을 쓰는 것 외에는 사람이 일일이 하네스를 손으로 짜야 했는데, 이 연구는 하네스 설계 자체를 학습 가능한 별도의 능력으로 분리해 '모델 크기와 무관하게' 성능을 끌어올릴 수 있음을 보여준다. 실무자 입장에서는 기존에 쓰던 모델을 바꾸지 않고도 작업별 맞춤 실행 틀만 자동 생성해 붙이는 방식으로 비용 대비 성능을 개선할 여지가 생긴다.

이 논문의 용어

  • 에이전트 하네스 · 언어모델을 실제로 작업에 투입할 때 기억을 어떻게 관리하고, 계획을 어떻게 세우고, 어떤 도구를 언제 쓰고, 행동을 어떻게 실행할지 정하는 실행 틀/코드
  • Just-in-Time(JIT) 방식 · 미리 범용 하네스를 만들어두는 대신, 실제 작업이 주어졌을 때 그 작업에 맞춰 그 자리에서 하네스를 새로 생성하는 방식
  • Evo-GDPO · 생성된 하네스가 기존 최고 성능 하네스보다 성능·지연시간·비용에서 더 나아지도록 강화학습으로 훈련하는 이 논문의 온라인 학습 기법
  • ReAct · 행동과 추론을 번갈아 수행하는 대표적인 기본형 에이전트 실행 방식

저자 · Guibin Zhang, Leo Lu, Fangzhou Xie, Kang Zhu, Junhao Wang, Zhifei Xie, Zhaochen Yu, Zihang Liu, Zhongxiang Sun, Qiankun

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Guibin Zhang et al., arXiv:2608.25593, CC BY 4.0