월~금 오전 7시, 일요일 오전 8시 — AI 뉴스와 용어를 보내드립니다메일로 받아보기

METAL LAB

AI 모델 자체는 그대로 둔 채, 그 모델을 감싸는 실행 틀을 AI가 스스로 계속 고쳐 쓰게 했더니 성능이 올랐다

arXiv:2608.084662026-08-08

Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses

AI 모델 자체는 그대로 둔 채, 그 모델을 감싸는 실행 틀을 AI가 스스로 계속 고쳐 쓰게 했더니 성능이 올랐다

AI 에이전트는 모델(LLM) 자체뿐 아니라 그 모델이 작업을 수행하도록 감싸는 코드 틀인 하네스에 의해서도 성능이 크게 달라진다. 이 연구는 하네스를 작업별로 따로 두고, 얼려 놓은(파라미터를 바꾸지 않는) 하나의 LLM이 위계적으로 나뉜 세 역할을 맡아 하네스와 그 개선 전략까지 스스로 고쳐 쓰게 하는 HSI 프레임워크를 제시한다. BALROG라는 텍스트 기반 게임 벤치마크에서 DeepSeek-V4-Flash-Preview 모델로 실험한 결과, 중간 난이도 과제들에서는 초기 하네스 대비 뚜렷한 향상을 보였지만 모델 능력 자체가 부족한 어려운 과제(NLE)에서는 하네스를 아무리 고쳐도 개선이 없었다.

METAL LAB 해설 도표

AI 모델 자체는 그대로 둔 채, 그 모델을 감싸는 실행 틀을 AI가 스스로 계속 고쳐 쓰게 했더니 성능이 올랐다

  1. 01LLM 하나(파라미터 고정)를 작업 실행, 하네스 재작성(진화자), 진화 전략 재작성(메타 진화자)이라는 세 층위에 나눠 투입하고, 가장 바깥의 실행 로직만은 고정해 무제한적인 자기 참조를 막았다
  2. 02작업 실행 중에는 심층 추론(thinking)을 꺼서 성능 향상이 추론 능력 때문이 아니라 순수하게 하네스 개선 덕분임을 구분해서 확인했다
  3. 03BALROG의 중간 난이도 과제에서 원래 하네스 대비 원점수 기준으로 BabyAI +39.3, Crafter +33.0, TextWorld +25.0, MiniHack +15.0 향상을 얻었다
  4. 04BabaIsAI에서는 전체 과제 중 20%를 한 번도 보여주지 않고 떼어놓았는데도, 진화된 하네스가 BreakStop에서 0.98, GoTo에서 1.00의 최고 테스트 성적을 내며 낯선 과제에도 잘 통했다
  5. 05반대로 모델 능력을 넘어서는 어려운 과제(NLE)에서는 하네스를 아무리 진화시켜도 성능이 오르지 않아, 하네스 개선에는 명확한 한계가 있음을 보였다
METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. LLM 하나(파라미터 고정)를 작업 실행, 하네스 재작성(진화자), 진화 전략 재작성(메타 진화자)이라는 세 층위에 나눠 투입하고, 가장 바깥의 실행 로직만은 고정해 무제한적인 자기 참조를 막았다
  2. 작업 실행 중에는 심층 추론(thinking)을 꺼서 성능 향상이 추론 능력 때문이 아니라 순수하게 하네스 개선 덕분임을 구분해서 확인했다
  3. BALROG의 중간 난이도 과제에서 원래 하네스 대비 원점수 기준으로 BabyAI +39.3, Crafter +33.0, TextWorld +25.0, MiniHack +15.0 향상을 얻었다
  4. BabaIsAI에서는 전체 과제 중 20%를 한 번도 보여주지 않고 떼어놓았는데도, 진화된 하네스가 BreakStop에서 0.98, GoTo에서 1.00의 최고 테스트 성적을 내며 낯선 과제에도 잘 통했다
  5. 반대로 모델 능력을 넘어서는 어려운 과제(NLE)에서는 하네스를 아무리 진화시켜도 성능이 오르지 않아, 하네스 개선에는 명확한 한계가 있음을 보였다
Figure 1: The HSI framework. A single frozen LLM M operates across three hierarchical scopes with disjoint editable surfaces. The task-harness scope executes the task-specific harness H; the evolver scope rewrites H through seed selection, main evolution, and commit selection; and the meta-evolver scope rewrites the evolver strategy Σ, including seed, evolution, commit, and final version selection policies.
Figure 1: The HSI framework. A single frozen LLM M operates across three hierarchical scopes with disjoint editable surfaces. The task-harness scope executes the task-specific harness H; the evolver scope rewrites H through seed selection, main evolution, and commit selection; and the meta-evolver scope rewrites the evolver strategy Σ, including seed, evolution, commit, and final version selection policies.
Table 1: BALROG leaderboard comparison under Setup A. The top block lists public-leaderboard numbers (retrieved 2026-08-03) from frontier models under their native configurations, reported as % Progress (15) (mean ± standard deviation across evaluation episodes). The bottom block reports HSI on the same task suite using a single frozen DeepSeek-V4-Flash backbone, isolating the contribution of the continuously evolvable hot-swappable task harness: the init-harness baseline, the meta-evolution-off arm, and the meta-evolution-on arm (bolded) that exports the deployed harness. BabaIsAI is omitted because our sub-suite protocol (§4.2.2) differs from the leaderboard’s mixed-task protocol. Avg reports the unweighted mean across the five environments, with its std the unweighted mean of the per-environment stds.
LLMBabyAICrafterTextWorldMiniHackNLEAvg
Gemini-3-Pro96.0±2.857.3±4.460.2±7.540.0±7.76.8±3.252.1±5.1
Gemini-3.1-Pro-Thinking98.0±2.055.0±6.475.7±6.427.5±7.12.6±0.351.8±4.4
Gemini-3.1-Pro100.0±0.046.8±4.266.5±7.535.0±7.53.0±0.550.3±3.9
Gemini-3-Flash86.0±4.945.0±6.350.2±8.130.0±7.24.0±0.843.0±5.5
Grok-476.0±6.057.3±3.962.9±7.917.5±6.01.8±0.843.1±4.9
Claude-Opus-4.580.0±5.749.5±3.151.4±8.427.5±7.12.0±0.542.1±5.0
Claude-Opus-4.5-Thinking72.0±6.348.6±3.259.0±8.030.0±7.22.4±0.342.4±5.0
Gemini-2.5-Pro-Exp-03-2580.0±5.755.0±6.049.2±8.217.5±6.01.7±0.240.7±5.2
DeepSeek-R174.0±6.236.4±3.821.8±6.125.0±6.81.4±0.531.7±4.7
GPT-5-minimal-think80.0±5.739.1±4.130.6±7.020.0±7.31.3±0.534.2±4.9
Claude-3.5-Sonnet68.0±6.632.7±3.242.1±5.415.0±5.60.6±0.531.7±4.3
GPT-4o77.6±3.733.1±2.339.3±5.210.0±4.70.4±0.432.1±3.3
DS-V4-Flash (Init harness)42.0±3.511.6±5.040.0±6.20.8±1.90.018.9±3.3
DS-V4-Flash w. HSI (meta-off)77.3±1.236.4±1.646.0±2.45.8±3.80.033.1±1.8
DS-V4-Flash w. HSI (meta-on)81.3±4.244.6±3.265.0±3.015.8±2.90.2±0.341.4±2.7
Figure 2: HSI evolution trajectory on Crafter (Setup A, meta-on). The dev reward climbs from the init-harness baseline 0.166 to an iteration-best 0.578 by iteration 4 (green-starred as the exported best version), with a regression in iteration 5. Each iteration’s annotation card reports four fields on the task-harness and evolver scopes (seed origin, main-evolution edit, result, commit pool) plus a green-tinted meta field summarizing what the meta-evolver rewrote in the evolver strategy Σ that iteration. The dominant lever uncovered by the evolver is making hidden game feedback explicit: reward signal, inventory state, and crafting feasibility, successively exposed in the harness context; the meta-evolver’s contribution is to codify these patterns into Σ so later iterations inherit them.
Figure 2: HSI evolution trajectory on Crafter (Setup A, meta-on). The dev reward climbs from the init-harness baseline 0.166 to an iteration-best 0.578 by iteration 4 (green-starred as the exported best version), with a regression in iteration 5. Each iteration’s annotation card reports four fields on the task-harness and evolver scopes (seed origin, main-evolution edit, result, commit pool) plus a green-tinted meta field summarizing what the meta-evolver rewrote in the evolver strategy Σ that iteration. The dominant lever uncovered by the evolver is making hidden game feedback explicit: reward signal, inventory state, and crafting feasibility, successively exposed in the harness context; the meta-evolver’s contribution is to codify these patterns into Σ so later iterations inherit them.
Table 2: BabaIsAI sub-suite results under Setup B (split evolution with 20% held-out test). “Best Dev” denotes the highest development reward selected during evolution. Test results are reported as mean ± across-task standard deviation of task progress. Init Harness is averaged over three baseline runs.
Sub-suiteInit HarnessBest DevBest Test (meta-on)Best Test (meta-off)
BreakStop0.0333±0.03341.00000.9800±0.06321.0000±0.0000
GoTo0.1818±0.08021.00001.0000±0.00000.9636±0.0809
Make0.00000.55560.3625±0.32840.3375±0.2029
Figure 3: HSI evolution trajectory on BabaIsAI-Make (Setup B, meta-on). The main blue curve is the dev reward across all reward_history evaluations; red rings mark commit-pool versions. Orange triangles (△) flag commits finalized in val mode (no dev evaluation recorded on the commit itself): each △ sits at the commit’s anchor x with the val reward on the y-axis, and a dashed vertical line drops from the dev anchor to the val reward so the dev→val evaluation structure reads directly off the trajectory. The dev peak climbs 0.222→0.333→0.444→0.556 across five iterations as the agent introduces a single-react rewrite with plan tracking (iter 1), a spatial-map builder with WIN-target persistence (iter 2), auto-target computation with BFS pathfinding (iter 3), an auto-push mechanism with directional fallback (iter 4), and LLM-aware cross-room navigation (iter 5); the meta-evolver codifies the “LLM targets, BFS navigates” two-layer pattern and progressively expands the commit pool from one to three versions. The △ markers expose which iterations’ primary commits were validated on held-out val tasks, an evaluation structure unique to Setup B.
Figure 3: HSI evolution trajectory on BabaIsAI-Make (Setup B, meta-on). The main blue curve is the dev reward across all reward_history evaluations; red rings mark commit-pool versions. Orange triangles (△) flag commits finalized in val mode (no dev evaluation recorded on the commit itself): each △ sits at the commit’s anchor x with the val reward on the y-axis, and a dashed vertical line drops from the dev anchor to the val reward so the dev→val evaluation structure reads directly off the trajectory. The dev peak climbs 0.222→0.333→0.444→0.556 across five iterations as the agent introduces a single-react rewrite with plan tracking (iter 1), a spatial-map builder with WIN-target persistence (iter 2), auto-target computation with BFS pathfinding (iter 3), an auto-push mechanism with directional fallback (iter 4), and LLM-aware cross-room navigation (iter 5); the meta-evolver codifies the “LLM targets, BFS navigates” two-layer pattern and progressively expands the commit pool from one to three versions. The △ markers expose which iterations’ primary commits were validated on held-out val tasks, an evaluation structure unique to Setup B.
Table 3: Per-suite experimental configuration. Shared settings are listed in the prose above; only the entries below vary across suites.
SuiteSetupDevValTest ep.Dev ep.Test rep.MetaSubmit-best
TextWorldA1.00.001033off50
BabyAIA1.00.001033on80
CrafterA1.00.00533on50
MiniHackA1.00.00513on80
NLEA1.00.00511on50
BabaIsAI-BreakStopB0.80.20511off80
BabaIsAI-GoToB0.80.25511on80
BabaIsAI-MakeB0.80.25511on80
Table 4: Representative harness evolution and self-improvement methods compared with HSI. Proposer: who proposes harness edits; Surface: the editable code surface; Domain: primary evaluation domain; Feature: the method’s distinguishing contribution in short form.
MethodProposerSurfaceDomainFeature
Meta-HarnessExternal strongerFull harness codeCoding, mathFull-trajectory feedback
Self-HarnessSelf (target)Config interfaceCodingModel-specific edits
AHEExternal strongerDecoupled compsCodingObservability bottleneck
HarnessXMulti-agentTyped processors5 benchmarksOperational mirror to RL
DGMSelfFull codebaseCodingArchive-based search
HGMSelfFull codebaseCodingClade meta-productivity
GEASelf (group)Codebase + expCodingShared experience pool
SICASelfFull codebaseCodingFramework saturation
HyperAgentsFused selfCodebase + metaCoding, robotsEditable meta-mechanism
Live-SWE-AgentSelf (runtime)Tools on-the-flyCodingZero offline cost
TTHESelf (test-time)Harness populationCoding, SQLUnlabeled trace adaptation
Rethinking Eval.— (critique)—CodingTest-time-scaling confound
Statistical Limits— (theory)—PAC learningVC bound ⇔ learnability
HSI (Ours)Same frozen M3-layer hierarchyBALROGEndogenous hierarchy with frozen outer anchor

왜 중요한가

지금까지는 프롬프트나 도구를 사람이 손으로 고치는 방식이 흔했는데, 이 연구는 그 틀 자체를 AI가 스스로, 그것도 여러 층위로 나눠서 안전하게 고쳐 쓸 수 있음을 보여준다. 다만 모델 자체의 한계는 하네스로 뛰어넘을 수 없다는 사실도 함께 밝혀, 에이전트 개발자가 어디에 투자해야 하는지에 대한 실질적 기준을 제공한다.

이 논문의 용어

  • 하네스(harness) · 모델을 감싸서 실제로 과제를 수행하게 만드는 프롬프트, 도구, 메모리, 실행 로직 등의 코드 틀
  • 얼려 놓은 모델(frozen LLM) · 학습된 파라미터를 바꾸지 않고 그대로 고정해 사용하는 모델
  • 진화자/메타 진화자(evolver/meta-evolver) · 각각 하네스를 고쳐 쓰는 역할과, 그 고쳐 쓰는 전략 자체를 다시 고쳐 쓰는 역할
  • % Progress · BALROG 벤치마크에서 과제 완료 정도를 0~100 점수로 나타내는 지표
  • held-out(홀드아웃) 일반화 · 훈련·개선 과정에서 전혀 보여주지 않은 과제로 성능을 테스트해 실제 응용력을 확인하는 방식

저자 · Tailin Zhou

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Tailin Zhou et al., arXiv:2608.08466, CC BY 4.0