월~금 오전 7시, 일요일 오전 8시 — AI 뉴스와 용어를 보내드립니다메일로 받아보기

METAL LAB

AI 에이전트가 실패했을 때, 잘못은 모델인가 도구인가 환경인가를 구분하는 분류법

arXiv:2607.288022026-07-29

Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures

AI 에이전트가 실패했을 때, 잘못은 모델인가 도구인가 환경인가를 구분하는 분류법

AI 에이전트(코딩 비서, 개인 비서, 멀티에이전트 시스템 등)가 실패했을 때 겉으로 보이는 결과만으로는 무엇을 고쳐야 할지 알 수 없다는 문제에서 출발한다. 이 논문은 실패를 '모델과 어떤 구성요소 사이의 상호작용'으로 표현하고 그 상호작용에서 누구 잘못인지를 표시하는 41가지 실패 유형 분류법을 제시한다. 4개의 최신 AI 모델을 심사자로 써서 사람이 매긴 라벨을 얼마나 재현하는지 확인했더니, 가장 잘 맞춘 모델이 사람과 코헨의 카파 0.76의 일치도를 보였다.

METAL LAB 해설 도표

실패를 '상호작용 경계선 + 잘못한 쪽'으로 표시하는 구조

증거 상태측정 결과가 보고됨

  1. 구성요소 정의에이전트를 모델, 사용자(owner), 채점자(grader), 제3자, 하네스(컨텍스트·메모리·도구), 환경(로컬·외부)으로 나눈다.
  2. 상호작용 경계선두 구성요소 사이의 관계(예: 모델—도구, 모델—메모리)를 하나의 단위로 삼아 실패를 그 경계선 위에 표시한다.
  3. 근본 원인 역추적연쇄적으로 이어진 오류 중 가장 처음 발생해 복구되지 않은 실패까지 거슬러 올라가 그 지점에 라벨을 붙인다.
  4. 41개 실패 유형 정리각 경계선마다 모델 잘못인지 상대 구성요소 잘못인지를 표시해 41가지 실패 유형으로 분류하며, 36개는 모델 쪽, 5개는 주변 구성요소 쪽 잘못이다.
  5. AI 심사자 검증GPT-5.5, Claude Opus 4.6/4.7/4.8이 40개 사례에서 사람 라벨을 얼마나 재현하는지 코헨의 카파로 측정했다.
METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 에이전트 실패를 '결과'로만 보면 모델을 다시 훈련해야 할지, 도구 연결 코드(하네스)를 고쳐야 할지, 실행 환경을 바꿔야 할지 알 수 없다는 문제를 지적한다.
  2. 에이전트를 모델, 사용자(owner), 채점자(grader), 제3자, 하네스(컨텍스트·메모리·도구), 환경(로컬·외부)이라는 구성요소들의 집합으로 보고, 두 구성요소 사이의 '상호작용 경계선'과 '잘못한 쪽'을 함께 표시하는 방식으로 41가지 실패 유형을 정리했다.
  3. 여러 오류가 연쇄적으로 이어질 때는 가장 처음 발생해 복구되지 않은 실패까지 거슬러 올라가 그 지점에 라벨을 붙이는 고정 규칙을 사용했다.
  4. 공개 벤치마크, 모델 시스템 카드, 발표된 보고서, 실제 에이전트 실행 기록에서 40개의 사례를 골라 이 분류법을 검증했고, GPT-5.5와 Claude Opus 4.6/4.7/4.8 네 개 모델을 독립 심사자로 써서 사람이 매긴 카테고리 라벨을 얼마나 재현하는지 코헨의 카파로 측정했다.
  5. 카테고리(상호작용 경계선+잘못한 쪽) 일치도는 GPT-5.5가 사람과 카파 0.76으로 가장 높았고, Claude Opus 4.6과 4.7은 각각 0.71, Opus 4.8은 0.70이었으며, 심사자들끼리의 최고 일치도는 Opus 4.6과 4.8 사이 0.84였다.
Figure 1: Radial interaction map. The model is the hub, the User, Harness, and Environment families form the inner ring, and their components appear on the outer ring. Each failure is represented by an edge between two components. Since a model interacts with another model through its own harness, model–model interactions are grouped under Harness alongside Context, Memory, and Tool. The outer node is another model, labeled according to its role as a peer or subagent.
Figure 1: Radial interaction map. The model is the hub, the User, Harness, and Environment families form the inner ring, and their components appear on the outer ring. Each failure is represented by an edge between two components. Since a model interacts with another model through its own harness, model–model interactions are grouped under Harness alongside Context, Memory, and Tool. The outer node is another model, labeled according to its role as a peer or subagent.
Table 1: Component vocabulary used to localize agent failures. Each row defines a component that can form an endpoint of an interaction edge. In multi-agent settings, peer and subagent describe the role of the other model. In subagent interactions, the focal model acts as the orchestrator, while in peer interactions, neither model directs the other.
ComponentDefinition
ModelThe policy that processes observations and produces outputs or actions.
OwnerThe human or upstream system that gives the agent its task and defines what counts as success.
GraderThe mechanism used to evaluate whether the agent completed the task successfully; it is usually not visible to the agent.
Third partyAn actor encountered during execution that does not act on behalf of the owner. The actor can be a human, organization, or agent, and the interaction may be adversarial, persuasive, or cooperative.
ContextThe information available to the model during the current interaction, including instructions, conversation history, observations, and summaries.
MemoryA persistent store that outlives the active context, within or across sessions.
ToolThe bidirectional interface through which the model exchanges requests, messages, actions, observations, and responses with other components. This includes callable tools, communication channels, and wrappers that relay inputs and outputs.
Local env.The agent’s immediate execution environment, such as the operating system, shell, filesystem, and runtimes.
External env.Systems outside the agent’s immediate execution environment, such as remote services, websites, APIs, databases, and model-provider infrastructure.
Figure 2: Interaction-centric taxonomy of 41 failure modes. Failures are organized by the family of the component interacting with the model: User, Harness, or Environment, and then by the specific component within that family. Each branch represents an interaction edge between the model and that component. The hierarchy is organizational, where the model and the interacting component form the two endpoints of each edge. The leaves show the failure modes arising from each interaction, and shading indicates which endpoint is at fault. Of the 41 role-specific failure modes, 36 are assigned to a model and five to surrounding components.
Figure 2: Interaction-centric taxonomy of 41 failure modes. Failures are organized by the family of the component interacting with the model: User, Harness, or Environment, and then by the specific component within that family. Each branch represents an interaction edge between the model and that component. The hierarchy is organizational, where the model and the interacting component form the two endpoints of each edge. The leaves show the failure modes arising from each interaction, and shading indicates which endpoint is at fault. Of the 41 role-specific failure modes, 36 are assigned to a model and five to surrounding components.
Table 2: Agreement of each judge with the human labels on the 40 worked examples. Category scores require the correct interaction edge and fault side. Failure-mode scores additionally require the correct named failure. Acc denotes exact-match accuracy and F1 is macro-averaged.
CategoryFailure mode
ModelAccF1AccF1
GPT-5.50.800.690.720.64
Claude-Opus-4.60.750.610.700.57
Claude-Opus-4.70.750.630.620.53
Claude-Opus-4.80.750.620.680.58
Figure 3: Pairwise Cohen’s κ among the four LLM judges and the human annotator, with category labels on the left and complete failure-mode labels on the right. The bold outline marks agreement with the human annotator.
Figure 3: Pairwise Cohen’s κ among the four LLM judges and the human annotator, with category labels on the left and complete failure-mode labels on the right. The bold outline marks agreement with the human annotator.
Table 3: Failure-mode agreement for the four judges on the 40 worked examples. Under Predicted cat., the judge predicts both the category and failure mode; under Gold cat., it selects the failure mode given the human-assigned category. Acc is exact-match accuracy, and F1 is macro-averaged.
Predicted cat.Gold cat.
ModelAccF1AccF1
GPT-5.50.720.640.720.62
Claude-Opus-4.60.700.570.800.70
Claude-Opus-4.70.620.530.700.58
Claude-Opus-4.80.680.580.780.69
Table 4: Selective-voting ensemble of the four judges at increasing category-agreement thresholds. At each threshold, the ensemble assigns a category label only when the required number of judges agree and abstains otherwise. Coverage is the proportion of all examples that receive a label. Precision is computed over labeled examples, whereas recall is computed over the full evaluation set. After selecting a category, the ensemble assigns the failure mode by majority vote among only the judges that predicted that category.
CategoryFailure mode
AgreementCovPRF1PRF1
≥2 of 41.000.780.780.780.700.700.70
≥3 of 40.900.830.750.790.750.680.71
4 of 40.680.960.650.780.890.600.72
Table 5: Safety-risk categories used to annotate the worked examples. Each example is assigned the single most salient harm associated with its root-cause failure.
Risk categorySourceTrajectory-observable harmExamples
Excessive AgencyOWASP LLM06acted beyond granted permission, or took an unconfirmed risky/irreversible stepE2, E4, E6, E39
Unbounded ConsumptionOWASP LLM10looped or exhausted its budget without making progressE19, E32, E33
Rogue AgentsOWASP ASI10gamed its own grader / reward-hacked, deviating from the set objectiveE12, E13
Agent Goal HijackOWASP ASI01untrusted third-party input hijacked the agent’s goal or control flowE15, E16
MisinformationOWASP LLM09fabricated content presented as genuine, completed workE11, E28, E31
Sensitive Information DisclosureOWASP LLM02exposed or over-shared private dataE10

실제로 확인된 결과

  • 카테고리(상호작용 경계선+잘못한 쪽) 재현에서 GPT-5.5가 사람과 코헨의 카파 0.76으로 가장 높은 일치도를 보였고, Claude Opus 4.6과 4.7은 각각 0.71, Opus 4.8은 0.70을 기록했다.
  • 네 심사자끼리의 상호 일치도는 사람과의 일치도와 비슷한 수준이었으며, 가장 높은 쌍별 일치도는 Claude Opus 4.6과 4.8 사이 코헨의 카파 0.84였다.
  • 구체적인 실패 유형까지 정확히 맞히는(failure-mode) 일치도는 카테고리 일치도보다 전반적으로 낮게 나타났다.
  • 41개의 역할별 실패 유형 중 36개는 모델 잘못으로, 5개는 주변 구성요소(사용자·하네스·환경) 잘못으로 분류되었다.

어디에 쓸 수 있나

  • 코딩 어시스턴트, 장기 실행 개인 비서, 멀티에이전트 시스템 등 다양한 에이전트 아키텍처에서 실패 로그를 분석할 때 '모델을 고칠지 도구 연결을 고칠지 환경을 바꿀지'를 정하는 공통 체크리스트로 쓸 수 있다.
  • AI 모델을 심사자로 활용해 대규모 에이전트 실행 기록에서 실패 원인을 자동으로 분류하는 파이프라인의 출발점으로 삼을 수 있다.
  • OWASP LLM 위험 분류와 연결해 실패 사례에 안전·보안 영향까지 함께 태깅하는 데 참고할 수 있다.

한계와 남은 검증

  • 검증에 쓰인 40개 사례는 분류법의 다양한 경우를 보여주기 위해 선별된 것으로, 실제 현장에서 각 실패 유형이 얼마나 자주 일어나는지를 추정하는 데는 쓸 수 없다.
  • 구체적인 실패 유형(failure mode)까지 정확히 맞히는 일치도는 카테고리 일치도보다 낮아, 세부 라벨 자동화의 신뢰도는 아직 더 검증이 필요하다.
  • 원문 출처가 완전한 실행 기록이 아니라 이슈 보고서나 블로그 글 등 정보가 부족한 경우, 심사자와 사람 모두 근본 원인을 다르게 해석할 여지가 있다.
  • 근본 원인을 추적하는 판단 자체가 어려운 경우(예: 뒤늦게 확인해야 할 정보의 인과 경로를 놓치는 경우)가 있어, 자동화된 심사자가 실제 원인 대신 표면적 증상에 라벨을 붙일 위험이 남아 있다.

왜 중요한가

에이전트 시스템을 만드는 팀이 실패 로그를 볼 때 '모델을 더 훈련시켜야 하나, 도구 연결 코드를 고쳐야 하나, 평가 환경을 손봐야 하나'를 판단할 공통 언어를 준다. AI 모델을 심사자로 써서 사람 라벨을 어느 정도 재현할 수 있다는 결과는, 이런 실패 분류 작업 자체를 자동화하는 데 이 방식이 쓰일 수 있다는 근거가 된다.

이 논문의 용어

  • 하네스(harness) · 모델이 컨텍스트, 메모리, 도구 접근을 관리하도록 감싸는 소프트웨어 껍데기, 즉 에이전트를 구동하는 코드 틀
  • 코헨의 카파(Cohen's κ) · 두 평가자(사람과 AI 등)가 매긴 라벨이 우연히 일치할 확률을 뺀 뒤 얼마나 일치하는지를 나타내는 통계 지표
  • 상호작용 경계선(edge) · 모델과 다른 구성요소(사용자, 도구, 환경 등) 사이의 관계를 나타내는 연결선으로, 실패가 어디서 일어났는지를 표시하는 단위
  • 에이전트-as-judge · 사람 대신 AI 에이전트가 증거를 스스로 조사하고 정리한 뒤 판정을 내리게 하는 평가 방식

저자 · Harsh Raj

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Harsh Raj et al., arXiv:2607.28802, CC BY 4.0