매일 아침, 어제의 AI를 한 통으로 정리해 보내드립니다메일로 받아보기

METAL LAB

Active Inference as Context Acquisition for AI Agents

arXiv:2608.192022026-08-21

AI 에이전트가 되묻거나 검색할지 말지를, 정보 이득 대비 비용으로 계산하게 만드는 방법

사용자가 조건을 빠뜨렸을 때 AI 에이전트는 기본값으로 밀어붙이거나, 되묻거나 검색해서 토큰을 쓸지 고민한다. 이 논문은 이 선택을 능동적 추론이라는 틀로 정리해, 다음에 할 행동이 불확실성을 얼마나 줄여줄지와 그 비용을 함께 계산하는 규칙을 세운다. GPT-5, Gemini 2.5 Pro 등 7개 최신 언어모델로 스무고개 형식의 벤치마크와 프롬프트 실험을 통해 이 규칙이 실제로 얼마나 효율적으로 작동하는지 측정했다.

무엇을 했나

  1. 사용자가 조건이나 선호를 말하지 않았을 때, 되묻기·검색·도구 호출·프롬프트 시도 같은 '맥락 확보 행동'을 할지, 아니면 기본값으로 바로 답할지를 하나의 수식으로 계산하는 틀을 제시했다
  2. 내부 단계에서는 답변을 들었다고 가정하고 믿음을 갱신하고, 외부 단계에서는 맥락 확보 행동·과제 수행 행동·중단 중 어느 것이 기대 자유 에너지(위험과 정보 가치와 비용을 합친 점수)를 가장 낮추는지 고른다
  3. 정답이 결정적으로 정해지는 상황에서는 이 계산이 '기대 정보 이득'이라는 값으로 단순해지며, 이를 토큰 비용으로 나눠 정규화할 수도 있다
  4. 25개에서 300개 후보 중 정답을 맞히는 스무고개 형식 벤치마크(OQA)를 만들고, 정확한 정답 확률과 최적 질문 순서를 계산해주는 동적계획법 오라클과 GPT-5, GPT-4.1, Gemini 2.5 Pro, Gemini 2.0 Flash, Claude Sonnet 4.5, Claude Haiku 4.5, Grok 4를 비교했다
  5. 제품 설명 작성 전 몇 번 되묻는 실험과, 정해진 토큰 예산 안에서 여러 프롬프트 후보 중 최선을 찾는 실험도 함께 진행해, 실제 최적 지점은 기준선(질문 없음, 0.0417 통과율, 약 112토큰) 대비 219토큰으로 0.375 통과율을 달성하는 지점이었다
Figure 1: Binary OQA with N=25. Curves show mean entropy Ht=log2⁡|Ct| across uniformly sampled targets, with ±1 standard deviation, along with the DP oracle.
Figure 1: Binary OQA with N=25. Curves show mean entropy Ht=log2⁡|Ct| across uniformly sampled targets, with ±1 standard deviation, along with the DP oracle.
Figure 2: Binary OQA with N=100. Curves show mean entropy Ht=log2⁡|Ct| across uniformly sampled targets, with ±1 standard deviation, along with the DP oracle. In Animals, duplicate attribute vectors can force stopping with a small residual entropy.
Figure 2: Binary OQA with N=100. Curves show mean entropy Ht=log2⁡|Ct| across uniformly sampled targets, with ±1 standard deviation, along with the DP oracle. In Animals, duplicate attribute vectors can force stopping with a small residual entropy.
Figure 3: Multiway categorical OQA for |𝒳|∈{100,200,300} (top to bottom). Curves show mean posterior entropy over uniformly sampled targets. The DP oracle uses the same query menu and stopping rule. Error bars show ±1 standard deviation when available.
Figure 3: Multiway categorical OQA for |𝒳|∈{100,200,300} (top to bottom). Curves show mean posterior entropy over uniformly sampled targets. The DP oracle uses the same query menu and stopping rule. Error bars show ±1 standard deviation when available.
Table 1: Operational distinction used in this paper. The contrast is not categorical: RL can include information bonuses, and active inference can use RL solvers.
AspectGeneric RL viewActive-inference view used here
ControlOptimize actions for return under the sampled or observed data stream.Choose actions that also determine what evidence arrives next.
ExplorationUsually added through bonuses, entropy, optimism, or posterior sampling.Appears directly as epistemic value in expected free energy.
Belief and queriesBeliefs may be implicit in a value function, recurrent state, or model posterior.An explicit posterior over intent, target, or best prompt makes queries first-class actions.
EvaluationReturn, regret, accuracy, or reward-model score.Entropy drop, oracle gap, bits per token, and final task success.
Figure 4: Prompt autocompletion on 48 synthetic product tasks with ϵ=0.02 and Kmax=3. Panels show clarification counts by policy, the ECDF of total tokens per task, and verifier pass rate versus average tokens. active_weighted improves compliance at a modest token cost relative to baseline and random, while ask_all spends the most tokens.
Figure 4: Prompt autocompletion on 48 synthetic product tasks with ϵ=0.02 and Kmax=3. Panels show clarification counts by policy, the ECDF of total tokens per task, and verifier pass rate versus average tokens. active_weighted improves compliance at a modest token cost relative to baseline and random, while ask_all spends the most tokens.
(b) Total token ECDF
(b) Total token ECDF
(c) Compliance versus average tokens
(c) Compliance versus average tokens

왜 중요한가

챗봇이나 에이전트가 모호한 요청 앞에서 무작정 되묻거나 무작정 추측하는 대신, 언제 얼마나 물어야 남는 장사인지를 수치로 판단하게 만들 근거가 된다. 토큰 비용이 실제 돈으로 이어지는 상용 AI 서비스에서 이 판단 기준은 비용 절감과 정확도 유지를 동시에 노리는 설계 원칙으로 쓰일 수 있다.

Figure 5: Automated prompt optimization under a token budget. Panels show final posterior mean accuracies, realized information gain per 1,000 tokens, and posterior entropy over the identity of the best prompt. Policies that reduce uncertainty early can avoid committing too soon.
Figure 5: Automated prompt optimization under a token budget. Panels show final posterior mean accuracies, realized information gain per 1,000 tokens, and posterior entropy over the identity of the best prompt. Policies that reduce uncertainty early can avoid committing too soon.
(b) Information gain per 1k tokens
(b) Information gain per 1k tokens
(c) Entropy of best-prompt identity
(c) Entropy of best-prompt identity

이 논문의 용어

  • 능동적 추론(active inference) · 불확실성을 줄이는 행동과 목표 달성 행동을 함께 계산해 최적 행동을 고르는 이론적 틀
  • 기대 자유 에너지(expected free energy) · 위험, 정보 가치, 비용을 합쳐 다음 행동의 좋고 나쁨을 점수로 매기는 값
  • 기대 정보 이득(expected information gain) · 어떤 행동을 했을 때 불확실성이 얼마나 줄어들 것으로 예상되는지를 나타내는 값
  • OQA(Optimal Question Asking) · 숨겨진 정답을 스무고개처럼 질문으로 좁혀가며 맞히는 이 논문의 벤치마크
  • 동적계획법 오라클(DP oracle) · 주어진 규칙 안에서 이론상 가장 적은 질문 수로 정답을 맞히는 최적 전략을 미리 계산해 둔 비교 기준

논문 원문 초록 (영문)

Interactive AI agents must acquire the right context as efficiently as possible. When a user omits a constraint, preference, file, or task variable, an agent can proceed with a default assumption or spend tokens on a clarifying question, retrieval call, tool call, or prompt trial. We formulate this tradeoff as active inference for context acquisition. An inner inference step updates beliefs over a latent task state, and an outer decision selects the next context action, task action, or stop action to minimize expected free energy under cost. In deterministic settings, the epistemic term reduces to expected information gain, optionally normalized by token cost. We instantiate the framework in Optimal Question Asking (OQA), with exact posteriors and a dynamic programming oracle, and benchmark frontier language models on binary and multiway categorical tasks from 25 to 300 candidates. We also study clarification before generation and automated prompt optimization under token budgets. The formulation is model-agnostic and views active inference as a design principle for the context-acquisition layer of AI agents.

저자 · Sanchayan Dutta, Sai Niranjan Ramachandran, Suvrit Sra

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Sanchayan Dutta et al., arXiv:2608.19202, arxiv-nonexclusive