Bounded Sovereignty and the Control Tax: Pricing AI Oversight When the Deployer Does Not Own the Model
arXiv:2608.192162026-08-21
AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
AI를 API로 빌려 쓰는 규제 기관은 모델 가중치나 내부 로그, 인프라를 볼 수 없어 기존 AI 안전 통제 기법 상당수를 그대로 쓸 수 없다. 이 논문은 데이터, 모델, 인프라, 상호작용 네 층위로 접근 권한을 나눠 어떤 통제 기법이 어떤 접근 조건에서 실제로 작동하는지 매트릭스로 정리하고, 135만 건의 가상 사례 시뮬레이션으로 이를 검증했다. 결과적으로 완전한 로그는 사고 진단을, 실행 전 게이트웨이는 사전 개입을, 범위 제한은 안전성을 높이지만 유용성을 깎아먹는다는 점을 보였다.
무엇을 했나
AI 통제 연구는 대개 배포 기업이 모델과 파이프라인을 자유롭게 계측할 수 있다고 가정하지만, API로 프론티어 모델을 쓰는 규제 기관은 모델 가중치, 서빙 인프라, 내부 추적 기록, 업데이트 과정, 전체 상호작용 로그를 갖지 못하는 경우가 많다
이런 제한된 접근 상태를 '경계 지어진 주권(bounded sovereignty)'으로 정의하고, 데이터·모델·인프라·상호작용 네 층위로 나눠 각 통제 기법이 어떤 접근 조건을 필요로 하는지 매트릭스로 정리했다
부족한 접근 권한을 계약, 아키텍처, 감사, 벤더 보증, 잔여 위험 감수, 시스템 범위 축소 등으로 대신 메우는 데 드는 비용을 '주권 할인 비용(sovereignty discount cost)'이라는 개념으로 제안했다
가상의 결제 분쟁 처리 업무를 모델로 삼아 20가지 접근 프로필, 10가지 통제 기법, 3가지 에이전트 행동을 조합해 135만 건의 가상 사례를 시뮬레이션했고, 익명화된 국가 결제 인프라 시나리오로 해석을 덧붙였다
완전한 로그는 사고 진단 능력을, 실행 전 개입이 가능한 게이트웨이는 위험 행동 사전 차단을, 추적 기록과 모델 버전 관리는 사고 후 설명력을 높였으며, 시스템이 할 수 있는 일의 범위를 좁히면 안전성은 오르지만 유용성은 떨어졌다
Figure 1: Gateway access turns detection into intervention.
Layer
What full access would mean
Typical access for an import-dependent regulated deployer
Data sovereignty
Control over what data trains or fine-tunes the model; ability to audit training-data provenance
Usually retains control over own transactional or fine-tuning data; no visibility into base-model training data
Model sovereignty
Access to weights, architecture, activations, and ability to retrain, patch, probe, or run interpretability tooling
Usually absent under API or managed-endpoint access; weights, architecture details, and activations are vendor-held
Infrastructure sovereignty
Compute located in-jurisdiction, under domestic legal control, observable by the deployer
Partial at best: often a foreign-operated cloud region, sometimes with data-residency commitments; serving stack remains vendor-operated
Interaction sovereignty
Full logging and audit of prompts, outputs, tool calls, traces, and pre-execution intervention points
Partial: input/output and tool logs may be contractable; internal traces are rarely available; gateway ownership depends on architecture
Figure 2: Logging affects both safety and reconstructability.
Figure 4: Reachability of ≤1% failure with ≥75% usefulness.
Paper layer
Experimental factor
Levels used
Interaction sovereignty
I/O logs
none, partial, complete
Interaction sovereignty
Tool-call logs
none, partial, complete
Interaction sovereignty
Pre-execution gateway
absent, present
Model sovereignty
Trace access
none, limited, oracle
Model / interaction sovereignty
Model-version control
unpinned, notified, pinned
Infrastructure / contractual sovereignty
Vendor support
none, delayed, guaranteed
Deployment design substitute
Tool scope
full, restricted
Figure 5: Scope restriction buys safety by giving up usefulness.
Agent
Behaviour
Honest
Usually follows the synthetic ground truth but makes occasional mistakes
Careless
Overconfident, error-prone, and less likely to escalate uncertain cases
Stealthy access-aware
Chooses lower-visibility synthetic failure modes when access is weak
Protocol
Interpretation
No control
Accept the agent’s proposed mock action
Output monitor
Score the final output or action for suspiciousness
Tool monitor
Score proposed tool/action use when tool visibility exists
Defer-to-trusted
Replace suspicious actions with a conservative trusted fallback when possible
Resampling
Generate alternative candidate actions and select the lowest-risk acceptable one
Human audit
Send flagged cases to a capacity-limited synthetic reviewer
Trusted editing
Edit or redact risky draft outputs, or fall back to a safer policy
Scope restriction
Remove higher-risk mock actions from the action space
Macro-shutdown
Escalate or safe-mode clusters after repeated suspiciousness
Vendor escalation
Request delayed or guaranteed synthetic vendor support for diagnosis or attestation
Setting
Value
Access profiles
20
Control protocols
10
Synthetic agent types
3
Monitor thresholds
0.35, 0.55, 0.75
Audit budgets
2%, 5%, 20%
Random seeds
5
Synthetic cases per condition
50
Aggregate condition rows
27,000
Synthetic case simulations
1,350,000
Synthetic agent
Profiles reaching ≤1% failure and ≥75% usefulness
Honest
90%
Careless
40%
Stealthy access-aware
35%
Layer
Operator’s position
Basis
Data
Partial
Full control of own case and transaction data used in prompts or fine-tuning; no visibility into base-model training data
Model
None
Managed-endpoint access; no weights, architecture detail, activations, or native patching ability; vendor may update the served model
Infrastructure
Partial
Data-residency rider constrains storage location; serving stack remains vendor-operated and not independently observable; legal reach is mediated by foreign law
Interaction
Partial
I/O logging and tool-call logging may be contractable and implemented at the Operator’s gateway; internal traces remain unavailable
왜 중요한가
많은 기업과 정부가 자체 모델 없이 외부 AI를 빌려 쓰면서도 그 안전성에 책임을 져야 하는 상황에 놓여 있는데, 이 논문은 '어떤 통제 기법을 못 쓰는지'를 명시적으로 따져보게 한다. AI 안전 프로토콜을 설계하거나 규제하는 사람이라면 '완전한 통제가 가능하다'는 숨은 전제를 의심해야 한다는 실용적 체크리스트를 제공한다.
이 논문의 용어
AI 통제(AI control) · 모델이 의도를 속일 수 있다고 가정하고도 안전하게 배포하기 위한 감시·개입 기법 연구 분야
경계 지어진 주권(bounded sovereignty) · 데이터, 모델, 인프라, 상호작용 층위에 걸쳐 기술적·계약적으로 부분적인 접근 권한만 가진 상태
통제 세금(control tax) · AI 파이프라인에 안전 통제 장치를 넣는 데 드는 운영·재정적 비용
주권 할인 비용(sovereignty discount cost) · 부족한 접근 권한을 계약이나 대체 수단으로 메우는 데 드는 추가 비용, 지연, 잔여 위험, 유용성 손실
게이트웨이(gateway) · 모델의 행동이 실행되기 전에 배포 기업이 가로채 검토·차단할 수 있는 지점
논문 원문 초록 (영문)
AI control research asks how to deploy models safely even when they may be misaligned, but many control protocols assume that the deployer can instrument the model and its surrounding pipeline. That assumption often fails for regulated organisations using frontier models through APIs or managed endpoints, where the deployer may control the business process but not the model weights, serving infrastructure, internal traces, update process, or full interaction logs. This paper introduces bounded sovereignty: partial technical and contractual access across the data, model, infrastructure, and interaction layers of the AI stack. It argues that these access conditions determine which control protocols can be executed in practice. The paper contributes a four-layer access typology, a protocol-by-layer requirements matrix, and the concept of sovereignty discount cost: the part of the control tax spent substituting for missing access through contracts, architecture, audit, vendor assurance, residual risk, or reduced system scope. It also reports a synthetic access-ablation experiment over 1.35 million synthetic case simulations and interprets the findings through an anonymised national-payments-infrastructure scenario. The experiment is not real-world payment-system evidence; it is a construct-validity exercise. The results show that complete logs improve diagnosis, a pre-execution gateway enables intervention, trace access and model-version control strengthen post-incident explanation, and scope restriction can improve safety while reducing usefulness. Control protocols proposed as general safety solutions should therefore state their access assumptions explicitly.
