Evidence-RL: Towards Evidence-intensive Visual Reasoning
정답을 맞혀도 '이미지를 진짜로 봤는지'까지 검사해서 학습에 반영하는 방법
비전-언어 모델(VLM)은 이미지를 안 보고도 언어적 상식이나 데이터 편향만으로 그럴듯한 정답을 낼 수 있다. 이 논문은 정답이 실제로 어떤 이미지 영역에 의존하는지를 반사실적(counterfactual) 개입으로 확인하는 CED라는 감사 신호를 만들고, 이를 GRPO 강화학습 보상에 결합한 Evidence-RL을 제안한다. 9개 공개 벤치마크와 4개 백본 모델에서 기존 RL 후처리 기법들보다 나은 성능을 보였다.
METAL LAB 해설 도표
Evidence-RL 학습 파이프라인 구조
증거 상태측정 결과가 보고됨
후보 답변 생성정책 모델이 이미지와 질문에 대해 여러 답변 후보를 샘플링한다
증거 영역 vs 비증거 영역 개입COCO 객체 상자로 잡은 증거 영역과, 면적을 맞춘 다른 비증거 영역의 시각 토큰을 각각 주변 평균값으로 바꿔치기한다
증거 마진 계산증거 영역 개입 시 정답 지지도 하락폭에서 비증거 영역들의 평균 하락폭을 뺀 값을 구해 답변이 실제 근거에 의존하는지 점수화한다
GRPO 보상 결합정답 정확도 점수에 증거 마진 기반 게이트 값을 곱해, 같은 정답이라도 근거에 의존한 답변에 더 큰 보상을 준다
추론 단계학습이 끝난 모델은 이 감사 과정 없이 평소처럼 답변을 생성하므로 추론 시 추가 연산 비용이 없다
METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
문제의식: 기존 방법(PAPO, VPPO 등)은 이미지 전체를 흐리게 하거나 어텐션을 참고해 '모델이 이미지를 쓰는지'만 대략 확인했을 뿐, 정답이 실제로 어느 영역의 증거에 인과적으로 의존하는지는 검사하지 못했다.
방법: CED는 답변이 나온 후, COCO 객체 상자로 잡은 '증거 영역'의 시각 토큰을 주변 토큰 평균값으로 대체(개입)해 정답 지지도가 얼마나 떨어지는지 측정하고, 이를 증거 영역과 무관한 다른 영역들에 같은 개입을 했을 때의 하락폭과 비교한다.
이렇게 얻은 '증거 마진' 점수를 정답 정확도와 함께 GRPO 보상식에 넣어, 같은 정답이라도 실제 이미지 증거에 근거한 답변에 더 큰 보상을 준다. 예: 두 롤아웃이 모두 '4'라고 정답을 맞혔지만 하나는 언어적 상식(세단=바퀴 4개)에 의존, 다른 하나는 실제 바퀴 배치를 관찰했는데 보상이 7배 차이가 났다.
9개 벤치마크(CountBench, HallusionBench, MMMU 등)와 Qwen2.5-VL, Qwen3-VL, Qwen3.5-9B, LLaVA 등 여러 백본에서 검증했고, 정답 산출 방식(최종 답만 검사 vs 추론 과정 전체 검사) 비교, 개입 방식(평균 대체 vs 0으로 대체 vs 노이즈) 비교, 제안 영역 품질에 대한 견고성 실험을 함께 수행했다.
Figure 1: Left: Task setup with a counting query over two views of the same scene. Upper right: A pretrained VLM gives the same prior-based answer for both views; Evidence-RL inspects the visual evidence and adjusts its answer when the scene changes. Lower right: Causal path decomposition: a candidate answer can be supported by the target visual evidence, by irrelevant context, or by language priors, which motivates CED to test whether the response depends specifically on the evidence path.
Table 1: Signal-validation statistics on counting and presence tasks.
Task
Non-constant raw reward
Zero variance
Mean reward std
Same answer, different reward
Mean negation
Counting
99.5%
24.0%
0.1299
90.0%
0.003
Presence
21.1%
79.0%
0.0497
5.0%
0.777
Figure 2: Overview of Evidence-RL during post-training. A policy samples candidate answers, and CED scores each answer by applying the same feature-space intervention to the proposed Evidence Region and to matched non-evidence Regions. The contrastive support drop yields an evidence margin, which is combined with correctness to form the GRPO reward. The counterfactual audit is used only during training; inference uses the trained VLM normally.
Table 2: Nine-benchmark evaluation using Qwen2.5-VL-7B as the base model for Ours. Backbone, baseline, and benchmark sources are cited in the setup paragraph. Best bold; second-best underlined. Each Δ row reports absolute gain over the corresponding base.
Grounding
General Reasoning
Model
CountBench
SpatialEval
Hallusion
VLMs AreBlind
FREAK
MathVista
MMBench
MMMU
ScienceQA
Avg
VLM backbones
LLaVA-v1.6-7B
55.60
23.60
51.00
28.23
9.50
22.80
71.30
29.00
57.20
38.69
InternVL3.5-8B
86.90
24.00
69.60
54.92
12.80
51.90
83.40
50.80
89.90
58.25
Qwen2.5-VL-3B
70.71
53.94
65.37
42.46
11.14
52.10
80.40
50.29
74.93
55.70
Qwen2.5-VL-7B
81.82
59.21
68.64
46.44
12.18
63.10
84.73
50.63
83.98
61.19
RL-based methods
VAPO-Thinker-7B
86.90
60.80
71.20
48.62
13.10
51.10
81.80
44.60
82.30
60.05
Δ
+5.10
+1.59
+2.60
+2.18
+0.92
−12.00
−2.90
−6.00
−1.70
−1.14
VPPO-7B
85.90
61.80
68.20
49.35
12.70
67.90
84.90
52.10
88.40
63.47
Δ
+4.10
+2.59
−0.40
+2.91
+0.52
+4.80
+0.20
+1.50
+4.40
+2.28
Perception-R1-7B
84.90
59.70
66.70
45.22
12.20
67.10
81.70
48.10
82.30
60.88
Δ
+3.10
+0.49
−1.90
−1.22
+0.02
+4.00
−3.00
−2.50
−1.70
−0.31
PAPO-G-H
90.90
64.80
69.50
47.92
12.80
69.40
82.80
50.50
85.60
63.80
Δ
+9.10
+5.59
+0.90
+1.48
+0.62
+6.30
−1.90
−0.10
+1.60
+2.61
VLM-R1
74.80
56.40
66.60
44.15
11.00
60.30
79.90
48.60
73.60
57.26
Δ vs. Qwen2.5-VL-3B
+4.10
+2.50
+1.20
+1.69
−0.14
+8.20
−0.50
−1.70
−1.30
+1.56
SophiaVL-R1
82.83
61.38
66.87
47.09
24.18
66.30
87.41
52.18
87.64
63.99
Δ
+1.01
+2.17
−1.77
+0.65
+12.00
+3.20
+2.68
+1.55
+3.66
+2.80
Ours
88.89
63.34
70.08
54.02
26.40
69.40
87.53
57.47
87.08
67.13
Δ
+7.07
+4.13
+1.44
+7.58
+14.22
+6.30
+2.80
+6.84
+3.10
+5.94
Figure 3: A case showing why correctness-only reward is insufficient. Two rollouts from the same GRPO group both answer “4” correctly, but the CED gate g(m) creates a 7× reward gap between a prior-based rollout (g(m)=0.18, R=0.11) and an evidence-grounded rollout (g(m)=1.00, R=0.78), enabling GRPO to select the grounded trajectory.
Table 3: Controlled comparison on Qwen3.5-9B with matched data, router, and compute. Δ is the mean gain over the frozen base; ΔCED is Answer-CED minus correctness-only.
Grounding
General Reasoning
Method
CountBench
SpatialEval
Hallusion
VLMs AreBlind
FREAK
MathVista
MMBench
MMMU
ScienceQA
Avg
Δ
λ=0 (corr.-only)
89.90
40.45
57.93
72.90
18.73
73.40
79.44
36.00
82.24
61.22
−1.24
VPPO (retrained)
86.87
38.32
58.37
72.97
19.07
72.50
79.62
37.33
81.09
60.68
−1.78
PAPO (retrained)†
86.87
8.59
58.46
69.96
19.40
14.00
44.87
33.22
34.24
41.07
−21.39
Answer-CED
93.90
54.35
78.10
73.10
23.12
83.75
88.58
75.67
93.61
73.80
+11.34
ΔCED
+4.00
+13.90
+20.17
+0.20
+4.39
+10.35
+9.14
+39.67
+11.37
+12.58
–
Figure 4: Training dynamics for Answer-CED and CoT-CED on Qwen3.5-9B. CoT-CED produces larger training-side rewards, but the downstream comparison in Table 5 favors Answer-CED on average; we therefore use Answer-CED as the default variant.
Table 4: Cross-backbone validation of Ours. Each block reports the frozen base, Ours, and absolute Δ against that block’s base. The Qwen3.5-9B block additionally reports 3-seed mean±std, with its mean Δ in the last column.
Grounding
General Reasoning
Model
CountBench
SpatialEval
Hallusion
VLMs AreBlind
FREAK
MathVista
MMBench
MMMU
ScienceQA
Avg. Δ
Backbone: Qwen2.5-VL-3B
Qwen2.5-VL-3B
70.71
53.94
65.37
42.46
11.14
52.10
80.40
50.29
74.93
–
Ours
70.71
55.56
67.40
49.51
25.51
60.40
82.55
50.57
80.43
–
Δ
+0.00
+1.62
+2.03
+7.05
+14.37
+8.30
+2.15
+0.28
+5.50
+4.59
Backbone: Qwen2.5-VL-7B
Qwen2.5-VL-7B
81.82
59.21
68.64
46.44
12.18
63.10
84.73
50.63
83.98
–
Ours
88.89
63.34
70.08
54.02
26.40
69.40
87.53
57.47
87.08
–
Δ
+7.07
+4.13
+1.44
+7.58
+14.22
+6.30
+2.80
+6.84
+3.10
+5.94
Backbone: Qwen3-VL-8B-Instruct
Qwen3-VL-8B
94.90
65.26
72.86
67.01
28.85
67.54
89.15
57.82
91.99
–
Ours
95.92
67.75
74.30
68.88
31.18
68.04
89.58
58.85
92.82
–
Δ
+1.02
+2.49
+1.44
+1.87
+2.33
+0.50
+0.43
+1.03
+0.83
+1.33
Backbone: Qwen3.5-9B
Qwen3.5-9B
80.80
52.73
47.20
46.44
9.95
80.00
88.03
66.21
90.78
–
Ours
93.90
54.35
78.10
73.10
23.12
83.75
88.58
75.67
93.61
–
Δ
+13.10
+1.62
+30.90
+26.66
+13.17
+3.75
+0.55
+9.46
+2.83
+11.34
Ours (3 seeds)
93.60 ±0.48
56.04 ±0.27
78.35 ±0.21
73.37 ±0.17
23.11 ±0.40
84.40 ±0.50
89.87 ±0.04
75.39 ±0.22
94.46 ±0.13
+11.83
Figure 5: CED probe robustness under proposal perturbation. (a) Replacing the COCO proposal with a random object box as Ωev collapses the evidence margin to near zero across all seven task types, confirming that the signal tracks proposal relevance rather than masking magnitude. (b) IoU-graded degradation on the count-exclusion diagnostic: m¯ decreases monotonically as spatial overlap with the original proposal drops, approaching the random-region floor at lowest IoU.
Table 5: Answer vs. CoT variants on Qwen3.5-9B; Avg. Δ is the mean gain over the base.
Grounding
General Reasoning
Variant
CountBench
SpatialEval
Hallusion
VLMs AreBlind
FREAK
MathVista
MMBench
MMMU
ScienceQA
Avg. Δ
Answer
93.90
54.35
78.10
73.10
23.12
83.75
88.58
75.67
93.61
+11.34
CoT
92.90
53.80
78.10
69.09
30.35
81.88
88.53
68.23
94.66
+10.60
Figure A.1: CED probe robustness under proposal perturbation on the count-exclusion diagnostic. (a) Mean evidence margin m¯ across IoU bins, with the random-region baseline as a grey dashed reference. (b,c) m¯ under scale and translation perturbations, with the original ±1 SE band in red. Error bars are ±1 SE.
Table A.1: Complete hyperparameter listing. “Paper notation” gives the corresponding symbol in the main text when applicable.
Category
Parameter
Value
Paper notation
RL & optimization
Learning rate
lr
1×10−5
—
KL penalty coefficient
kl_coeff
0.01
—
GRPO group size
group_size
32
—
Training steps
n_steps
2,000
—
Trainable layers
n_trainable_layers
4 (last)
—
Precision
dtype
bfloat16
—
Generation & sampling
Temperature
temperature
1.0
—
Top-p
top_p
0.95
—
Max new tokens (evidence)
max_new_tokens
32
—
Max response tokens (full)
max_response_tokens
64
—
Prompt format
short_evidence_v1
—
—
Reward function (Equation 4)
Response reward weight
alpha_resp
0.70
see note†
Answer reward weight
alpha_ans
0.30
see note†
Response logprob temp.
tau_resp
0.20
—
Answer logprob temp.
tau_ans
1.00
—
Gate temperature
tau_resp (shared)
0.20
τg
Gate baseline at m=0
(derived)
0.50
g(0)
Evidence tie-breaker
evidence_eps
0.10
εtie
Additive evidence weight
evidence_eps (shared)
0.10
λ
Reward clipping
[min, max]
[−1.25, 1.00]
—
Format penalty
—
−0.75
—
Data & evaluation
Rerank candidates
rerank_num_candidates
6
—
non-evidence Regions per sample
K
3
K
Figure A.2: Qualitative examples of same-answer-different-reward under the CED method. All rollouts share the same answer, while CED produces reward spans of 0.50–0.67 according to visual evidence quality.
Table A.2: Methodological comparison with perception-aware VLM RL methods. The Causal audit column indicates whether the method tests causal evidence dependence for a candidate answer.
Method
Signal source
Granularity
Causal audit
Stage
PAPO [36]
Global mask KL
Global
No
Training
VPPO [10]
Attention weights
Token-level
No
Training
Vision-SR1†
Text self-verification
Description-level
No
Training
PaLMR‡
LLM-as-Judge
Trajectory-level
No
Training
SophiaVL-R1 [6]
Thinking-reward RM
Trajectory-level
No
Training
PEARL§
Perception checklist
Sample-level
No
Training
VAPO¶
Trajectory anchoring
Token-level
No
Training
VLM-R1*
Self-verification
Response-level
No
Training
Perception-R1††
Proxy localization
Region-levela
No
Training
CED (Ours)
Counterfactual intervention
Region-level
Yes
Training
Figure A.3: Within-group zero-variance rate across task families. Evidence-intensive tasks show a large reduction from correctness-only reward to our reward; binary-dominated groups remain near high zero-variance because of their two-action structure.
Table A.3: Cross-model evidence sensitivity validation (N=50 per task per model).
Model
Task
Relevant > Random rate
Mean margin
InternVL3.5-8B
Counting
0.68
0.0070
Presence
0.62
0.0737
LLaVA-v1.6-7B
Counting
0.78
0.0074
Presence
0.60
0.1625
Figure A.4: Failure cases on presence tasks: identical negation answers with identical rewards yield zero within-group variance.
Table A.4: Blindfold test results (N=500 per task family).
Condition
Task
Rel. > Rand. rate
Mean Delta
Normal
Counting
0.634
+1.928
Normal
Presence
0.550
+0.780
Blindfold
Counting
0.404
−0.114
Blindfold
Presence
0.448
+0.070
Table A.5: Perturbation-family ablation within the local intervention family, evaluated by logits-JS AUC.
Key mode
Mean repl.
Zero repl.
Gaussian-noise repl.
prompt_last
0.6780
0.6602
0.6299
answer_first
0.6592
0.6215
0.6273
Average
0.6686
0.6409
0.6286
Table A.6: Gaussian-noise profile under prompt_last. Stability drops under logits_only.
Config
Fixed metric
Best metric
Best paired AUC
logits24
0.6299
0.6299
0.7108
logits_only
0.5753
0.5920
0.6407
Table A.7: Evidence weight (λ) sensitivity. λ=0.00 is correctness-only.
λ
Non-const. rate
Reward std
Zero-var. rate
0.00
100%
0.0528
0%
0.05
100%
0.0508
0%
0.10
96%
0.0597
4%
0.15
100%
0.0415
4%
0.20
100%
0.0491
0%
Table A.8: Gate temperature (τg) sensitivity.
τg
Non-const. rate
Reward std
Zero-var. rate
0.10
100%
0.0568
4%
0.20
96%
0.0597
4%
0.30
96%
0.0469
4%
0.50
100%
0.0378
0%
Table A.9: Proposal-perturbation results on count-exclusion (n=41). Higher values indicate stronger evidence dependence; the random row gives the floor without spatial targeting.
Axis
Condition
m¯
Δ
Rel. rate
IoU stratification
[0.7, 1.0]
0.501
2.032
0.732
[0.5, 0.7)
0.379
1.282
0.683
[0.3, 0.5)
0.341
1.386
0.683
[0.0, 0.3)
0.219
0.555
0.561
Scale
0.50×
0.377
1.113
0.732
0.75×
0.481
1.750
0.732
1.25×
0.433
2.230
0.683
1.50×
0.295
2.003
0.634
2.00×
0.382
1.880
0.707
Shift
5%
0.304
1.602
0.634
10%
0.428
1.457
0.707
20%
0.532
1.899
0.732
original proposal (reference)
0.386
1.852
0.683
random region (floor)
0.147
0.277
0.537
Table A.10: Unified-condition baseline comparison on the offline rerank dataset (N=1,353).
Method
Reward mean
Signal strength
Signal-corr
Vanilla GRPO
−0.149
N/A
N/A
PAPO-Lite
−0.156
KL =0.024
0.034
CED (Ours)
+0.448
Margin =−0.007
Selective
Table A.11: Unified-condition method comparison on the counting shared-candidate slice: 94 samples with at least two distinct candidates.
Method
Acc.
Strong inf.
rnc↑
flip ↑
LogProb
94.7
75.0
–
–
Correctness-only
97.9
100.0
12.8
4.3
CED (Ours)
97.9
100.0
100.0
76.6
Perception-R1-Lite
97.9
100.0
13.8
5.3
VLM-R1-Lite∗
94.7
75.0
0.0
0.0
VPPO-Lite∗
94.7
75.0
0.0
0.0
PAPO-Lite∗
94.7
75.0
0.0
0.0
∗ No reward-based reranking recovered; falls back to log probability.
Table A.12: CoT-CED vs. Answer-CED: training-end summary over 2,000 steps.
Metric
CoT-CED
Answer-CED
Mean training reward
+0.259
−0.009
Final training correctness
43.4%
34.2%
Table A.13: End-of-training CoT behavior on held-out prompts. CoT-CED collapses toward an object-cue answer format, while Answer-CED preserves natural multi-sentence reasoning.
Metric
Benchmark
CoT-CED
Answer-CED
Mean CoT length (tokens)
Counting
3.6
49.3
Median CoT length (tokens)
Counting
3
47
p90 CoT length (tokens)
Counting
6
78
Mean CoT length (tokens)
HallusionBench
3.8
82.1
Median CoT length (tokens)
HallusionBench
3
61
p90 CoT length (tokens)
HallusionBench
6
173
Image-referential opener rate
Counting
1.0%
79.8%
Image-referential opener rate
HallusionBench
5.2%
64.2%
Unique-token ratio
Counting
99.1%
75.8%
Unique-token ratio
HallusionBench
96.8%
68.1%
Table A.14: Representative side-by-side generations. Both variants produce the correct final answer, but CoT-CED reduces the chain to an object cue, while Answer-CED keeps an explicit visual check.
Prompt
CoT-CED
Answer-CED
How many beds are there in the image?
The beds / 2
Got it, let’s look at the image. There’s a loft bed with a lower bed. The upper bunk is one, the lower bed is another. So that’s two beds.
How many weights are there in the image?
The weights / Two
Got it, let’s look at the image. The man is holding two dumbbells, one in each hand. There’s one in the left hand and one in the right hand. So that’s two weights.
실제로 확인된 결과
Table 3: Qwen3.5-9B, 동일 데이터·라우터·2000스텝 조건에서 정확도만 쓰는 보상 대비 Answer-CED가 평균 +12.58점, 재학습한 VPPO 대비 +13.12점 높았다.
Table 2: Qwen2.5-VL-7B 기준 9개 벤치마크 평균에서 Evidence-RL이 비교한 RL 후처리 기법 중 가장 높은 평균 점수와 가장 큰 평균 개선폭을 보였고, 9개 벤치마크 모두에서 음수 개선이 없는 유일한 방법이었다.
Table 4: 두 모델 계열의 4개 백본(Qwen2.5-VL-3B/7B, Qwen3-VL-8B, Qwen3.5-9B)에서 모두 평균적으로 양의 개선을 보였고, 36개 벤치마크-백본 조합 전체에서 음수 개선이 없었다.
Figure 5 관련 수치: COCO 제안 영역을 무작위 상자로 바꾸면 증거 마진 평균이 0.268에서 0.015로, 증거가 무작위보다 나은 비율이 0.636에서 0.487(우연 수준)로 떨어져, 신호가 실제 관련성에 반응함을 확인했다.
8개 텍스트 전용 벤치마크(ARC 등)에서 Qwen3.5-9B Answer-CED 체크포인트의 평균 정확도 변화는 -0.27퍼센트포인트, 개별 벤치마크 최대 하락폭은 1.5퍼센트포인트 이내였다.
어디에 쓸 수 있나
환각(hallucination)이나 지름길 추론이 우려되는 VQA, 세는 문제, 공간 추론용 VLM을 강화학습으로 후처리할 때 보상 설계에 참고
정답률만으로는 구분되지 않는 '찍어서 맞은 답'과 '근거 기반 답'을 가려내야 하는 데이터 품질 진단 또는 학습 데이터 필터링
객체 검출 상자(예: COCO 스타일) 같은 저비용 약한 주석만으로 시각 근거 검증 신호를 만들어야 하는 상황
한계와 남은 검증
실험은 COCO 기반 객체 상자를 증거 영역으로 쓰는 설정에 한정되며, 속성 수준·관계 수준 증거나 텍스트 스팬 단위 증거로의 확장은 방법상 가능성만 제시되고 별도로 검증되지 않았다.
이진(예/아니오) 형태의 존재 여부 질문류(presence task)는 답변 공간이 좁아 그룹 내 보상 분산이 원천적으로 제한된다는 한계가 보고되었다.
학습 시에만 반사실적 개입을 계산하며, 추론 시점에는 이 감사 과정이 적용되지 않으므로 실제 서비스 단계에서 근거성이 계속 보장되는지는 별도 확인 대상이다.
본문 중 축척·이동 변형에 대한 제안 영역 견고성 결과는 테스트 범위 내에서 뚜렷한 저하가 없었다고만 보고되어, 더 넓은 왜곡 범위에서의 안정성은 추가 검증이 필요하다.
블랭크 이미지(정보 없는 placeholder) 상황에서 CED가 '이미지로 판단 불가'라고 답해 오히려 정답 처리되던 기존 방식보다 낮은 점수를 받는 사례가 보고되어, 특정 벤치마크의 점수 산정 방식과 상충할 수 있다.
왜 중요한가
정답률만 보는 평가·보상 방식으로는 모델이 '찍어서' 맞힌 것과 '보고' 맞힌 것을 구분할 수 없는데, 이 방법은 그 둘을 학습 단계에서 구분해 보상을 준다는 점이 실무적으로 중요하다. 특히 환각(hallucination)이나 잘못된 지름길 추론이 문제가 되는 이미지 기반 QA·세는 문제·공간 추론 시스템을 만들 때 참고할 수 있다.
이 논문의 용어
VLM (Vision-Language Model) · 이미지와 텍스트를 함께 입력받아 답을 생성하는 모델
반사실적 개입 (counterfactual intervention) · 특정 영역의 정보를 인위적으로 지워보고 결과가 어떻게 바뀌는지 비교하는 실험 방법
GRPO · 같은 질문에 여러 답을 생성시켜 그룹 내 상대적 우열로 보상을 매기는 강화학습 방식
증거 마진 (evidence margin) · 증거 영역을 지웠을 때의 정답 지지도 하락폭과, 다른 영역을 지웠을 때의 하락폭 차이
