영상 생성 AI를 평가하는 채점 AI가 근거를 먼저 확인하고 나서 점수를 매기게 만드는 데이터 구축 방법
arXiv:2608.218392026-08-21
FIRM-Video: Check Before You Score for Reliable Text-to-Video Reward Modeling
영상 생성 AI를 평가하는 채점 AI가 근거를 먼저 확인하고 나서 점수를 매기게 만드는 데이터 구축 방법
FIRM-Video는 영상 채점 AI를 훈련시키기 위한 데이터를 만들 때, 먼저 지시 이행·현실 타당성·화질이라는 세 항목별로 확인 가능한 예/아니오 체크리스트를 만들고, 실제 영상 장면을 대조해 각 항목을 검증한 뒤에야 점수를 계산한다. 이 과정으로 88,044개 학습 데이터(FIRM-Video-90K)와 사람이 직접 평가한 750개 검증용 데이터(FIRM-Video-Bench)가 만들어졌다. 이 데이터로 학습한 80억 파라미터 모델 FIRM-Video-8B는 기존 모델보다 사람 판단과 더 가까웠고, 여러 영상 후보 중 더 좋은 것을 골라내는 데도 더 나은 성능을 보였다.
METAL LAB 해설 도표
영상을 채점하기 전, 근거를 먼저 확인하는 FIRM-Video 데이터 구축 과정
증거 상태측정 결과가 보고됨
1. 체크리스트 만들기영상-프롬프트 쌍마다 세 종류의 체크리스트를 만든다: 지시 이행을 위한 세부 요구사항 목록, 현실 타당성을 위한 등장 요소·행동 기반 점검 목록, 화질을 위한 고정된 시각 결함 목록.
2. 근거 검증멀티모달 평가 AI가 실제 영상 프레임을 보고 체크리스트 각 항목이 충족됐는지 아닌지를 간단한 근거와 함께 판정하며, 확인할 수 없는 항목은 미충족으로 처리한다.
3. 점수 집계검증된 답변만 중요도에 따라 가중치를 주어 항목별 최종 점수 하나로 합치며, 같은 문제가 여러 항목에서 중복으로 벌점을 받지 않도록 한다.
4. 데이터셋과 벤치마크 구축이 과정을 영상 29,348개에 적용해 88,044개의 학습 데이터(FIRM-Video-90K)를 만들고, 별도의 영상 250개는 사람이 직접 평가해 750개짜리 시험용 데이터(FIRM-Video-Bench)를 만들었다.
5. 종단형 채점 모델Qwen3-VL-8B를 이 데이터로 미세조정해 FIRM-Video-8B를 만들었으며, 실제 사용할 때는 체크리스트 과정을 다시 거치지 않고 프롬프트와 영상 프레임만 보고 한 번에 점수와 설명을 예측한다.
METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
문제 제기: 기존 영상 평가 AI들은 눈에 띄는 특징만 보고 판단하거나, 이미 정한 점수에 맞춰 사후적으로 이유를 지어내거나, 서로 다른 종류의 오류(예: 물리적 오류와 화질 문제)를 뒤섞어 이중으로 벌점을 주는 문제가 있었다.
방법: 영상과 프롬프트가 주어지면, 세 가지 평가 항목(프롬프트를 잘 따랐는지, 현실 상식·물리법칙에 맞는지, 시각적으로 깨끗한지)별로 각각 체크리스트를 만들고, 실제 영상 프레임과 대조해 각 항목을 검증한 다음, 검증된 답변만 모아 최종 점수와 설명 문장을 만든다.
데이터 구축: 이 과정을 약 29,348개의 AI 생성 영상에 적용해 88,044개의 학습 데이터(FIRM-Video-90K)를 만들었고, 별도의 영상 250개는 사람 전문가가 직접 평가해 750개의 검증용 데이터(FIRM-Video-Bench)를 만들었다.
결과: 이 데이터로 Qwen3-VL-8B를 미세조정한 FIRM-Video-8B는 FIRM-Video-Bench에서 평균 오차(MAE) 0.78을 기록해, 미세조정 전 기본 모델의 1.33보다 크게 낮췄고, 여러 상용·오픈소스 모델 중 전체 평균 오차가 가장 낮았다.
결과: AI 생성 영상 8개 중 가장 좋은 것을 고르는 실험(Best-of-8)에서, FIRM-Video-8B는 VBench라는 표준 평가 지표 기준으로 세 가지 영상 생성 모델 모두에서 다른 선택 방법보다 일관되게 더 나은 영상을 골라냈다.
Figure 1: Qualitative evaluation case of FIRM-Video-8B, illustrating its improved alignment with human judgments.
Table 1: Performance comparison on FIRM-Video-Bench across three evaluation dimensions: Instruction Following (IF), World Coherence (WC), and Perceptual Quality (PQ). The two values under Acc./Relaxed Acc. denote strict and relaxed accuracy, respectively. The row marked with † reports the performance of direct data construction pipeline and is excluded from ranking.
Model
Instruction Following
World Coherence
Perceptual Quality
Overall
MAE↓
STD↓
Acc./Relaxed Acc.↑
SRCC↑
MAE↓
STD↓
Acc./Relaxed Acc.↑
SRCC↑
MAE↓
STD↓
Acc./Relaxed Acc.↑
SRCC↑
MAE↓
STD↓
Acc./Relaxed Acc.↑
Closed-source models
GPT-5
0.62
0.71
0.50/0.88
0.74
1.66
1.19
0.20/0.48
0.49
0.95
0.86
0.34/0.76
0.51
1.08
1.03
0.35/0.71
Gemini-3.1-Pro
0.77
0.76
0.40/0.86
0.71
1.27
1.08
0.28/0.62
0.54
1.44
1.12
0.21/0.59
0.41
1.16
1.04
0.30/0.69
Doubao-Seed-2.0-Lite
0.80
0.83
0.41/0.84
0.67
1.56
1.24
0.24/0.53
0.44
0.80
0.75
0.38/0.84
0.55
1.05
1.03
0.35/0.73
Open-source models
InternVL3-8B
1.26
0.95
0.24/0.60
0.57
2.10
1.32
0.15/0.36
0.22
1.29
1.00
0.24/0.61
0.22
1.56
1.17
0.21/0.52
InternVL3-38B
0.82
0.83
0.40/0.82
0.65
2.11
1.32
0.15/0.35
0.15
1.33
1.08
0.27/0.58
0.20
1.42
1.21
0.27/0.58
Qwen3-VL-8B
0.93
0.89
0.34/0.80
0.60
1.79
1.35
0.22/0.46
0.29
1.28
1.04
0.28/0.60
0.34
1.33
1.16
0.28/0.62
Qwen3-VL-30B-A3B
0.95
0.87
0.32/0.80
0.62
1.90
1.31
0.19/0.40
0.22
1.36
1.09
0.28/0.55
0.37
1.40
1.17
0.27/0.58
Qwen3-VL-235B-A22B
0.93
0.87
0.33/0.80
0.65
1.63
1.30
0.24/0.52
0.31
1.27
1.04
0.28/0.60
0.40
1.27
1.12
0.29/0.64
Our methods
FIRM-Video Data Pipeline†
0.68
0.68
0.43/0.90
0.69
0.80
0.83
0.41/0.84
0.63
0.74
0.70
0.40/0.86
0.61
0.73
0.74
0.41/0.87
FIRM-Video-8B (InternVL3-8B)
0.69
0.73
0.45/0.87
0.67
0.96
0.95
0.37/0.76
0.49
0.90
0.77
0.32/0.80
0.35
0.85
0.83
0.38/0.81
FIRM-Video-8B (Qwen3-VL-8B)
0.65
0.77
0.50/0.88
0.69
0.86
0.88
0.40/0.80
0.53
0.82
0.74
0.36/0.83
0.51
0.78
0.80
0.42/0.84
Figure 2: Statistics of the FIRM-Video-90K dataset. Left: distributions across evaluation dimensions and score ranges. Right: distributions of video duration and prompt length.
Table 3: Best-of-N performance comparison of FIRM-Video-8B and other sampling strategies on VBench. The best and second-best results under each T2V generator are highlighted in bold and underlined, respectively.
Sampling Strategy
Total Score
Quality Score
Semantic Score
Video Quality
Video–Condition Consistency
Subject Consistency
Background Consistency
Temporal Flickering
Imaging Quality
Multiple Objects
Color
Spatial Relationship
Appearance Style
T2V model: LaVie-Base
Random
79.42
81.34
71.77
92.09
97.64
97.63
65.92
37.73
89.65
43.30
23.94
By Qwen3-VL-8B
80.03
81.61
73.73
92.64
97.56
97.60
66.88
50.91
83.11
47.32
24.27
By InternVL3-8B
80.45
82.10
73.82
92.94
97.56
97.56
67.02
50.30
85.85
45.81
24.10
By VideoScore2
79.95
81.61
73.33
92.95
97.80
97.76
66.54
53.73
86.86
45.70
23.87
By FIRM-Video-8B
80.72
82.14
75.06
93.66
97.91
98.12
67.46
58.99
88.20
51.20
24.40
T2V model: CogVideoX-2B
Random
78.57
80.90
69.25
93.47
96.66
96.90
59.72
49.16
88.43
61.30
22.95
By Qwen3-VL-8B
78.49
80.22
71.59
94.48
96.84
96.90
59.20
55.56
88.40
65.80
23.30
By InternVL3-8B
78.35
80.27
70.65
94.53
96.89
97.04
59.90
51.30
89.49
61.09
23.24
By VideoScore2
78.67
80.30
72.17
94.63
96.78
96.98
60.08
61.05
87.59
63.82
22.54
By FIRM-Video-8B
79.68
81.03
74.28
94.92
97.28
97.33
60.00
62.88
92.37
66.86
23.02
T2V model: Wan2.1-T2V-1.3B
Random
80.40
84.13
65.49
94.57
98.08
98.98
68.18
57.01
85.63
76.13
19.73
By Qwen3-VL-8B
81.43
84.30
69.96
94.57
97.90
98.87
67.57
67.91
85.94
74.39
20.67
By InternVL3-8B
81.70
84.43
70.78
95.46
98.32
98.84
67.71
67.61
86.15
77.08
20.30
By VideoScore2
81.64
84.86
68.74
95.45
98.13
98.99
67.57
72.26
83.91
74.56
19.98
By FIRM-Video-8B
82.36
84.91
72.19
96.54
98.68
99.22
68.62
73.40
92.23
81.10
20.64
Figure 3: Overview of the FIRM-Video data construction framework and reward model training. Given a prompt and its generated video, FIRM-Video applies a unified check-before-score pipeline to construct fine-grained supervision for instruction following, world coherence, and perceptual quality. The resulting dimension-specific analyses and scores form FIRM-Video-90K, which is then used to train the FIRM-Video-8B reward model.
Table 4: Aggregation ablations on FIRM-Video-Bench. STD is computed over absolute errors; relaxed accuracy allows a one-point deviation from the expert rating. Best results within each dimension are bold.
Dimension
Aggregation
MAE ↓
STD ↓
Acc. ↑
Relaxed Acc. ↑
SRCC ↑
IF
mean
0.68
0.70
0.44
0.88
0.69
Importance weighted (ours)
0.68
0.68
0.43
0.90
0.69
WC
mean
0.86
0.83
0.37
0.82
0.61
Importance weighted (ours)
0.80
0.83
0.41
0.84
0.63
Figure 4: Best-of-N scaling results on VBench using LaVie-Base as the video generation model. Performance is measured by the VBench total score as N increases.
Table 5: Score distributions of FIRM-Video-90K and FIRM-Video-Bench.
Dataset
Dimension
Score=1
Score=2
Score=3
Score=4
Score 5
Total
FIRM-Video-90K
IF
5,104 (17.4%)
8,900 (30.3%)
5,551 (18.9%)
3,806 (13.0%)
5,987 (20.4%)
29,348
WC
4,795 (16.3%)
11,129 (37.9%)
5,649 (19.2%)
2,510 (8.6%)
5,265 (17.9%)
29,348
PQ
874 (3.0%)
3,749 (12.8%)
4,257 (14.5%)
18,331 (62.5%)
2,137 (7.3%)
29,348
All
10,773
23,778
15,457
24,647
13,389
88,044
FIRM-Video-Bench
IF
28 (11.2%)
73 (29.2%)
63 (25.2%)
59 (23.6%)
27 (10.8%)
250
WC
48 (19.2%)
76 (30.4%)
48 (19.2%)
44 (17.6%)
34 (13.6%)
250
PQ
11 (4.4%)
54 (21.6%)
69 (27.6%)
59 (23.6%)
57 (22.8%)
250
All
87
203
180
162
118
750
Figure 5: Human annotation interface for FIRM-Video-Bench. Annotators rate instruction following, perceptual quality, and world coherence on a five-point scale.
Table 6: Dimension mapping from VBench dimensions to FIRM-Video reward dimensions. “Quality” and “Cond. Consist.” denote VBench’s Video-Quality and Video–Condition Consistency groups, respectively.
Reward
VBench Dimension
VBench Group
IF
Dynamic Degree
Quality
Overall Consistency
Cond. Consist.
Object Class
Cond. Consist.
Multiple Objects
Cond. Consist.
Human Action
Cond. Consist.
Color
Cond. Consist.
Spatial Relationship
Cond. Consist.
Scene
Cond. Consist.
Appearance Style
Cond. Consist.
Temporal Style
Cond. Consist.
WC
Subject Consistency
Quality
Background Consistency
Quality
Motion Smoothness
Quality
PQ
Temporal Flickering
Quality
Aesthetic Quality
Quality
Imaging Quality
Quality
Figure 6: Qualitative example of FIRM-Video-8B evaluation (1)
Table 7: Best-of-8 results on the video-quality subdimensions of VBench.
T2V Model
Sampling Strategy
Subject Consistency
Background Consistency
Temporal Flickering
Motion Smoothness
Dynamic Degree
Aesthetic Quality
Imaging Quality
LaVie-Base
Random
92.09
97.64
97.63
96.63
55.56
64.53
65.92
Qwen3-VL-8B
92.64
97.56
97.60
96.62
55.56
64.93
66.88
InternVL3-8B
92.94
97.56
97.56
96.69
61.11
64.74
67.02
VideoScore2
92.95
97.80
97.76
96.39
56.94
64.27
66.54
FIRM-Video-8B
93.66
97.91
98.12
96.58
56.94
64.17
67.46
CogVideoX-2B
Random
93.47
96.66
96.90
97.23
73.61
58.47
59.72
Qwen3-VL-8B
94.48
96.84
96.90
97.35
62.50
58.30
59.20
InternVL3-8B
94.53
96.89
97.04
97.24
62.50
57.84
59.90
VideoScore2
94.63
96.78
96.98
97.27
59.72
59.31
60.08
FIRM-Video-8B
94.92
97.28
97.33
97.34
65.28
59.15
60.00
Wan2.1-T2V-1.3B
Random
94.57
98.08
98.98
98.21
62.50
64.38
68.18
Qwen3-VL-8B
94.57
97.90
98.87
98.10
66.67
64.94
67.57
InternVL3-8B
95.46
98.32
98.84
98.29
63.89
64.87
67.71
VideoScore2
95.45
98.13
98.99
98.43
68.06
65.10
67.57
FIRM-Video-8B
96.54
98.68
99.22
98.49
59.72
65.67
68.62
Figure 7: Qualitative example of FIRM-Video-8B evaluation (2)
Table 8: Best-of-8 results on the video–condition consistency subdimensions of VBench.
T2V Model
Sampling Strategy
Object Class
Multiple Objects
Human Action
Color
Spatial Relationship
Scene
Appearance Style
Temporal Style
Overall Consistency
LaVie-Base
Random
93.12
37.73
92.00
89.65
43.30
52.33
23.94
24.73
27.20
Qwen3-VL-8B
91.61
50.91
96.00
83.11
47.32
52.69
24.27
25.25
27.75
InternVL3-8B
95.81
50.30
96.00
85.85
45.81
51.02
24.10
25.03
27.46
VideoScore2
91.06
53.73
93.00
86.86
45.70
50.80
23.87
25.16
27.33
FIRM-Video-8B
90.51
58.99
93.00
88.20
51.20
52.03
24.40
25.19
27.57
CogVideoX-2B
Random
76.11
49.16
87.00
88.43
61.30
39.90
22.95
23.77
24.43
Qwen3-VL-8B
83.62
55.56
91.00
88.40
65.80
35.83
23.30
23.84
25.27
InternVL3-8B
82.91
51.30
89.00
89.49
61.09
37.79
23.24
23.74
25.30
VideoScore2
84.41
61.05
91.00
87.59
63.82
40.48
22.54
23.54
25.06
FIRM-Video-8B
85.21
62.88
90.00
92.37
66.86
45.13
23.02
24.29
25.13
Wan2.1-T2V-1.3B
Random
74.76
57.01
68.00
85.63
76.13
24.35
19.73
23.74
23.31
Qwen3-VL-8B
82.36
67.91
83.00
85.94
74.39
25.51
20.67
23.53
24.78
InternVL3-8B
84.34
67.61
82.00
86.15
77.08
30.38
20.30
23.86
24.15
VideoScore2
79.27
72.26
79.00
83.91
74.56
23.84
19.98
23.73
23.88
FIRM-Video-8B
80.22
73.40
83.00
92.23
81.10
29.14
20.64
23.52
24.57
Figure 8: Qualitative example of FIRM-Video-8B evaluation (3)
실제로 확인된 결과
FIRM-Video-Bench에서 Qwen3-VL-8B를 기반으로 만든 FIRM-Video-8B가 전체 평균 오차 0.78로, 시험한 상용·오픈소스 모델 전체 중 가장 낮았고, 현실 타당성(World Coherence) 항목에서는 단독으로 가장 낮은 오차를 기록했다.
같은 시험에서 지시 이행 항목은 GPT-5가 오차 0.62로 가장 낮았고, 화질 항목은 Doubao-Seed-2.0-Lite가 오차 0.80으로 가장 낮아, FIRM-Video-8B가 모든 세부 항목에서 1등은 아니었지만 종합 오차는 가장 낮았다.
VBench를 이용한 Best-of-8 실험에서 FIRM-Video-8B는 시험한 세 가지 영상 생성 모델(LaVie-Base, CogVideoX-2B, Wan2.1-T2V-1.3B) 전부에서 종합점수·화질점수·의미일치점수가 가장 높았으며, 그다음으로 좋은 방법보다 종합점수는 0.27~1.01점, 의미일치점수는 1.24~2.11점 더 높았다.
훈련 데이터와 다른 종류의 데이터인 MJ-Bench-Video 시험에서도 FIRM-Video-8B의 한 변형이 지시 일치·일관성 항목에서 1위, 전체 선호도 정확도에서 2위를 기록해 어느 정도 일반화 가능성을 보였다.
체크리스트 항목의 중요도에 가중치를 주는 방식이 단순 평균보다 정확했고, 특히 현실 타당성 항목에서는 오차를 0.86에서 0.80으로 줄였다는 비교 실험 결과가 나왔다.
Figure 9: Qualitative example of FIRM-Video-8B evaluation (4)
어디에 쓸 수 있나
같은 프롬프트로 여러 개 생성된 영상 중 가장 좋은 하나를 골라 사용자에게 보여주는 Best-of-N 필터링 작업.
대량으로 생성된 영상 데이터셋을 지시 이행도·물리적 타당성·시각적 결함 기준으로 자동 걸러내는 품질 관리 작업.
저자들이 언급하지만 아직 시험하지 않은 용도로, 영상 생성 모델을 강화학습이나 선호도 최적화로 직접 훈련시킬 때 점수 신호로 활용하는 것.
Figure 10: Qualitative example of FIRM-Video-8B evaluation (5)
한계와 남은 검증
저자들은 FIRM-Video-8B를 영상 생성 모델 훈련에 직접 사용해 본 적이 없다고 명시했으며, 지금까지는 평가와 선별 용도로만 검증되었기 때문에 강화학습 기반 정렬에서의 효과는 아직 확인되지 않았다.
검증에 쓰인 사람 평가 벤치마크(FIRM-Video-Bench)는 영상 250개, 주석 750개로 규모가 비교적 작다.
훈련 데이터는 주로 두 개의 기존 선호도 데이터셋과 20여 개의 생성 모델에서 가져온 것이라, 이 범위를 벗어난 영상 스타일이나 생성 모델에 대한 성능은 직접 확인되지 않았다.
모델은 영상 전체가 아니라 균일하게 뽑은 8개 프레임만 보고 판단하기 때문에, 매우 짧거나 세밀한 시간적 문제는 놓칠 수 있다.
체크리스트 점수를 5단계 등급으로 바꾸는 기준값은 경험적으로 정한 것이며, 이 기준을 바꿨을 때 결과가 얼마나 민감하게 달라지는지는 논문에 나와 있지 않다.
왜 중요한가
영상 생성 AI는 빠르게 발전하고 있지만, 그 결과물이 실제로 좋은지, 지시를 잘 따랐는지, 물리적으로 말이 되는지를 신뢰성 있게 판단하는 일은 여전히 사람이 직접 하거나 부정확한 자동 채점에 맡겨져 있다. 근거를 먼저 검증하는 채점 AI가 있으면 영상 데이터를 걸러내고 순위를 매기는 작업이 더 저렴해지고, 나중에는 영상 생성 모델 자체를 개선하는 훈련 신호로도 쓸 수 있다.
이 논문의 용어
리워드 모델(Reward model) · 다른 AI가 만든 결과물에 점수를 매기도록 훈련된 AI로, 걸러내기·순위 매기기·추가 훈련에 쓰인다.
체크리스트 기반 검증(check-before-score) · 세부 항목을 하나씩 예/아니오로 먼저 확인하고, 확인된 답만 모아서 최종 점수를 내는 방식.
지시 이행 / 현실 타당성 / 화질 (IF/WC/PQ) · 이 논문이 쓰는 세 가지 평가 항목: 영상이 프롬프트를 따랐는지, 물리·상식적으로 말이 되는지, 화면이 깨끗한지.
Best-of-N 샘플링 · 같은 프롬프트로 N개의 영상을 만들고, 그중 점수가 가장 높은 하나를 골라내는 방식.
평균절대오차(MAE) · 모델이 예측한 점수와 사람이 준 점수 사이의 차이를 평균낸 값으로, 낮을수록 사람 판단과 가깝다는 뜻.
