같은 모델도 채점 방식만 바꾸면 정확도가 31%에서 89%까지 오가고, 그 채점 방식이 리더보드 1위를 몰래 결정하고 있었다
arXiv:2608.213822026-08-25
There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
같은 모델도 채점 방식만 바꾸면 정확도가 31%에서 89%까지 오가고, 그 채점 방식이 리더보드 1위를 몰래 결정하고 있었다
연구자들은 12개의 오픈웨이트 대형언어모델에 ARC, HellaSwag, MMLU, TruthfulQA에서 뽑은 동일한 3,679개 문항을 풀게 하되, 선택지 순서·프롬프트 문구·정답을 생성 텍스트에서 읽을지 확률값에서 읽을지를 다르게 조합한 26가지 채점 설정으로 각각 채점했다. 그 결과 리더보드에서 순위가 인접한 두 모델이 둘 다 안정적으로 맞히는 문항에서는 사실상 동점이었고, 순위를 가르는 격차는 거의 전부 채점 설정에 따라 정답 여부가 뒤집히는 문항에서 나왔다. 26가지 설정 중 어느 것을 쓰느냐에 따라 서로 다른 4개 모델이 각각 1위를 차지할 수 있었고, 벤치마크를 압축해 문항 수를 줄이는 기법들은 오히려 이런 불안정한 문항을 우선적으로 남기는 경향을 보였다.
METAL LAB 해설 도표
Fragility Grid: 같은 문항, 같은 모델, 26가지 채점 방식
증거 상태측정 결과가 보고됨
고정 요소3,679개 문항, 12개 모델의 동일한 가중치, greedy decoding은 모두 고정
가변 요소: 하네스 26종선택지 순서(6종) x 프롬프트 형식(4종) = 24가지 생성 설정 + 확률 기반 채점 2가지 = 26가지 조합
문항 분류모든 설정에서 항상 맞히면 robust-correct, 항상 틀리면 robust-wrong, 설정에 따라 뒤집히면 config-fragile
인접 쌍 격차 분해리더보드 순위가 붙은 두 모델의 정확도 차이를 robust 문항에서 나오는 부분과 fragile 문항에서 나오는 부분으로 나눔
챔피언 집합26개 설정 중 하나라도 1위를 차지한 모델들을 모아 harness가 승자를 어떻게 바꾸는지 확인
METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
Qwen, Llama, Gemma, Mistral 등 4개 계열의 12개 오픈웨이트 지시학습 모델이 동일한 3,679개 문항을, 선택지 순서·프롬프트 형식·채점 방식(생성 텍스트 vs 확률값)만 다른 26가지 방어 가능한 채점 설정으로 풀었다.
모델, 문항, 설정 조합마다 정답/오답 1비트씩 기록했고, 문항과 모델 가중치, greedy decoding(가장 확률 높은 답만 고르는 결정적 방식)은 모두 고정한 채 채점 설정만 바꿔 비교를 맞췄다.
리더보드에서 순위가 붙어 있는 두 모델이 26가지 설정 모두에서 똑같이 답하는 문항(robust item)만 보면 두 모델은 사실상 동점이었고, 그 둘 사이 정확도 격차의 평균 95.7%는 설정에 따라 정답 여부가 뒤집히는 문항(config-fragile item)에서 나왔다.
12개 모델 중 4개(gemma4-31b, qwen3-14b, llama3.3-70b, mixtral-8x7b)가 26가지 설정 중 적어도 하나에서 1위를 차지했고, 기준 채점 방식에서 11위였던 mixtral-8x7b도 특정 설정에서는 1위였다. 채점 방식만 바꿨을 때는 정답으로 인정된 답의 평균 31%만 유지되어, 프롬프트 형식을 바꿀 때(40% 유지)나 선택지 순서를 바꿀 때(60% 유지)보다 훨씬 더 큰 타격을 줬다.
벤치마크를 소수 문항으로 압축할 때 흔히 쓰는 '문항 판별력' 기준은 config-fragility와 0.28의 상관관계를 보였고, 판별력이 가장 높은 상위 100개 문항의 평균 fragility는 0.96으로 전체 평균 0.85보다 높아, 압축 기법이 불안정한 문항을 골라서 남기는 셈이었다.
Figure 1: The same model, the same items, and many scores. Models run down the axis in reference-leaderboard order, best at the top. Each row runs from robust accuracy, the items a model answers correctly under all 26 harness configurations (left tick), to optimistic accuracy, the items it answers correctly under at least one (right tick), with the reference-configuration score marked by the dot. Only the harness differs along a row. For gemma4-31b the row runs from 0.04 to 0.98, and the 0.88 it is credited with under the reference harness is one point inside that range. Averaged across the 12 models, 85 percent of credited answers can be flipped to wrong by an equally defensible configuration, which is why a single leaderboard number is a point drawn from a wide band rather than a property of the model.
Table 1: The reference leaderboard, with the lowest and highest single-configuration accuracy across the 26 configurations. Spread is their difference, computed before rounding, so for two rows it differs by 0.001 from the difference of the rounded columns shown. Config-lucky is the share of reference-correct answers that flip to wrong under some valid configuration. Accuracy is pooled over the same 3,679 items for every model. The spread reported here is the range of single-configuration scores and is narrower than the robust-to-optimistic band drawn in Figure 1.
Rank
Model
Reference
Min-config
Max-config
Spread
Config-lucky
1
gemma4-31b
0.880
0.306
0.886
0.580
0.958
2
llama3.3-70b
0.832
0.520
0.832
0.311
0.764
3
gemma4-26b-a4b
0.825
0.302
0.840
0.538
0.964
4
qwen3-30b-a3b
0.822
0.514
0.835
0.321
0.791
5
gemma4-12b
0.800
0.284
0.810
0.526
0.923
6
qwen3-14b
0.799
0.559
0.804
0.245
0.731
7
qwen3-32b
0.799
0.380
0.802
0.422
0.939
8
qwen3-4b
0.747
0.398
0.754
0.356
0.873
9
gemma4-e4b
0.699
0.289
0.705
0.416
0.921
10
llama3.1-8b
0.641
0.458
0.645
0.186
0.753
11
mixtral-8x7b
0.629
0.476
0.661
0.185
0.806
12
llama3.2-3b
0.547
0.395
0.608
0.213
0.818
Figure 2: Every leaderboard gap is fragile mass. For each adjacent pair, the orange bar is the reference-config accuracy gap, the ordering the leaderboard prints. The blue marker is the accuracy gap on the items both models answer stably, each model’s answer unchanged across all 26 configurations, with its 95 percent bootstrap confidence interval. Every marker sits on zero and every interval contains it, so the two models are tied once the fragile items are set aside, while the orange bar they are ranked by remains. The label on each bar gives the fragile share of that gap. The qwen3-14b and qwen3-32b pair has no gap to decompose, since the two are tied on the full item set as well.
Table 2: Adjacent-pair gap decomposition. Reference gap is the accuracy difference under the reference configuration. Fragile share is the part of that gap carried by config-fragile items. Robust tie indicates that the two models are indistinguishable on the items both answer stably, where five pairs answer identically on every such item, four differ on exactly one item, and two disagree in both directions and net to zero. Robust items is the size of that jointly stable set. Reversing counts the configurations under which the lower model outscores the higher one.
Higher
Lower
Ref gap
Fragile share
Robust tie
Robust items
Reversing / 26
gemma4-31b
llama3.3-70b
0.048
0.994
yes
75
8
llama3.3-70b
gemma4-26b-a4b
0.006
1.000
yes
101
10
gemma4-26b-a4b
qwen3-30b-a3b
0.003
0.917
yes
90
17
qwen3-30b-a3b
gemma4-12b
0.022
0.988
yes
142
10
gemma4-12b
qwen3-14b
0.001
0.667
yes
158
21
qwen3-14b
qwen3-32b
0.000
n/a
yes
151
10
qwen3-32b
qwen3-4b
0.052
1.000
yes
72
1
qwen3-4b
gemma4-e4b
0.048
1.000
yes
143
12
gemma4-e4b
llama3.1-8b
0.058
1.000
yes
193
8
llama3.1-8b
mixtral-8x7b
0.013
1.000
yes
336
19
mixtral-8x7b
llama3.2-3b
0.082
1.000
yes
230
0
Figure 3: The configuration selects the champion. Models run down the axis in reference-leaderboard order, best at the top, and each bar spans the range of ranks a model attains across the 26 configurations, with a dot at its reference rank. The four models that reach rank one under some configuration are drawn in orange, and the dashed line marks rank one. mixtral-8x7b places 11th of 12 under the reference harness yet reaches first, spanning ranks 1 to 11, and qwen3-14b spans 1 to 7. The winner of the leaderboard is selected by the configuration, not only by the model.
Table 3: Axis-robust accuracy: the accuracy that survives varying one axis with the others held at the reference. Joint varies all three at once. Lower is worse, since it means the axis destroys more credited answers. Scoring is the most destructive single axis for 9 of the 12 models.
Model
Ordering
Format
Scoring
Joint
gemma4-12b
0.673
0.373
0.177
0.062
gemma4-26b-a4b
0.718
0.310
0.186
0.029
gemma4-31b
0.803
0.412
0.213
0.037
gemma4-e4b
0.520
0.379
0.152
0.055
llama3.1-8b
0.434
0.391
0.363
0.158
llama3.2-3b
0.294
0.316
0.269
0.100
llama3.3-70b
0.689
0.442
0.516
0.196
mixtral-8x7b
0.411
0.392
0.370
0.122
qwen3-14b
0.662
0.529
0.470
0.215
qwen3-30b-a3b
0.710
0.449
0.480
0.172
qwen3-32b
0.662
0.486
0.172
0.048
qwen3-4b
0.602
0.271
0.403
0.095
Mean
0.598
0.396
0.314
0.108
Figure 4: The scoring choice does the damage. For each model, four bars give the accuracy that survives varying one harness axis with the other axes held at the reference: option order, prompt format, scoring method, and the joint grid. Averaged across the 12 models, shuffling the options preserves 0.60 of credited accuracy, prompt format preserves 0.40, and the generation-versus-likelihood choice preserves only 0.31. Varying all three together leaves 0.11. Scoring is the most destructive single axis for 9 of the 12 models, and the joint bar is the smallest for all 12. The axis that evaluation protocols most often fix is the one that matters least.
Table 4: The six option orderings. Entry j gives the index of the original option shown in display slot j, so p0 is the identity and leaves the benchmark’s own order intact. The five non-identity orderings are a fixed draw from the 24 permutations of four options, taken under a separate constant seed (99) so that the same five appear in every run and for every model. A model’s prediction is mapped back through the permutation before it is scored, so a correct answer counts as correct whatever slot it was shown in.
Ordering
Slot A
Slot B
Slot C
Slot D
p0
0
1
2
3
identity; used by the reference configuration
p1
1
3
2
0
p2
0
1
3
2
p3
0
2
3
1
p4
3
0
2
1
p5
2
3
1
0
Table 5: The six prompt templates. Newlines are written \n, and the option block renders the four options one per line in the order fixed by the configuration’s permutation, with the label style shown. The four generation templates are crossed with the six orderings. The two cloze stems carry no option labels, since each option is scored as a continuation of the stem, so the ordering axis cannot act on them.
Template
Labels
Text
Generation: the model emits an answer and a regular expression reads it
letter_plain
A.
Question: [q]\n[options]\nAnswer with the letter only:
letter_paren
(A)
[q]\n[options]\nThe correct option is
digit_labels
1.
Question: [q]\n[options]\nAnswer (1-4):
instruction
A)
Read carefully and pick the single best choice.\n[q]\n[options]\nYour choice:
Likelihood: each option is scored as a continuation and the argmax wins
cloze_plain
none
[q]\nAnswer:
cloze_question
none
Question: [q]\nAnswer:
Table 6: Every step in the pipeline that consumes randomness, and what it decides. Nothing else in the pipeline is stochastic: the correctness tensor itself is produced by greedy decoding and by likelihood scoring, both of which are deterministic given the weights.
Step
Seed
Draws
What it decides
Item sampling
1234
once per benchmark
which items are evaluated
Option orderings
99
once
the five non-identity permutations
Generation
1234
per call
nothing, since the temperature is 0
Bootstrap, robust-item gap
1234
10,000
the intervals behind Table 2
Bootstrap, correlation
1234
2,000
the interval on 0.28, not the 0.28
Discrimination tie-break
1234
200
which 64 items complete the top-100 subset
Random-subset baseline
1234
200
the 5.1 champion baseline
Table 7: Seed sensitivity of the compression statistics. Each row reruns the analysis end to end under a different seed. The champion count on the discriminative subset is a mean over 200 tie-breaks of the 102 items on the cutoff. The random baseline is a mean over 200 subsets of 100 items drawn without replacement. The discriminative subset yields more champions than the random subset under every seed, and both yield more than the full benchmark, which yields 4 under all of them.
Seed
corr(disc, fragility)
Discriminative 100
Random 100
Full benchmark
1234 (reported)
0.2767
5.67
5.08
4
1
0.2767
5.67
4.81
4
2
0.2767
5.68
4.93
4
7
0.2767
5.68
4.85
4
42
0.2767
5.70
4.80
4
99
0.2767
5.67
4.89
4
2024
0.2767
5.72
4.98
4
31337
0.2767
5.59
4.88
4
Table 8: The winner of every configuration and its margin over the runner-up, in accuracy and in items out of 3,679. The 24 generation configurations are decided by margins of 7 to 292 items. The 2 likelihood configurations are decided by 1 item and 3 items, and are the only first places in the grid that a handful of items would overturn. The letter blocks and the digit block are unanimous, which is the split the champion claim rests on.
Configuration
Winner
Acc.
Runner-up
Margin
Items
gen|letter_plain|p0
gemma4-31b
0.8796
llama3.3-70b
0.0478
176
gen|letter_plain|p1
gemma4-31b
0.8820
qwen3-30b-a3b
0.0470
173
gen|letter_plain|p2
gemma4-31b
0.8804
gemma4-26b-a4b
0.0560
206
gen|letter_plain|p3
gemma4-31b
0.8731
llama3.3-70b
0.0468
172
gen|letter_plain|p4
gemma4-31b
0.8834
gemma4-26b-a4b
0.0429
158
gen|letter_plain|p5
gemma4-31b
0.8856
qwen3-30b-a3b
0.0546
201
gen|letter_paren|p0
gemma4-31b
0.8230
qwen3-32b
0.0652
240
gen|letter_paren|p1
gemma4-31b
0.8247
qwen3-32b
0.0508
187
gen|letter_paren|p2
gemma4-31b
0.8190
qwen3-32b
0.0587
216
gen|letter_paren|p3
gemma4-31b
0.8146
qwen3-32b
0.0546
201
gen|letter_paren|p4
gemma4-31b
0.8203
qwen3-32b
0.0652
240
gen|letter_paren|p5
gemma4-31b
0.8247
qwen3-32b
0.0565
208
gen|digit_labels|p0
qwen3-14b
0.6268
qwen3-32b
0.0247
91
gen|digit_labels|p1
qwen3-14b
0.6222
qwen3-30b-a3b
0.0794
292
gen|digit_labels|p2
qwen3-14b
0.6276
qwen3-32b
0.0272
100
gen|digit_labels|p3
qwen3-14b
0.6203
qwen3-32b
0.0264
97
gen|digit_labels|p4
qwen3-14b
0.6013
llama3.3-70b
0.0767
282
gen|digit_labels|p5
qwen3-14b
0.6099
gemma4-12b
0.0769
283
gen|instruction|p0
gemma4-31b
0.7513
qwen3-14b
0.0038
14
gen|instruction|p1
qwen3-14b
0.7521
gemma4-31b
0.0027
10
gen|instruction|p2
gemma4-31b
0.7518
qwen3-14b
0.0068
25
gen|instruction|p3
gemma4-31b
0.7442
qwen3-14b
0.0073
27
gen|instruction|p4
gemma4-31b
0.7418
qwen3-14b
0.0019
7
gen|instruction|p5
qwen3-14b
0.7543
gemma4-31b
0.0060
22
ll|cloze_plain
llama3.3-70b
0.6099
mixtral-8x7b
0.0003
1
ll|cloze_question
mixtral-8x7b
0.6053
llama3.3-70b
0.0008
3
Table 9: Every headline number recomputed with TruthfulQA removed. The three claims of the paper hold on either item set. The two quantities that move are the champion count and the minimum Kendall correlation, both of which fall on the reduced set. The mean fragile share exceeds 1 without TruthfulQA because one pair’s jointly robust items favor the lower-ranked model.
Quantity
4 benchmarks (reported)
3 benchmarks (no TruthfulQA)
Items per model
3,679
3,000
Mean config-lucky fraction
0.853
0.859
Adjacent pairs whose order is manufactured
10 of 11
11 of 11
Mean fragile share of gap
0.957
1.004
Distinct champions
4
3
Models reaching the top three
8
9
corr(discrimination, fragility)
0.28 [0.25, 0.30]
0.32 [0.29, 0.35]
Mean fragility, 100 most discriminative items
0.960
0.968
Mean fragility, all items
0.851
0.863
Axis-robust accuracy, option order
0.598
0.605
Axis-robust accuracy, prompt format
0.396
0.367
Axis-robust accuracy, scoring method
0.314
0.328
Kendall τ against the reference, mean
0.42
0.41
Kendall τ against the reference, minimum
−0.09
+0.03
실제로 확인된 결과
gemma4-31b는 동일한 가중치와 문항으로도 채점 설정에 따라 31%에서 89% 사이의 정확도를 기록했고, 12개 모델 평균으로는 정답 처리된 답의 85%가 다른 정당한 설정 하에서 오답으로 뒤집힐 수 있었다.
인접한 리더보드 순위 쌍 11개 중 10개는 두 모델이 안정적으로 맞힌 문항에서는 사실상 동점이었고(11개 중 5개는 완전히 동일, 4개는 문항 1개 차이), 그 격차의 평균 95.7%(문항 단위로 합산 시 99.7%)가 채점 설정에 따라 뒤집히는 문항에서 나왔다.
26개 설정 중 4개 모델(gemma4-31b, qwen3-14b, llama3.3-70b, mixtral-8x7b)이 각각 적어도 한 번 1위를 차지했고, 기준 리더보드에서 11위였던 mixtral-8x7b도 특정 설정에서 1위에 올랐다.
채점 방식(생성 텍스트 vs 확률값)만 바꿨을 때 평균적으로 정답의 31%만 유지되었는데, 이는 프롬프트 형식을 바꿀 때의 40%, 선택지 순서를 바꿀 때의 60%보다 낮아 가장 파괴적인 축이었다.
문항 판별력(item discrimination)과 config-fragility의 상관은 0.28(95% CI 0.25-0.30)이었고, 판별력이 가장 높은 상위 100개 문항의 평균 fragility는 0.96으로 전체 평균 0.85보다 높아, 벤치마크 압축이 오히려 불안정한 문항을 남기는 경향을 보였다.
어디에 쓸 수 있나
리더보드를 운영하는 팀이 순위를 발표하기 전에 같은 방식으로 harness를 여러 개 돌려 문항 단위로 순위가 얼마나 안정적인지 점검하는 사전 체크로 활용할 수 있다.
벤치마크를 소수 문항으로 압축하려는 연구자가 판별력 기준으로 문항을 고를 때, 그 문항들이 채점 설정에 따라 얼마나 불안정한지 함께 확인하는 참고 자료로 쓸 수 있다.
모델 비교 논문을 쓸 때 단일 정확도 숫자 대신 robust accuracy와 optimistic accuracy 같은 범위를 함께 보고하는 관행을 제안하는 근거로 인용할 수 있다.
한계와 남은 검증
실험은 4개 벤치마크(ARC, HellaSwag, MMLU, TruthfulQA)의 4지선다 문항, 12개 오픈웨이트 모델, zero-shot 그리디 디코딩이라는 특정 조건에 한정되어 있어 few-shot이나 다른 형태의 벤치마크로 일반화되는지는 검증되지 않았다.
26개 설정은 모두 실제 평가 코드에서 쓰이는 방어 가능한 조합이지만, 저자들이 고른 축(선택지 순서, 프롬프트 형식, 채점 방식)에 한정된 것이며 다른 종류의 하네스 변화는 포함되지 않았다.
TruthfulQA를 제외하고 재계산했을 때 champion 수는 4에서 3으로, 최소 Kendall 상관은 -0.09에서 +0.03으로 바뀌어, 일부 수치는 벤치마크 구성에 따라 달라질 수 있음을 저자들도 인정했다.
판별력 기준 상위 100개 문항 선정 시 720개의 서로 다른 판별력 값만 존재해 100위 근처에 동점 문항이 많아, champion 수 관련 수치는 200회 무작위 동점 처리 평균에 의존한다.
논문은 코드와 문항별 기록을 공개했지만 본 요약은 저자가 보고한 완료된 실험 결과만을 다루며, 추가 벤치마크나 더 많은 모델군으로의 확장 실험은 아직 수행되지 않았다.
왜 중요한가
리더보드에 적힌 정확도 숫자를 모델의 고정된 성능으로 믿고 비교하는 사람들에게, 그 숫자가 실은 채점 설정 하나를 골라 뽑은 표본일 뿐이고 다른 정당한 설정으로 바꾸면 순위가 통째로 뒤집힐 수 있음을 보여준다. 저자들은 문항별 원자료와 분석 스크립트를 공개해 CPU에서 몇 초 안에 모든 수치를 재현할 수 있게 했고, 리더보드 운영자가 순위를 발표하기 전에 돌려볼 수 있는 점검 절차로 이 방법을 제안한다.
이 논문의 용어
하네스(harness) · 모델의 답을 실제로 채점하기 위한 구체적 절차. 선택지 순서, 프롬프트 문구, 정답을 생성 텍스트에서 읽을지 확률값에서 읽을지 등을 정하는 설정
