AI 언어모델이 AAVE 같은 비표준 영어 방언에 매기는 '방언세'는 토큰화뿐 아니라 학습과 추론 전 단계에 걸쳐 남아 있다

arXiv:2608.249522026-08-27

The Dialect Tax: Dialectal Biases Persist throughout the Language Modeling Pipeline

연구진은 언어모델이 AAVE(흑인 미국 영어) 같은 방언을 표준 미국 영어(SAE)보다 불리하게 다루는지, 그렇다면 그 원인이 파이프라인의 어느 단계에 있는지를 조사했다. 같은 의미를 SAE와 방언으로 각각 적은 짝지어진 문장들을 비교한 결과, 모델은 두 문장의 의미가 같다는 것은 인식하면서도 토큰화, 사전학습, 보상모델을 이용한 후속학습, 추론이라는 모든 단계에서 방언 텍스트를 더 불리하게 처리했다. 모델이 평소 쓰는 서브워드 토큰화 대신 글자 단위로 텍스트를 읽게 강제해도 입력 처리의 격차는 줄었지만 정답률과 출력 격차는 그대로였는데, 이는 편향이 토큰화 방식이 아니라 학습된 모델 가중치 자체에 새겨져 있다는 뜻이다.

의미가 같은 SAE 문장과 AAVE 문장 한 쌍에서 시작한다. 토큰화 단계에서 AAVE는 더 많은 토큰으로 쪼개져 불리해지고, 글자 단위로 우회해도 이 문제는 사전학습된 가중치 안에서 그대로 남아 더 큰 예측 손실로 나타난다. 그 격차는 보상모델과 추론 단계까지 이어져 결국 AAVE에 대한 평가가 뒤집히는 결과로 이어진다. — METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

의미 확인 실험: 임베딩 모델(EmbeddingGemma)로 측정한 결과 SAE-방언 짝의 의미 유사도가 무작위 글자 노이즈나 외국어 번역 대조군보다 높게 나왔다(MultiVALUE에서 0.98 이상, ParallelAAVE에서 0.92). 이는 뒤에서 발견되는 격차가 단순히 의미 차이 때문이 아님을 보여준다.
토큰화: GPT, Gemma, Llama, Qwen, T5, BERT 등에 쓰이는 BPE, Unigram, WordPiece 세 가지 방식 모두에서 AAVE 텍스트는 같은 의미의 SAE 텍스트보다 단어당 평균 0.07개 더 많은 토큰이 필요했고(수치가 높을수록 비효율적), 애팔래치아 방언 > AAVE > 치카노 영어 > SAE > 인도 영어 > 싱가포르 영어 순의 불리함 순위는 7년간의 토크나이저 발전에도 거의 그대로 유지됐다.
글자 단위 토큰화 실험: 서브워드 토큰화를 건너뛰고 글자 단위로 입력하면 모델이 입력을 얼마나 낯설어하는지의 격차는 다소 줄었지만, 실제 정답률 격차와 출력의 무작위성(엔트로피) 격차, 그리고 모델 내부 상태만으로 방언을 구분해내는 정확도(일반 토큰화에서는 99% 이상, 글자 단위에서도 86% 이상)는 거의 변하지 않아, 편향이 모델의 학습된 파라미터 안에도 존재함을 보여줬다.
사전학습 단계: 학습 예제 하나가 모델 파라미터를 얼마나 바꾸는지(그래디언트)를 재보니, 의미가 같은 SAE-AAVE 짝이 서로 전혀 관련 없는 두 SAE 문서보다 오히려 더 다른 업데이트를 만들어냈다(9개 모델 평균 z점수 -2.64). 또한 9개 모델 전부에서 AAVE 입력의 예측 손실(cross-entropy loss)이 SAE보다 일관되게 높았다(0.47~0.66 nats, 매우 큰 효과크기).
후속학습 보상모델: Ai2, QRM, Skywork의 보상모델 10개 중 8개가 통계적으로 유의한 방향성 있는 방언 편향을 보였는데, 그 방향이 과제별로 뒤바뀌었다(알고리즘·수학 과제는 SAE 선호, 논리·계획 과제는 AAVE 선호). 또한 'wanna', 'lil' 같은 방언 전용 단어를 단독으로 채점하면 'Calculate' 같은 SAE 전용 단어보다 오히려 높은 점수(평균 약 0.55점 차이)를 받았지만, 전체 맥락이 있는 AAVE 답변은 종종 낮은 점수를 받아 하나의 모델을 명령어 튜닝하자 편향의 방향마저 뒤바뀌었다.

Figure 1: Models understand semantic equivalence yet penalize surface form. We visualize the semantic equivalence of various text transformations on MultiVALUE. All dialect pairs achieve high similarities exceeding every perturbation and translation baseline.

Table 1: Dialects are linearly decodable from hidden states under both tokenizations. We list the five-fold cross-validation accuracy of logistic regression predicting dialect from the answer-step hidden state. Character tokenization slightly reduces separability, but all models remain far above chance (50%).
	Llama	Gemma	Qwen
	1B	3B	8B	1B	4B	12B	1.7B	4B	8B
Canonical (%)	99.0	99.9	99.4	99.8	99.8	100.0	99.9	100.0	100.0
Character (%)	94.5	98.3	99.6	86.4	99.5	99.5	98.5	97.3	97.5
Δ	−4.5	−1.6	+0.2	−13.4	−0.3	−0.5	−1.3	−2.7	−2.5

Figure 2: Modern tokenizers consistently exhibit dialectal biases. (2(a)) The mean fertility of the three tokenization algorithms on ParallelAAVE shows a statistically significant difference between SAE and AAVE dialects. (2(b)) The ratio of BPE token lengths on various dialects to that of SAE on MultiVALUE reveals a consistent dialectal tokenization performance gap that loosely parallels current income gaps of minority groups within the US (§D.1).

Table 2: Dialect gradient divergence sits within the range of character-level perturbations. Across nine base models and four ReDial tasks, we report the grand-mean paired cosine similarity (μ+) and z-score against the unrelated-SAE baseline. Higher μ+ indicates greater similarity to SAE gradients; lower values indicate stronger gradient divergence.
Paired condition with SAE	μ+(↑)	z
Baseline (unrelated SAE)	0.57	0.00
Capitalize (alternating)	0.29	−3.36
Capitalize (random)	0.34	−2.88
Drop (ℙ=0.15)	0.36	−2.58
Insert (ℙ=0.05)	0.47	−1.40
Swap (ℙ=0.05)	0.50	−1.06
Dialect (AAVE)	0.35	−2.64

Table 3: Source datasets used to reconstruct ReDial.
Category	Source	Items
Algorithm (26%)	HumanEval (Chen et al., 2021)	164
MBPP (Sanitized) (Austin et al., 2021)	149
Logic (30%)	FOLIO (Han et al., 2024; Wu et al., 2024)	162
LogicBench (Parmar et al., 2024)	200
Math (25%)	GSM8K (Cobbe et al., 2021)	150
SVAMP (Patel et al., 2021)	150
Planning (19%)	AsyncHow (Lin et al., 2024)	225
Total	-	1,200

Figure 3: Character tokenization does not systematically narrow dialect gaps. We plot per-model SAE − AAVE effect sizes under canonical (blue) and character-level (orange) tokenization, split by reasoning strategy (△=CoT, ○=naïve). Grey lines connect paired points for each model. Left: The accuracy gap does not systematically change under character tokenization. Center: The input entropy gap ΔH changes inconsistently, confirming that character tokenization fails to equalize how the model processes dialect inputs. Right: The output entropy gap ΔH persists under both tokenizations, suggesting generation-time dialect bias is independent of the tokenizer.

Table 4: Datasets for parallel SAE and AAVE texts.
Dataset	Source	Pairs	Dialects
ParallelAAVE	Groenwold et al. (2020)	2019	SAE, AAVE
MultiVALUE	Ziems* et al. (2023)	429	SAE, AAVE, Appalachian, Chicano, Indian, Singapore

Figure 4: Dialectal form outweighs semantic mismatch in gradient geometry. Violin plots of the gradient cosine similarity between paired and unrelated documents on ReDial reveal that matched SAE-AAVE pairs produce lower similarity than unrelated SAE-SAE pairs, implying that a meaning-preserving dialect shift can perturb the training signal more than changing the document content within SAE. In the plot, an LM name is indicated by its first-letter abbreviation and size.

Table 5: Tokenizer names used in our analysis.
Tokenization	Name	Model / Encoding
BPE	GPT-5	o200k_base (tiktoken)
GPT-2	openai-community/gpt2
Gemma	google/gemma-3-27b-it
Llama	meta-llama/Llama-3.3-70B-Instruct
Qwen	Qwen/Qwen3-32B
Unigram	T5	t5-small
WordPiece	BERT	bert-base-uncased

Figure 5: Dialectal text incurs higher prediction loss. We plot the mean cross-entropy loss by dialect. All nine models assign significantly higher loss to AAVE inputs than to their SAE counterparts (one-sided paired Wilcoxon test, n=1,200 per model, Bonferroni-corrected p<0.001), with per-model mean gaps of 0.47 to 0.66 nats (Cohen’s dz∈[2.12,2.55]). An LM name is indicated by its first-letter abbreviation and size.

Table 6: Language models used in our analysis.
Family	Name	Size	Type	Model ID
Llama	Llama 3.2	1B	Base	meta-llama/Llama-3.2-1B
Llama-3.2	1B	Instruct	meta-llama/Llama-3.2-1B-Instruct
Llama-3.2	3B	Base	meta-llama/Llama-3.2-3B
Llama-3.2	3B	Instruct	meta-llama/Llama-3.2-3B-Instruct
Llama-3.1	8B	Base	meta-llama/Llama-3.1-8B
Llama-3.1	8B	Instruct	meta-llama/Llama-3.1-8B-Instruct
	Llama-3.1	70B	Base	meta-llama/Llama-3.1-70B
	Llama-3.1	70B	Instruct	meta-llama/Llama-3.1-70B-Instruct
Gemma	Gemma 3	1B	Base	google/gemma-3-1b-pt
Gemma-3	1B	Instruct	google/gemma-3-1b-it
Gemma-3	4B	Base	google/gemma-3-4b-pt
Gemma-3	4B	Instruct	google/gemma-3-4b-it
Gemma-3	12B	Base	google/gemma-3-12b-pt
Gemma-3	12B	Instruct	google/gemma-3-12b-it
	Gemma-3	27B	Base	google/gemma-3-27b-pt
	Gemma-3	27B	Instruct	google/gemma-3-27b-it
Qwen	Qwen 3	1.7B	Base	Qwen/Qwen3-1.7B-Base
Qwen-3	1.7B	Instruct	Qwen/Qwen3-1.7B
Qwen-3	4B	Base	Qwen/Qwen3-4B-Base
Qwen-3	4B	Instruct	Qwen/Qwen3-4B
Qwen-3	8B	Base	Qwen/Qwen3-8B-Base
Qwen-3	8B	Instruct	Qwen/Qwen3-8B
	Qwen-3	32B	Instruct	Qwen/Qwen3-32B

Figure 6: Transformations result in similar hidden-state similarity curves. Layer-wise cosine similarities between SAE hidden states and those of transformed texts are pooled across MultiVALUE and ParallelAAVE. All text transformations follow similar trajectories across normalized LM layers, with dialectal transformations most similar to SAE.

Table 7: Reward models used in our analysis.
Provider	Base Model	Size	Model ID
Skywork	Llama-3.2 (Instruct)	3B	Skywork/Skywork-Reward-V2-Llama-3.2-3B
Llama-3.1 (Instruct)	8B	Skywork/Skywork-Reward-V2-Llama-3.1-8B
Qwen-3 (Instruct)	4B	Skywork/Skywork-Reward-V2-Qwen3-4B
Qwen-3 (Instruct)	8B	Skywork/Skywork-Reward-V2-Qwen3-8B
Gemma-2 (Instruct)	27B	Skywork/Skywork-Reward-Gemma-2-27B
QRM	Llama-3.1 (Instruct)	8B	nicolinho/QRM-Llama3.1-8B-v2
Gemma-2 (Instruct)	27B	nicolinho/QRM-Gemma-2-27B
Ai2	Llama-3.1 (Base)	8B	allenai/Llama-3.1-8B-Base-RM-RB2
Llama-3.1 (Instruct)	8B	allenai/Llama-3.1-8B-Instruct-RM-RB2
Llama-3.1 (Instruct)	70B	allenai/Llama-3.1-70B-Instruct-RM-RB2

Figure 7: Hidden-state similarity ／⇒ downstream accuracy. On the ReDial dataset, we plot each transformation’s final-layer hidden-state cosine similarity to SAE against its change in answer accuracy. Among semantic-meaning-preserving transformations, SAE-to-AAVE shows the highest similarity to the original SAE representation but the lowest downstream accuracy.

Table 8: Translation transformation details.
Resource Level	Language	Google Translate Code
High	Chinese	zh-CN
French	fr
Mid	Hindi	hi
Polish	pl
Low	Khmer	km
Yoruba	yo

Table 9: Paired per-token perplexity ratio vs SAE. We compare the perplexity ratios for character perturbations, translations, and dialects (italicized). Each row pairs the transformed text to its matched SAE text by unique_id within a model (ratio =exp⁡(CEcond−CEsae)), aggregated as the median of per-model medians across the models listed in Table 6. The mean fraction of paired items the model finds harder than SAE is indicated under “frac>1”, where a ratio above 1 means the model is more surprised by the surface form than by SAE despite preserved meaning.
	MultiVALUE	ParallelAAVE	ReDial
Condition	Ratio	frac>1	Ratio	frac>1	Ratio	frac>1
Drop (ℙ=0.15)	12.53	1.00	9.64	1.00	2.06	1.00
Singapore	4.92	1.00	–	–	–	–
Insert (ℙ=0.05)	4.41	1.00	3.74	0.98	1.58	1.00
Indian	3.99	1.00	–	–	–	–
Drop (ℙ=0.05)	3.52	1.00	3.06	0.98	1.43	1.00
AAVE	3.13	1.00	2.89	0.92	1.65	0.96
Swap (ℙ=0.05)	3.08	1.00	2.33	0.94	1.36	1.00
Capitalize (random)	2.36	1.00	1.46	0.73	1.41	0.99
Appalachian	2.10	1.00	–	–	–	–
Chicano	1.46	1.00	–	–	–	–
Translate (Yoruba)	1.38	0.75	0.68	0.36	1.26	0.70
Translate (Chinese)	1.26	0.80	1.03	0.50	1.08	0.74
Capitalize (alternating)	0.73	0.37	0.38	0.14	0.92	0.40
Translate (Polish)	0.71	0.16	0.37	0.10	0.96	0.39
Translate (French)	0.64	0.08	0.34	0.05	0.96	0.34
Translate (Hindi)	0.42	0.21	0.13	0.10	0.68	0.23
Translate (Khmer)	0.24	0.15	0.05	0.11	0.38	0.17

Figure 9: Models understand semantic equivalence yet penalize surface form. We find evidence of semantic invariance under surface-form transformations, as shown on the ParallelAAVE corpus. (9(a)) We visualize the semantic equivalence of various text transformations. The AAVE pairs achieve high cosine similarities, which exceed most perturbation and translation baselines. (9(b)) We plot semantic equivalence (cosine similarity at d=768) against the tokenization tax (Δfertility=𝔼⁡[fertilityAAVE]−𝔼⁡[fertilitySAE]) for each AAVE-SAE pair. Samples in the upper-right exhibit high semantic equivalence but higher tokenization cost, where meaning is preserved while a tax is imposed.

Table 10: Tokenization metrics used to measure bias.
Metric	What does it measure?
Average tokens per word	Average number of tokens corresponding with a single real word without punctuations
Average types per word	Average number of types corresponding with a single real word without punctuations
Character length	Number of characters in the string
Fertility (Ács, 2019)	Average number of tokens corresponding with a single real word
P(in vocabulary)	Proportion of words in the tokenizer vocabulary
Token length	Number of tokens in the string
Types length	Number of types in the string
Word length	Number of words in the string

Table 11: US median household income (USD).
Dialect	Income	Source
AAVE	$56,490	Guzman (2024)
Appalachian	$61,688	Srygley et al. (2024)
Chicano	$65,540	Guzman (2024)
Indian	$166,200	Lee and Batalova (2026)
SAE	$80,610	Guzman (2024)
Singaporean	$134,818	ZipAtlas (2025)

Figure 10: Ratio of dialect to SAE token lengths on MultiVALUE. Dotted lines indicate token-length parity with the paired SAE text. We see similar tokenization bias ranking on every measured metric for the six dialects in the dataset (Appalachian > AAVE > Chicano > SAE > Indian > Singapore). While some dialects (AAVE, Appalachian, Chicano) have increased token lengths compared to SAE, other dialects (Indian, Singapore) have decreased token lengths compared to SAE. We find that the same dialectal token bias remains present across all three tokenization strategies.

Table 13: Point-biserial correlation between paired SAE-AAVE gradient similarity si+ and a binary indicator for both-dialect correctness, by model. Per-model sample size is n=1,200, and pooled sample size is n=10,800. We denote significance by ∗∗∗p<0.001 and p∗⁣∗<0.01. Pooled r is negligible, but the per-model breakdown reveals heterogeneity.
Family	Size	r
Llama-3 Base	1B	−0.119∗∗∗
3B	−0.053
8B	−0.091∗⁣∗
Gemma-3 Base	1B	−0.108∗∗∗
4B	−0.105∗∗∗
12B	−0.066
Qwen-3 Base	1.7B	−0.132∗∗∗
4B	+0.098∗∗∗
8B	+0.192∗∗∗
Pooled	–	−0.013

Table 14: Per-RM dialect gap. Δr¯=𝔼⁡[r⁡(xSAE,y)−r⁡(xAAVE,y)] over ReDial sample-level pairs (n=1,200 per RM, i.e. 300 per task × 4 tasks), and one-sample t-statistic against 𝔼⁡[Δr]=0. Significance is denoted by ∗∗∗p<0.001, p∗⁣∗<0.01, ∗p<0.05.
Reward model	Δr¯	t
Skywork Llama 3B	−0.03	−0.67
Skywork Qwen 4B	+0.32	+7.54∗∗∗
Skywork Llama 8B	−0.22	−3.27∗⁣∗
Skywork Qwen 8B	+0.48	+14.42∗∗∗
Skywork Gemma 27B	−0.03	−0.31
QRM Llama 8B	+0.01	+4.72∗∗∗
QRM Gemma 27B	−0.07	−3.38∗∗∗
Ai2 Llama 8B Base	+0.41	+12.28∗∗∗
Ai2 Llama 8B	−0.19	−10.75∗∗∗
Ai2 Llama 70B	+0.03	+2.06∗

Table 15: Per-task dialect gap, pooled across RMs. One-sample t-test of 𝔼⁡[Δr]=0 within task. Significance is denoted by ∗∗∗p<0.001, p∗⁣∗<0.01.
Task	Δr¯	t
Algorithm	+0.43	+13.73∗∗∗
Math	+0.04	+1.18
Logic	−0.08	−2.92∗⁣∗
Planning	−0.14	−4.92∗∗∗

Table 16: Per-corpus token-level dialect gap. For each corpus, we identify subword tokens that appear exclusively in tokenized SAE vs. dialect text within each (RM, tokenizer) pairing, and score them under a fixed prompt. r¯SAE and r¯dial are the mean reward scores over the dialect-exclusive vocabularies. r¯SAE−r¯dial is the raw gap. d¯RM is Cohen’s d computed within each RM (using that RM’s pooled score standard deviation) and then averaged across the ten RMs. This normalizes for the substantial cross-RM scale differences (per-RM σ∈[0.06,3.97]). The bottom row pools all three corpora together. Independent two-sample t-tests, with significance denoted by ∗∗∗p<0.001.
Corpus	Dialects	nSAE	ndialect	r¯SAE	r¯dialect	r¯SAE−r¯dialect	d¯RM	p
ReDial	{AAVE}	121,780	163,120	−4.47	−4.10	−0.37∗∗∗	−0.17	9×10−31
ParallelAAVE	{AAVE}	91,380	163,420	−4.42	−3.83	−0.58∗∗∗	−0.29	1×10−67
MultiVALUE	{AAVE, Appal., Chic., Indian, Sing.}	141,930	132,130	−5.17	−4.74	−0.43∗∗∗	−0.24	9×10−39
Pooled (all)		355,090	458,670	−4.74	−4.19	−0.55∗∗∗	−0.27	7×10−185

Table 17: Per-RM per-dialect token-level dialect gap. Each cell shows the raw reward gap r¯SAE−r¯dial with Cohen’s d in parentheses. Negative values indicate the RM scores dialect-exclusive tokens higher than SAE-exclusive ones. AAVE-exclusive tokens come from ReDial, ParallelAAVE, and MultiVALUE, and other dialect-exclusive tokens come from MultiVALUE. Cohen’s d uses each RM’s pooled score standard deviation as denominator, so raw gaps are not directly comparable across RMs while d values are. The bolded cell is the only one flipping the dialect-favoring pattern. The “Pooled” column aggregates a given RM across all five dialects, and the “Mean across RMs” row is the unweighted average across the ten RMs. We run independent two-sample t-tests and denote the significance: ∗∗∗p<0.001, p∗⁣∗<0.01, ∗p<0.05.
Reward model	AAVE	Appalachian	Chicano	Indian	Singaporean	Pooled
Skywork Llama 3B	−0.45∗∗∗ (−0.25)	+0.11∗ (+0.06)	−0.71∗∗∗ (−0.43)	−0.06 (−0.03)	−0.88∗∗∗ (−0.49)	−0.51∗∗∗ (−0.28)
Skywork Qwen 4B	−0.69∗∗∗ (−0.31)	−0.32∗∗∗ (−0.15)	−0.71∗∗∗ (−0.37)	−0.13∗ (−0.06)	−1.10∗∗∗ (−0.47)	−0.78∗∗∗ (−0.34)
Skywork Llama 8B	−1.26∗∗∗ (−0.38)	−0.09 (−0.03)	−1.49∗∗∗ (−0.49)	−0.28∗⁣∗ (−0.08)	−1.34∗∗∗ (−0.38)	−1.26∗∗∗ (−0.37)
Skywork Qwen 8B	−0.80∗∗∗ (−0.40)	−0.16∗⁣∗ (−0.09)	−0.67∗∗∗ (−0.35)	+0.00 (+0.00)	−0.61∗∗∗ (−0.29)	−0.73∗∗∗ (−0.36)
Skywork Gemma 27B	−1.04∗∗∗ (−0.27)	−1.74∗∗∗ (−0.45)	−1.97∗∗∗ (−0.54)	+2.15∗∗∗ (+0.57)	−2.08∗∗∗ (−0.52)	−1.17∗∗∗ (−0.30)
QRM Llama 8B	+0.00∗∗∗ (+0.04)	−0.00 (−0.01)	−0.02∗∗∗ (−0.37)	−0.00 (−0.05)	−0.01∗∗∗ (−0.19)	−0.00∗ (−0.02)
QRM Gemma 27B	−0.15∗∗∗ (−0.30)	−0.18∗∗∗ (−0.37)	−0.23∗∗∗ (−0.46)	−0.12∗∗∗ (−0.24)	−0.17∗∗∗ (−0.34)	−0.16∗∗∗ (−0.33)
Ai2 Llama 8B Base	−0.42∗∗∗ (−0.26)	−0.39∗∗∗ (−0.25)	−1.05∗∗∗ (−0.74)	−0.38∗∗∗ (−0.22)	−1.19∗∗∗ (−0.71)	−0.55∗∗∗ (−0.34)
Ai2 Llama 8B	−0.09∗∗∗ (−0.12)	−0.07∗∗∗ (−0.10)	−0.28∗∗∗ (−0.47)	−0.07∗∗∗ (−0.09)	−0.30∗∗∗ (−0.43)	−0.13∗∗∗ (−0.18)
Ai2 Llama 70B	−0.16∗∗∗ (−0.15)	−0.02 (−0.03)	−0.13∗⁣∗ (−0.17)	−0.05∗ (−0.05)	−0.22∗∗∗ (−0.22)	−0.18∗∗∗ (−0.17)
Mean across RMs	−0.50 (−0.24)	−0.29 (−0.14)	−0.73 (−0.44)	+0.11 (−0.03)	−0.79 (−0.40)	−0.55 (−0.27)

Table 18: Per-dialect token-level gap, before and after within-RM standardization. Raw scores: pooled two-sample t-test on raw reward scores. Note that per-RM output scales differ, so the test is heavily influenced by the high-σ Skywork models. Within-RM standardized: each RM’s scores are z-scored using its own mean and standard deviation, then pooled across RMs before the t-test. The d column reports the gap in standard deviations, which is mathematically equivalent to the unweighted mean Cohen’s d across the ten RMs (within-RM effect size).
			Raw scores	Within-RM standardized
Dialect	nSAE	ndial	r¯SAE−r¯dial	p	d	p
AAVE	239,000	351,140	−0.50	6×10−115	−0.24	<10−300
Appalachian	24,980	31,540	−0.29	8×10−5	−0.13	5×10−64
Chicano	8,960	6,640	−0.73	3×10−7	−0.39	2×10−165
Indian	27,200	32,710	+0.11	0.14	−0.03	4×10−4
Singaporean	54,950	36,640	−0.79	6×10−40	−0.40	<10−300
All pooled	355,090	458,670	−0.55	7×10−185	−0.27	<10−300

실제로 확인된 결과

MultiVALUE에서 다섯 방언 짝 모두 임베딩 유사도가 0.98을 넘었고(글자 노이즈·번역 대조군은 0.659~0.978), ParallelAAVE에서는 SAE-AAVE 유사도가 0.92로 대부분의 글자 노이즈·번역 대조군보다 높아 방언 짝 간 의미가 보존됨을 확인했다.
BPE, Unigram, WordPiece 세 토크나이저 전반에서 AAVE 텍스트는 같은 의미의 SAE 텍스트보다 단어당 평균 0.07개 더 많은 토큰을 필요로 했으며, 애팔래치아>AAVE>치카노>SAE>인도>싱가포르라는 불리함 순위가 7세대에 걸친 토크나이저 발전 동안 안정적으로 유지됐다.
글자 단위 토큰화는 입력 엔트로피 격차를 일관되지 않게 줄였을 뿐, 9개 모델에서 추론 정답률 격차와 출력 엔트로피 격차는 그대로였고, 모델 내부 상태만으로 방언을 구분하는 정확도는 일반 토큰화에서 99% 이상, 글자 단위에서도 86% 이상으로 여전히 높았다.
9개 기반모델에서 짝지어진 SAE-AAVE 문서 쌍이 서로 무관한 SAE 문서 쌍보다 더 다른 학습 그래디언트를 만들어냈고(평균 z점수 -2.64), 9개 모델 모두 AAVE 입력에 더 높은 예측 손실(0.47~0.66 nats 높음, 코헨의 dz 2.12~2.55)을 부여했다.
보상모델 10개 중 8개가 통계적으로 유의한 방향성 있는 방언 편향을 보였는데, 이 방향은 과제(알고리즘·수학은 SAE 선호, 논리·계획은 AAVE 선호)와 학습 단계(한 모델은 명령어 튜닝 후 편향 방향이 반전)에 따라 달라졌고, 방언 전용 단어를 단독으로 채점하면 SAE 전용 단어보다 평균 약 0.55점 더 높은 점수를 받았지만 전체 맥락이 있는 AAVE 답변은 종종 낮은 점수를 받았다.

어디에 쓸 수 있나

챗봇, 검색, 교육용 도구 등을 다양한 방언 화자층을 대상으로 배포하기 전에, 토크나이저만 고치면 해결된다고 가정하지 말고 공정성을 점검하는 데 참고할 수 있다
토큰화 수정만으로는 부족하다는 결과를 바탕으로, 방언 다양성을 명시적으로 고려한 사전학습·미세조정 방식을 설계하는 데 참고할 수 있다
RLHF 파이프라인에 쓰이는 보상모델이 '방언 토큰은 무조건 낮게 평가한다'는 단순한 패턴이 아니라 맥락·과제에 따라 편향 방향이 달라진다는 점을 감사(audit)할 때 참고할 수 있다
AAVE, 애팔래치아, 치카노 영어 화자를 위한 언어 기술의 알려진 한계를 문서화하거나 정책 논의에 활용할 수 있다

한계와 남은 검증

이 연구는 영어 방언(SAE 대 AAVE, 애팔래치아, 치카노, 인도 영어, 싱가포르 영어)만 다루므로 다른 언어의 방언이나 사회언어학적 맥락이 다른 경우로 일반화하기는 어렵다
보상모델의 편향이 과제·모델에 따라 불안정하다는 것만 확인했을 뿐, 이를 교정하는 구체적 방법은 제안되거나 검증되지 않았다
글자 단위 토큰화 실험은 추론 시점의 토크나이저 효과만 분리했을 뿐, 처음부터 다른 토큰화 방식으로 모델을 재학습시키는 실험은 하지 않아 토크나이저 원인과 학습 원인을 아키텍처 수준에서 완전히 분리하지는 못한다
토큰화 격차와 미국 내 소수집단 소득 격차의 대응관계(그림 2b, 11)는 느슨한 상관관계로 제시된 것이며 인과관계 주장이나 이를 줄이기 위한 개입 실험은 하지 않았다
실험 대상 모델과 보상모델이 특정 계열과 크기(Llama-3, Gemma-3, Qwen-3, GPT-5/5.5, Ai2·QRM·Skywork의 보상모델 등)로 한정되어 있어 다른 아키텍처나 테스트되지 않은 크기에서는 결과가 다를 수 있다

왜 중요한가

가장 흔히 원인으로 지목되던 토크나이저만 고쳐서는 AAVE를 비롯한 방언 화자들이 겪는 성능 격차를 해소할 수 없다는 것을 보여준다. 실제 사용자층이 언어적으로 다양한 서비스를 만들거나 평가하는 사람이라면, 방언 공정성을 토크나이저 하나의 문제가 아니라 학습 방식 전반을 새로 설계해야 하는 파이프라인 전체의 문제로 다뤄야 한다.

이 논문의 용어

AAVE(African American Vernacular English) · 미국 흑인 화자들과 흔히 결부되는 영어 방언으로, 이 연구에서는 SAE와 대비되는 비표준 변종으로 다뤄진다
SAE(Standard American English) · 제도적으로 우대받는 표준 미국 영어로, 이 연구에서 비교 기준으로 쓰인다
토큰화(tokenization)/펄틸리티(fertility) · 텍스트를 모델이 처리할 수 있는 서브워드 단위로 쪼개는 과정. 펄틸리티는 단어 하나당 필요한 토큰 수를 뜻하며, 값이 높을수록 처리 비용이 비효율적이라는 의미다
그래디언트(gradient)/그래디언트 발산 · 학습 예제 하나가 모델 내부에 만들어내는 업데이트 신호. 두 텍스트의 그래디언트가 많이 다르면 모델이 학습상 두 텍스트를 서로 많이 다르다고 취급한다는 뜻이다
보상모델(reward model, RM) · 응답의 품질을 점수로 매겨 언어모델의 후속학습(강화학습 기반 정렬 등)을 이끄는 데 쓰이는 모델

저자 · Elle

arXiv에서 원문 보기

METAL LAB 최신 기사

그림 출처: Elle et al., arXiv:2608.24952, CC BY 4.0

AI 언어모델이 AAVE 같은 비표준 영어 방언에 매기는 '방언세'는 토큰화뿐 아니라 학습과 추론 전 단계에 걸쳐 남아 있다

무엇을 했나

실제로 확인된 결과

어디에 쓸 수 있나

한계와 남은 검증

왜 중요한가

이 논문의 용어

최신 논문

METAL LAB 최신 기사