매일 아침, 어제의 AI를 한 통으로 정리해 보내드립니다메일로 받아보기

METAL LAB

PersonalBench: Measuring the Authorship Gap in LLM Personalization

arXiv:2608.197462026-08-21

AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다

LLM에게 특정 인물처럼 글을 쓰게 하는 여러 방법들을 테스트했더니, 생성된 글끼리는 인물별로 구분이 되지만 실제 그 사람이 쓴 글과 비교하면 여전히 남남 수준으로 다르게 나왔다. 연구팀은 저자 판별 AI 모델, LLM 심사, 문체 통계 세 가지 잣대로 50명 저자, 1000개 생성물을 측정하는 PersonalBench라는 평가 도구를 공개했다. 결론은 프롬프트로 말투를 흉내내는 방식은 한계가 있고, 진짜 그 사람처럼 쓰게 하려면 모델 자체를 다시 학습시켜야 한다는 것이다.

무엇을 했나

  1. 문제의식: 기존 개인화 벤치마크들은 과제 정확도나 선호도만 재고, 실제로 글이 그 사람 문체와 닮았는지는 측정하지 않았다
  2. 방법: 저자 판별 전용 AI 모델 LUAR, LLM을 심사관으로 쓰는 방식, 함수어·구두점 통계 분석 세 가지를 동시에 적용해 Qwen 3와 GLM-4 두 모델군으로 50명 저자당 다양한 개인화 기법(예시 제시, 프로필 추출, 대조군 제시 등)을 실험
  3. 결과: 생성글끼리는 인물 구분이 잘 되지만(AUC 0.918), 실제 저자 글과 비교한 유사도는 0.484~0.508로, 아예 남남인 두 사람의 글 유사도(0.626)보다도 낮았다
  4. 의외의 발견: LLM 심사관에게는 '프로필 추출' 방식이 제일 잘한 것처럼 보였지만, 이는 심사관과 생성 방식이 같은 절차를 쓰는 순환 오류였고 실제 저자 판별 모델로는 차이가 없었다
  5. 한계: 두 모델 다 32B급 양자화 모델이고, 2000년대 초 블로그 글에 국한된 실험이며, LLM 심사관은 사람 평가와 아직 비교 검증되지 않았다
Figure 1: LUAR authorship similarity by method (5-post aggregation). All methods score below the real-text cross-author floor (0.626), far from the real-author ceiling (0.756). The total spread across methods is only 0.024. The LLM’s authorship fingerprint is so dominant that generated text sits in a distinct regime below human-to-human similarity.
Figure 1: LUAR authorship similarity by method (5-post aggregation). All methods score below the real-text cross-author floor (0.626), far from the real-author ceiling (0.756). The total spread across methods is only 0.024. The LLM’s authorship fingerprint is so dominant that generated text sits in a distinct regime below human-to-human similarity.
Table 1: Effect of prompt construction on baseline scores. Naïve extraction leaks author voice, inflating the unpersonalized baseline by 28pp on same-author judgments.
Prompt typeNon-personalizedFew-shot vs. baseline
TMRSA%ΔTMRWin%
Raw first sentence0.58750%−0.08023%
Content summary0.38422%+0.04933%
Figure 2: Distribution of per-generation LUAR similarity scores by method. All four methods produce overlapping distributions centered near 0.44 (1v5 per-generation scores), well below the real-author distribution centered at 0.58.
Figure 2: Distribution of per-generation LUAR similarity scores by method. All four methods produce overlapping distributions centered near 0.44 (1v5 per-generation scores), well below the real-author distribution centered at 0.58.
Table 2: Method comparison across 50 authors, 1,000 generations. LUAR similarity uses 5-post aggregation (5 generations per author-method pair compared to 5 training posts) and is the primary authorship metric (↑ better). TMR = trait match rate from LLM judge. SA% = same-author rate. FuncCos = function word cosine similarity. Ceiling = real author’s test posts; floor = cross-author random pairs. All methods score below the real-text cross-author floor on LUAR despite appearing differentiated on TMR. CIs use hierarchical bootstrap (resampling authors, then generations within authors) to account for within-author correlation (B=10,000).
MethodLUAR ↑TMR ↑SA% ↑FuncCos ↑
Non-Personalized0.484±.0190.384±.05822%±70.741±.011
Few-Shot0.508±.0200.433±.06131%±80.749±.011
Profile Extraction0.502±.0190.542±.06029%±80.761±.010
Contrastive0.494±.0200.447±.05936%±80.752±.011
Real Author (ceiling)0.7560.42730%—
Cross-Author (floor)0.6260.3907%—
Figure 3: Calibration across three metrics. Each panel shows method scores (bars) with ceiling (real author, green) and floor (cross-author, red) baselines. On LUAR (left), all methods score below the real-text cross-author floor. On TMR (center), profile extraction exceeds the real-author ceiling—evidence of circularity (§4.6.1). On SA% (right), contrastive leads but all methods exceed the chance floor.
Figure 3: Calibration across three metrics. Each panel shows method scores (bars) with ceiling (real author, green) and floor (cross-author, red) baselines. On LUAR (left), all methods score below the real-text cross-author floor. On TMR (center), profile extraction exceeds the real-author ceiling—evidence of circularity (§4.6.1). On SA% (right), contrastive leads but all methods exceed the chance floor.
Table 3: Pearson correlation between evaluation metrics (n=1,000). All pairwise correlations are near zero, indicating the metrics capture fundamentally different constructs. No single metric is a reliable proxy for another.
LUARTMRFuncCos
LUAR1.00——
TMR0.0131.00—
FuncCos0.0260.0671.00
Figure 4: LUAR similarity vs. TMR for all 1,000 generations, colored by method. No systematic relationship (r=0.013). Profile extraction’s high TMR does not correspond to high LUAR.
Figure 4: LUAR similarity vs. TMR for all 1,000 generations, colored by method. No systematic relationship (r=0.013). Profile extraction’s high TMR does not correspond to high LUAR.

왜 중요한가

AI 글쓰기 도우미나 챗봇을 특정 사용자 말투에 맞추는 서비스를 만들 때, 프롬프트만 잘 짜면 된다는 가정이 근본적으로 틀릴 수 있음을 보여준다. 개인화 기능을 평가할 때 그럴듯해 보이는 것과 실제로 통하는 것을 구분할 측정 기준이 필요하다는 것을 알려준다.

이 논문의 용어

  • LUAR · 레딧 게시물 수백만 개로 훈련된, 두 글이 같은 사람이 썼는지 판별하는 AI 모델
  • LLM-as-judge · 사람 대신 다른 언어모델이 결과물의 품질이나 특성을 평가하게 하는 방식
  • AUC · 판별 성능을 나타내는 지표로 1에 가까울수록 두 그룹을 잘 구분한다는 뜻
  • 인퍼런스 타임 개인화 · 모델 가중치를 다시 학습시키지 않고 입력 프롬프트만으로 특정 사람 스타일을 흉내내게 하는 방식
  • 문체 통계(stylometrics) · 함수어 사용 빈도, 구두점 패턴 등 글쓴이 고유의 습관을 수치로 분석하는 방법

논문 원문 초록 (영문)

Personalized text generation aims to make LLMs write in a specific individual's style, yet existing benchmarks measure task accuracy or preference alignment rather than whether the model's output actually resembles the target author's writing. We introduce PersonalBench, a benchmark that evaluates inference-time personalization methods through three independent lenses: LUAR (a trained authorship verification model), an LLM-as-judge, and automated stylometrics. Across 50 authors, 1,000 generations, and two model families (Qwen 3, GLM-4), we find that personalization methods do produce author-differentiated output (LUAR discriminates target authors within generated text at AUC=0.918) but this differentiation never crosses the human-LLM boundary. All methods achieve LUAR similarity to real authors in the range 0.484-0.508, below the cross-author human floor of 0.626 (ceiling 0.756). The LLM's own authorship fingerprint dominates: generated text is more distant from any human author than random humans are from each other. Methods are statistically indistinguishable from each other on LUAR (spread 0.024) despite appearing differentiated on the LLM judge, a discrepancy we trace to circularity between trait extraction and profile extraction. We validate that LUAR reliably measures authorship in our corpus (AUC=0.76 single-post, 0.96 multi-post). We release PersonalBench as a calibrated measuring stick: inference-time personalization modulates the LLM's style but does not bridge the gap to human authorship.

저자 · Yash Ganpat Sawant

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Yash Ganpat Sawant et al., arXiv:2608.19746, CC BY 4.0