매일 아침, 어제의 AI를 한 통으로 정리해 보내드립니다메일로 받아보기

METAL LAB

Are LLMs becoming similarly creative? Evidence from three years of models

arXiv:2608.194372026-08-21

최신 AI 챗봇일수록 서로 비슷한 답을 내놓는다는 3년치 조사 결과

연구팀은 2023년부터 지금까지 나온 68개 AI 모델에게 창의성을 요구하는 질문들을 던지고 답변들이 서로 얼마나 다른지 측정했다. 그 결과 시간이 지날수록 서로 다른 회사가 만든 모델들의 답변이 점점 비슷해지는 경향이 통계적으로 뚜렷하게 나타났다. 연구팀은 이런 흐름이 계속되면 AI가 사람의 창의적 작업을 도울 때 오히려 아이디어의 폭을 좁힐 수 있다고 경고한다.

무엇을 했나

  1. '물건의 색다른 용도 말하기'(AUT)라는 표준 창의성 테스트와 실제 사용자 질문 100개를 모은 Infinity-Chat100 두 세트를 12개 회사, 68개 모델에 똑같이 물어봤다
  2. 각 답변을 문장을 숫자벡터로 바꾸는 임베딩 기법으로 변환한 뒤 답변끼리 얼마나 다른지(코사인 거리)를 계산하고, 출시 시기를 9개 구간으로 나눠 회귀분석했다
  3. 같은 회사 모델끼리는 원래 비슷할 수 있으므로 서로 다른 회사 모델끼리만 비교했고, 특정 회사 모델이 결과를 과대표하지 않도록 1000번 반복 표본추출로 결과를 검증했다
  4. AUT 테스트에서는 답변 간 차이가 초기 약 0.50에서 최근 0.40 이하로 크게 줄었고, 실제 사용자 질문 모음에서도 약 0.34에서 0.32로 완만하지만 꾸준히 줄어들었으며 1000번의 반복 검증 모두 감소 추세를 보였다
Figure 1: Methodology overview: we select open-ended prompts designed to elicit creative behavior from models; run these against different model lineages; embed model outputs in a semantic space to compute their semantic distance; and perform a regression analysis to understand changes in semantic distance over time.
Figure 1: Methodology overview: we select open-ended prompts designed to elicit creative behavior from models; run these against different model lineages; embed model outputs in a semantic space to compute their semantic distance; and perform a regression analysis to understand changes in semantic distance over time.
Table 1: Bootstrap OLS estimates for mean cosine distance across nine model release bins.
DatasetModels (Pairs)Slope per Bin95% CI
Alternate Uses Task68 (273)−0.01385[−0.01695,−0.01044]
Infinity-Chat67 (268)−0.00167[−0.00267,−0.00074]
Figure 2: Regression results and bootstrapped slope estimates for AUT and Infinity-Chat response distances across model generations. Our findings of consistently negative slopes across the observation period indicate semantic convergence across LLM creative outputs over time.
Figure 2: Regression results and bootstrapped slope estimates for AUT and Infinity-Chat response distances across model generations. Our findings of consistently negative slopes across the observation period indicate semantic convergence across LLM creative outputs over time.
Table A1: Observed and missing responses for models with at least one missing response. Each model had 10 possible AUT responses and 100 possible Infinity-Chat100 responses.
AUTInfinity-Chat100
ModelObservedMissingObservedMissing
minimax/minimax-010100100
minimax/minimax-m1640100
mistralai/mistral-small-3.1-24b-instruct1008911
qwen/qwen3.6-max-preview281000
qwen/qwen3-max100946
meta-llama/llama-3.2-3b-instruct100973
anthropic/claude-fable-5100991
minimax/minimax-m2.1100991
qwen/qwen-2.5-72b-instruct100991
All 69 models668226,677223
Figure A1: Distribution of model releases over time across the 12 model providers and 68 versions in our dataset.
Figure A1: Distribution of model releases over time across the 12 model providers and 68 versions in our dataset.

왜 중요한가

여러 AI 서비스에 매일 수십억 건의 메시지가 오가고 그중 상당수가 아이디어 구상이나 글쓰기 같은 창작 목적인데, 서로 다른 AI들이 점점 비슷한 답만 내놓는다면 사람들이 접하는 생각의 폭 자체가 줄어들 수 있다. 이는 AI를 창작 파트너로 계속 신뢰해도 되는지, 사람의 창의성에 AI가 어떤 영향을 미치는지에 대한 중요한 경고 신호다.

Figure A2: OLS Linearity, Normality, Independence, and Influential Observations
Figure A2: OLS Linearity, Normality, Independence, and Influential Observations

이 논문의 용어

  • Alternate Uses Task(AUT) · 책, 신발 같은 흔한 물건의 색다른 용도를 최대한 많이 말하게 해 창의적 사고를 측정하는 심리학 테스트
  • Infinity-Chat100 · 실제 사용자들이 AI 챗봇에게 던진 개방형 질문 100개를 모은 데이터셋
  • 임베딩(embedding) · 문장의 의미를 숫자로 이루어진 벡터로 표현해 컴퓨터가 비교할 수 있게 만든 것
  • 코사인 거리 · 두 벡터(여기서는 두 답변)의 의미가 얼마나 다른지를 방향 차이로 계산한 값, 값이 작을수록 비슷함
  • 크로스패밀리(cross-family) 비교 · 같은 회사 모델끼리가 아니라 서로 다른 회사가 만든 모델끼리만 비교하는 방식

논문 원문 초록 (영문)

Many benchmarks track Large Language Model (LLM) performance on tasks with verifiable answers, but less is known about how LLM performance is evolving on open-ended tasks, where creativity, originality and diversity may matter as much as quality. As LLMs increasingly support human ideation and creative work, understanding trends in LLM performance on open-ended tasks is critical. This paper presents a preliminary analysis of LLM creative outputs spanning three years of model releases, examining model responses to Infinity-Chat100, a real-world collection of open-ended user queries, and the Alternate Uses Task, an established psychometric creativity assessment. Using sentence-embedding similarity, we examine trends in LLM responses to these prompts. Our findings show a statistically significant decrease in model output diversity over time, suggesting that LLM outputs may be converging in creative substance across models. If this trend persists, LLM-driven homogenization may progressively diminish human agency in human-AI co-creative work, demanding careful consideration of LLMs' role in the human creative process.

저자 · Nirav Patel, Josiah Crossman, Eva Aggarwal, Emily Wenger

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Nirav Patel et al., arXiv:2608.19437, CC BY 4.0