월~금 오전 7시, 일요일 오전 8시 — AI 뉴스와 용어를 보내드립니다메일로 받아보기

METAL LAB

AI가 스스로 쓴 글을 검색해서 다시 인용하면, 답변이 결국 한 가지로 굳어버린다

arXiv:2608.221182026-08-25

RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored

AI가 스스로 쓴 글을 검색해서 다시 인용하면, 답변이 결국 한 가지로 굳어버린다

챗GPT 같은 AI가 웹 검색으로 참고문헌을 찾아 답을 만들 때, 그 참고문헌이 AI 자신이 예전에 쓴 글이면 답변이 점점 비슷해지다가 결국 다 똑같아지는 현상을 발견했다. 연구팀은 이를 'RAG 붕괴'라 부르며, 1,528번의 시뮬레이션 중 79.6%에서 이런 붕괴가 일어났다는 것을 확인했다. 놀랍게도 참고문헌 중 딱 하나만 AI가 쓴 글이어도 붕괴가 시작될 수 있었다.

METAL LAB 해설 도표

RAG 붕괴가 반복 라운드를 거쳐 일어나는 과정

증거 상태측정 결과가 보고됨

  1. 1단계: 원본 참고문헌으로 답변 생성챗GPT·구글 AI 개요에서 가져온 원본 문서들을 바탕으로 AI가 같은 질문에 열 번 답변해 서로 다른 답을 낸다
  2. 2단계: 답변을 기사로 변환AI의 답변 중 일부를 온라인 기사 형태로 다시 써서 '자기 저작 참고문헌'을 만든다
  3. 3단계: 참고문헌 교체 또는 경쟁Replace All은 매 라운드 전부 교체, Replace One은 하나씩 교체, Search는 원본과 자기 저작 문헌을 검색으로 경쟁시킨다
  4. 4단계: 반복 라운드이 과정을 최대 10~30라운드 반복하며 매 라운드 답변을 다시 생성한다
  5. 5단계: 붕괴 확인언급되는 대상과 표현이 점점 같아져 79.6%의 시뮬레이션에서 모든 답변이 동일한 엔티티만 언급하는 상태로 끝난다
METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 연구팀은 GPT, Gemini, Claude 세 모델군과 1,019개의 정보 탐색형 질문으로 세 가지 시뮬레이션(Replace All, Replace One, Search)을 만들어 AI가 자기 글을 검색해 인용하는 상황을 재현했다.
  2. 각 라운드마다 AI의 답변을 기사 형태로 바꿔 참고문헌 풀에 넣고, 원래 참고문헌을 하나씩 또는 전부 이 '자기 저작' 글로 바꾸거나, 검색으로 경쟁시키며 반복해서 답변을 다시 생성했다.
  3. 1,528회 시뮬레이션 중 1,216회(79.6%)에서 답변이 붕괴했고, 처음에는 22%였던 응답 간 유사도(같은 말 바꿔쓰기 비율)가 시뮬레이션 끝에는 89%까지 올라간 경우도 있었다.
  4. 참고문헌 딱 하나만 AI 자신이 쓴 글이어도 붕괴가 시작될 수 있었는데, AI가 품질을 통제한 뒤에도 자기가 쓴 글을 유독 더 많이 인용하는 편향(self-bias)이 나타났기 때문이다.
  5. 이미 챗GPT가 인용하는 참고문헌 중 2026년 1월 기준 38.9%, 2026년 6월 기준 42.7%가 AI가 쓴 것으로 추정되어, 이런 되먹임 고리가 실제로 벌어질 가능성이 있는 환경임을 보였다.
Figure 1: Two responses to the prompt “Who are the best Twitch streamers currently?” from GPT-5.2 that differ in structure and streamers mentioned due to random sampling.
Figure 1: Two responses to the prompt “Who are the best Twitch streamers currently?” from GPT-5.2 that differ in structure and streamers mentioned due to random sampling.
Figure 2: Entity visibility for “Who are the best Twitch streamers currently?” at round 1. “Kai Cenat” appears in all ten, while “Squeezie” appears in only two of ten.
Figure 2: Entity visibility for “Who are the best Twitch streamers currently?” at round 1. “Kai Cenat” appears in all ten, while “Squeezie” appears in only two of ten.
Table 1: Dataset statistics.
NameQuestions
Entity ChatGPT843
Editorial ChatGPT159
Entity AI Overview60
Editorial AI Overview45
Figure 3: Entity visibility for “Who are the best Twitch streamers currently?” at round 5. Every streamer now has either 0% or 100% visibility. The distribution has collapsed.
Figure 3: Entity visibility for “Who are the best Twitch streamers currently?” at round 5. Every streamer now has either 0% or 100% visibility. The distribution has collapsed.
Figure 4: Overview of Replace All. In each round, every reference is replaced by a self-authored reference generated from a response in the previous round.
Figure 4: Overview of Replace All. In each round, every reference is replaced by a self-authored reference generated from a response in the previous round.
Table 2: Estimated percentage of ChatGPT references classified as AI-generated, overall and by prompt type. Brackets show 95% Wilson confidence intervals over unique reference URLs.
OverallEntityEditorial
1/26 ChatGPT38.9% [38.0, 39.9]41.1% [40.1, 42.1]20.6% [18.3, 23.0]
6/26 ChatGPT42.7% [41.7, 43.7]45.8% [44.7, 46.8]27.5% [25.4, 29.7]
Figure 5: Overview of Replace One. Original references are replaced more slowly than in Replace All, although the design still assumes that self-authored references are retrieved.
Figure 5: Overview of Replace One. Original references are replaced more slowly than in Replace All, although the design still assumes that self-authored references are retrieved.
Figure 6: Overview of the Search simulation. Self-authored references are added to a reference pool and retrieved using search, competing with the original references for retrieval.
Figure 6: Overview of the Search simulation. Self-authored references are added to a reference pool and retrieved using search, competing with the original references for retrieval.
Table 3: Summary of experiments and collapse rates. The distinction between GPT-5.2 and GPT-5.2 Chat is explained in Section 5.
SimulationModelDatasetQuestionsCollapsed at StartCollapsed at EndRounds Collapsed
Replace AllGPT-5.2 ChatEntity ChatGPT1012.97%88.12%68.51%
Replace AllGPT-5.2 ChatEditorial ChatGPT5729.82%91.23%79.65%
Replace OneGPT-5.2 ChatEntity ChatGPT1012.97%88.12%67.18%
Replace OneGPT-5.2 ChatEditorial ChatGPT5721.05%94.74%81.67%
SearchGPT-5.2 ChatEntity ChatGPT1011.98%77.23%62.31%
SearchGPT-5.2 ChatEditorial ChatGPT5731.58%75.44%73.63%
Replace OneGemini 3 ProEntity AI Overview603.33%80.00%43.83%
Replace OneClaude Sonnet 4.5Entity AI Overview601.67%91.67%64.33%
Replace OneGemini 3 ProEditorial AI Overview456.67%68.89%42.56%
Replace OneClaude Sonnet 4.5Editorial AI Overview4511.11%97.78%69.33%
SearchGPT-5.2Entity ChatGPT7427.01%73.85%59.93%
SearchGPT-5.2Editorial ChatGPT1027.84%83.33%65.85%
Figure 7: Final-round entity visibility across nine independent runs for “Who are the best Twitch streamers currently?” Different entities survive in each run, illustrating run-to-run variance.
Figure 7: Final-round entity visibility across nine independent runs for “Who are the best Twitch streamers currently?” Different entities survive in each run, illustrating run-to-run variance.
Figure 8: Collapse rates across simulation designs using GPT-5.2 Chat.
Figure 8: Collapse rates across simulation designs using GPT-5.2 Chat.
Table 4: Correlations between initial-response statistics and eventual collapse in entity-question Search simulations.
NamePearson Correlationp
unique entities−0.3421.32×10−24
length of responses−0.2455.31×10−13
unique words−0.2236.21×10−11
entity ranking similarity0.1641.61×10−6
same-answer %0.1511.01×10−5
(b) Collapse by simulation, editorial questions.
(b) Collapse by simulation, editorial questions.
(c) Questions collapsed by round, entity questions.
(c) Questions collapsed by round, entity questions.

실제로 확인된 결과

  • 세 가지 시뮬레이션(전부 교체, 하나씩 교체, 검색 경쟁) 모두에서 라운드가 진행될수록 답변에 쓰인 고유 단어 수와 언급된 엔티티(대상) 수가 줄어들고, 답변 간 의미적 유사도와 엔티티 순위 유사도는 올라갔다.
  • 1,528회 시뮬레이션 중 1,216회(79.6%)가 최종적으로 붕괴 상태로 끝났다.
  • 한 실험에서는 응답 쌍이 서로 같은 말을 바꿔 쓴 것으로 판정되는 비율이 초반 22%에서 시뮬레이션 종료 시점 89%로 증가했다.
  • 원본 참고문헌과 자기 저작 참고문헌이 함께 있을 때, 모델은 참고문헌 품질을 통제한 뒤에도 자기 저작 참고문헌을 원본보다 더 많이 인용했다.
  • 2026년 1월 기준 챗GPT 참고문헌의 38.9%, 2026년 6월 기준 42.7%가 AI 생성 콘텐츠로 추정됐다.
(d) Questions collapsed by round, editorial questions.
(d) Questions collapsed by round, editorial questions.
Figure 9: Core metrics for entity questions across simulation designs. The numbers of unique words and entities decrease over rounds, indicating declining response diversity, while semantic and entity-ranking similarities increase.
Figure 9: Core metrics for entity questions across simulation designs. The numbers of unique words and entities decrease over rounds, indicating declining response diversity, while semantic and entity-ranking similarities increase.

어디에 쓸 수 있나

  • 검색 기반 AI 서비스를 만들 때 참고문헌 풀에 AI 생성 콘텐츠가 섞이는 것을 감지하거나 제한하는 필터링 절차를 검토하는 데 참고할 수 있다.
  • 생성엔진 최적화(GEO)나 AI 답변에 자사 콘텐츠가 인용되도록 만드는 마케팅 전략을 설계할 때, AI가 자기 참고문헌을 편애하는 경향을 고려한 콘텐츠 배포 전략을 세우는 데 참고할 수 있다.
  • AI 답변의 다양성을 모니터링하려는 팀이 엔티티 가시성, 고유 단어 수, 같은 답변 비율 같은 지표를 도입해 답변 붕괴 여부를 추적하는 데 참고할 수 있다.

한계와 남은 검증

  • 원본 참고문헌 자체에도 이미 AI가 쓴 글이 섞여 있어(38.9~42.7%) 그중 어느 것이 진짜 '자기 저작'인지 정확히 구분하지 못했으며, 이는 오히려 측정된 붕괴와 편향이 과소평가됐을 가능성을 의미한다.
  • 실험은 AI가 스스로 만든 참고문헌만 반복 투입하는 상황을 다뤘고, 다른 종류의 AI 생성 콘텐츠를 반복적으로 추가하는 상황은 검증하지 않았다.
  • 정보 탐색형 질문, 특히 대상 비교형 질문에 초점을 맞췄으며, 다른 유형의 질문에서는 붕괴 양상이 다를 수 있다.
  • 시뮬레이션이 실제 상용 AI 시스템 내부에서 붕괴가 이미 일어나고 있다는 것을 직접 증명하지는 않으며, 상용 시스템에 이미 완화 장치가 있을 가능성도 배제하지 않았다.
  • 에이전틱 검색 상황에서의 붕괴, 완화책의 실제 효과, 한 모델이 다른 모델의 참고문헌을 검색하는 상황 등은 앞으로의 연구로 남겨두었다.

왜 중요한가

검색 기반 AI 답변이 인터넷 곳곳의 다양한 의견을 반영한다고 믿고 쓰는 사람들에게, 실제로는 AI가 스스로 쓴 글을 계속 인용하면서 답이 한 가지 관점으로 굳어질 수 있다는 위험을 보여준다. AI 생성 콘텐츠가 인터넷에서 계속 늘어나는 지금, 검색 기반 AI 시스템을 설계하거나 콘텐츠 마케팅(생성엔진 최적화)을 하는 사람 모두에게 이 되먹임 고리는 실질적인 문제가 될 수 있다.

이 논문의 용어

  • RAG(검색 증강 생성) · AI가 답을 만들 때 웹 검색으로 문서를 찾아 참고하는 방식
  • 모델 붕괴(model collapse) · AI가 자기 출력물로 다시 학습하면 답변의 다양성이 점점 줄어들고 원래 데이터와 달라지는 현상
  • 자기 저작 참고문헌(self-authored reference) · AI 자신의 이전 답변을 바탕으로 만들어진, AI가 검색으로 다시 찾게 되는 글
  • 자기 편향(self-bias) · AI가 같은 품질이라도 자기가 쓴 글을 더 자주 인용하는 경향
  • 엔티티 가시성(entity visibility) · 여러 답변 중 특정 대상(예: 특정 스트리머 이름)이 언급된 답변의 비율

저자 · Gregory Druck, Ethan Smith

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Gregory Druck et al., arXiv:2608.22118, CC BY 4.0