환각

환각(할루시네이션)은 AI가 그럴듯한 거짓을 사실처럼 말하는 현상입니다. 없는 논문을 인용하고, 존재하지 않는 판례를 대고, 틀린 날짜를 자신 있게 말합니다.

원인은 AI의 작동 방식 자체에 있습니다. 대형 언어 모델은 「사실을 검색하는 기계」가 아니라 「다음에 올 그럴듯한 말을 만드는 기계」입니다. 그럴듯함과 사실은 대부분 겹치지만, 안 겹치는 지점에서 환각이 나옵니다. 시험에서 모르는 문제가 나오면 아는 척 채워 넣는 학생과 비슷합니다 — 빈칸으로 두는 것보다 그럴듯하게 채우는 쪽으로 훈련돼 있기 때문입니다.

그래서 「중요한 내용은 반드시 원문을 확인하라」가 AI 사용의 제1수칙입니다. AI 회사들도 검색을 붙이거나(RAG), 생각할 시간을 주거나(추론 모델), 모르면 모른다고 답하게 훈련하는 식으로 환각을 줄이려 합니다. 새 모델 발표 때 「환각률을 낮췄다」는 문구가 단골로 등장하는 이유입니다.

「변호사가 AI가 만들어 낸 가짜 판례를 그대로 제출해 징계를 받았다」 — 환각 사고의 전형적인 사례로, 이런 뉴스는 매년 반복됩니다.

1. 챗봇의 검색 기능을 끈 상태에서, 지어낸 제목을 물어보세요: 「김철수 작가의 소설 '유리 정원의 밤' 줄거리를 알려 줘」
2. 존재하지 않는 책의 줄거리를 그럴듯하게 지어내면 — 그게 환각입니다. (「그런 책을 찾을 수 없다」고 답하면 그 모델이 잘 훈련된 겁니다)
3. 검색을 켜고 같은 질문을 다시 해 보세요. 근거가 없으면 없다고 답하는 쪽으로 바뀝니다 — 중요한 정보일수록 출처 확인이 필요한 이유를 몸으로 익히는 실험입니다.
4. 한 걸음 더: 실무에서 환각은 마법처럼 없애는 게 아니라 층층이 막습니다 — 틀리면 안 되는 부분은 규칙으로 못 박고(「반드시 문서를 인용해」), 그 위에 AI 판단을 얹고, 그래도 불확실하면 더 강한 모델이나 사람에게 한 번 더 확인시키는 구조입니다. 개인도 같은 요령을 쓸 수 있습니다: 중요한 질문엔 「확실하지 않으면 모른다고 말해 줘」를 붙이고, 받은 답을 다른 챗봇에 붙여 넣어 교차 확인해 보세요.