검색 증강 생성

RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 AI가 답하기 전에 관련 자료를 먼저 찾아 읽게 하는 방식입니다. 순서는 셋입니다 — 질문을 받으면, 문서·데이터베이스에서 관련 대목을 검색(Retrieval)해서, 그걸 근거로 답을 생성(Generation)합니다.

「오픈북 시험」에 비유하면 정확합니다. 기억에만 의존하면(클로즈드북) 그럴듯한 오답 — 환각 — 이 나오기 쉽지만, 교과서를 펴 놓고 답하게 하면 정확도가 오르고 출처도 댈 수 있습니다.

기업들이 「우리 회사 문서를 아는 AI」를 만들 때 쓰는 표준 방법이 바로 이것입니다. 모델을 새로 훈련하는 것(파인튜닝)보다 싸고, 자료를 바꾸면 답도 바로 바뀝니다. 「사내 규정을 답해 주는 챗봇」 「의료 문헌 기반 AI」 같은 기사 뒤에는 거의 항상 RAG가 있습니다.

「환각을 줄이기 위해 RAG 구조를 도입했다」 — 근거 문서를 찾아 읽고 답하게 만들어 신뢰도를 높였다는 뜻입니다.

1. 문서(제품 설명서·약관·사내 규정 등)를 첨부하기 전에, 먼저 답을 스스로 정해 보세요 — 「환불 기한을 물으면 어떤 답이 나와야 이상적인가?」. 기대하는 출력을 먼저 정의하는 것이 실전 RAG 빌더들의 제1원칙입니다.
2. 이제 첨부하고 이렇게 물어보세요: 「이 문서에 있는 내용만 근거로 답해 줘. 문서에 없으면 '문서에 없음'이라고만 답해 줘. 질문: 환불 기한이 며칠이야?」 — 1번에서 정한 이상적인 답과 비교해 보세요.
3. 함정도 던져 보세요 — 문서에 없는 것을 일부러 묻기: 「해외 배송 환불 기한은?」. 「문서에 없음」이 나오면 합격, 그럴듯하게 지어내면 환각입니다.
4. 한 걸음 더: 받은 답을 새 대화에 붙여 넣고 「이 답이 아래 문서 원문과 일치하는지 채점해 줘」라고 시켜 보세요 — AI의 답을 AI로 검증하는, 실전에서 「LLM을 평가 도구로 쓴다」고 부르는 방법의 미니판입니다. 질문과 이상적인 답의 목록을 만들어 두고 문서가 바뀔 때마다 다시 돌리면 그게 곧 기업들이 말하는 테스트셋이고요.