지식 컷오프

모델이 학습한 데이터의 마지막 시점 — 즉 모델이 세상을 아는 마지막 날짜입니다. 컷오프가 올해 1월인 모델에게 지난주 뉴스를 물으면 모르거나, 더 나쁘게는 아는 척(환각)합니다.

챗봇들이 검색 기능을 붙이는 이유가 이것입니다. 모델의 지식은 냉동된 시점이 있고, 최신 정보는 검색으로 데워 오는 구조죠. 「어제 발표를 챗봇이 모른다」며 당황할 필요가 없는 이유이자, 최신 정보가 중요한 질문에는 검색 켜기를 확인해야 하는 이유입니다.

1. 챗봇에게 「너의 지식 컷오프가 언제야?」라고 물어봅니다.
2. 검색 기능을 끄고 그 날짜 이후의 일(최근 스포츠 경기 결과 등)을 물어보세요 — 모르거나 얼버무립니다.
3. 검색을 켜고 같은 질문을 하면 최신 답이 옵니다. 「모델의 기억」과 「검색으로 데워 온 정보」의 차이를 한 번에 체감하는 실험입니다.