인피니그램

인피니그램은 엄청나게 많은 글 뭉치를 미리 색인해 두고, 어떤 문장이나 표현이 그 안에 몇 번 나오는지 순식간에 찾아주는 검색 도구다.

비유하자면 도서관 전체를 스캔해 검색창에 문장 하나를 넣으면 '이 표현이 어느 책 몇 쪽에 몇 번 나왔는지'를 바로 알려주는 것과 비슷하다. 다만 대상은 인쇄된 책뿐 아니라 인터넷 곳곳에 흩어진 방대한 텍스트 전체이고, 짧은 단어부터 아주 긴 문장까지 길이 제한 없이 찾아낼 수 있다.

앨런 AI 연구소(Ai2)가 만들어, 자신들이 공개한 언어모델(문장을 만들어내는 AI 프로그램)의 답변이 학습 데이터의 원문을 그대로 베낀 건 아닌지 확인하는 데 써왔다. 최근에는 AI가 쓴 책이 기존 출판물의 희귀한 표현과 얼마나 겹치는지 추적하는 연구에도 활용됐다.

기사에서는 '연구팀은 Ai2의 infini-gram 엔진으로 AI 생성 텍스트와 기존 출판물의 희귀 표현 겹침을 살펴봤다'는 식으로 쓰인다. 주의할 점은 인피니그램 자체가 AI 탐지기는 아니라는 것이다. 어떤 글이 AI가 썼는지 아닌지는 별도 판별 도구가 가려내고, 인피니그램은 그렇게 걸러진 문장이 실제로 '어디서 온 표현인지' 원문 출처를 추적하는 역할을 한다.

1. 인피니그램의 공개 웹 데모 페이지에 접속한다.
2. 검색창에 궁금한 문장이나 구절을 그대로 붙여넣는다.
3. 그 표현이 참조 코퍼스(색인된 텍스트 뭉치) 안에서 몇 번, 어디에 등장했는지 결과를 확인한다. 짧은 단어보다는 '발효되는 신맛'처럼 특이한 구절을 넣어봐야 흥미로운 결과가 나온다.