팬그램 v3.3

팬그램 v3.3은 글이 사람이 썼는지 AI가 썼는지 구별해내는 판별 프로그램이다.

비유하자면 공항 검색대의 금속탐지기와 비슷하다. 가방(글) 하나하나를 통과시키면서 안에 숨겨진 것(AI가 만든 문장)이 있는지 신호를 울려주는 식이다. 다만 이 탐지기는 표지나 첫 몇 쪽만 훑어보는 게 아니라 책 한 권을 처음부터 끝까지 통째로 읽고 판정한다는 점이 다르다.

연구자들은 이 프로그램을 이용해 수만 권의 전자책을 한 권씩 넣어보고, 각 책에서 AI가 쓴 문장이 몇 퍼센트를 차지하는지 계산했다. 개발사는 이 탐지기가 사람이 쓴 글을 AI 글로 잘못 판정하는 비율(오탐률)이 0.04%에 불과하다고 밝혔는데, 이는 회사가 자체적으로 발표한 수치라는 점을 감안해서 봐야 한다.

기사는 "사용한 도구는 Pangram v3.3으로, 개발사가 공개한 오탐률은 0.04%다"라고 적었다. 여기서 주의할 점은 이 정확도 수치가 독립된 제3자의 검증 결과가 아니라 개발사가 스스로 공개한 값이라는 것이다. 또한 이후 후속 버전인 Pangram 4가 나왔지만, 해당 연구는 v3.3을 기준으로 이뤄졌으므로 최신 버전과 결과가 다를 수 있다.