판그램, AI 탐지로 출판업계 뒤흔들었지만 신뢰성 도마에

판그램은 어떤 글에 AI가 얼마나 관여했는지를 확률로 알려주는 서비스예요. 텍스트를 넣으면 몇 퍼센트가 AI로 생성됐는지 점수를 매기는데, 정작 이 판정 과정에도 AI가 쓰여요. 창업자 맥스 스페로(30)와 브래들리 에미는 스탠퍼드 재학 시절 만났어요. 스페로는 구글에서 서드파티 쿠키를 대체하려던 기술 FLoC를 개발했는데, 이 프로젝트는 프라이버시 우려로 2022년 폐기됐고 그는 이후 자율주행차 회사 누로(Nuro)를 거쳤어요. 에미는 테슬라와 AI 바이오텍 기업 앱사이(Absci)에서 일했고요. 챗GPT가 나온 2022년 이후 둘은 2023년 Checkfor.ai라는 이름으로 회사를 세웠다가 이듬해 판그램으로 개명했어요. 이미 Originality.ai, GPTZero, Turnitin 같은 최소 십여 개 경쟁사가 있던 시장이었지만, 초기 독립 테스트에서 좋은 성적을 내며 선두로 떠올랐어요.

출판계를 흔든 판정들

판그램의 이름이 널리 알려진 계기는 1월 자가출판 소설 Shy Girl이었어요. 저자 미아 밸러드가 AI를 썼다는 의혹이 레딧과 유튜브에서 퍼지자, 스페로는 원고를 판그램에 돌려 78%가 AI로 생성됐다고 X에 올렸어요. 밸러드는 이를 부인했지만 아셰트는 결국 출간을 취소했고요. 스페로는 자신의 역할이 과장됐다고 주장했지만, 실제로는 판그램의 한 세일즈 담당자가 출판업계 애널리스트에게 이 이야기를 전했고 그 애널리스트가 뉴욕타임스에 사연을 전하며 기사화된 것으로 확인됐어요.

비슷한 지목이 줄을 이었어요. 뉴욕타임스의 모던러브 칼럼 한 편이 AI 작성 의혹을 받아 판그램 점수 100%가 나왔고, 커먼웰스 단편소설상 수상작도 100%, 소설 Daggermouth는 60%, 240만달러에 판권이 팔린 스릴러 Call Me, I'll Hide the Body는 97%를 받았어요. 7월 말에는 서브스택이 독자들이 글의 AI 관여 여부를 빠르게 확인할 수 있도록 판그램을 자사 플랫폼에 통합한다고 발표했고요.

풀어서 설명하면, 메탈랩이 지난 8월 다룬 두 기사 모두 이번 이야기와 이어져요. AI가 쓴 베스트셀러의 표절 흔적을 추적한 연구는 스토니브룩대 투힌 차크라바티 교수팀 작업이었는데, 그가 이번 기사에서는 판그램 창업자와 가까운 사이로 API 크레딧을 지원받아 온 인물로 다시 등장해요. 또 챗GPT 문체가 AI스러운 이유를 사후훈련 안전장치 탓으로 설명했던 브래들리 에미는 판그램의 공동창업자 겸 CTO예요.

작품	판그램 판정	이후 상황
Shy Girl (미아 밸러드)	78%	아셰트, 출간 계약 취소
뉴욕타임스 모던러브 칼럼	100%	-
커먼웰스 단편소설상 수상작	100%	2012년 이후 수상작 재조사, 3건 추가 지목
Daggermouth	60%	-
Call Me, I'll Hide the Body (240만달러 계약)	97%	-

검증되지 않은 근거, 해적판 원고

조사 프로젝트 The Drey Dossier는 스페로가 확보한 밸러드 원고 사본이 불법 복제 사이트에서 나왔다고 지적했어요. 위어드와의 인터뷰에서 스페로는 원고 전체를 읽지 않고 그대로 판그램에 넣었다고 인정했어요. 판그램은 이후에도 논란을 자처했는데, 커먼웰스 단편소설상 수상작이 높은 점수를 받자 2012년 이후 모든 수상작을 전수 분석해 세 건을 추가로 AI 의심작으로 지목했어요.

탐지 방식과 데이터

판그램은 사람이 쓴 글을 LLM에게 흉내 내게 해서 AI가 어떤 식으로 글을 쓰는지 학습시키는 방식을 써요. 회사는 이를 합성 미러링이라고 부르고요. 여기에 오탐지 사례를 찾아 다시 합성 미러링을 거쳐 학습셋에 더하는 하드 네거티브 마이닝도 함께 써요. 스페로는 자사 데이터셋이 정식으로 라이선스를 받은 것이라고 강조했는데, 이는 챗GPT나 클로드보다 훨씬 적은 데이터로도 작동하는 제품 특성 덕분이기도 해요. 판그램은 교육, 법률, 채용 분야에도 서비스를 제공하지만 학습 데이터에서 가장 큰 비중을 차지하는 건 창작 글쓰기예요.

신뢰성 논란과 이해상충

비판자들은 두 가지를 문제 삼아요. 오탐지로 인한 피해, 그리고 머신러닝 모델 자체에 내재된 편향이에요. 출판 전문가 제인 프리드먼은 "AI 탐지 소프트웨어에 대한 반감과 분노가 상당하다"고 말했어요. 에든버러 네이피어대 샘 일링워스 교수는 탐지기가 특정 집단에 편향돼 있다고 지적했고요. 실제로 한 연구는 비원어민 영어 작가의 글을 AI 생성물로 잘못 판정하는 비율이 더 높다는 결과를 냈고, 신경다양인 작가들도 자신의 문체가 불균형하게 걸린다고 주장해온 것으로 알려졌어요. 이번 논란의 중심에 선 세 작품, Shy Girl과 Daggermouth, Call Me, I'll Hide the Body는 모두 유색인종 작가가 쓴 작품이라는 공통점도 있어요.

Daggermouth 의혹의 근거가 된 연구도 눈여겨볼 대목이에요. 스토니브룩대 투힌 차크라바티 교수는 자가출판 소설 1만4419편을 판그램으로 분석해 20%에 가까운 작품이 상당한 AI 판정 점수를 받았다는 워킹페이퍼를 냈어요. 차크라바티는 스페로와 가까운 사이로 판그램으로부터 API 크레딧을 계속 지원받아 왔고, 문학 에이전시 애비타스 공동대표 토드 슈스터와 연인 관계이기도 해요. 슈스터 본인도 판그램에 컨설팅을 제공하며 원고와 출간 제안서를 판그램으로 검증하고 있어요.

출판사들의 조심스러운 반응

출간사 5대 대형 그룹 중 사이먼앤슈스터와 하퍼콜린스는 논평을 거부했고 아셰트와 맥밀런은 응답하지 않았어요. 펭귄랜덤하우스는 편집자들이 승인된 AI 탐지 도구를 AI 생성 여부를 확인하는 추가 수단 중 하나로 쓸 수 있지만 결정적 근거는 아니라고 밝혔어요. 지난해 고담 고스트라이터스가 작가 1481명을 대상으로 한 조사에서는 61%가 AI 도구를 쓴다고 답했고 7%는 AI 생성 텍스트를 출판한 적이 있다고 답했어요. 미국문학에이전트협회 레지나 브룩스 회장은 이 업계에서 불평등 문제에 주의를 기울여야 한다고 말했어요.

에디터의 시선

판그램이 논쟁의 중심에 선 이유는 기술이 특별해서가 아니라 그 기술이 놓인 자리 때문이에요. 출간 계약이라는, 작가 한 사람의 생계와 경력이 걸린 결정에 확률 점수 하나가 사실상 최종 근거처럼 작동하고 있어요. 스페로가 밸러드 원고를 검증하지도 않고 판정에 넣었다는 대목이 특히 뼈아픈 지점인데, 확률 점수를 만드는 절차가 느슨해도 그 점수가 몰고 오는 결과는 즉각적이고 되돌리기 어렵다는 걸 이번 사건이 보여줬어요.

이런 구도를 반복해서 봐 온 사람이라면 익숙한 패턴이 하나 있어요. 신생 검증 기술이 등장하면 초반에는 정확도보다 화제성이 먼저 신뢰를 만든다는 점이에요. 표절 검사 도구 턴잇인이 처음 도입됐을 때도, 스펠체커가 처음 나왔을 때도 비슷한 과잉 신뢰 구간이 있었어요. 판그램은 지금 그 구간 한복판에 있고, 차크라바티 교수와의 협력 관계처럼 검증 주체와 연구 주체가 뒤섞인 상태로 신뢰를 쌓아가고 있다는 점이 더 위태로워요.

국내 출판사나 에이전시가 이 사례에서 얻을 교훈은 명확해요. AI 탐지 점수를 계약 여부를 가르는 유일한 근거로 쓰지 말고, 원고 검토 과정의 여러 단계 중 하나로만 취급해야 해요. 펭귄랜덤하우스가 밝힌 원칙, 즉 탐지 도구는 결정적이지 않고 더 큰 편집 절차의 한 요소일 뿐이라는 접근이 지금 시점에서는 가장 안전한 선이에요. 반대로 개인 저자라면 자신의 초고, 수정 이력, 창작 노트를 평소에 남겨두는 습관이 이런 판정에 맞설 유일한 방어 수단이 될 거예요.

앞으로 몇 달 안에 비슷한 스캔들이 또 터질 가능성이 높아요. 서브스택 통합으로 판그램의 판정 범위가 개인 창작자 영역까지 넓어졌고, 스페로 본인도 오탐지를 증명하면 포상금을 주겠다고 공언했지만 아직 아무도 나서지 않았다고 말했어요. 이 침묵이 판그램의 정확성을 증명하는 건지, 아니면 작가들이 반박할 창구 자체를 신뢰하지 않는 건지는 다음 사건이 터졌을 때 드러날 거예요.