오픈AI, 공통 AI 학습 신호 지원

오픈AI가 10월 30일 웹사이트 운영자가 robots.txt 파일에 몇 줄을 적어 여러 AI 회사에 생성형 AI 학습 거부 의사를 한꺼번에 밝힐 수 있는 공통 신호를 존중하겠다고 발표했다. 같은 날 구글과 마이크로소프트(MS), 앤스로픽도 같은 신호를 지원하겠다고 밝혔다. 신호의 바탕은 국제인터넷표준화기구(IETF) AI 선호(AIPREF) 워킹그룹의 논의이고, 기술 초안은 앤스로픽의 케빈 켈리(Kevin Kelley)가 썼다. 오픈AI는 발표문에서 "이전에는 웹사이트 운영자가 개별 크롤러를 식별하고 공급자마다 별도의 규칙을 관리해야 했다"며 "여러 공급자에 걸친 공통 신호는 운영자의 그 작업을 줄여 준다"고 밝혔다.

메탈이 확인한 IETF 초안에 따르면 신호의 정체는 __usage_ai-training 이라는 정책 토큰이다. 사이트 운영자는 robots.txt의 User-Agent 줄에 크롤러 이름 대신 이 토큰을 적고, 그 아래 Disallow와 Allow로 경로를 지정한다. 초안이 든 예시는 User-Agent 줄에 토큰을 쓰고 Disallow: / 와 Allow: /press-kit/ 를 붙인 세 줄이다. 보도자료 경로만 열어 두고 사이트 나머지 전체에 대해 AI 학습 반대 의사를 표시하는 설정이다. 새 지시어나 새 문법은 없다. 2022년 9월 표준 문서로 나온 RFC 9309의 경로 규칙과 가장 긴 일치를 우선하는 원칙을 그대로 쓰기 때문에, 이 토큰을 모르는 기존 파서는 처음 보는 사용자 에이전트를 대하듯 해당 그룹을 건너뛴다.

해석 규칙도 초안에 못 박혀 있다. 모든 크롤러를 가리키는 와일드카드 그룹(User-Agent: *)은 이 토큰과 일치하는 것으로 해석해서는 안 된다. 파일 어디에도 토큰이 없으면 아무 선호도 표시하지 않은 것으로 본다. 보도에 따르면 켈리는 IETF 메일링 리스트에서 "이 방식을 쓰지 않는 robots.txt 파일은, 오늘 공개된 모든 파일이 그렇듯, 어떤 선호도 표시하지 않는다"고 적었다. 토큰은 크롤링 지시도 아니다. 초안은 콘텐츠 사용 선호와 크롤러 트래픽 관리 신호가 서로 독립적이라고 규정했고, 당사자 간 개별 계약이 이 신호로 표시된 선호를 덮어쓸 수 있다고 명시했다.

학습의 범위는 워킹그룹의 어휘 초안이 정한다. AI 학습은 "자산을 사용해 생성형 AI 모델의 학습된 매개변수를 수정하는 것"이고, 오로지 생성이 아닌 작업에 쓰이는 모델의 학습은 여기에 들어가지 않는다. 분류, 순위 매기기, 점수 매기기에 쓰이는 모델도 생성형 AI 모델 정의에서 빠진다. 어휘 초안은 모질라의 마틴 톰슨(Martin Thomson)과 오픈 퓨처의 폴 켈러(Paul Keller)가 썼고 9월 13일 8판으로 갱신됐다. 어휘 초안은 학습 말고도 AI 사용과 검색 범주를 따로 두지만, 이번 공통 신호가 다루는 것은 학습 하나다. 구글은 나머지 어휘에 대한 다자 논의가 이어지는 동안 학습 정의부터 먼저 쓰는 구조라고 설명했다.

시행 시점은 회사마다 다르다. 오픈AI는 앞으로 몇 달 안에 구현하고 세부 내용을 다시 알리겠다고 했다. 구글 서치 센트럴 블로그에서 존 뮐러(John Mueller) 구글 서치 애드버킷은 "다른 AI 공급자들과 함께 2027년에 이 새 제어 기능을 지원하는 것이 목표"라고 밝혔다. 보도에 따르면 MS는 2027년 2월 1일부터 페이지를 크롤링하면서 새 선호를 반영하고, 앤스로픽은 이미 구현을 시작했다. 같은 날 발표한 네 회사의 시계가 이렇게 제각각이다.

회사별 기존 통제는 그대로 남는다. 오픈AI는 새 신호가 robots.txt로 이미 제공하는 통제를 대체하지 않으며 기존 크롤러 통제가 계속 적용된다고 했다. 보도에 따르면 오픈AI 크롤러 문서에서 GPTBot은 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 수집하고, OAI-SearchBot은 챗GPT 검색 기능에 사이트를 노출하며, 두 설정은 서로 독립적이다. 구글은 사이트가 토큰으로 학습을 거부하고 Google-Extended를 따로 지정하지 않았다면 Google-Extended를 차단한 것으로 해석할 계획이다. Google-Extended는 구글이 2023년부터 제공해 온 AI 학습 제어다. 구글은 Google-Extended를 명시적으로 허용한 사이트가 제미나이 앱에서 그라운딩을 거쳐 답변에 나오고 클릭을 받을 수 있다고 덧붙였다.

MS는 한 걸음 더 나갔다. 보도에 따르면 MS는 공통 학습 선호에 별도의 AI 그라운딩 선호를 더했다. 크리슈나 마다반(Krishna Madhavan) MS 빙 수석 프로덕트 매니저는 "빙 검색 결과 노출 자격을 유지하면서 학습, 그라운딩 또는 둘 다에 대해 선택할 수 있는 더 새롭고 단순하고 명확한 선호"라고 설명했다. 선택지는 학습, 그라운딩, 그리고 MS 자체 AI 제품에만 콘텐츠를 허용하고 외부 그라운딩 서비스는 막는 제한 그라운딩이다. 언론사라면 학습은 막으면서 코파일럿이 기사를 인용하게 둘 수 있다. MS는 "학습을 허용하면 미래 생성 모델 개선에 도움이 될 수 있다"며 "어느 쪽을 택해도 포함, 트래픽, 대가를 보장하지 않는다"고 밝혔다. 일정은 12월 15일 NoArchive·NoCache 지시어를 쓰는 사이트에 임시 그라운딩 제어 제공, 2027년 3월 1일 기존 지시어 사용 사이트의 새 선호 설정 기한, 2027년 9월 30일 임시 선호 만료 순이다. 학습과 그라운딩 모두 표시가 없으면 허용이 기본값이다.

법적 무게를 실어 줄 근거로 구글은 유럽연합(EU)을 들었다. 구글은 이번 제안이 EU AI법에 따른 범용 AI(GPAI) 모델 제공자 실천 강령과 부합한다고 밝혔고, 그 강령은 robots.txt를 웹 게시자가 기계가 읽을 수 있는 선호를 표시하는 주된 방법으로 인정한다. 반면 문서 자체의 지위는 아직 낮다. IETF 데이터트래커는 이 문서를 누구나 제출할 수 있는 개인 인터넷 초안으로 분류하고, IETF의 승인을 받지 않았으며 표준 절차상 공식 지위가 없다고 표시한다. 초안은 2027년 5월 3일 만료된다. 오픈AI도 이번 조치를 자발적인 노력이라고 불렀다. 초안 감사의 글에는 오픈AI, 구글, MS, 메타, 클라우드플레어, 커먼 크롤 재단, 전자프런티어재단, 크리에이티브 커먼즈 소속 참가자와 출판·뉴스 업계 참가자가 이름을 올렸다.

메탈은 저작권 책으로 AI를 학습시킨 사건에서 법원이 학습 자체와 불법 취득을 갈라 판단한 흐름을 보도한 바 있다. 법정이 학습의 적법성을 사후에 따지는 동안, AI 회사들은 학습 이전 단계에서 거부 의사를 받는 창구를 하나로 모으기 시작했다. 공통 신호는 의사 표시를 기록할 뿐 가격을 정하지 않는다. 사이트 운영자에게 남은 결정은 robots.txt에 세 줄을 쓸지, 쓴다면 어느 경로를 열어 둘지다.