크롤링

프로그램(크롤러)이 웹을 돌아다니며 페이지를 긁어 모으는 일입니다. 구글 검색이 원조 사용처이고, AI 회사들이 학습 데이터를 모으는 방법이기도 합니다.

AI 시대 저작권 분쟁의 진원지입니다 — 「내 기사·그림·글을 허락 없이 긁어 AI를 학습시켰다」는 소송이 언론사·작가·화가들로부터 이어지고 있습니다. 사이트가 「긁어 가지 마시오」라고 적어 두는 robots.txt 라는 표지판이 있지만 강제력이 약해서, 이를 무시한 수집이 자주 뉴스가 됩니다. 라이선스 계약(콘텐츠 사용료)으로 푸는 흐름도 함께 커지고 있습니다.