구글, 세계 언어 지도 공개

구글이 11월 9일(미국 시간) 세계 언어 다양성을 지도와 데이터로 탐색하는 인터랙티브 웹 플랫폼 Language Explorer를 리서치 블로그에서 공개했다. 독일 베를린 커뮤니케이션 박물관이 새로 연 대형 전시에 체험형 설치물로 들어갔고, 전시장에 가지 못하는 사람도 온라인에서 열어 볼 수 있다. Language Explorer는 연구자와 교육자, 언어 애호가가 수천 개 언어의 분포를 살펴보도록 만든 도구다. 구글이 1,000개 언어 이니셔티브의 하나로 개발했고, 오픈소스로 공개한 언어 메타데이터 LinguaMeta를 바탕으로 한다.

전시 이름은 Real Talk! Sprache. Macht. Welt.이다. 박물관 행사 안내에 따르면 개막식은 11월 5일 저녁 7시 베를린 미테의 박물관에서 열렸다. 안야 샬루슈케 관장이 인사를 했고 큐레이터 안네 슈타블러와 리안 운왈라가 패널 토크에 나섰으며, 전체 프로그램은 독일 수어로 통역됐다. 관람객이 모국어 자장가를 녹음해 남기는 베를린이 잠든다라는 이름의 프로젝트도 함께 열렸다. 전시는 언어가 정체성과 사회, 기술을 어떻게 만드는지를 다루며 베를린에서 2028년 2월까지 이어진 뒤 프랑크푸르트 커뮤니케이션 박물관으로 옮겨 2029년 9월까지 열린다. 전시 주제를 담은 온라인 동반 사이트는 11월 6일 문을 열었다.

블로그를 쓴 구글 딥마인드의 단 판 에스 선임 기술 프로그램 매니저와 구글 리서치의 우체 오콩쿼 선임 프로그램 매니저는 언어 기술을 공동체 협력의 문제로 규정했다. 두 사람은 "세계의 언어 다양성을 반영하는 제품을 만드는 일은 소프트웨어 공학보다 훨씬 많은 것을 요구한다"며 그 일이 섬기려는 공동체와의 긴밀한 협력, 지역의 유산과 역사와 가치에 맞춘 방식을 필요로 한다고 밝혔다. 구글은 그 사례로 인도의 바아니 프로젝트와 아프리카의 왁살 프로젝트를 들었다. 현지 기관과 손잡고 소외된 언어의 공개 음성 데이터를 수천 시간 모으는 사업이다.

숫자로 보면 구글 언어 기술의 폭은 20년 사이 크게 넓어졌다. 구글 번역은 2006년 영어와 아랍어 두 언어로 출발한 작은 실험이었고, 지금은 약 250개 언어를 지원하며 매달 약 1조 단어를 번역한다. 안드로이드 키보드 Gboard는 900개가 넘는 언어 변종을 지원한다. 판 에스와 오콩쿼는 "언어의 생명력을 지키려면 원어민, 학술 기관, 문화 단체와 긴밀히 협력해야 한다"고 썼고, 게이츠 재단과 꾸린 연합을 디지털 도구가 공동체의 목소리를 반영하게 하는 장치로 소개했다.

시각화 방식은 구글 어스에서 출발했다. 구글은 Language Explorer가 구글 어스 같은 이전 시각화 작업에서 영감을 받았다고 설명했다. 메탈이 확인한 결과 블로그의 Language Explorer 바로가기는 구글 어스 웹 버전으로 연결된다. 지구본 위에 언어별 데이터를 얹어 보여 주는 구조다.

바탕 데이터인 LinguaMeta는 2024년 5월 이탈리아 토리노에서 열린 LREC-COLING 학회 논문으로 처음 공개됐다. 저자는 샌디 리치, 판 에스, 오콩쿼, 시카르 바시슈트, 에밀리 드러먼드다. 저장소에는 언어마다 BCP-47 코드를 이름으로 단 JSON 파일이 하나씩 있고, 언어 코드와 이름, 화자 수, 문자 체계, 사용 국가, 공식 지위, 지리 좌표가 담겼다. 값은 글로톨로그, 유니코드 CLDR, 위키데이터, 위키백과, 위키낱말사전, IETF, SIL의 ISO 639 등록 기관 자료에 구글 자체 조사를 더해 모았고, 모든 값에 출처 표시가 붙는다.

데이터 설계에는 정밀도를 다루는 원칙이 박혀 있다. 저장소 설명에 따르면 화자 수 값이 있는 언어는 약 83%이고, 지나친 정확성의 착시를 피하려고 화자 수를 자릿수 기준으로 반올림한다. 1,000만 명이 넘는 언어는 100만 명 단위로 적는 식이다. 소멸 위기 정도는 유네스코 세계 위기 언어 지도의 6단계 척도를 따른다. 살아 있는 구어를 중심으로 모아 인공어와 수어, 역사 언어 상당수는 담지 않았다. 구글이 블로그에서 말하든 읽든 수어로 하든 모든 사람을 위한 언어 기술을 목표로 내건 것과 데이터의 현재 범위 사이에는 아직 거리가 있다.

메탈은 구글 리서치가 동남아 12개 언어 벤치마크 DEEPSEA를 공개한 소식을 보도한 바 있다. 그때가 모델 성능을 재는 시험지였다면 이번 공개는 시험지를 만들기 전 단계, 곧 어떤 언어가 어디서 몇 명에게 쓰이는지를 보여 주는 지도다. 번역이 지원하는 약 250개 언어와 LinguaMeta가 담은 수천 개 언어 사이의 간격이 언어 기술이 아직 닿지 못한 영역의 크기다. 구글은 그 간격을 박물관 전시장 한가운데에 펼쳐 놓았다.