제임스 마니카, 구글 언어 AI 20년 개요 발표

출발점은 2006년 구글 번역이에요. 마니카는 당시 목표가 언어 사이의 장벽을 무너뜨리는 것이었고, AI 의 발전으로 번역 지원 언어가 소수에서 250개 이상으로 늘었다고 적었어요. 그런데 글의 무게는 그 다음 문장에 실려 있어요. 그는 "텍스트를 번역하는 것만으로는 충분하지 않습니다" 라고 쓰고, 기술이 사람들이 실제 세계에서 소통하는 방식을 이해해야 한다고 덧붙였어요. 수십 년 동안 기술이 소수의 지배적 언어에서만 제대로 작동했고, 수천 개의 살아 있는 언어와 방언은 디지털 세계에서 빈약하게 다뤄지거나 아예 빠져 있었다는 진단이 그 뒤에 붙어요.

음성 처리 방식의 변화가 첫 사례예요. 발표문에 따르면 종래 음성 인식은 오디오를 텍스트로 바꾸고, 그 텍스트를 처리한 뒤, 다시 오디오로 합성하는 단계식 파이프라인이었어요. 작동은 했지만 톤과 속도, 감정, 맥락 같은 소통의 가장 풍부한 부분이 그 과정에서 깎여 나갔어요. 사람은 문법에 맞는 문장으로만 말하지 않고, 웃고 겹쳐 말하고 망설이며, 스팽글리시나 힝글리시처럼 한 문장 안에서 여러 언어를 섞어요. 구글은 그래서 Gemini 같은 모델이 오디오를 텍스트로 거치지 않고 그대로 처리하도록 학습시켰다고 밝혔어요.

그 위에 올라간 제품이 둘이에요. Gemini 3.5 Live Translate 는 70개 언어, 2,000개가 넘는 언어 쌍에서 실시간 음성 통역을 맡고, 한 문장 안의 언어 전환과 감정 신호를 그대로 잡아요. Gemini 3.5 Transcribe 는 구글이 지금까지 만든 가장 정밀한 음성 문자 변환 모델로, 소음이 많거나 전문 용어가 섞인 환경에서도 정돈된 텍스트를 내놓아요. 이 모델은 안드로이드 Gboard 의 Rambler 기능도 움직이는데, 군말을 지우고 문법과 구두점을 고치고 음성 명령으로 고쳐 쓰거나 언어를 바꾸는 일을 해요.

목표 언어 수도 적혀 있어요. 구글은 세계에서 가장 많이 쓰이는 1,000개 언어를 지원하는 것을 목표로 잡았고, 그 밑바탕인 Universal Speech Model 은 1,200만 시간의 오디오로 학습했어요. 데이터가 많은 언어에서 배운 패턴을 데이터가 적은 언어에 옮기는 교차 언어 전이 학습이 방법이에요. 마니카는 이 작업이 25년의 공개 연구와 400편이 넘는 동료 심사 음성 논문 위에 서 있다고 적었어요.

사회학자의 눈으로 보면 이 글에서 가장 중요한 대목은 모델이 아니라 데이터를 모으는 방식이에요. 웹은 소수의 지배적 언어를 과도하게 대표하기 때문에, 구글은 대표성이 낮은 언어를 가르치려면 데이터 수집 방식 자체를 다시 생각해야 했다고 인정했어요. 답은 현지 풀뿌리 파트너십이었고, 그 결과가 세 개의 공개 데이터 협력이에요. 첫째는 WAXAL 이에요. 월로프어로 말하기를 뜻하는 이 데이터셋은 마케레레대와 디지털 우무간다 등 파트너와 만들었고, 26개국 이상에서 1억 명이 넘게 쓰는 사하라 이남 아프리카 27개 언어를 담아요.

메탈이 확인한 3월 6일 구글 리서치 블로그의 WAXAL 발표문에는 더 구체적인 숫자가 있어요. 이 작업은 2021년에 시작해 여러 해 걸렸고, 첫 공개분은 음성 인식용으로 약 1,846시간의 전사된 자연 발화와 음성 합성용으로 565시간 이상의 고품질 녹음을 담아 CC-BY-4.0 라이선스로 풀렸어요. 참여자는 대본을 읽는 대신 50개 이상 주제의 이미지를 보고 모국어로 설명했는데, 이 방식이 성조 변화와 언어 전환까지 잡아 냈다고 구글 리서치는 밝혔어요. 수집은 아프리카 학술·지역 기관이 전부 주도했고, 수집한 데이터의 소유권은 파트너가 그대로 갖는다는 원칙이 발표문에 적혀 있어요.

둘째는 인도의 Project Vaani 예요. 인도과학연구소와 바시니와 함께 언어가 아니라 지역을 기준으로 인도의 언어 다양성을 지도화하는 방식으로, 지금까지 15만 5천 명이 넘는 화자에게서 109개 언어, 3만 시간 이상의 음성을 모았어요. 셋째는 Amplify Initiative 로, 브라질 UFMG 와 인도 IIT 카라그푸르, 우간다 마케레레대를 포함해 4개 대륙 20개 대학과 1,600명이 넘는 현지 전문가가 참여해 현지의 뉘앙스를 담은 1만 5천 개의 멀티모달 데이터 포인트를 기여했어요. 세 사업 모두 언어를 밖에서 수집하는 대신 그 언어를 쓰는 공동체가 직접 기록하는 구조예요.

이 데이터가 어디에 얼마나 있는지를 보여 주는 도구도 함께 소개됐어요. Language Explorer 는 세계 최대 오픈소스 언어 데이터 저장소인 LinguaMeta 를 시각화하는 대화형 도구로, 음성 언어와 문자 언어, 수어를 합쳐 7,000개가 넘는 언어를 지도로 그려요. 발표문은 이 도구가 디자인 혁신으로 외부의 인정을 받았다고 적었어요. Google.org 가 지원하는 Centre for Digital Language Inclusion 과 AI Singapore 의 Project Aquarium 은 그 데이터와 통찰을 농민과 의료 종사자, 교사 같은 지역 구성원에게 다국어 도구로 전하는 역할을 맡고 있어요.

기술이 닿지 않는 조건도 글에 적혀 있어요. 마니카는 30억 명이 넘는 사람에게 안정적인 인터넷이 아직 닿지 않는다고 썼어요. 그 답으로 나온 것이 Gemini 에서 만든 경량 오픈 번역 모델 TranslateGemma 로, 55개 언어로 학습했고 기기 안에서 돌기 때문에 클라우드나 인터넷 연결 없이도 번역이 돼요. 메탈이 확인한 1월 15일 발표문에 따르면 TranslateGemma 는 Gemma 3 를 바탕으로 4B, 12B, 27B 세 크기로 나왔고, 12B 모델이 WMT24++ 벤치마크의 MetricX 기준으로 두 배 크기인 Gemma 3 27B 기준 모델을 앞섰어요. 메탈은 구글이 기기 안에서 도는 오프라인 음성 번역기를 내놓았다고 보도한 바 있어요.

기기가 스마트폰조차 아닌 곳도 있어요. 구글은 피처폰을 쓰는 수억 명을 위해 Viamo 의 음성 AI 비서 AVA 를 지원하고 있고, 이 서비스는 일반 피처폰에 Gemini 의 능력을 얹어요. 발표문에 따르면 Viamo 는 르완다에서 기존 자동응답 이용자를 대상으로 AVA 를 시범 운영했고, 이 서비스는 이미 Gemini 로 200만 건이 넘는 질문에 답했어요. 접근성 쪽에서는 50개 이상의 수어로 학습한 SL2T 가 Pixel 11 의 Gboard 와 Live Transcribe 에서 수어를 문자로 받아 적는 기능을 맡고, 미국 수어에서 영어로 먼저 시작해요. 구글은 이것이 수어에 의존하는 세계 7,000만 명을 향한 첫걸음이라고 적었어요. 메탈은 8월에 SL2T 공개를 보도한 바 있어요.

지명 발음 같은 작은 일도 같은 원칙 아래 놓여 있어요. 발표문은 길 안내 앱이 마을이나 거리 이름을 잘못 발음하면 혼란만 주는 게 아니라 그 장소의 문화적 유산을 지나치는 것이라고 썼고, 뉴질랜드에서는 마오리어 전문가들과 함께 구글 지도의 지명 발음을 고쳤다고 밝혔어요. 마니카는 20년 언어 AI 연구에서 얻은 교훈 하나를 이렇게 적었어요. "기술은 인간 표현의 폭을 좁혀서는 안 되고, 넓혀야 합니다." 마티아스는 X 쓰레드에서 "번역과 텍스트 처리만으로는 충분하지 않습니다. 시스템은 사람들이 실제 세계에서 다양한 문화적 뉘앙스를 가로질러 소통하는 방식을 반영해야 합니다" 라고 같은 말을 다른 문장으로 했어요.

규모는 마지막에 나와요. 구글의 언어 기술은 검색과 안드로이드, 크롬, 유튜브, 구글 플레이를 포함한 9개 플랫폼에서 50억 명이 넘는 사람을 잇고 있어요. 그런데 글은 규모가 이야기의 일부일 뿐이라고 스스로 말해요. 누가 어떤 언어로 데이터를 모으고 그 데이터를 누가 소유하느냐는 기술의 문제이면서 동시에 어떤 언어가 디지털 세계에서 존재하게 되느냐를 정하는 문제예요. 파트너가 데이터를 소유하고 공동체가 직접 녹음하는 WAXAL 의 구조와, 언어가 아니라 지역을 기준으로 삼은 Vaani 의 설계가 이 글에서 가장 오래 남을 대목이에요. 구글은 20년 만에 언어 AI 의 과제를 번역에서 대표성으로 옮겨 적었어요.