Ai2, 허깅페이스와 협력 확대…저장용량 3배로

저장공간이 3배로 늘어난 이유

앨런AI연구소(Ai2)가 허깅페이스(Hugging Face)와의 협력을 확대하면서, 허브 상의 저장용량을 기존보다 약 3배 늘려 2페타바이트 수준으로 확보했다. 2페타바이트는 일반 소비자용 하드디스크 수천 개를 합친 규모로, 대형 언어모델의 학습 체크포인트와 원본 데이터셋을 통째로 올려도 여유가 남는 크기다. 여기에 더해 허브의 표준 다운로드 속도 제한도 적용받지 않게 됐다. 그동안 대형 데이터셋이나 여러 체크포인트로 구성된 모델은 다운로드 속도 제한 탓에 받는 데 시간이 걸렸는데, 이제는 최대 속도로 내려받을 수 있다.

이번 조치의 배경에는 숫자로 확인되는 수요가 있다. Ai2의 모델과 데이터셋은 2024년 봄 이후 허깅페이스 허브에서 5000만 회 넘게 다운로드된 것으로 알려졌다. 허깅페이스가 공개한 자체 히트맵 기준으로도 Ai2는 연간 신규 아티팩트 게시량에서 자사가 추적하는 기관 중 가장 많은 것으로 나타났다.

Ai2는 어떤 곳인가

Ai2는 마이크로소프트 공동창업자 폴 앨런이 설립한 비영리 AI 연구소로, 모델 가중치만 공개하는 여느 '오픈소스' 프로젝트와 달리 학습 스크립트, 중간 체크포인트, 데이터 조합 비율, 평가 결과, 실패한 실험(ablation)까지 전 과정을 공개하는 '완전 개방형(fully open)' 방식을 표방해왔다. 이런 접근은 다른 연구자가 모델이 실제로 어떻게 만들어졌는지 재현하고 검증할 수 있게 한다는 점에서, 가중치만 내놓는 개방형 모델과 구분된다.

무엇을 공개해왔나

Ai2가 허깅페이스에 올려둔 자료는 언어모델 계열인 Olmo와 후속 학습 모델 Tülu 3, 멀티모달 모델 Molmo에서부터 지구관측용 OlmoEarth, 과학 연구 에이전트 평가 도구인 AstaBench까지 걸쳐 있다.

프로젝트	성격
Olmo	완전 개방형 언어모델
Tülu 3	후속 학습(post-training) 모델
Molmo	멀티모달 모델
OlmoEarth	지구관측 AI
AstaBench	과학 연구 에이전트 평가 벤치마크
olmOCR-Bench	문서 인식(OCR) 벤치마크

이 가운데 olmOCR-Bench는 문서 안의 다단 레이아웃, 표, 손글씨, 캡션이 달린 차트를 모델이 얼마나 잘 읽어내는지 평가하는 벤치마크다. 허깅페이스 팀은 이를 자사의 기본 OCR 벤치마크로 채택하고, 허브의 리더보드 기능에 연동해 누구나 한 곳에서 문서 이해 모델 성능을 비교할 수 있게 했다.

Ai2의 피터 클라크(Peter Clark) 임시 CEO는 "모델 자체뿐 아니라 그 이전 과정까지 전부 공개하는 것이 Ai2가 일하는 핵심 방식"이라고 말했다. 이런 발언은 이번 협력이 단순한 인프라 지원을 넘어, 개방형 연구 방식을 지키기 위한 실무적 조치라는 점을 보여준다.

허깅페이스가 얻는 것

허깅페이스는 이번 확대를 통해 Ai2의 로봇용 시각-언어-행동 모델 MolmoAct부터 기후 대응용 OlmoEarth까지, 자사 플랫폼이 다양한 분야의 개방형 연구를 뒷받침하는 인프라로 자리잡았다는 점을 강조하고 있다. 허깅페이스는 오픈소스 모델·데이터셋을 공유하는 커뮤니티 허브로, AI 연구자와 개발자들이 모델을 내려받고 배포하는 사실상의 표준 플랫폼 역할을 해왔다. 대형 연구소의 아티팩트가 몰릴수록 허브의 존재감도 커지는 구조여서, 이번 협력은 양쪽 모두에 이해관계가 맞아떨어진 결정으로 볼 수 있다.

그래서 무엇이 달라지나

연구자와 개발자 입장에서 체감할 변화는 명확하다. 그동안 대형 체크포인트나 방대한 학습 데이터를 받으려면 속도 제한 때문에 시간이 걸렸지만, 이제는 그런 병목 없이 Ai2가 공개한 자료 전체에 접근할 수 있다. 모델 가중치 하나만 던져주는 개방형 프로젝트가 아니라, 학습 전 과정을 통째로 들여다볼 수 있는 자료가 늘어난다는 뜻이기도 하다. 최근 NVIDIA의 오픈 월드모델 Cosmos 3나 Cohere의 오픈소스 전략 발언에서도 드러나듯, 대형 AI 기업들이 저마다 다른 방식으로 '개방'을 정의하며 경쟁하는 흐름 속에서 Ai2의 이번 확장은 개방성의 기준을 인프라 차원에서 뒷받침하는 사례로 볼 수 있다.