돌마3

돌마3는 앨런 AI 연구소가 만든 언어모델 올모3를 가르치는 데 쓴 교재 전체라고 보면 된다. 요리에 비유하면, 완성된 요리(모델)만 내놓는 게 아니라 어떤 재료를 얼마나 썼는지 장바구니 영수증까지 통째로 공개한 셈이다. 이 안에는 문학 작품, 일상 대화, 고객상담 글, 기술 문서 등 12억개가 넘는 문서가 카테고리별로 분류돼 담겨 있다.

대부분의 언어모델은 완성품만 공개하고 이 재료 목록은 감춘다. 그래서 어떤 글을 배워서 어떤 능력이 생겼는지 되짚어보기가 사실상 불가능하다. 반면 돌마3는 처음부터 끝까지 열려 있어서, 연구자들이 특정 문서를 빼보고 모델의 능력이 어떻게 바뀌는지 실험할 수 있다. 조지아공대 연구팀이 사람의 감정과 상황을 읽는 능력이 어떤 글에서 비롯되는지 추적할 수 있었던 것도 이 데이터가 통째로 공개돼 있었기 때문이다.

결과적으로 돌마3는 단순한 훈련 재료를 넘어, 언어모델의 능력이 어디서 오는지 확인할 수 있는 실험 도구 역할까지 하고 있다.

기사는 "앨런AI연구소가 만든 올모3(Olmo 3)은 학습 데이터인 돌마3(Dolma 3)과 중간 체크포인트, 평가 도구까지 전부 공개돼 있다"고 설명한다. 여기서 돌마3는 올모3라는 모델 자체가 아니라, 그 모델을 훈련시키는 데 쓰인 문서 데이터셋을 가리킨다는 점을 헷갈리면 안 된다. 모델과 그 모델이 배운 재료는 서로 다른 개념이다.