Dolma 3
艾伦人工智能研究所为训练Olmo 3模型而构建的、包含约12.6亿份文档的公开训练数据集
简单来说
可以把Dolma 3理解为艾伦人工智能研究所用来"教"语言模型Olmo 3的整套教材。打个做菜的比方:他们没有只端出成品菜(模型),而是把购物小票——用了什么食材、用了多少——也一并公开了。这份数据集里收录了超过12亿份文档,按类别分类,内容涵盖文学作品、日常对话、客服文本、技术文档等。
大多数语言模型只公开成品,却把这份"食材清单"藏起来,这使得人们几乎不可能反过来追溯模型是学了哪些文本才获得了哪些能力。而Dolma 3从头到尾完全公开,研究人员因此可以尝试移除特定文档,观察模型能力会发生怎样的变化。乔治亚理工学院的研究团队之所以能够追踪到模型理解人类情绪和情境的能力究竟源自哪些文本,正是因为这份数据被完整公开。
最终,Dolma 3的意义已经超出了单纯的训练素材,它同时也成了一种实验工具,可以用来确认语言模型的能力究竟从何而来。
在报道中是这样出现的
文章提到:"艾伦人工智能研究所打造的Olmo 3,其训练数据Dolma 3、中间检查点以及评估工具都已全部公开。"这里需要注意,Dolma 3指的并不是Olmo 3模型本身,而是用来训练该模型的文档数据集。模型和它所学习的素材是两个不同的概念。