infini-gram
一种搜索引擎,能瞬间统计出某个短语在海量文本中出现的次数。
简单来说
infini-gram 事先为海量文本建立索引,让你能瞬间查到某句话或某个短语在其中出现了多少次。
打个比方,这就像扫描整座图书馆后,在搜索框里输入一句话,立刻就能知道这句话出现在哪本书、第几页、出现了几次。不同的是,这里的"图书馆"不只是印刷书籍,而是散布在互联网各处的海量文本,而且从简短的词语到很长的句子都能查找,没有长度限制。
艾伦人工智能研究所(Ai2)开发了这一工具,并用它来检验自家发布的语言模型(能够生成文本的AI程序)的回答是否直接照搬了训练数据中的原文。最近,它还被用于研究AI撰写的书籍与已出版作品中罕见表达的重合程度。
在报道中是这样出现的
文章中常见这样的表述:"研究团队使用Ai2的infini-gram引擎,考察了AI生成文本与现有出版物中罕见表达之间的重合情况。"需要注意的是,infini-gram本身并不是AI检测器。判断一段文字是否由AI撰写要靠另外的检测工具完成,infini-gram的作用是追溯被标记出的表达究竟源自何处。
亲手试一试
- 打开infini-gram的公开网页演示页面。
- 将你想查询的句子或短语直接粘贴到搜索框中。
- 查看结果,了解该表达在参考语料库(已建立索引的文本集合)中出现的次数和位置。 比起简短的词语,输入像"发酵的酸味"这样特别的短语,得到的结果会更有意思。