摘要
- 总部设在布鲁克林一家Popeyes快餐店楼上、仅24人规模的创业公司Pangram,今年1月对小说《Shy Girl》给出78%的AI判定,导致阿歌特出版社(Hachette)撤销该书出版计划
- 类似案例接连出现:《纽约时报》"摩登爱情"专栏文章和联邦作家奖获奖短篇小说均被判定为100%,而一份价值240万美元合同的惊悚小说也被判为97%
- 外界指出Pangram所用的原稿来源于盗版网站,而其研究合作者与创始人关系密切、长期获得API额度支持,这些事实进一步加剧了对其可信度的质疑
从Popeyes楼上办公室掀起的风波
一家仅有24名员工的创业公司给出的一个评分,就击垮了一份大型出版社的图书合同。据Wired报道,这家名为Pangram的公司,办公室就设在布鲁克林一家Popeyes快餐店楼上,迄今累计融资仅1300万美元——有人算过,这大约只相当于OpenAI融资额的0.0072%。规模虽小,但今年年初还几乎无人知晓的这家公司,如今却频频出现在文学界的一桩桩风波中。
Pangram是什么
Pangram提供的是一种判断文章中AI参与程度的概率服务。用户输入文本,系统就会给出一个百分比,判断其中有多少内容是AI生成的——而讽刺的是,做出这个判断的过程本身也用到了AI。创始人麦克斯·斯佩罗(Max Spero,30岁)和布拉德利·埃米(Bradley Emi)在斯坦福读书时相识。斯佩罗曾在Google开发过试图取代第三方Cookie的技术FLoC,但该项目因隐私争议在2022年被放弃,他随后转到自动驾驶公司Nuro工作。埃米则曾在特斯拉和AI生物科技公司Absci任职。ChatGPT问世的2022年之后,两人于2023年创办了名为Checkfor.ai的公司,次年改名为Pangram。当时市场上已有Originality.ai、GPTZero、Turnitin等至少十几家竞争对手,但Pangram凭借早期独立测试中的优异表现脱颖而出,跻身领先地位。
搅动出版业的判定结果
让Pangram一举成名的事件,是今年1月针对自出版小说《Shy Girl》的判定。当时Reddit和YouTube上流传作者米娅·巴拉德(Mia Ballard)使用AI写作的传言,斯佩罗将原稿输入Pangram,结果得出78%为AI生成,并将结果发到了X上。巴拉德对此予以否认,但阿歌特出版社最终还是撤销了出版计划。斯佩罗后来声称自己的角色被夸大了,但经查实,实际上是Pangram的一名销售人员把这件事告诉了一位出版业分析师,而这位分析师随后将此事告知了《纽约时报》,才促成了后来的报道。
类似的指控接连出现。《纽约时报》一篇摩登爱情专栏文章被怀疑由AI撰写,Pangram给出了100%的判定;联邦作家奖(Commonwealth Short Story Prize)的获奖作品也被判为100%;小说《Daggermouth》被判为60%;而以240万美元售出版权的惊悚小说《Call Me, I'll Hide the Body》则拿到97%。7月底,Substack宣布将Pangram整合进自家平台,以便读者能快速查验文章中AI的参与程度。
值得一提的是,METAL LAB去年8月报道过的两篇文章都与这次事件有所关联。追踪AI写的畅销书中抄袭痕迹的那项研究,正是石溪大学(Stony Brook University)图欣·查克拉巴蒂(Tuhin Chakrabarty)教授团队的成果,而他在这次事件中,又以Pangram创始人的密友、长期获得API额度支持的身份重新出现。另外,曾把ChatGPT文风偏向AI感的原因归结为训练后安全护栏的布拉德利·埃米,正是Pangram的联合创始人兼CTO。
| 作品 | Pangram判定 | 后续情况 |
|---|---|---|
| 《Shy Girl》(米娅·巴拉德) | 78% | 阿歌特出版社撤销出版合同 |
| 《纽约时报》摩登爱情专栏 | 100% | - |
| 联邦作家奖获奖作品 | 100% | 重新审查2012年以来所有获奖作品,追加指认3件 |
| 《Daggermouth》 | 60% | - |
| 《Call Me, I'll Hide the Body》(240万美元合同) | 97% | - |
未经核实的依据,来自盗版网站的原稿
调查项目The Drey Dossier指出,斯佩罗拿到手的巴拉德原稿副本,其实来自盗版网站。斯佩罗在接受Wired采访时承认,自己并未通读全文就直接把原稿输入了Pangram。此后Pangram的争议依然不断:联邦作家奖获奖作品得到高分之后,该公司对2012年以来所有获奖作品进行了全面分析,又追加指认三件疑似AI作品。
检测方式与数据来源
Pangram的做法是让大语言模型模仿人类写作,借此学习AI写作的特征模式,公司将这种方法称为"合成镜像"(synthetic mirroring)。此外还配合"硬负样本挖掘"(hard negative mining):找出误判案例,再次做合成镜像处理后加入训练集。斯佩罗强调,公司的数据集都是通过正规授权获得的,而这也是该产品能在远少于ChatGPT或Claude所用数据量的情况下正常运作的原因之一。Pangram的服务也覆盖教育、法律、招聘等领域,但在训练数据中占比最大的,仍是创意写作类文本。
可信度争议与利益冲突
批评者主要提出两点质疑:一是误判可能造成的伤害,二是机器学习模型本身内含的偏见。出版业专家简·弗里德曼(Jane Friedman)表示:"对AI检测软件的反感和愤怒情绪相当强烈。"爱丁堡内皮尔大学的萨姆·伊灵沃斯(Sam Illingworth)教授则指出,检测器本身对特定群体存在偏向。事实上,一项研究发现,非英语母语作者的文章被误判为AI生成的比例更高,据悉神经多样性作者群体也一直主张自己的写作风格更容易被误判。而这次争议核心的三部作品——《Shy Girl》、《Daggermouth》、《Call Me, I'll Hide the Body》——有一个共同点:全部出自有色人种作者之手。
支撑《Daggermouth》被指控的那项研究,同样值得留意。石溪大学的图欣·查克拉巴蒂教授用Pangram分析了14419部自出版小说,在一篇工作论文中指出,近20%的作品获得了较高的AI判定分数。查克拉巴蒂与斯佩罗关系密切,一直持续获得Pangram提供的API额度支持,同时他还与文学经纪公司Aevitas联合负责人托德·舒斯特(Todd Shuster)是恋人关系。舒斯特本人也为Pangram提供咨询服务,并使用Pangram来核验原稿和出版提案。
出版社的谨慎回应
五大出版集团中,西蒙与舒斯特(Simon & Schuster)和哈珀柯林斯(HarperCollins)拒绝置评,阿歌特和麦克米伦(Macmillan)未作回应。企鹅兰登书屋表示,编辑可以将经过认可的AI检测工具作为判断是否为AI生成内容的辅助手段之一,但不能作为决定性依据。据Gotham Ghostwriters去年对1481名作家进行的调查显示,61%的人表示自己使用过AI工具,7%的人表示曾发表过AI生成的文本。美国文学经纪人协会主席雷吉娜·布鲁克斯(Regina Brooks)表示,行业内应当对不平等问题给予更多关注。
编辑视角
Pangram之所以陷入争议核心,原因不在于技术本身有多特殊,而在于这项技术所处的位置。出版合同这种关乎作者个人生计和职业前途的重大决定,如今几乎完全交由一个概率分数来拍板。斯佩罗在未经核实的情况下就把巴拉德的原稿输入判定系统这件事,格外令人痛心——它说明,即便生成概率分数的流程如此粗糙,这个分数带来的后果却是即时且难以挽回的。
对于长期关注这类问题的人来说,这里有一个熟悉的模式:一项新兴验证技术刚出现时,往往是话题热度先于准确性,率先建立起人们的信任。查重工具Turnitin刚推出时、拼写检查刚问世时,都曾经历过类似的"过度信任期"。Pangram现在正处于这个阶段的正中央,而更令人不安的是,像与查克拉巴蒂教授之间的合作关系那样,验证方和研究方角色混杂在一起,这种信任的建立方式本身就充满隐患。
国内的出版社或经纪机构可以从这个案例中得出一个明确的教训:不应把AI检测分数当作决定是否签约的唯一依据,而应将其仅仅视为原稿审核流程中的一环。企鹅兰登书屋所表明的原则——检测工具并非决定性因素,只是更大编辑流程中的一个组成部分——在目前这个阶段可以说是最稳妥的做法。反过来,对个人作者而言,平日保留好自己的初稿、修改记录和创作笔记,可能是应对这类判定的唯一防御手段。
未来几个月内,类似的风波很可能还会再次爆发。随着与Substack的整合,Pangram的判定范围已扩大到个人创作者领域,斯佩罗本人也曾公开表示,若有人能证明存在误判就会给予奖金,但截至目前尚无人领取。这份沉默究竟是在证明Pangram的判定准确无误,还是说明作者们根本不信任反驳的渠道,答案恐怕要等到下一起事件爆发时才能揭晓。
评论