摘要
- 艾伦人工智能研究所8月27日在与普罗维登斯瑞典癌症研究所扩大合作的活动上,讨论了AI科研系统的局限性。
- AutoDiscovery能找出统计上令人意外的假设,但如果没有专家的临床知识把关,里面也会混入一些在生物学上根本说不通的结果。
- 一位学术期刊编辑分享了AI帮他发现自己过往论文中错误、进而促使论文撤回的案例,并表示科研需要发现与验证并重。
美国非营利AI研究机构艾伦人工智能研究所(Ai2)开发的科学发现辅助工具AutoDiscovery,经常能找出统计上令人意外的假设。问题在于,这些假设里常常混杂着一些在生物学上根本说不通的内容。这是Ai2上月27日在一场活动上分享的案例——当天活动是为了庆祝该研究所与普罗维登斯瑞典癌症研究所(Providence Swedish Cancer Institute)下属的保罗·G·艾伦研究中心扩大合作,这个案例也被拿出来说明,AI在协助科研时到底难在哪里。
说白了,普罗维登斯瑞典旗下的保罗·G·艾伦研究中心和艾伦人工智能研究所,名字都来自微软联合创始人保罗·艾伦。两家机构基于这层渊源,一直在推进将AI用于癌症研究的合作,这次活动正是为了宣布合作扩大而举办的。
Ai2为何在8月27日办这场活动
艾伦人工智能研究所是保罗·艾伦2014年在西雅图创立的非营利研究机构,以公开模型权重之外还公开训练数据和代码而闻名。该研究所打造的AutoDiscovery,已经能够代替完成文献检索、数据分析、代码编写乃至假设生成与验证的相当一部分工作。Ai2表示,他们已经把这个工具用在了普罗维登斯瑞典的实际癌症研究中,相关成果另有专文介绍。这次活动就以这段合作为切入点,通过演讲和小组讨论,梳理了当前AI科研系统还欠缺什么,其中有五个问题被反复提及。AutoDiscovery可以在体验页面上直接试用。
统计上惊艳,医学上却说不通的假设
研究员马朱姆德尔用"科学品味"(scientific taste)来形容这个问题——也就是区分真正有意思的结果和那些琐碎、早已为人所知或者可能性极低的结果的判断力。他指出,现在的AI科研系统还无法稳定地独立做出这种判断。AutoDiscovery的表现正是如此:它确实挑出了不少统计上很显眼的假设,但如果没有专家提供背景知识,里面就会混入一些在生物学或临床上根本站不住脚的内容。研究人员把自己的专业知识反馈进系统之后,结果的实用性才明显提升。这里的目标并不是把判断力整个交给AI,而是要找到更好的办法,让研究人员能持续把自己的专业积累、优先事项以及对问题理解的变化,不断输入到系统当中。
研究方向变了,AI跟得上吗
科学研究很少按照既定计划一路走到底。实验出现意料之外的结果、新论文推翻了原有认知、研究人员追加数据集或换用其他工具、又或者把智能体引向别的发现方向——这些都是家常便饭。马朱姆德尔认为,现在的智能体在这种长周期研究过程中依然很难被灵活操控。他指出,研究人员应该能在每次有新实验结果、新发现出现时,直接调整智能体的指令、上下文或工具,而不必从头重新训练。让知识保持最新和让行为可被操控,这两个问题并不是各自独立的,而是相互纠缠在一起的。
容易做的事,和难以验证的事
另一位研究员潘把AI辅助科学家的方式分成了两类。一类是"生产力收益":代替科学家完成那些他们本就会做、只是繁琐费时的事情,比如整理文献、结构化信息;另一类是"创造力收益":提出此前无人想到的机制或实验方案。生产力收益相对容易验证,但创造力收益要确认结果是否成立,还需要额外的分析和重复实验,评估起来要棘手得多。
在这一点上,学术期刊《Journal of Privacy and Confidentiality》的编辑弗拉克斯曼分享了一个真实案例。一位研究人员用AI系统重新核查自己过往论文中的算法,系统在其中一篇里发现了错误。这位研究人员亲自调查后认定AI是对的,于是向期刊申请撤回该论文。弗拉克斯曼评价道:"这不是检索,是研究——你得先发现,然后还得验证。"他的意思是,AI判断的价值不在于被直接采信,而在于它能揭示出值得深究的线索。
AI是放大器,不是平衡器
分析速度变快,并不会让设计糟糕的研究或劣质数据自动变好。研究员萨勒诺把AI比作"放大器"——它能让设计精良的实验、严谨的数据采集和站得住脚的因果推断变得更强大,但同样也会把薄弱的假设和错误的方法论放大得更明显。数据从哪里来、为什么要收集、谁被纳入谁被排除、表面上的相关性是否真的在科学和因果层面说得通——这些最基础的问题反而变得更重要了。因为AI能让人分析更多数据、检验更多假设,这些方法论上的缺陷所造成的影响也会随之被放大。
与实验室联系更紧密的AI
活动上提出的最具野心的构想,是让AI不再作为独立的"科学家"工作,而是与实验室的运作更紧密地结合在一起。研究员特拉瓦格利尼举了一个神经科学项目的例子:数百种细胞类型和数千个基因彼此关联,单凭一个人梳理文献根本追不过来。他设想智能体可以综合这些证据,为有潜力的假设排出优先级,未来甚至能直接与实验设备交互,让一个实验的结果自动引导下一个实验。潘则提出了另一条互补路径——打造更精细的生物学计算模型。他用"虚拟组织"这个概念,来描述连接单细胞模型与"虚拟病人"(即预测疾病进展或治疗反应)之间的桥梁。
编辑视角
这场活动有意思的地方在于,Ai2没有一味罗列自家工具的成功案例,而是从AutoDiscovery失败的地方讲起。他们并未掩饰工具曾输出统计上显著、生物学上却是胡说八道的假设这一经历,反而坦诚地公开出来——这恰恰是当下AI科研工具普遍撞上的那堵墙的真实写照。这股风向与最近几个月医疗、科学AI领域的一系列发布是同一条脉络:谷歌为AMIE新增影像与语音问诊能力,归根结底也是在试探AI究竟能在多大程度上逼近临床判断。
把这类规模的AI辅助科研工具真正接入实际项目,得出的结论往往大同小异——在文献整理、代码编写这类边界清晰的任务上,时间确实能省下不少;但一到判断"这个结果是否真的有意义"的关口,最终还是得靠人来拍板。如果国内的制药、生物科技企业或科研团队打算引进这类工具,与其一开始就把整个假设生成环节全权交出去,不如先把文献检索、数据整理这类容易验证的环节交给AI,同时在流程中明确加入领域专家把关筛选结果的环节,这样会稳妥得多。一旦把AI输出的结果原封不动地写进报告,萨勒诺所说的"放大器"效应就可能朝着糟糕的方向发挥作用。
未来几个月里,这类工具与实验室设备更直接对接的尝试预计会越来越多。会有研究机构不满足于停留在提出假设,而是尝试打通从实验设计到执行的闭环,而这类尝试能否成功,恐怕不取决于模型性能本身,而更取决于研究人员能否随时把系统的方向拉回来——这套"操控装置"做得好不好,才是关键。
评论