METAL LAB

AutoResearch: Insight In, Hallucination Out

arXiv:2608.179062026-08-22

一个在采信自己得出的想法和实验结果前先自我核查的AI科研系统

AutoResearch是一个两阶段AI系统,先用真实信号和积累的领域知识为新研究想法找到依据,再执行实验并经过独立审查才接受结论。研究者在图文检索、矩阵乘法速度实验和三个Kaggle任务上测试了它,结果显示它提升了基准分数、发现并纠正了自己的测量错误,并正确判断了何时扩大、修改或终止研究方向。作者报告称,在与其他四个自主科研系统的对比审计中,它出现的未经证实或错误结论数量更少。

METAL LAB 解读图

AutoResearch的两阶段证据核查流程

证据状态已报告实测结果

  1. 信号 + 领域知识来自论文、论坛、社交媒体的外部研究信号与积累的领域知识库相结合,构成不断演进的研究背景。
  2. 想法生成(Idea Forge)三个AI模型独立提出把信号与目标领域联系起来的假设,三名审查者交叉审核,至少需两次正面评审并通过时效性与领域一致性检查,计划才能确定。
  3. 想法执行把批准的计划拆分成有依赖关系的实验任务并执行,随着真实结果不断产生进行反复诊断。
  4. 独立证据审查一个不了解结果产生过程推理历史的评判代理会检查证据是否真正支持结论,才能予以采纳。
  5. 基于证据的决策依据经核实的证据,系统决定继续、修改、扩大规模还是终止该研究方向,并将负面结果作为有效结论保留下来。
这是 METAL LAB 制作的解读图，并非论文作者提供的原图。

他们做了什么

  1. AutoResearch把自动化科研拆成两个阶段:想法生成(把外部研究信号和积累的领域知识转化为可检验的假设)和想法执行(把该假设转化为经过验证的实验证据)。
  2. 在想法生成阶段,三个不同的AI模型各自独立提出假设,另外三个审查者交叉审核,一个想法至少要获得两个正面评审,并通过时效性和领域一致性检查才能进入实验计划。
  3. 在想法执行阶段,一个不了解结果是如何产生的独立'评判'代理会重新审查证据后才接受结论,这样产生结果的那套推理过程就不能自己给自己盖章通过。
  4. 测试场景包括跨模态图文检索(RSICD数据集)、CPU/GPU矩阵乘法速度实验,以及三个Kaggle机器学习任务(Titanic、House Prices、Disaster Tweets)。
Figure 2: Evaluation on RSICD. (a) The Idea Forge-generated method is introduced stage by stage under a fixed evaluation protocol, improving mR from 32.84 to 34.69 (+1.85). (b) AutoResearch records 5 audit-confirmed issue events, the fewest among the autonomous research systems compared.
Figure 2: Evaluation on RSICD. (a) The Idea Forge-generated method is introduced stage by stage under a fixed evaluation protocol, improving mR from 32.84 to 34.69 (+1.85). (b) AutoResearch records 5 audit-confirmed issue events, the fewest among the autonomous research systems compared.

研究结果

  • 在RSICD跨模态检索基准上,生成的想法分三个阶段依次引入,把平均召回率从32.84提升到34.69(提升1.85),每个阶段都带来了可测量的改进(33.89、34.04、34.69)。
  • 在同一RSICD任务中,AutoResearch记录了5次审计确认的问题事件,少于R&D-Agent的11次、AutoResearchClaw的15次、Agent Laboratory的18次和The AI Scientist的27次。
  • 在1024×1024 FP32矩阵乘法实验中,AutoResearch拒绝了一个不稳定的初步结果,查出问题源于把多线程BLAS下的CPU时间误当作实际经过时间(wall-clock time),纠正后确立了可复现的3.4毫秒基准(626 GFLOPS,约为200毫秒要求上限速度的58倍);其问题事件数为4次,少于四个对比系统的5、5、7、8次。
  • 在三个Kaggle任务中,Titanic的五折交叉验证准确率从0.822升至0.843,超过0.830的目标,支持进一步扩大规模;House Prices的RMSLE从0.2008降至0.1251,仍未达到0.120的目标,促使继续修改而非直接采纳当前方案;Disaster Tweets的F1从0.763升至0.805,但远低于0.835的目标,系统判定进展已趋于平缓并终止该方向,同时保留这一负面结果。
  • 在一台多GPU服务器上连续运行一周,系统生成了约2584个候选想法,经过筛选后约355个进入实验队列,实际执行了约22个实验,验证了约14个想法。
Figure 3: Validation of a 1024×1024 FP32 matrix-multiplication experiment. (a) AutoResearch rejects an unstable pilot, diagnoses a timing error, and establishes a corrected 3.4​ms baseline after rerunning the experiment. (b) AutoResearch records 4 audit-confirmed issue events, the fewest among the five autonomous research systems compared.
Figure 3: Validation of a 1024×1024 FP32 matrix-multiplication experiment. (a) AutoResearch rejects an unstable pilot, diagnoses a timing error, and establishes a corrected 3.4​ms baseline after rerunning the experiment. (b) AutoResearch records 4 audit-confirmed issue events, the fewest among the five autonomous research systems compared.

可应用场景

  • 需要从论文、论坛、社交媒体等快速变化的外部信息中自动生成并预先筛选实验想法、再投入计算资源的科研流程。
  • 要求结果必须通过稳定性和误差检验、而不是仅凭一次有利结果就被采信的系统优化或基准测试工作。
  • 希望在机器学习竞赛或项目的迭代过程中,根据证据自动判断是扩大规模、继续修改还是放弃某个建模方向的工作流。
  • 需要为自主或半自主实验建立可审计的产出记录,以便追溯和独立确认错误的场景。
Figure 4: Experimental progress and evidence-conditioned decisions across three Kaggle tasks. Titanic exceeds its target and supports scale-up, House Prices approaches its target and motivates further revision, while Disaster Tweets exhibits diminishing gains below its target and is terminated with the negative result retained.
Figure 4: Experimental progress and evidence-conditioned decisions across three Kaggle tasks. Titanic exceeds its target and supports scale-up, House Prices approaches its target and motivates further revision, while Disaster Tweets exhibits diminishing gains below its target and is terminated with the negative result retained.

局限与待验证事项

  • 结果来自特定的三类场景(一个检索基准、一个矩阵乘法任务、三个Kaggle竞赛),在其他领域或更大规模研究问题上的表现尚未展示。
  • 与其他自主科研系统(The AI Scientist、Agent Laboratory、R&D-Agent、AutoResearchClaw)的对比是在论文自定义的相同场景内进行的,并非独立的第三方基准测试。
  • 系统生成想法的质量仍取决于外部信号的覆盖范围和积累的领域知识库的质量,作者也将此列为当前的限制。
  • 作者提出将各研究周期验证过的证据反馈回知识库是下一步计划,尚未在本文中实现和验证。
  • 论文没有说明审计过程本身是如何被验证的,也没有说明不同人工或模型审计者统计'问题事件'的一致性如何。

为什么重要

自主科研代理现在已经能独立完成很长的研究流程,但速度和自动化本身并不能保证结果在科学上真正靠得住。这项工作展示了一种具体做法,通过强制想法和结论都要经过独立证据核查、而不是仅凭产生它们的代理自认为成功就被采信,来维持AI科研流程的可信度。

本文术语

  • 想法生成 / 想法执行 · AutoResearch的两个阶段,分别是建立有依据的假设,以及通过实验验证该假设
  • 平均召回率(mean Recall, mR) · 图文检索准确度指标,对图到文、文到图两个检索方向取平均
  • 审计确认的问题事件 · 研究过程中出现的错误或不可靠结论,由人工核查实际产出物加以确认,而非仅凭系统自身的报告
  • 变异系数 · 衡量对同一事物重复测量时数值波动程度的指标,这里用于检验计时结果是否稳定
  • 蜂群式协作 · 多个AI代理并行探索不同方案、共享结果,并对关键结论进行独立核查的协作方式

论文原文摘要（英文）

Autonomous research systems are increasingly capable of executing long research workflows, yet automation alone does not ensure that the resulting process remains scientifically grounded. We introduce AutoResearch, a two-stage system that connects Idea Generation with Idea Execution to address both how research ideas are formed and how they are reliably established through experimentation. In Idea Generation, AutoResearch continuously integrates emerging research signals with accumulated domain knowledge, identifies transferable mechanistic insights, and uses multi-model generation and cross-review to produce grounded, testable research plans. In Idea Execution, coordinated agents decompose these plans into experiments, iteratively implement and diagnose them, and employ independent evidence-based review before accepting research conclusions. Across representative settings in cross-modal retrieval, systems optimization, and benchmark-driven machine learning, AutoResearch turns generated ideas into measurable progress, detects and corrects unreliable experimental results, and makes evidence-conditioned decisions to continue, revise, or terminate research directions. For example, on RSICD benchmark, an AutoResearch-generated idea improves mean Recall from 32.84 to 34.69, while recording only 5 audit-confirmed issue events compared with 11-27 for other autonomous research systems. These results demonstrate a research process in which meaningful insight is grounded before experimentation and conclusions are grounded before acceptance: Insight In, Hallucination Out.

作者 · Yiming Ren

在 arXiv 阅读

最新论文

全部论文 →

METAL LAB 最新报道

图片来源： Yiming Ren et al., arXiv:2608.17906, arxiv-nonexclusive