
图片:METAL
摘要
- 阿里巴巴达摩院将腹部CT视觉语言模型RADAR发表于Science,并公开了代码与权重。
- 该模型以424,911例增强腹部CT检查在无人工标注的情况下训练,在39,160例的内部队列中取得0.913的AUC。
- 在26名医生参与的阅片研究中超过了大多数参与者,配合使用时诊断敏感度提高约10%。
阿里巴巴达摩院公开了可从一次腹部CT影像中读出146项征象的视觉语言模型RADAR。论文发表于国际学术期刊Science,代码以Apache 2.0许可上传至GitHub,训练好的权重以CC BY-NC-SA 4.0上传至Hugging Face。METAL确认的GitHub仓库引用信息中标注为Science第393卷第6817期eaec6129,作者共40人。
腹部CT属于判读较为棘手的一类。Science编辑Yevgeniya Nusinovich在编辑摘要中就腹部CT写道,它是"由于腹部解剖结构数量众多,且临床上重要的征象可能表现为容易被忽略的细微异常,因而更难评估的影像之一"。此前出现的AI依赖监督学习和人工标注,训练耗费大,因而能处理的疾病范围狭窄。
RADAR选择的路径是医院早已积累的判读报告。研究人员用424,911例增强腹部CT检查和按解剖单位配对的1,500万组图文对训练模型,让其直接从临床判读报告中学习,未另行添加人工标注。该数据集被命名为RAD-CT。其做法是将CT体积按解剖单位拆分后与报告中对应的句子相匹配,而判读报告表述各异的问题则以自适应对比学习处理。
性能以多个队列中测得的数值呈现。针对18个解剖结构与146项影像征象,在实际临床中收集的39,160例内部队列中取得AUC 0.913,95%置信区间为0.911至0.915。在外部8家机构中介于0.874至0.912之间。AUC是以1.0表示完全判别的指标。
在经病理确诊的癌症中数值更高。针对肝癌、胰腺癌、胃癌、结直肠癌四种的评估取得0.891至0.984。在未用于训练的其他人群队列中,未经微调即达到0.883;在最初被排除在训练之外的急腹症中也保持0.904。在未曾学习的情形下性能下降多少,才是自称通用的模型真正的试金石。
与人比较的部分是这篇论文的核心。在来自14家机构的26名放射科医生参与的阅片研究中,RADAR超过了大多数参与者;医生配合使用RADAR时,诊断敏感度提高约10%。据报道,其平均准确度超过了26人中的23人,每例判读所需时间减少超过30%。论文摘要写道,这项工作"表明通用AI在一般且复杂的放射学任务中可与人类专家相当"。
该模型以注意力图标出作为判断依据的区域。这意味着它依据何处作出判断会留在屏幕上,论文将这一功能列为在临床实践中具有相当价值的特点。据报道,研究团队认为这一训练方式可扩展至其他影像方式,并主张RADAR是"世界首个专家级通用医学影像模型"。包括浙江大学附属医院在内的多家机构参与了该研究。
在数字之外,这项发布触及的是判读这一劳动的配置方式。放射科医生所做的不仅是准确读好一张片,还要在既定时间内处理积压的清单,而专业能力大体集中在大医院。提升敏感度、缩短判读时间的工具,会先于单次判读的质量而撼动那种配置。资历尚浅的医生借助该工具能达到何种水平,将决定这一模型在医院内部成为什么。
适用范围正是论文所验证的范围。RADAR学习并接受评估的是增强腹部CT这一种拍摄方式,性能数值取自中国临床机构收集的数据。参与外部验证的8家机构也在同一个国家之内。据报道,该模型未经过美国食品药品监督管理局的医疗器械软件审查,而权重所附的CC BY-NC-SA 4.0许可允许研究用途,但另行限制商业用途。
公开方式也值得记录。代码建立在LAVIS、nnU-Net、MONAI和3D-ResNets-PyTorch之上,以Apache 2.0发布。仓库中还包含以外部测试集MERLIN测量性能的流程以及训练与预处理文档,代码另在Zenodo上留存。权重与辅助文件可从Hugging Face的radar-generalist账号下载。
阿里巴巴开放模型并非首次。METAL曾报道阿里巴巴Qwen公开了实时同声传译模型。据报道,达摩院在今年4月也公开了可从CT中发现早期结直肠癌的Coca模型,此前还开发过寻找胰腺癌、胃癌和主动脉夹层的筛查工具。
这篇论文立起的是一个基准点。在过去把多个各自寻找一种疾病的工具拼接使用的位置上,如今放上了一个在一次拍摄中同时读出146项、并附有通过审查的数值的模型。剩下的问题不是准确度而是程序。即使下载的成本降为零,该模型走到患者面前之前必须经过的验证与批准依然原封不动。
信息来源
- Science — An expert-level generalist AI for abdominal CT diagnosis →
- Alibaba DAMO Academy (GitHub) — RADAR: An Expert-Level Generalist AI for Abdominal CT Diagnosis →
- South China Morning Post — Alibaba open-sources medical AI model that can detect cancer and nearly 150 conditions →
- Tech Times — Alibaba Radiology AI Outperforms 23 of 26 Radiologists Across 146 Diseases in Science →





评论