NVIDIA发布自动驾驶用340亿参数推理模型

NVIDIA发布了面向自动驾驶汽车（AV）开发的开源推理型视觉-语言-动作（VLA）模型“Alpamayo 2 Super”。该模型由320亿参数规模的Cosmos 3 Super Reasoner与20亿参数、基于扩散的Action Expert组成，总计340亿参数，并通过强化学习进行了后续训练。

面向统一工作流

以往的自动驾驶开发中，轨迹生成、意图预测、场景理解和数据标注一直由各自独立的模型分别处理。Alpamayo 2 Super将这些功能整合进一个基础模型中，支持最多7个摄像头的360度感知，同时输出未来轨迹、Chain-of-Causation推理轨迹、高层级元动作、包含2D定位的场景问答，以及推理自动标签。

NVIDIA表示，该模型可在离线策略教师、评估评审、数据引擎，以及新任务定制的起点等开发工作流的多个环节中作为通用基础使用。

基准测试结果

据公开资料显示，该模型在轨迹预测（minADE_6）上取得0.911米，AV推理得分0.433，LingoQA得分79.2，元动作IoU方面横向为74.59、纵向为61.91、按车道为73.55，视觉问答答案相似度为0.652，2D定位IoU为0.71，闭环AlpaSim得分为1.50（±0.13），均优于现有模型的表现。