摘要
- 开发自动化初创公司Factory公开了基于NVIDIA DGX Spark和Nemotron 3.5 Lightning模型的本地运行方案
- 据介绍,对安全性要求较高的组织无需将源代码和执行环境外移,即可运营自己的"软件工厂"
- Nemotron 3.5 Lightning是一款开源模型,发布当天就获得了vLLM等平台的支持,可从DGX Spark到大型GPU广泛运行
代码不离开公司
软件开发自动化初创公司Factory于11日公开了在NVIDIA DGX Spark上运行自家开发智能体的方式。该公司通过X(原Twitter)官方账号表示："对安全性敏感的组织应当能够在不将源代码或执行环境移出本地的情况下运营软件工厂。"据介绍,该方案提供了一条可以在本地完成从问题识别到代码修改全过程的路径。
Factory是一家开发智能体型开发工具的公司,其工具可以自动完成理解代码库、调查问题直至进行修改的一系列工作。此次发布中引人注目的是基础设施组合——将NVIDIA的小型AI超级计算机DGX Spark与同一家公司推出的开源模型Nemotron 3.5 Lightning搭配在一起。
DGX Spark为何登场
DGX Spark是一款可以放在桌面上的AI专用计算机,面向那些希望在没有大型数据中心GPU的情况下于本地运行大语言模型的组织。此前8日,NVIDIA AI官方账号曾介绍过一份将多台DGX Spark连接起来运行本地AI的指南,这表明单个企业或团队自建AI基础设施的需求正在增长。这是一种不再将代码发往云端、而是在办公室内部设备上完成处理的趋势。
Factory此次的组合正是这一趋势的实际案例。在金融、国防、医疗健康等因监管或安全政策而限制代码外传的行业,很难使用基于云的AI编码工具。运行在DGX Spark上的本地工厂,可以为这类组织提供切实可行的替代方案。
Nemotron 3.5 Lightning为何适配这一组合
Factory选择的模型是NVIDIA推出的开源模型Nemotron 3.5 Lightning。据悉,该模型采用混合MoE(专家混合)架构,总参数量为300亿,但实际推理时使用的激活参数约为30亿。由于不需要激活全部参数、只调用所需部分,因此在本地硬件上的负担相对较小。
据悉,该模型于10日获得了vLLM发布当天(Day-0)的支持,并借助多token预测以及DFlash、DSpark等推测解码技术提升了智能体任务的处理速度。其支持的硬件范围也很广,从DGX Spark到Jetson、H100、B300/GB300均可运行。据悉该模型最多支持100万token的上下文长度,这在处理大型代码库整体输入的场景中也具有优势。
表格看构成要素
| 构成要素 | 作用 |
|---|---|
| Factory | 自动完成代码调查与修改的智能体型开发工具 |
| NVIDIA DGX Spark | 用于本地运行大型模型的小型AI计算机 |
| Nemotron 3.5 Lightning | 混合MoE开源模型,激活参数30亿 |
vLLM为Nemotron 3.5 Lightning提供当日支持…搭载三种推理加速技术
这意味着什么变化
迄今为止,代码自动化工具大多需要经过云端API,这意味着源代码不得不在外部服务器之间往来传输。Factory此次的发布尝试打破这一前提。此前因安全政策而无法引入AI编码工具的组织,现在只需一台DGX Spark和一款开源模型,就有了在内部处理同类工作的余地。不过,仅凭此次发布还难以判断其性能能接近云端大模型到何种程度,以及实际引入成本几何。可以明确的是,围绕本地AI基础设施的竞争正在硬件和开源模型两条战线上同时展开。
评论