摘要
- Unsloth AI发布了同时支持模型运行和训练的开源桌面应用"Unsloth Desktop"。
- 该应用支持macOS、Windows、Linux系统，兼容MLX、GGUF、扩散图像·视频、音频模型。
- 可将Claude Code和Codex连接至本地LLM，该公司宣称工具调用准确率提高了50%。
微调走出了终端
到目前为止，要用自己的数据训练开放模型，都得搭建Python环境、匹配CUDA版本、按顺序运行notebook单元格。模型运行变简单了，但训练依然是开发者的领域。Unsloth AI于8月11日发布的Unsloth Desktop，把这两件事都装进了同一个窗口里。该公司将这款应用称为"首个可在本地运行和训练模型的桌面应用"(Unsloth AI, X)。
Unsloth这个团队
Unsloth是一个以用较少内存快速微调开放模型的开源库而闻名的团队。他们一直致力于打磨LoRA、QLoRA这类不重新训练整个模型、只叠加部分权重进行调整的技术，让其能在消费级GPU上运行；同时，每当有新的开放模型发布，他们也会发布GGUF量化文件，因此在本地LLM社区中是个熟悉的名字。也就是说，这款应用并非突然出现，而是该团队把此前以命令行形式提供的功能，搬到了图形界面上。
用一句话解释术语：GGUF是llama.cpp系列使用的量化模型文件格式，MLX是针对苹果芯片优化的机器学习框架。同时支持两者，意味着无论在Mac还是PC上下载的模型，都能在同一个应用里处理。
一个应用能覆盖的范围
| 项目 | 公开内容 |
|---|---|
| 运行 | 本地模型推理 |
| 训练 | 本地微调 |
| 模型格式 | MLX, GGUF |
| 模态 | 文本、扩散图像·视频、音频 |
| 操作系统 | macOS, Windows, Linux |
| 许可 | 开源 |
在大多数本地工具只处理文本模型的情况下，把用于图像·视频生成的扩散模型以及音频模型都放进同一个应用里，这一点颇为引人注目。
把编程代理放在我的电脑上，而非云端
从实用性角度看，最直接的收益是连接Claude Code和Codex。这两款工具分别是Anthropic和OpenAI推出的终端型编程代理，默认调用各自公司的API。如果改用本地LLM运行，代码就不会流向外部，也不会产生使用费用。
问题一直在于工具调用。代理需要生成特定格式的函数调用来读取文件、执行命令，而小型本地模型经常因为一个括号、一个参数名写错，就导致整个循环中断。Unsloth表示，其工具调用准确率提高了50%，并加入了能自动修复失败调用的自我修复功能。不过，这次的发布内容中并未说明这一数字是与哪个模型、哪个基准测试相比得出的。这一点应当作为公司自己的说法来看待。
值得在本地运行的模型先增多了
这类应用如今出现的背景，是开放模型领域出现的变化。8月10日Meta AI发布的Muse Glimmer是一款300亿参数的密集模型,4比特量化后语言模型体积降到20GB以下，目标是能在24GB、32GB级消费级GPU——相当于一张高端游戏显卡——上运行。该模型针对函数调用、失败恢复等代理循环任务进行了训练,这一点也与这款应用的方向相契合。而就在前一天，即8月9日，DeepSeek将DeepSeek-V4-Pro以FP8精度、MIT许可证的形式上传到了Hugging Face。
| 近期开放模型 | 规模·条件 | 许可证 |
|---|---|---|
| Muse Glimmer (Meta AI, 8月10日) | 30B密集模型, 4比特量化后小于20GB | Apache 2.0 |
| DeepSeek-V4-Pro (DeepSeek, 8月9日) | FP8精度 | MIT |
那么，改变了什么
本地AI此前一直停留在"跑起来看看"的阶段。下载模型、打开对话窗口已经变得容易，但要按照自己的文档、自己的代码风格进行调整的训练，仍是另一道技术门槛。Unsloth Desktop正是试图用一个应用降低这道门槛。再加上打通了将Claude Code和Codex连接到本地模型的路径,那些不能把内部代码发送给外部API的团队，或是在意费用的个人用户,可选择的范围也随之扩大。
真正的判断将来自实际使用。微调并不会因为应用界面好看就变得容易，它本质上是如何收集和打磨数据的问题；工具调用准确率提高50%这一数字，也需要在多个模型上得到复现才有意义。不过既然是以开源形式发布,验证工作很快会由社区来完成。这与过去几个月使用本地模型的人们对8B至12B级中小型模型出现空白而表达遗憾的趋势相呼应，这款应用把问题从"该用哪个模型"转移到了"用自己的模型能改到什么程度"。
评论