每天早上一封邮件,把昨天的 AI 梳理好订阅邮件

METAL LAB

Modly,仅用GPU就能把照片转成3D模型的开源应用问世

支持Windows、Linux、Apple Silicon,还能通过扩展安装和CLI实现智能体自动化

이미지: METAL LAB 생성

摘要

  • 开源桌面应用"Modly"公开了仅用本地GPU就能把照片转换为3D网格的功能
  • 支持Windows、Linux、Apple Silicon版macOS,并可通过基于GitHub仓库的扩展安装和专用stdlib CLI实现自动化
  • 以MIT许可证发布,分叉时需强制标注原作者信息
제품명
Modly
성격
오픈소스 데스크톱 앱 (이미지→3D 메시 생성)
지원 OS
Windows, Linux, Apple Silicon macOS
처리 방식
로컬 GPU에서 전량 처리, 클라우드 미사용
확장 방식
GitHub 저장소(manifest.json) 기반 모델·프로세스 확장 설치
자동화
stdlib 전용 CLI 제공 (health, model, workflow-run, capability, process-run)
라이선스
MIT (포크 시 원저작자 크레딧 표시 의무)

一张照片在GPU里变成3D模型

开源桌面应用"Modly"登上了GitHub趋势周榜。这是一款只需输入照片或文字提示,就能由本地GPU将其转换为3D网格的工具。核心在于,整个过程都在用户电脑内部完成,无需另外的服务器或云端API调用。该应用可在Windows、Linux以及Apple Silicon版Mac上运行。

为何要在本地运行

将图像转换为3D模型这项工作,以往一直是云服务或专业软件的领域。要得到结果,通常需要把文件上传到服务器等待处理,商用场景下往往还要额外付费。Modly把这整个流程搬进了用户自己的显卡里,这与近来兴起的"本地优先(local-first)"AI工具潮流一脉相承。正如METAL LAB在11日报道的《Unsloth推出支持本地训练的桌面应用》中所确认的那样,今年夏天以来,把模型运行和生成任务下放到本地GPU的开源桌面应用正在接连问世。

如何上手使用

首先要从github.com/lightningpixel/modly仓库的Releases页面下载适合自己操作系统的安装文件。如果不想安装,也可以按照说明克隆仓库后直接运行。

  1. 在Releases页面下载并运行适用于Windows、Linux、Apple Silicon版macOS的安装文件。
  2. 打开应用后,在"Workflows"标签页确认基础工作流Image → Generate Mesh → Add to Scene三个步骤是否已相互连接。
  3. 进入"Generate"标签页,选择刚才创建的工作流,然后点击"Generate 3D Model"按钮。
  4. 如果结果异常,可在"Settings/Logs/Errors"菜单中查看错误日志。

如果想使用更多样的模型,可以在"Models"页面点击"Install from GitHub",输入扩展仓库的HTTPS地址即可。如果扩展提供的是模型节点,还需要额外下载模型本体或其变体版本;而流程类扩展只需完成安装和设置后即可直接使用。

举例来说,可以输入一张产品照片来制作电商用的3D预览图,也可以把草图转成提示语来生成游戏素材草稿。将人脸或人物照片3D化以制作头像原型,也在其功能范围之内。

智能体无需界面即可调用的CLI

Modly还提供了一个专用于stdlib的CLI,让智能体无需人工操作界面就能调用正在运行的应用。标准命令共有health、model、workflow-run、capability、process-run五种,其中提升了易用性的generate命令,内部会调用POST /workflow-runs/from-image来执行任务,随后轮询进度,并在需要时导出生成完毕的网格文件。返回的JSON结果中还包含了workflow-run status、workflow-run cancel等用于恢复操作的元数据。

legacy命令是封装旧版/generate/*端点的兼容路径,dev serve-api、dev ensure-server则是仅启动FastAPI后端的开发用命令,并不保证Electron桌面桥接已就绪。experimental comfy-image、experimental generate-from-workflow是从外部协调ComfyUI工作流的辅助功能,与Modly的标准智能体协议属于不同类别。相关文档据悉整理在仓库内的tools/modly-cli/SKILL.md文件中。

近期本地桌面AI应用对比

应用主要功能支持系统许可证
Modly图像·提示词 → 生成3D网格Windows·Linux·macOS(Apple Silicon)MIT
Unsloth Desktop本地模型运行·训练,图像·视频·音频macOS·Windows·Linux开源
LabLLM小型LLM预训练·SFT·LoRA·DPO仅限macOS(M1及以上)MIT

这三款应用有一个共同点:都无需云端账户即可在本地运行,并且公开源代码,留有自定义的空间。不过Modly专注于3D网格生成,Unsloth Desktop聚焦于通用模型的运行与训练,LabLLM则专注于小型语言模型的训练,三者各自瞄准不同的任务。

许可证与社区

Modly以MIT许可证发布,但若基于该项目分叉制作自己的应用,则必须在应用的界面或文档中保留原作者的署名信息。开发团队正通过Discord服务器接收最新消息、漏洞报告和用户反馈。

编辑视角

Modly传递出的信息很明确:3D内容制作正在从依赖云端订阅费用和专业软件许可证的领域,转向只需一块显卡即可完成的领域。可以说,3D网格生成如今正走上两年前图像生成AI走过的路——最初依托云端API起步,随着开源权重不断积累,最终收敛为在本地GPU上运行的桌面应用。

在实际业务中使用本地图像转3D工具时,往往会在同一个问题上产生分歧——决定实际采用与否的,往往不是网格质量,而是工作流的灵活性。Modly选择用节点方式连接工作流、并仅凭GitHub仓库即可扩展模型与流程的架构,看起来是为了不被绑定在特定模型上,让社区能够持续加入新模型。单独开放CLI也是出于同样的考量——这意味着,比起让人来点按钮,开发者早已设想了让编程智能体以批处理方式把成百上千张图像转换为3D的场景。

在国内,这款工具可能适用于电商产品3D预览、游戏工作室的素材草图制作,以及小型创客在3D打印前的准备环节。不过,由于结果质量在很大程度上取决于本地GPU性能,如果需要商用级别的成品,建议采取双轨策略:仅在原型阶段使用该工具,最终成品仍交由专业工具打磨。由于扩展生态系统尚处于早期阶段,未来几周内社区能以多快速度、推出多少模型扩展,将决定这款应用能否真正被大规模使用。

本文相关代码

评论