AlexsJones/llmfit
一条终端命令告诉你哪些AI模型能在你的电脑上跑起来
llmfit是一个终端工具,它会自动检测你电脑的内存、CPU和GPU,然后对数百个语言模型进行打分排序,告诉你哪些真正能在你的硬件上流畅运行。只需一条命令,终端里就会显示一张排名表。它还支持在自己的机器上实测速度,并把结果分享回项目,让所有人的预估数据变得更准确。
它做什么
- 支持数百个模型,兼容Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio等多种本地运行方式
- 检测内存、CPU和GPU/显存,从内存适配度、预估速度、质量、可处理的上下文长度四个维度给每个模型打分
- 速度预估基于内存带宽计算公式,并结合社区实测数据进行校准
- 用户可以在自己的硬件上跑基准测试,直接从交互界面提交结果合并进项目,下个版本发布后拥有相同硬件的人就能看到经过验证的真实数字
- 支持多GPU配置,以及只激活部分参数的MoE(混合专家)架构模型
为什么重要
想在本地运行AI模型的人通常只能靠反复试错来找到适合自己硬件的模型,这个工具把这个过程自动化了,省下大量时间。随着越来越多真实用户的实测数据积累,项目里的预估值会逐渐变成经过验证的真实数字,让整个社区受益。
本仓库术语
- TUI · 可以在终端里用键盘操作的交互式文字界面
- MoE(混合专家) · 一种只激活部分参数而非全部参数的神经网络结构,运行时所需内存比模型总大小小
- VRAM · 显卡上专用的存储器,即显存
- tok/s · 每秒处理的词元(文本片段)数量,是衡量模型速度的单位
- TTFT · 从输入问题到模型输出第一个字所需的时间
仓库简介（英文）
Hundreds of models & providers. One command to find what runs on your hardware.
在 GitHub 打开热门仓库
- cathrynlavery/diagram-design让AI编程工具画出杂志排版质感图表,而不是千篇一律的圆角方框
- public-apis/public-apis一份由社区维护的免费API大全仓库
- semantica-agi/semantica一个让AI智能体的决策可追溯、可审计的开源图谱基础设施
- cactus-compute/needle一个14MB的AI模型,让手机和可穿戴设备无需联网就能调用工具
- unslothai/unsloth一款让你在自己电脑上运行和训练AI模型的桌面应用，无需写代码
- macro-inc/macro把邮件、聊天、文档、任务和CRM互相链接、共享同一份AI团队记忆的一体化办公平台
- harry0703/MoneyPrinterTurbo只需一个主题或关键词，就能自动生成配好文案、素材、字幕和音乐的完整短视频的开源工具
- basecamp/omarchyDHH打造的、开箱即用且风格统一的Linux发行版