tashfeenahmed/freellmapi
一个把34家AI公司的免费额度合并成单一API的开源路由工具
FreeLLMAPI是一个可自行部署的服务器，把Google、Groq、Mistral、OpenRouter、HuggingFace等34家AI服务商的免费额度整合成一个兼容OpenAI格式的统一接口。它会为每次请求挑选可用的免费模型，一旦某个服务商被限流就自动切换到下一个，并对各家的密钥加密保存。据介绍，把所有服务商加起来共有474个模型系列、635个免费接口，每月大约74亿token的免费推理容量。
它做什么
- 做了什么：把34家免费AI服务商以及任意兼容OpenAI格式的自定义服务器，整合进一个统一接口（如/v1/chat/completions）。
- 怎么做的：路由器根据速度和可靠性给模型打分，优先把请求发给最合适的模型，遇到限流或报错时自动换到下一个服务商，并按密钥追踪用量，确保不超出各家的免费额度。
- 部署方式：一条安装脚本即可在本地启动Docker容器，通过网页控制台添加各服务商的密钥，之后把OpenAI SDK或Claude Code、Codex CLI、Cursor等编程工具指向这个本地服务器即可使用。
- 安全设计：各服务商的API密钥用AES-256-GCM加密保存在本地SQLite数据库中，只在处理请求时于内存中解密，你的应用始终只看到一个统一的密钥。
- 使用限制：项目说明中明确写道这只是个人实验用途，不建议用于生产环境，因为各家的免费额度可能随时变动或取消。
为什么重要
对于想低成本试验AI功能的开发者来说，这省去了手动对接几十家服务商的SDK、密钥和限流规则的麻烦。它也为想学习多模型路由与自动故障切换机制的人提供了一个参考实现，但作者本人也提醒不要把它当作正式生产环境的基础设施。
本仓库术语
- 兼容OpenAI的接口 · 接受与OpenAI API相同格式请求的服务器，现有OpenAI客户端库无需修改即可使用
- 限流（429） · 服务商设定的单位时间请求或token上限，超出会返回错误
- 故障切换（failover） · 当第一个服务或模型失败时自动切换到备用的服务或模型
- AES-256-GCM · 一种用于保护存储数据的加密方式，这里用来加密保存的服务商API密钥
- MCP服务器 · 一种让AI代理能以编程方式查询和操作工具或服务的协议接口
仓库简介（英文）
plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.
在 GitHub 打开热门仓库
- vorssaint/vorssaint-utils一个免费菜单栏应用,顶替十几款付费Mac工具
- MadsLorentzen/ai-job-search一个用Claude Code自动完成整个求职流程的开源框架,作者本人就是靠它找到了工作
- rohitg00/ai-engineering-from-scratch一套从数学到智能体全部亲手实现的免费AI工程课程,511节课都能产出可用工具
- AgriciDaniel/claude-obsidian一个开源“第二大脑”,让Claude Code帮你整理Obsidian笔记,文件所有权始终留在你手里
- openclaw/openclaw一个跑在你自己设备上、通过你已经在用的聊天软件跟你对话的个人AI助手
- Alishahryar1/free-claude-code一个本地代理,把编程AI助手接到49家免费或低价模型服务商,不再只能用一家付费服务
- freestylefly/awesome-gpt-image-2把532个GPT-Image2案例拆解成可复用模板的提示词工程库
- block/buzz一个让人类和AI智能体在同一空间里聊天、写代码、做审查的开源协作平台