tashfeenahmed/freellmapi

★ 19,651오늘 +153TypeScript

34개 AI 회사의 무료 사용량을 하나로 묶어 API 하나로 쓰게 해주는 오픈소스 라우터

FreeLLMAPI는 Google, Groq, Mistral, OpenRouter, HuggingFace 등 34개 AI 제공사의 무료 사용 한도를 하나의 OpenAI 호환 API로 합쳐주는 자가 호스팅 서버다. 요청마다 사용 가능한 무료 모델을 골라 보내고, 한 곳이 사용량 제한에 걸리면 자동으로 다른 곳으로 넘어가며, 제공사 키는 암호화해서 저장한다. 전체 제공사를 합치면 474개 모델군, 635개 무료 엔드포인트, 월 약 74억 토큰 규모의 무료 추론 용량이 된다고 소개한다.

무엇을 하는 레포인가

무엇을 했나: 34개 무료 AI 제공사와 커스텀 OpenAI 호환 서버를 하나의 통합 API(/v1/chat/completions 등)로 묶었다.
어떻게 했나: 속도·신뢰도 점수를 기준으로 요청을 가장 나은 모델로 보내고, 사용량 제한이나 오류가 나면 자동으로 다음 제공사로 넘기며, 키별 사용량을 추적해 무료 한도를 넘기지 않게 관리한다.
설치 방법: 한 줄 설치 스크립트로 로컬에 Docker 컨테이너를 띄우고, 웹 대시보드에서 각 제공사 키를 등록한 뒤 OpenAI SDK나 Claude Code, Codex CLI, Cursor 같은 코딩 도구를 이 서버에 연결하면 된다.
보안 구조: 제공사 API 키는 로컬 SQLite에 AES-256-GCM으로 암호화 저장되고 요청 처리 시에만 메모리에서 복호화되며, 사용자 앱은 통합된 토큰 하나만 보게 된다.
주의할 점: 만든 사람들도 이 프로젝트를 '개인 실험용'이라고 명시하며, 무료 사용 한도는 예고 없이 바뀔 수 있어 상용 서비스로는 권장하지 않는다.

왜 중요한가

AI 기능을 이것저것 테스트해보려는 개발자라면 수십 개 제공사의 SDK와 키, 사용량 제한을 일일이 관리하는 수고를 줄일 수 있다. LLM API 요청을 여러 제공사로 라우팅하고 장애 시 자동 전환하는 구조를 참고하려는 사람에게도 도움이 되지만, 만든 이들 스스로 실제 서비스 운영에는 쓰지 말라고 밝히고 있다.

이 레포의 용어

OpenAI 호환 엔드포인트 · OpenAI API와 같은 형식으로 요청을 받는 서버. 기존 OpenAI 클라이언트를 그대로 쓸 수 있다
사용량 제한(429) · 제공사가 정해둔 일정 시간당 요청·토큰 상한. 넘기면 오류가 난다
페일오버(failover) · 한 서비스가 실패하거나 막히면 자동으로 다른 서비스로 넘어가는 것
AES-256-GCM · 저장된 데이터를 보호하는 암호화 방식. 여기서는 저장된 제공사 API 키에 쓰인다
MCP 서버 · AI 에이전트가 프로그램적으로 도구나 서비스와 상호작용하도록 만든 프로토콜 인터페이스

레포 원문 소개 (영문)

plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.

GitHub에서 보기

주목받는 레포

레포 전체 보기 →

tashfeenahmed/freellmapi

무엇을 하는 레포인가

왜 중요한가

이 레포의 용어

주목받는 레포

METAL LAB 최신 기사