여러 무료 제공업체를 함께 연결
Google, Groq, Cerebras, NVIDIA, Mistral, OpenRouter, GitHub Models, Cohere, Cloudflare, HuggingFace, Z.ai, Ollama, Kilo, Pollinations, LLM7, OVH AI Endpoints, OpenCode Zen 등 여러 제공업체의 무료 요금을 하나의 OpenAI 호환 표면 아래로 통합합니다.
FreeLLMAPI
FreeLLMAPI는 여러 LLM 제공업체의 무료 요금을 하나의 /v1 엔드포인트로 연결하는 OpenAI 호환 프록시입니다. 개인 실험용으로 자동 장애 조치, 암호화된 업스트림 키 저장, 내장 관리자 대시보드를 제공합니다.
개요
FreeLLMAPI는 단일 /v1 엔드포인트 뒤에서 여러 LLM 제공업체의 무료 요금제를 가로질러 요청을 라우팅하는 OpenAI 호환 프록시입니다. 이 프로젝트는 개인 실험용으로 개별 무료 플랜을 하나의 공유 추론 표면으로 결합하는 방법으로 자신을 소개합니다.
여러 제공업체 통합은 물론 llama.cpp, LM Studio, vLLM, 로컬 Ollama 인스턴스 같은 임의의 OpenAI 호환 엔드포인트도 지원합니다. 이 프록시는 모델 라우팅, 자동 장애 조치, 업스트림 키의 암호화 저장, 키 관리와 사용량 검토를 위한 대시보드를 처리합니다.
기능
자동 라우팅 및 장애 조치
각 요청에 대해 모델을 선택하는 라우터를 사용하며, 속도 제한에 걸리거나 429/5xx를 반환하거나 시간 초과가 발생하면 다음 제공업체로 폴백하고, 실패한 키에는 짧은 쿨다운을 유지합니다.
키별 사용량 추적
제공업체, 모델, 키별로 RPM, RPD, TPM, TPD를 추적하며, 여러 턴의 대화 중에는 약 30분 동안 같은 모델에 스티키 세션을 유지합니다.
암호화된 키와 통합 앱 접근
제공업체 API 키를 SQLite에 AES-256-GCM으로 암호화해 저장하고, 클라이언트는 하나의 통합 베어러 토큰으로 프록시에 인증합니다.
OpenAI 호환 API 표면
/v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, 스트리밍, 비스트리밍, OpenAI 스타일 도구 호출을 호환 클라이언트에 제공합니다.
내장 대시보드와 분석
키 관리, 폴백 체인 정렬, 분석 확인, 플레이그라운드에서 프롬프트 실행을 위한 React + Vite 관리자 대시보드를 포함합니다.
사용 사례
LLM 앱에 단일 API 엔드포인트 사용
OpenAI SDK, LangChain, LlamaIndex, Continue 또는 유사한 클라이언트를 프록시에 연결하고, 업스트림 경로를 /v1로 바꾸면서 동일한 애플리케이션 코드를 유지합니다.
무료 요금제 전반으로 요청 분산
여러 무료 요금제 서비스의 제공업체 키를 추가한 뒤 라우터가 사용 가능한 모델을 선택하도록 하고, 제공업체가 제한되거나 사용 불가할 때 자동으로 폴백합니다.
개인 프록시 스택 자체 호스팅
Docker Compose 설정을 로컬이나 소형 서버에서 실행해 API, 대시보드, SQLite 데이터를 하나의 자체 호스팅 환경에 유지합니다.
키 관리 및 사용량 모니터링
관리자 대시보드로 폴백 체인을 재정렬하고, 지연 시간과 토큰 사용량을 확인하며, 클라이언트를 프록시에 연결하기 전에 프롬프트를 테스트합니다.
커스텀 로컬 또는 원격 엔드포인트로 라우팅
LM Studio, llama.cpp, vLLM, 로컬 Ollama 같은 커스텀 OpenAI 호환 백엔드를 동일한 통합 라우터를 통해 연결합니다.
Pros and Cons
Pros
- 여러 무료 요금제 제공업체를 하나의 OpenAI 호환 엔드포인트 아래로 결합합니다.
- 제공업체가 속도 제한에 걸리거나 오류가 나거나 시간 초과되면 자동으로 폴백을 지원합니다.
- 업스트림 키를 AES-256-GCM으로 암호화해 저장 시 보호합니다.
- base URL만 변경하면 다양한 OpenAI 호환 클라이언트와 SDK와 함께 작동합니다.
- 키 관리와 분석을 위한 자체 호스팅 대시보드를 포함합니다.
Cons
- 개인 실험과 단일 사용자 설정을 명시적으로 대상으로 하며, 멀티테넌트 팀 청구는 지원하지 않습니다.
- 이미지 생성, 오디오, 레거시 completions, moderation, n > 1 completions를 포함해 여러 OpenAI API 영역이 구현되지 않았습니다.
FAQ
어떤 클라이언트가 FreeLLMAPI를 사용할 수 있나요?
FreeLLMAPI는 OpenAI 호환 클라이언트와 함께 작동하도록 설계되었습니다. README에서는 base URL을 변경하면 OpenAI SDK나 LangChain, LlamaIndex, Continue, Hermes 같은 호환 클라이언트를 프록시에 연결할 수 있다고 설명합니다.
FreeLLMAPI는 일반적으로 어떻게 배포되나요?
Docker 가이드에 따르면 개인 사용에는 Docker Compose로 실행하는 것이 권장됩니다. API와 대시보드를 하나의 프로세스로 포트 3001에서 제공하며, SQLite는 이름 있는 볼륨에 유지됩니다.
어떤 OpenAI 스타일 엔드포인트와 워크플로를 지원하나요?
README에 따르면 이 프록시는 /v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, 스트리밍 및 비스트리밍 응답, 그리고 OpenAI 스타일 도구 호출을 구현합니다. 이미지 생성, 오디오, 레거시 completions, moderation, 요청당 여러 completions, 사용자별 청구는 구현하지 않습니다.
팀이 멀티테넌트 인증과 함께 사용할 수 있나요?
이 프로젝트는 단일 사용자 설정을 중심으로 만들어졌습니다. README에서는 사용자별 청구와 멀티테넌트 인증이 아직 지원되지 않는다고 명시합니다.
Quick Facts
- Category
- 개발자 도구
- Primary use
- OpenAI 호환 LLM 프록시
- Deployment
- Docker Compose 또는 Node 20+ 자체 호스팅
- Auth model
- 앱용 통합 베어러 토큰; 관리자용 이메일/비밀번호 로그인
- Source domain
- github.com
- Pricing
- 오픈 소스 프로젝트; 호스팅 맥락을 위해 GitHub의 가격 페이지를 검토했지만, 제품 자체는 유료 플랜을 제공하지 않습니다
FreeLLMAPI 대안
AakarDev AI
AakarDev AI helps teams manage AI provider access, project-level setups, logs, and analytics from one dashboard. It supports BYOK workflows and lists providers including OpenAI, Google Gemini, Anthropic, Groq, Mistral AI, and Perplexity AI.
BookAI.chat
BookAI는 제목과 저자를 제공하기만 하면 AI를 사용하여 책과 대화할 수 있게 해줍니다.
Skills Janitor
Skills Janitor is a GitHub-hosted set of slash commands for auditing, tracking, and managing Claude Code and OpenAI Codex skills. It helps users find duplicates, broken links, and unused skills, then clean them up with self-contained commands.
FeelFish
FeelFish is a PC client for AI-assisted novel writing, designed to help fiction writers plan characters and settings, draft and revise long-form content, and manage story context. It includes a free tier and paid plans, with support for multiple large-model providers.
Benchspan
Benchspan is an AI agent security platform that discovers agents, blocks prompt injection and data exfiltration in real time, and supports pre-launch red teaming. It is aimed at teams running agents in production and includes Python and TypeScript SDKs.
ChatBA
ChatBA is a generative AI product for creating slide decks from prompts. The public site emphasizes instant presentation generation and includes help content for templates, sharing, and data sources.