整合多個免費供應商
在一個相容 OpenAI 的介面後方，彙整包含 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints 與 OpenCode Zen 在內的多個供應商免費額度。
概覽
FreeLLMAPI 是一個相容 OpenAI 的代理，透過單一 /v1 端點將請求路由到多個 LLM 供應商的免費額度。此專案定位為將個人的免費方案整合成一個共享推理介面，供個人測試使用。
它支援大量供應商整合，以及任何相容 OpenAI 的自訂端點，例如 llama.cpp、LM Studio、vLLM，或本機 Ollama 執行個體。此代理負責模型路由、自動故障轉移、上游金鑰的加密儲存，以及用來管理金鑰和檢視使用情況的儀表板。
功能
自動路由與故障轉移
使用路由器為每個請求選擇模型；當某個供應商受到速率限制、回傳 429/5xx 或逾時時，會切換到下一個供應商，並對失敗的金鑰維持短暫冷卻時間。
逐金鑰使用量追蹤
依供應商、模型與金鑰追蹤 RPM、RPD、TPM 與 TPD，並在多輪對話期間於同一模型上維持約 30 分鐘的黏性工作階段。
加密金鑰與統一應用存取
將供應商 API 金鑰以 AES-256-GCM 加密後儲存在 SQLite 中，同時讓用戶端透過單一整合的 bearer token 向代理驗證。
相容 OpenAI 的 API 介面
提供 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流、非串流，以及相容用戶端可使用的 OpenAI 風格工具呼叫。
內建儀表板與分析
內建 React + Vite 管理儀表板，可用來管理金鑰、排序備援鏈、查看分析資料，並在 playground 中執行提示詞。
使用情境
讓 LLM 應用只使用單一 API 端點
將 OpenAI SDK、LangChain、LlamaIndex、Continue 或類似用戶端指向此代理，並在將上游路徑切換為 /v1 的同時維持相同的應用程式程式碼。
將請求分散到免費額度
加入多個免費額度服務的供應商金鑰，讓路由器選擇可用模型，當某個供應商被限流或無法使用時自動故障轉移。
自架個人代理堆疊
在本機或小型伺服器上執行 Docker Compose 設定，將 API、儀表板與 SQLite 資料保留在同一個自架環境中。
管理金鑰並監控使用量
使用管理儀表板重新排序備援鏈、檢視延遲與 token 使用量，並在將用戶端接入代理前測試提示詞。
路由到自訂本機或遠端端點
透過同一個統一路由器連接自訂的相容 OpenAI 後端，例如 LM Studio、llama.cpp、vLLM 或本機 Ollama。
Pros and Cons
Pros
- 將多個免費額度供應商整合到單一相容 OpenAI 的端點後方。
- 當供應商受到速率限制、發生錯誤或逾時時，支援自動備援。
- 以 AES-256-GCM 將上游金鑰靜態加密儲存。
- 只要變更 base URL，就能與廣泛的相容 OpenAI 用戶端與 SDK 搭配使用。
- 包含可自架的儀表板，用於金鑰管理與分析。
Cons
- 它明確聚焦於個人測試與單一使用者設定，而非多租戶團隊計費。
- 若干 OpenAI API 範圍未實作，包括圖片生成、音訊、舊版 completions、審核，以及 n > 1 completions。
FAQ
哪些用戶端可以使用 FreeLLMAPI？
FreeLLMAPI 設計為可與相容 OpenAI 的用戶端搭配使用。README 表示，你可以透過變更 base URL，將任何 OpenAI SDK 或相容用戶端，例如 LangChain、LlamaIndex、Continue 或 Hermes，指向此代理。
FreeLLMAPI 通常如何部署？
Docker 指南說，Docker Compose 是個人使用時建議的執行方式。它會在單一程序中於 3001 連接埠提供 API 與儀表板，SQLite 則會持久化到具名磁碟區。
支援哪些 OpenAI 風格的端點與工作流程？
README 說，這個代理實作了 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流與非串流回應，以及 OpenAI 風格的工具呼叫。它不支援圖片生成、音訊、舊版 completions、審核、每次請求多個 completions，或 per-user 計費。
團隊可以搭配多租戶驗證使用嗎？
此專案是以單一使用者設定為核心。README 明確表示，目前不支援 per-user 計費與多租戶驗證。
Quick Facts
- 分類
- 開發者工具
- 主要用途
- 相容 OpenAI 的 LLM 代理
- 部署方式
- Docker Compose 或 Node 20+ 自架
- 驗證模式
- 應用使用統一 bearer token；管理員使用 email/password 登入
- 來源網域
- github.com
- 價格
- 開源專案；曾檢視 GitHub 的價格頁以了解主機託管情境，但產品本身未提供付費方案
FreeLLMAPI 替代品
AakarDev AI
AakarDev AI helps teams manage AI provider access, project-level setups, logs, and analytics from one dashboard. It supports BYOK workflows and lists providers including OpenAI, Google Gemini, Anthropic, Groq, Mistral AI, and Perplexity AI.
BookAI.chat
BookAI允許您透過簡單提供書名和作者與您的書籍進行AI聊天。
Skills Janitor
Skills Janitor is a GitHub-hosted set of slash commands for auditing, tracking, and managing Claude Code and OpenAI Codex skills. It helps users find duplicates, broken links, and unused skills, then clean them up with self-contained commands.
FeelFish
FeelFish is a PC client for AI-assisted novel writing, designed to help fiction writers plan characters and settings, draft and revise long-form content, and manage story context. It includes a free tier and paid plans, with support for multiple large-model providers.
Benchspan
Benchspan is an AI agent security platform that discovers agents, blocks prompt injection and data exfiltration in real time, and supports pre-launch red teaming. It is aimed at teams running agents in production and includes Python and TypeScript SDKs.
ChatBA
ChatBA is a generative AI product for creating slide decks from prompts. The public site emphasizes instant presentation generation and includes help content for templates, sharing, and data sources.