整合多個免費供應商
在一個相容 OpenAI 的介面後方，彙整包含 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints 與 OpenCode Zen 在內的多個供應商免費額度。
概覽
FreeLLMAPI 是一個相容 OpenAI 的代理，透過單一 /v1 端點將請求路由到多個 LLM 供應商的免費額度。此專案定位為將個人的免費方案整合成一個共享推理介面，供個人測試使用。
它支援大量供應商整合，以及任何相容 OpenAI 的自訂端點，例如 llama.cpp、LM Studio、vLLM，或本機 Ollama 執行個體。此代理負責模型路由、自動故障轉移、上游金鑰的加密儲存，以及用來管理金鑰和檢視使用情況的儀表板。
功能
自動路由與故障轉移
使用路由器為每個請求選擇模型；當某個供應商受到速率限制、回傳 429/5xx 或逾時時，會切換到下一個供應商，並對失敗的金鑰維持短暫冷卻時間。
逐金鑰使用量追蹤
依供應商、模型與金鑰追蹤 RPM、RPD、TPM 與 TPD，並在多輪對話期間於同一模型上維持約 30 分鐘的黏性工作階段。
加密金鑰與統一應用存取
將供應商 API 金鑰以 AES-256-GCM 加密後儲存在 SQLite 中，同時讓用戶端透過單一整合的 bearer token 向代理驗證。
相容 OpenAI 的 API 介面
提供 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流、非串流，以及相容用戶端可使用的 OpenAI 風格工具呼叫。
內建儀表板與分析
內建 React + Vite 管理儀表板，可用來管理金鑰、排序備援鏈、查看分析資料，並在 playground 中執行提示詞。
使用情境
讓 LLM 應用只使用單一 API 端點
將 OpenAI SDK、LangChain、LlamaIndex、Continue 或類似用戶端指向此代理，並在將上游路徑切換為 /v1 的同時維持相同的應用程式程式碼。
將請求分散到免費額度
加入多個免費額度服務的供應商金鑰，讓路由器選擇可用模型，當某個供應商被限流或無法使用時自動故障轉移。
自架個人代理堆疊
在本機或小型伺服器上執行 Docker Compose 設定，將 API、儀表板與 SQLite 資料保留在同一個自架環境中。
管理金鑰並監控使用量
使用管理儀表板重新排序備援鏈、檢視延遲與 token 使用量，並在將用戶端接入代理前測試提示詞。
路由到自訂本機或遠端端點
透過同一個統一路由器連接自訂的相容 OpenAI 後端，例如 LM Studio、llama.cpp、vLLM 或本機 Ollama。
Pros and Cons
Pros
- 將多個免費額度供應商整合到單一相容 OpenAI 的端點後方。
- 當供應商受到速率限制、發生錯誤或逾時時，支援自動備援。
- 以 AES-256-GCM 將上游金鑰靜態加密儲存。
- 只要變更 base URL，就能與廣泛的相容 OpenAI 用戶端與 SDK 搭配使用。
- 包含可自架的儀表板，用於金鑰管理與分析。
Cons
- 它明確聚焦於個人測試與單一使用者設定，而非多租戶團隊計費。
- 若干 OpenAI API 範圍未實作，包括圖片生成、音訊、舊版 completions、審核，以及 n > 1 completions。
FAQ
哪些用戶端可以使用 FreeLLMAPI？
FreeLLMAPI 設計為可與相容 OpenAI 的用戶端搭配使用。README 表示，你可以透過變更 base URL，將任何 OpenAI SDK 或相容用戶端，例如 LangChain、LlamaIndex、Continue 或 Hermes，指向此代理。
FreeLLMAPI 通常如何部署？
Docker 指南說，Docker Compose 是個人使用時建議的執行方式。它會在單一程序中於 3001 連接埠提供 API 與儀表板，SQLite 則會持久化到具名磁碟區。
支援哪些 OpenAI 風格的端點與工作流程？
README 說，這個代理實作了 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流與非串流回應，以及 OpenAI 風格的工具呼叫。它不支援圖片生成、音訊、舊版 completions、審核、每次請求多個 completions，或 per-user 計費。
團隊可以搭配多租戶驗證使用嗎？
此專案是以單一使用者設定為核心。README 明確表示，目前不支援 per-user 計費與多租戶驗證。
Quick Facts
- 分類
- 開發者工具
- 主要用途
- 相容 OpenAI 的 LLM 代理
- 部署方式
- Docker Compose 或 Node 20+ 自架
- 驗證模式
- 應用使用統一 bearer token；管理員使用 email/password 登入
- 來源網域
- github.com
- 價格
- 開源專案；曾檢視 GitHub 的價格頁以了解主機託管情境，但產品本身未提供付費方案
FreeLLMAPI 替代品
AakarDev AI
AakarDev AI 讓團隊透過單一儀表板管理 AI 供應商權限、專案設定、日誌與分析，支援 BYOK 工作流程，並可連接 OpenAI、Google Gemini、Anthropic、Groq、Mistral AI、Perplexity AI。
BookAI.chat
BookAI允許您透過簡單提供書名和作者與您的書籍進行AI聊天。
Skills Janitor
Skills Janitor 是一套託管於 GitHub 的斜線指令，用於稽核、追蹤與管理 Claude Code 和 OpenAI Codex skills；可找出重複項、失效連結與未使用 skills，並以獨立指令清理整理。
FeelFish
FeelFish 是一款支援 AI 輔助小說寫作的 PC 用戶端，協助小說創作者規劃角色與場景、撰寫與修訂長篇內容，並管理故事脈絡。提供免費方案與付費方案，支援多家大型模型供應商。
Benchspan
Benchspan 是一個 AI agent 安全平台，可即時發現 agents、阻擋 prompt injection 與資料外洩，並支援上線前紅隊測試，適合在 production 環境運行 agents 的團隊，並提供 Python 與 TypeScript SDKs。
ChatBA
ChatBA 是一款生成式 AI 工具，可依提示詞快速建立簡報投影片；亦提供範本、分享與資料來源等說明內容，適合快速產出提案草稿。