整合多个免费提供商
将包括 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints 和 OpenCode Zen 在内的多个提供商免费额度聚合到一个兼容 OpenAI 的统一入口后。
概览
FreeLLMAPI 是一款兼容 OpenAI 的代理，可通过单一 `/v1` 端点路由多个 LLM 提供商的免费额度请求。该项目将自己定位为把各自的免费计划整合为一个共享推理入口，适合个人实验。
它支持一长串提供商集成，也支持任何自定义的兼容 OpenAI 端点，例如 llama.cpp、LM Studio、vLLM 或本地 Ollama 实例。该代理负责模型路由、自动故障转移、上游密钥的加密存储，以及用于管理密钥和查看使用情况的仪表板。
功能
自动路由与故障转移
使用路由器为每个请求选择一个模型；当某个提供商触发限流、返回 429/5xx 或超时时，自动切换到下一个提供商，并对失败的密钥设置短暂冷却时间。
按密钥使用情况追踪
按提供商、模型和密钥跟踪 RPM、RPD、TPM 和 TPD，并在多轮对话期间将会话粘在同一模型上约 30 分钟。
加密密钥与统一应用访问
使用 AES-256-GCM 将提供商 API 密钥加密后存储在 SQLite 中，同时客户端通过单一统一的 bearer token 向代理完成认证。
兼容 OpenAI 的 API 入口
提供 `/v1/chat/completions`、`/v1/models`、`/v1/responses`、`/v1/embeddings`、流式、非流式以及 OpenAI 风格工具调用，兼容相关客户端。
内置管理面板与分析
包含一个 React + Vite 管理面板，可用于管理密钥、调整回退链顺序、查看分析数据，并在 playground 中运行提示词。
使用场景
为 LLM 应用使用单一 API 端点
将 OpenAI SDK、LangChain、LlamaIndex、Continue 或类似客户端指向该代理，并保持相同的应用代码，只需将上游路径切换为 `/v1`。
在多个免费额度之间分散请求
添加多个免费额度服务的提供商密钥，让路由器选择可用模型；当某个提供商被限流或不可用时，自动故障转移。
自托管个人代理栈
在本地或小型服务器上运行 Docker Compose 配置，将 API、管理面板和 SQLite 数据保留在同一个自托管环境中。
管理密钥并监控使用情况
使用管理面板调整回退链顺序、查看延迟和 token 使用情况，并在将客户端接入代理前测试提示词。
路由到自定义本地或远程端点
通过同一个统一路由器连接自定义的兼容 OpenAI 后端，例如 LM Studio、llama.cpp、vLLM 或本地 Ollama。
Pros and Cons
Pros
- 将许多免费额度提供商整合到一个兼容 OpenAI 的端点后。
- 在提供商被限流、出错或超时时支持自动回退。
- 使用 AES-256-GCM 在静态存储时加密上游密钥。
- 通过更改基础 URL，就能与广泛的兼容 OpenAI 客户端和 SDK 配合使用。
- 包含一个自托管的管理面板，用于密钥管理和分析。
Cons
- 它明确限定于个人实验和单用户设置，不适用于多租户团队计费。
- 部分 OpenAI API 领域尚未实现，包括图像生成、音频、旧版 completions、审核以及 n > 1 completions。
FAQ
哪些客户端可以使用 FreeLLMAPI？
FreeLLMAPI 旨在与兼容 OpenAI 的客户端配合使用。README 说明，你可以通过更改基础 URL，将任何 OpenAI SDK 或兼容客户端（例如 LangChain、LlamaIndex、Continue 或 Hermes）指向该代理。
FreeLLMAPI 通常如何部署？
Docker 指南说明，个人使用时推荐通过 Docker Compose 运行。它在 3001 端口从单个进程提供 API 和管理面板服务，并将 SQLite 持久化到命名卷中。
支持哪些 OpenAI 风格的端点和工作流？
README 说明，该代理实现了 `/v1/chat/completions`、`/v1/models`、`/v1/responses`、`/v1/embeddings`、流式和非流式响应，以及 OpenAI 风格的工具调用。它不实现图像生成、音频、旧版 completions、审核、单次请求多次 completions 或按用户计费。
团队可以使用多租户认证来使用它吗？
该项目围绕单用户设置构建。README 明确说明，目前不支持按用户计费和多租户认证。
Quick Facts
- 类别
- 开发者工具
- 主要用途
- 兼容 OpenAI 的 LLM 代理
- 部署方式
- Docker Compose 或 Node 20+ 自托管
- 认证模型
- 应用使用统一 bearer token；管理端使用邮箱/密码登录
- 源站域名
- github.com
- 价格
- 开源项目；已查看 GitHub 的定价页面以获取托管背景，但该产品本身不提供付费计划
FreeLLMAPI 替代品
AakarDev AI
AakarDev AI 帮助团队在一个仪表板中管理 AI provider 访问、项目级设置、日志和分析，支持 BYOK 工作流，并涵盖 OpenAI、Google Gemini、Anthropic、Groq、Mistral AI 和 Perplexity AI。
BookAI.chat
BookAI允许您通过简单提供书名和作者与您的书籍进行AI聊天。
Skills Janitor
Skills Janitor 是一组托管于 GitHub 的斜杠命令，用于审计、跟踪和管理 Claude Code 与 OpenAI Codex skills。可查找重复项、损坏链接和未使用的 skills，并用独立命令清理。
FeelFish
FeelFish 是一款面向 AI 辅助小说写作的 PC 客户端，帮助小说作者规划人物与场景、撰写和修改长篇内容，并管理故事上下文。支持免费版和付费方案，兼容多种大模型服务商。
Benchspan
Benchspan 是一款 AI agent 安全平台，可发现 agent、实时阻止提示注入和数据外泄，并支持上线前红队测试，适用于生产环境中的 agent 团队，提供 Python 和 TypeScript SDK。
ChatBA
ChatBA 是一款生成式 AI 工具，可根据提示词快速生成演示文稿。支持即时生成幻灯片，并提供模板、分享和数据源帮助内容。