FreeLLMAPI é um proxy compatível com OpenAI que distribui pedidos pelos planos gratuitos de vários provedores LLM num único endpoint /v1, com failover automático e dashboard.
FreeLLMAPI é um proxy compatível com OpenAI para rotear solicitações pelos planos gratuitos de vários provedores LLM atrás de um único endpoint /v1. O projeto se posiciona como uma forma de combinar planos gratuitos individuais em uma superfície de inferência compartilhada para experimentação pessoal.
Ele oferece suporte a uma longa lista de integrações de provedores, além de qualquer endpoint personalizado compatível com OpenAI, como llama.cpp, LM Studio, vLLM ou uma instância local do Ollama. O proxy lida com roteamento de modelos, failover automático, armazenamento criptografado de chaves upstream e um dashboard para gerenciar chaves e revisar o uso.
Agrega os planos gratuitos de provedores como Google, Groq, Cerebras, NVIDIA, Mistral, OpenRouter, GitHub Models, Cohere, Cloudflare, HuggingFace, Z.ai, Ollama, Kilo, Pollinations, LLM7, OVH AI Endpoints e OpenCode Zen em uma única superfície compatível com OpenAI.
Usa um roteador que escolhe um modelo para cada solicitação, faz fallback para o próximo provedor quando um fica limitado por taxa, retorna 429/5xx ou expira, e mantém curtos períodos de espera para chaves com falha.
Rastreia RPM, RPD, TPM e TPD por provedor, modelo e chave, e mantém sessões persistentes no mesmo modelo por cerca de 30 minutos durante conversas com várias interações.
Armazena chaves de API dos provedores criptografadas com AES-256-GCM no SQLite, enquanto os clientes se autenticam no proxy com um único token bearer unificado.
Expõe /v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, streaming, não streaming e chamada de ferramentas no estilo da OpenAI para clientes compatíveis.
Inclui um dashboard administrativo em React + Vite para gerenciar chaves, ordenar cadeias de fallback, visualizar análises e executar prompts em um playground.
Aponte um SDK da OpenAI, LangChain, LlamaIndex, Continue ou cliente semelhante para o proxy e mantenha o mesmo código da aplicação enquanto troca o caminho upstream para /v1.
Adicione chaves de provedores para vários serviços de plano gratuito e deixe o roteador escolher um modelo disponível, fazendo failover automaticamente quando um provedor for limitado ou indisponível.
Execute a configuração com Docker Compose localmente ou em um servidor pequeno para manter a API, o dashboard e os dados do SQLite em um único ambiente auto-hospedado.
Use o dashboard administrativo para reordenar cadeias de fallback, inspecionar latência e uso de tokens e testar prompts antes de conectar um cliente ao proxy.
Conecte um backend personalizado compatível com OpenAI, como LM Studio, llama.cpp, vLLM ou Ollama local, por meio do mesmo roteador unificado.
FreeLLMAPI foi projetado para funcionar com clientes compatíveis com OpenAI. O README diz que você pode apontar qualquer SDK da OpenAI ou cliente compatível, como LangChain, LlamaIndex, Continue ou Hermes, para o proxy alterando a URL base.
O guia do Docker diz que o Docker Compose é a forma recomendada de executá-lo para uso pessoal. Ele serve a API e o dashboard em um único processo na porta 3001, com o SQLite persistido em um volume nomeado.
O README diz que o proxy implementa /v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, respostas com e sem streaming e chamada de ferramentas no estilo da OpenAI. Ele não implementa geração de imagens, áudio, completions legados, moderação, múltiplas completions por solicitação ou cobrança por usuário.
O projeto foi construído em torno de uma configuração de usuário único. O README diz explicitamente que cobrança por usuário e autenticação multi-tenant ainda não são suportadas.
AakarDev AI helps teams manage AI provider access, project-level setups, logs, and analytics from one dashboard. It supports BYOK workflows and lists providers including OpenAI, Google Gemini, Anthropic, Groq, Mistral AI, and Perplexity AI.
BookAI permite que você converse com seus livros usando IA, simplesmente fornecendo o título e o autor.
Skills Janitor is a GitHub-hosted set of slash commands for auditing, tracking, and managing Claude Code and OpenAI Codex skills. It helps users find duplicates, broken links, and unused skills, then clean them up with self-contained commands.
FeelFish is a PC client for AI-assisted novel writing, designed to help fiction writers plan characters and settings, draft and revise long-form content, and manage story context. It includes a free tier and paid plans, with support for multiple large-model providers.
Benchspan is an AI agent security platform that discovers agents, blocks prompt injection and data exfiltration in real time, and supports pre-launch red teaming. It is aimed at teams running agents in production and includes Python and TypeScript SDKs.
ChatBA is a generative AI product for creating slide decks from prompts. The public site emphasizes instant presentation generation and includes help content for templates, sharing, and data sources.
