FreeLLMAPI è un proxy compatibile con OpenAI che instrada le richieste tra i tier gratuiti di più provider LLM dietro un unico endpoint /v1.
FreeLLMAPI è un proxy compatibile con OpenAI per instradare le richieste tra i tier gratuiti di più provider LLM dietro un singolo endpoint /v1. Il progetto si propone come un modo per combinare piani gratuiti individuali in un'unica superficie di inferenza condivisa per sperimentazione personale.
Supporta un lungo elenco di integrazioni con provider, oltre a qualsiasi endpoint personalizzato compatibile con OpenAI come llama.cpp, LM Studio, vLLM o un'istanza locale di Ollama. Il proxy gestisce il routing dei modelli, il failover automatico, l'archiviazione cifrata delle chiavi upstream e una dashboard per gestire le chiavi e rivedere l'utilizzo.
Aggrega i tier gratuiti di provider tra cui Google, Groq, Cerebras, NVIDIA, Mistral, OpenRouter, GitHub Models, Cohere, Cloudflare, HuggingFace, Z.ai, Ollama, Kilo, Pollinations, LLM7, OVH AI Endpoints e OpenCode Zen dietro un'unica superficie compatibile con OpenAI.
Usa un router che seleziona un modello per ogni richiesta, passa al provider successivo quando uno è limitato nel rate, restituisce 429/5xx o va in timeout, e mantiene brevi cooldown per le chiavi fallite.
Tiene traccia di RPM, RPD, TPM e TPD per provider, modello e chiave, e mantiene sessioni sticky sullo stesso modello per circa 30 minuti durante conversazioni multi-turno.
Memorizza le chiavi API dei provider cifrate con AES-256-GCM in SQLite, mentre i client si autenticano al proxy con un unico bearer token unificato.
Espone /v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, streaming, non-streaming e il tool calling in stile OpenAI per client compatibili.
Include una dashboard di amministrazione React + Vite per gestire le chiavi, ordinare le catene di fallback, visualizzare le analisi ed eseguire prompt in una playground.
Punta un SDK OpenAI, LangChain, LlamaIndex, Continue o un client simile al proxy e mantieni lo stesso codice dell'applicazione mentre sostituisci il percorso upstream con /v1.
Aggiungi chiavi dei provider per diversi servizi a tier gratuito e lascia che il router scelga un modello disponibile, quindi esegui il failover automatico quando un provider è limitato o non disponibile.
Esegui la configurazione Docker Compose in locale o su un piccolo server per mantenere API, dashboard e dati SQLite in un unico ambiente self-hosted.
Usa la dashboard di amministrazione per riordinare le catene di fallback, ispezionare latenza e utilizzo dei token, e testare i prompt prima di collegare un client al proxy.
Collega un backend personalizzato compatibile con OpenAI come LM Studio, llama.cpp, vLLM o Ollama locale tramite lo stesso router unificato.
FreeLLMAPI è progettato per funzionare con client compatibili con OpenAI. Il README indica che puoi puntare qualsiasi SDK OpenAI o client compatibile come LangChain, LlamaIndex, Continue o Hermes al proxy cambiando l'URL di base.
La guida Docker dice che Docker Compose è il modo consigliato per eseguirlo per uso personale. Serve l'API e la dashboard da un solo processo sulla porta 3001, con SQLite persistito in un volume nominato.
Il README dice che il proxy implementa /v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, risposte in streaming e non in streaming, e il tool calling in stile OpenAI. Non implementa generazione di immagini, audio, completions legacy, moderation, più completions per richiesta o fatturazione per utente.
Il progetto è costruito attorno a una configurazione single-user. Il README afferma esplicitamente che la fatturazione per utente e l'autenticazione multi-tenant non sono ancora supportate.
AakarDev AI helps teams manage AI provider access, project-level setups, logs, and analytics from one dashboard. It supports BYOK workflows and lists providers including OpenAI, Google Gemini, Anthropic, Groq, Mistral AI, and Perplexity AI.
BookAI ti consente di chattare con i tuoi libri utilizzando l'IA semplicemente fornendo il titolo e l'autore.
Skills Janitor is a GitHub-hosted set of slash commands for auditing, tracking, and managing Claude Code and OpenAI Codex skills. It helps users find duplicates, broken links, and unused skills, then clean them up with self-contained commands.
FeelFish is a PC client for AI-assisted novel writing, designed to help fiction writers plan characters and settings, draft and revise long-form content, and manage story context. It includes a free tier and paid plans, with support for multiple large-model providers.
Benchspan is an AI agent security platform that discovers agents, blocks prompt injection and data exfiltration in real time, and supports pre-launch red teaming. It is aimed at teams running agents in production and includes Python and TypeScript SDKs.
ChatBA is a generative AI product for creating slide decks from prompts. The public site emphasizes instant presentation generation and includes help content for templates, sharing, and data sources.
