FreeLLMAPI — OpenAI-compatible proxy для /v1: маршрутизация запросов по free-tier LLM-провайдерам, автоматический failover, шифрование ключей и admin dashboard.
FreeLLMAPI — это OpenAI-compatible proxy для маршрутизации запросов по free tiers нескольких LLM-провайдеров через единый /v1 endpoint. Проект позиционируется как способ объединить индивидуальные бесплатные планы в одну общую inference surface для личных экспериментов.
Он поддерживает длинный список интеграций провайдеров, а также любой custom OpenAI-compatible endpoint, например llama.cpp, LM Studio, vLLM или локальный экземпляр Ollama. Прокси обрабатывает маршрутизацию моделей, автоматический failover, зашифрованное хранение upstream keys и dashboard для управления ключами и просмотра usage.
Объединяет free tiers провайдеров, включая Google, Groq, Cerebras, NVIDIA, Mistral, OpenRouter, GitHub Models, Cohere, Cloudflare, HuggingFace, Z.ai, Ollama, Kilo, Pollinations, LLM7, OVH AI Endpoints и OpenCode Zen, за одним OpenAI-compatible интерфейсом.
Использует router, который выбирает model для каждого запроса, переключается на следующего провайдера при rate limit, ответе 429/5xx или timeout, и держит короткие cooldown для неудачных ключей.
Отслеживает RPM, RPD, TPM и TPD по провайдеру, модели и ключу, а также сохраняет sticky sessions на одной модели примерно на 30 минут во время многоходовых разговоров.
Хранит provider API keys в зашифрованном виде с AES-256-GCM в SQLite, а клиенты аутентифицируются в прокси с помощью одного unified bearer token.
Открывает /v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, streaming, non-streaming и OpenAI-style tool calling для совместимых клиентов.
Включает React + Vite admin dashboard для управления ключами, настройки fallback chains, просмотра analytics и тестирования prompts в playground.
Подключите OpenAI SDK, LangChain, LlamaIndex, Continue или похожий клиент к прокси и сохраните тот же код приложения, лишь изменив upstream path на /v1.
Добавьте provider keys для нескольких free-tier сервисов и позвольте router выбирать доступную модель, а затем автоматически переходить на другую при throttling или недоступности провайдера.
Запустите Docker Compose локально или на небольшом сервере, чтобы держать API, dashboard и данные SQLite в одной self-hosted среде.
Используйте admin dashboard, чтобы менять порядок fallback chains, смотреть latency и token usage, а также тестировать prompts перед подключением клиента к прокси.
Подключите custom OpenAI-compatible backend, такой как LM Studio, llama.cpp, vLLM или local Ollama, через тот же unified router.
FreeLLMAPI предназначен для работы с OpenAI-compatible клиентами. В README указано, что к прокси можно подключить любой OpenAI SDK или совместимый клиент, такой как LangChain, LlamaIndex, Continue или Hermes, просто изменив base URL.
В руководстве по Docker указано, что для личного использования рекомендуется запускать проект через Docker Compose. Он обслуживает API и dashboard из одного процесса на порту 3001, а SQLite хранится в именованном томе.
В README указано, что прокси реализует /v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, потоковые и непотоковые ответы, а также OpenAI-style tool calling. Он не реализует генерацию изображений, аудио, legacy completions, moderation, multiple completions per request или per-user billing.
Проект рассчитан на single-user setup. В README прямо сказано, что per-user billing и multi-tenant auth пока не поддерживаются.
AakarDev AI helps teams manage AI provider access, project-level setups, logs, and analytics from one dashboard. It supports BYOK workflows and lists providers including OpenAI, Google Gemini, Anthropic, Groq, Mistral AI, and Perplexity AI.
BookAI позволяет вам общаться с вашими книгами, просто предоставив название и автора.
Skills Janitor is a GitHub-hosted set of slash commands for auditing, tracking, and managing Claude Code and OpenAI Codex skills. It helps users find duplicates, broken links, and unused skills, then clean them up with self-contained commands.
FeelFish is a PC client for AI-assisted novel writing, designed to help fiction writers plan characters and settings, draft and revise long-form content, and manage story context. It includes a free tier and paid plans, with support for multiple large-model providers.
Benchspan is an AI agent security platform that discovers agents, blocks prompt injection and data exfiltration in real time, and supports pre-launch red teaming. It is aimed at teams running agents in production and includes Python and TypeScript SDKs.
ChatBA is a generative AI product for creating slide decks from prompts. The public site emphasizes instant presentation generation and includes help content for templates, sharing, and data sources.
