Edgee

O que é Edgee?

Edgee é um gateway de IA nativo na borda que fica entre sua aplicação ou agentes de codificação e provedores de LLM. Sua função principal é comprimir prompts antes de chegarem aos provedores de modelos, com o objetivo de reduzir o uso de tokens (e, portanto, diminuir custos e latência), preservando a intenção.

Ele expõe uma única API compatível com OpenAI para rotear requisições entre mais de 200 modelos e adiciona uma camada de “inteligência na borda” para políticas de roteamento, controles de custo, modelos privados, ferramentas compartilhadas e observabilidade.

Principais Recursos

• Compressão de tokens para prompts: Reduz o tamanho dos prompts antes de enviá-los aos provedores de LLM, visando contagens menores de tokens em contextos longos, pipelines RAG e execuções de agentes multi-turno.
• API de gateway compatível com OpenAI: Fornece uma única interface de API que roteia tráfego entre mais de 200 modelos, em vez de exigir integrações específicas por provedor.
• Modo proxy transparente para agentes de codificação: Projetado para funcionar sem alterações de código para agentes, com compressão aplicada a partir da primeira requisição.
• Políticas de roteamento e controles de custo: Adiciona controles no nível da borda para como as requisições são roteadas e como o uso de modelos é gerenciado.
• Ferramentas na borda: Suporta a invocação de ferramentas compartilhadas gerenciadas pelo Edgee e também o deployment de ferramentas privadas próprias mais próximas dos usuários e provedores, para maior controle e menor latência.
• Traga Suas Próprias Chaves ou chaves gerenciadas pelo Edgee: Permite usar as chaves do Edgee por conveniência ou conectar suas chaves de provedor para manter o controle de faturamento e configurações personalizadas de modelos.
• Observabilidade: Acompanha latência, erros e uso, incluindo custo por modelo, por app e por ambiente.
• Deployment de modelos privados via LLMs open-source serverless: Implanta modelos open-source serverless sob demanda e os expõe pela mesma API de gateway, junto aos provedores públicos.

Como Usar o Edgee

1. Instale o CLI do Edgee: Execute o comando de instalação mostrado no site (curl -fsSL https://install.edgee.ai | bash).
2. Conecte o Edgee ao seu agente ou app: Para agentes de codificação, use o fluxo CLI/launch para conectar o Edgee como proxy transparente, permitindo compressão de tokens sem alterações de código.
3. Envie requisições pela API de gateway: Sua aplicação ou agente envia requisições ao Edgee usando a interface compatível com OpenAI; o Edgee aplica compressão de tokens e qualquer roteamento, ferramentas e controles configurados.
4. Monitore os resultados: Use a observabilidade do Edgee para revisar latência, erros e uso/custo por modelo, app e ambiente.

Casos de Uso

• Agentes de codificação com contexto longo e repetido: Use o Edgee para comprimir prompts em assistentes de codificação, para que sessões multi-turno e interações de contexto longo consumam menos tokens.
• Pipelines RAG: Posicione o Edgee antes das chamadas de LLM em fluxos de geração aumentada por recuperação para reduzir a pegada de tokens de prompts com contexto recuperado.
• Aplicações usando múltiplos provedores de LLM: Integre uma vez via API de gateway compatível com OpenAI e roteie requisições entre muitos modelos pelo Edgee, em vez de gerenciar lógica específica por provedor.
• Equipes precisando de visibilidade de uso e custo: Use observabilidade para detalhar latência, erros e uso/custo por modelo, por app e por ambiente.
• Deploy de modelos privados e ferramentas customizadas: Exponha LLMs open-source serverless e ferramentas privadas pela mesma API de gateway, mantendo execução de modelos e ferramentas controlada na borda.

FAQ

O Edgee é um proxy para agentes existentes?

O Edgee é descrito como funcionando como proxy transparente para agentes de codificação, com compressão de tokens ativada a partir da primeira requisição e sem necessidade de alterações de código.

O Edgee usa uma API compatível com OpenAI?

Sim. O site afirma que o Edgee fica atrás de uma única API compatível com OpenAI.

Como o Edgee reduz custos?

O Edgee reduz o uso de tokens comprimindo prompts antes de chegarem aos provedores de LLM, o que o site relaciona a faturas menores e menor latência — especialmente para contextos longos e agentes multi-turno.

Posso usar minhas próprias chaves de API de provedor?

O site diz que você pode usar as chaves do Edgee por conveniência ou conectar suas próprias chaves de provedor para controle de faturamento e modelos customizados.

O que o Edgee mostra na observabilidade?

A observabilidade do Edgee inclui latência, erros e uso/custo por modelo, por app e por ambiente.

Alternativas

• Integrações com SDKs específicos de provedores: Em vez de rotear por um gateway, integre diretamente com um ou mais provedores de LLM. Isso pode ser mais simples, mas geralmente exige tratamento separado para cada provedor e menos controles compartilhados entre modelos.
• Camadas de RAG e otimização de prompts sem gateway: Ferramentas focadas apenas na construção de prompts, resumização ou truncagem podem reduzir tokens, mas não centralizam políticas de roteamento, gerenciamento de ferramentas ou observabilidade multi-modelo.
• Soluções de proxy/gateway auto-hospedadas: Um gateway/proxy personalizado ou open-source pode centralizar compatibilidade de API e logging, mas compressão de tokens, execução de ferramentas e implantação de modelos privados exigiriam esforço adicional de implementação.