Edgee

Qu’est-ce qu’Edgee ?

Edgee est une passerelle d’IA native edge qui se place entre votre application ou vos agents de codage et les fournisseurs LLM. Sa fonction principale est de compresser les prompts avant qu’ils n’atteignent les fournisseurs de modèles, dans le but de réduire l’utilisation de tokens (et donc d’abaisser les coûts et la latence) tout en préservant l’intention.

Elle expose une unique API compatible OpenAI pour router les requêtes sur plus de 200 modèles et ajoute une couche d’« intelligence edge » pour les politiques de routage, les contrôles de coûts, les modèles privés, les outils partagés et l’observabilité.

Fonctionnalités principales

• Compression de tokens pour les prompts : Réduit la taille des prompts avant envoi aux fournisseurs LLM, pour des comptes de tokens plus bas dans les contextes longs, les pipelines RAG et les exécutions d’agents multi-tours.
• API de passerelle compatible OpenAI : Fournit une interface API unique pour router le trafic sur plus de 200 modèles, sans intégrations spécifiques à chaque fournisseur.
• Mode proxy transparent pour agents de codage : Conçu pour fonctionner sans modification de code pour les agents, avec compression appliquée dès la première requête.
• Politiques de routage et contrôles de coûts : Ajoute des contrôles au niveau edge pour le routage des requêtes et la gestion de l’utilisation des modèles.
• Outils à l’edge : Prend en charge l’invocation d’outils partagés gérés par Edgee et le déploiement de vos outils privés plus près des utilisateurs et fournisseurs pour un contrôle renforcé et une latence réduite.
• Apportez vos propres clés et/ou clés gérées par Edgee : Permet d’utiliser les clés d’Edgee pour plus de simplicité ou d’intégrer vos clés fournisseurs pour conserver le contrôle de facturation et les configurations de modèles personnalisées.
• Observabilité : Suit la latence, les erreurs et l’utilisation, y compris les coûts par modèle, par app et par environnement.
• Déploiement de modèles privés via LLMs open-source serverless : Déploie à la demande des modèles open-source serverless et les expose via la même API de passerelle aux côtés des fournisseurs publics.

Comment utiliser Edgee

1. Installez l’Edgee CLI : Exécutez la commande d’installation indiquée sur le site (curl -fsSL https://install.edgee.ai | bash).
2. Connectez Edgee à votre agent ou app : Pour les agents de codage, utilisez le flux CLI/launch pour connecter Edgee en tant que proxy transparent afin qu’il compresse les tokens sans modification de code.
3. Envoyez des requêtes via l’API de passerelle : Votre application ou agent envoie les requêtes à Edgee via l’interface compatible OpenAI ; Edgee applique la compression de tokens et tout routage, outil ou contrôle configuré.
4. Surveillez les résultats : Utilisez l’observabilité d’Edgee pour examiner la latence, les erreurs et l’utilisation/coûts par modèle, app et environnement.

Cas d’usage

• Agents de codage avec contextes répétés et longs : Utilisez Edgee pour compresser les prompts des assistants de codage afin que les sessions multi-tours et interactions à contexte long consomment moins de tokens.
• Pipelines RAG : Placez Edgee devant vos appels LLM dans les flux de génération augmentée par récupération pour réduire l’empreinte tokens des prompts contenant le contexte récupéré.
• Applications utilisant plusieurs fournisseurs LLM : Intégrez une seule fois via l’API de passerelle compatible OpenAI et routez les requêtes sur de nombreux modèles via Edgee, sans logique spécifique à chaque fournisseur.
• Équipes needing visibilité sur l’utilisation et les coûts : Utilisez l’observabilité pour décomposer la latence, les erreurs et l’utilisation/coûts par modèle, par app et par environnement.
• Déploiement de modèles privés et outils personnalisés : Exposez des LLMs open-source serverless et des outils privés via la même API de passerelle, en gardant l’exécution des modèles et outils contrôlée à l’edge.

FAQ

Edgee est-il un proxy pour les agents existants ?

Edgee est décrit comme fonctionnant en tant que proxy transparent pour les agents de codage, avec compression de tokens activée dès la première requête et sans modification de code requise.

Edgee utilise-t-il une API compatible OpenAI ?

Oui. Le site indique qu’Edgee se trouve derrière une unique API compatible OpenAI.

Comment Edgee réduit-il les coûts ?

Edgee réduit l’utilisation de tokens en compressant les prompts avant qu’ils n’atteignent les fournisseurs LLM, ce que le site relie à des factures plus basses et une latence réduite — surtout pour les contextes longs et les agents multi-tours.

Puis-je utiliser mes propres clés API fournisseurs ?

Le site indique que vous pouvez soit utiliser les clés d’Edgee pour plus de simplicité, soit intégrer vos propres clés fournisseurs pour le contrôle de facturation et les modèles personnalisés.

Que montre l’observabilité d’Edgee ?

L’observabilité d’Edgee inclut la latence, les erreurs et l’utilisation/coûts par modèle, par app et par environnement.

Alternatives

• Intégrations SDK spécifiques aux fournisseurs : Au lieu de router via une passerelle, intégrez directement un ou plusieurs fournisseurs LLM. Cela peut être plus simple mais nécessite généralement une gestion séparée pour chaque fournisseur et moins de contrôles partagés entre les modèles.
• Couches RAG et d’optimisation de prompts sans passerelle : Des outils axés uniquement sur la construction de prompts, la synthèse ou la troncature peuvent réduire les tokens, mais ils ne centralisent pas les politiques de routage, la gestion d’outils ou l’observabilité multi-modèles.
• Solutions de proxy/passerelle auto-hébergées : Une passerelle/proxy personnalisée ou open source peut centraliser la compatibilité API et les logs, mais la compression de tokens, l’exécution d’outils et le déploiement de modèles privés nécessiteraient un effort d’implémentation supplémentaire.