Edgee

¿Qué es Edgee?

Edgee es un gateway de IA nativo en el edge que se sitúa entre tu aplicación o agentes de codificación y los proveedores de LLM. Su función principal es comprimir prompts antes de que lleguen a los proveedores de modelos, con el objetivo de reducir el uso de tokens (y por tanto bajar costes y latencia) preservando la intención.

Expone una única API compatible con OpenAI para enrutar solicitudes entre 200+ modelos y añade una capa de “inteligencia en el edge” para políticas de enrutamiento, controles de costes, modelos privados, herramientas compartidas y observabilidad.

Características principales

• Compresión de tokens para prompts: Reduce el tamaño de los prompts antes de enviar las solicitudes a proveedores de LLM, optimizando el conteo de tokens en contextos largos, pipelines RAG y ejecuciones de agentes multi-turno.
• API de gateway compatible con OpenAI: Ofrece una sola interfaz API que enruta tráfico entre 200+ modelos en lugar de requerir integraciones específicas por proveedor.
• Modo proxy transparente para agentes de codificación: Diseñado para funcionar sin cambios de código en los agentes, aplicando compresión desde la primera solicitud.
• Políticas de enrutamiento y controles de costes: Añade controles a nivel edge para gestionar el enrutamiento de solicitudes y el uso de modelos.
• Herramientas en el edge: Permite invocar herramientas compartidas gestionadas por Edgee y desplegar tus propias herramientas privadas más cerca de usuarios y proveedores para mayor control y menor latencia.
• Trae tus propias claves o claves gestionadas por Edgee: Te permite usar las claves de Edgee por comodidad o integrar tus claves de proveedores para mantener control de facturación y configuraciones personalizadas de modelos.
• Observabilidad: Rastrea latencia, errores y uso, incluyendo costes por modelo, por app y por entorno.
• Despliegue de modelos privados vía LLM open-source serverless: Despliega modelos open-source serverless bajo demanda y los expone a través de la misma API de gateway junto a proveedores públicos.

Cómo usar Edgee

1. Instala el CLI de Edgee: Ejecuta el comando de instalación mostrado en el sitio (curl -fsSL https://install.edgee.ai | bash).
2. Conecta Edgee a tu agente o app: Para agentes de codificación, usa el flujo CLI/launch para conectar Edgee como proxy transparente y comprimir tokens sin cambios de código.
3. Envía solicitudes a través de la API de gateway: Tu aplicación o agente envía solicitudes a Edgee usando la interfaz compatible con OpenAI; Edgee aplica compresión de tokens y cualquier enrutamiento, herramientas y controles configurados.
4. Supervisa resultados: Usa la observabilidad de Edgee para revisar latencia, errores y uso/costes por modelo, app y entorno.

Casos de uso

• Agentes de codificación con contextos repetidos y largos: Usa Edgee para comprimir prompts en asistentes de codificación, reduciendo tokens en sesiones multi-turno e interacciones de contexto largo.
• Pipelines RAG: Coloca Edgee delante de tus llamadas a LLM en flujos de generación aumentada por recuperación para reducir la huella de tokens en prompts con contexto recuperado.
• Aplicaciones con múltiples proveedores de LLM: Integra una sola vez vía la API de gateway compatible con OpenAI y enruta solicitudes entre muchos modelos a través de Edgee, sin lógica específica por proveedor.
• Equipos que necesitan visibilidad de uso y costes: Usa la observabilidad para desglosar latencia, errores y uso/costes por modelo, app y entorno.
• Despliegue de modelos privados y herramientas personalizadas: Expone LLM open-source serverless y herramientas privadas a través de la misma API de gateway, manteniendo el control de ejecución en el edge.

Preguntas frecuentes

¿Es Edgee un proxy para agentes existentes?

Edgee funciona como un proxy transparente para agentes de codificación, con compresión de tokens activada desde la primera solicitud y sin necesidad de cambios de código.

¿Edgee usa una API compatible con OpenAI?

Sí. El sitio indica que Edgee se encuentra detrás de una única API compatible con OpenAI.

¿Cómo reduce Edgee los costes?

Edgee reduce el uso de tokens comprimiendo prompts antes de que lleguen a proveedores de LLM, lo que el sitio vincula a facturas más bajas y menor latencia, especialmente en contextos largos y agentes multi-turno.

¿Puedo usar mis propias claves de API de proveedores?

El sitio indica que puedes usar las claves de Edgee por comodidad o integrar tus propias claves de proveedores para control de facturación y modelos personalizados.

¿Qué muestra la observabilidad de Edgee?

La observabilidad de Edgee incluye latencia, errores y uso/costes por modelo, por app y por entorno.

Alternativas

• Integraciones con SDK específicos del proveedor: En lugar de enrutar a través de un gateway, integra directamente con uno o más proveedores de LLM. Puede ser más simple, pero suele requerir manejo separado para cada proveedor y menos controles compartidos entre modelos.
• Capas de RAG y optimización de prompts sin gateway: Herramientas que se centran solo en la construcción de prompts, resumen o truncado pueden reducir tokens, pero no centralizan políticas de enrutamiento, gestión de herramientas ni observabilidad multi-modelo.
• Soluciones de proxy/gateway autoalojadas: Un gateway/proxy personalizado u open-source puede centralizar compatibilidad de API y logging, pero la compresión de tokens, ejecución de herramientas y despliegue de modelos privados requerirían esfuerzo adicional de implementación.