Edgee

Что такое Edgee?

Edgee — edge-native AI gateway, который располагается между вашим приложением или кодовыми агентами и LLM-провайдерами. Его основная задача — сжимать промпты перед отправкой к провайдерам моделей, чтобы снизить использование токенов (и тем самым уменьшить затраты и задержки), сохраняя при этом intent.

Он предоставляет единый OpenAI-compatible API для маршрутизации запросов по 200+ моделям и добавляет слой «edge intelligence» для политик маршрутизации, контроля затрат, приватных моделей, общих инструментов и observability.

Ключевые возможности

• Сжатие токенов для промптов: Уменьшает размер промптов перед отправкой к LLM-провайдерам, снижая количество токенов для длинных контекстов, RAG-пайплайнов и многоходовых запусков агентов.
• OpenAI-compatible gateway API: Обеспечивает один API-интерфейс для маршрутизации трафика по 200+ моделям вместо отдельных интеграций с каждым провайдером.
• Прозрачный proxy-режим для кодовых агентов: Разработан для работы без изменений в коде у агентов, с применением сжатия начиная с первого запроса.
• Политики маршрутизации и контроль затрат: Добавляет управление на уровне edge для маршрутизации запросов и управления использованием моделей.
• Инструменты на edge: Поддерживает вызов общих инструментов, управляемых Edgee, и развертывание ваших приватных инструментов ближе к пользователям и провайдерам для лучшего контроля и меньшей задержки.
• Bring Your Own Keys и/или ключи, управляемые Edgee: Позволяет использовать ключи Edgee для удобства или подключать свои ключи провайдеров для контроля биллинга и кастомных конфигураций моделей.
• Observability: Отслеживает задержки, ошибки и использование, включая затраты по моделям, приложениям и окружениям.
• Развертывание приватных моделей через serverless open-source LLMs: Развертывает serverless open-source модели по требованию и предоставляет доступ к ним через тот же gateway API наряду с публичными провайдерами.

Как использовать Edgee

1. Установите Edgee CLI: Выполните команду установки с сайта (curl -fsSL https://install.edgee.ai | bash).
2. Подключите Edgee к агенту или приложению: Для кодовых агентов используйте CLI/launch flow, чтобы подключить Edgee как прозрачный прокси для сжатия токенов без изменений в коде.
3. Отправляйте запросы через gateway API: Ваше приложение или агент отправляет запросы к Edgee через OpenAI-compatible интерфейс; Edgee применяет сжатие токенов и настроенные маршрутизацию, инструменты и контролы.
4. Мониторьте результаты: Используйте observability Edgee для анализа задержек, ошибок и использования/затрат по моделям, приложениям и окружениям.

Кейсы использования

• Кодовые агенты с повторяющимися длинными контекстами: Используйте Edgee для сжатия промптов кодовых ассистентов, чтобы многоходовые сессии и взаимодействия с длинными контекстами потребляли меньше токенов.
• RAG-пайплайны: Разместите Edgee перед вызовами LLM в retrieval-augmented generation потоках, чтобы уменьшить токеновый footprint промптов с извлеченным контекстом.
• Приложения с несколькими LLM-провайдерами: Интегрируйтесь один раз через OpenAI-compatible gateway API и маршрутизируйте запросы по множеству моделей через Edgee вместо управления отдельной логикой для каждого провайдера.
• Команды, нуждающиеся в видимости использования и затрат: Используйте observability для разбивки задержек, ошибок и использования/затрат по моделям, приложениям и окружениям.
• Развертывание приватных моделей и кастомных инструментов: Предоставляйте доступ к serverless open-source LLMs и приватным инструментам через тот же gateway API, сохраняя контроль над выполнением моделей и инструментов на edge.

FAQ

Является ли Edgee прокси для существующих агентов?

Edgee описан как работающий в режиме прозрачного прокси для кодовых агентов, с включением сжатия токенов начиная с первого запроса и без необходимости изменений в коде.

Использует ли Edgee OpenAI-compatible API?

Да. На сайте указано, что Edgee находится за единым OpenAI-compatible API.

Как Edgee снижает затраты?

Edgee уменьшает использование токенов за счет сжатия промптов перед LLM-провайдерами, что, по данным сайта, приводит к меньшим счетам и задержкам — особенно для длинных контекстов и многоходовых агентов.

Могу ли я использовать свои API-ключи провайдеров?

На сайте сказано, что вы можете использовать ключи Edgee для удобства или подключить свои ключи провайдеров для контроля биллинга и кастомных моделей.

Что показывает observability в Edgee?

Observability Edgee включает задержки, ошибки и использование/затраты по моделям, приложениям и окружениям.

Альтернативы

• Интеграции с SDK провайдеров: Вместо маршрутизации через gateway интегрируйтесь напрямую с одним или несколькими LLM-провайдерами. Это может быть проще, но обычно требует отдельной обработки для каждого провайдера и меньше общих средств управления моделями.
• Слои RAG и оптимизации промптов без gateway: Инструменты, фокусирующиеся только на построении промптов, суммировании или усечении, могут сократить токены, но не централизуют политики маршрутизации, управление инструментами или наблюдаемость для нескольких моделей.
• Самостоятельно размещаемые proxy/gateway-решения: Кастомный или open-source gateway/proxy может централизовать совместимость API и логирование, но сжатие токенов, выполнение инструментов и развертывание приватных моделей потребуют дополнительной реализации.