Edgee

Edgee란 무엇인가요?

Edgee는 애플리케이션이나 코딩 에이전트와 LLM 제공사 사이에 위치하는 엣지 네이티브 AI 게이트웨이입니다. 핵심 기능은 모델 제공사에 도달하기 전에 프롬프트를 압축하여 토큰 사용량(따라서 비용과 지연 시간)을 줄이면서 의도를 보존하는 것입니다.

단일 OpenAI 호환 API를 통해 200+ 모델로 요청을 라우팅하며, 라우팅 정책, 비용 제어, 프라이빗 모델, 공유 도구, 관찰 가능성 기능을 위한 “엣지 인텔리전스” 레이어를 추가합니다.

프롬프트 토큰 압축: LLM 제공사로 요청을 보내기 전에 프롬프트 크기를 줄여 긴 컨텍스트, RAG 파이프라인, 멀티턴 에이전트 실행에서 토큰 수를 낮춥니다.
OpenAI 호환 게이트웨이 API: 200+ 모델로 트래픽을 라우팅할 수 있는 단일 API 인터페이스를 제공하여 제공사별 별도 통합이 필요 없습니다.
코딩 에이전트용 투명 프록시 모드: 코드 변경 없이 에이전트와 작동하도록 설계되었으며, 첫 번째 요청부터 압축이 적용됩니다.
라우팅 정책 및 비용 제어: 요청 라우팅 방식과 모델 사용 관리를 위한 엣지 레벨 제어를 추가합니다.
엣지에서의 도구: Edgee가 관리하는 공유 도구 호출을 지원하며, 사용자와 제공사에 더 가까운 위치에 프라이빗 도구를 배포하여 제어 강화와 지연 시간 감소를 제공합니다.
Bring Your Own Keys 및/또는 Edgee 관리 키: 편의를 위해 Edgee 키를 사용하거나 제공사 키를 연결하여 청구 제어와 사용자 지정 모델 구성을 유지할 수 있습니다.
관찰 가능성: 모델별, 앱별, 환경별 지연 시간, 오류, 사용량(비용 포함)을 추적합니다.
서버리스 오픈소스 LLM을 통한 프라이빗 모델 배포: 필요 시 서버리스 오픈소스 모델을 배포하고 공공 제공사와 동일한 게이트웨이 API로 노출합니다.

Edgee CLI 설치: 사이트에 표시된 설치 명령어 실행(curl -fsSL https://install.edgee.ai | bash).
에이전트 또는 앱에 Edgee 연결: 코딩 에이전트의 경우 CLI/런치 흐름을 사용해 코드 변경 없이 토큰 압축을 적용할 수 있는 투명 프록시로 Edgee를 연결합니다.
게이트웨이 API를 통해 요청 전송: 애플리케이션이나 에이전트가 OpenAI 호환 인터페이스를 사용해 Edgee로 요청을 보냅니다. Edgee가 토큰 압축과 설정된 라우팅, 도구, 제어를 적용합니다.
결과 모니터링: Edgee의 관찰 가능성을 사용해 모델별, 앱별, 환경별 지연 시간, 오류, 사용량/비용을 검토합니다.

반복적이고 긴 컨텍스트를 가진 코딩 에이전트: 코딩 어시스턴트의 프롬프트를 압축하여 멀티턴 코딩 세션과 긴 컨텍스트 상호작용에서 토큰 소비를 줄입니다.
RAG 파이프라인: 검색 증강 생성 흐름에서 LLM 호출 앞에 Edgee를 배치하여 검색된 컨텍스트를 포함한 프롬프트의 토큰 사용량을 줄입니다.
여러 LLM 제공사를 사용하는 애플리케이션: OpenAI 호환 게이트웨이 API로 한 번 통합하고 Edgee를 통해 여러 모델로 요청을 라우팅하여 제공사별 로직 관리가 필요 없습니다.
사용량 및 비용 가시성이 필요한 팀: 모델별, 앱별, 환경별 지연 시간, 오류, 사용량/비용을 분해하여 관찰 가능성을 사용합니다.
프라이빗 모델 및 사용자 지정 도구 배포: 동일한 게이트웨이 API를 통해 서버리스 오픈소스 LLM과 프라이빗 도구를 노출하며, 모델과 도구 실행을 엣지에서 제어합니다.

Edgee는 코딩 에이전트용 투명 프록시로 작동하며, 첫 번째 요청부터 토큰 압축이 활성화되고 코드 변경이 필요 없습니다.

네. 사이트에서 Edgee가 단일 OpenAI 호환 API 뒤에 위치한다고 명시되어 있습니다.

Edgee는 LLM 제공사에 도달하기 전에 프롬프트를 압축하여 토큰 사용량을 줄이며, 사이트에서 이를 긴 컨텍스트와 멀티턴 에이전트의 낮은 청구 및 지연 시간과 연결합니다.

사이트에서 편의를 위해 Edgee 키를 사용하거나 청구 제어와 사용자 지정 모델을 위해 자신의 제공사 키를 연결할 수 있다고 합니다.

Edgee의 관찰 가능성은 모델별, 앱별, 환경별 지연 시간, 오류, 사용량/비용을 포함합니다.

제공사별 SDK 통합: 게이트웨이를 거치지 않고 하나 이상의 LLM 제공사와 직접 통합합니다. 더 간단할 수 있지만, 일반적으로 각 제공사를 개별 처리해야 하며 모델 간 공유 제어가 적습니다.
게이트웨이 없는 RAG 및 프롬프트 최적화 레이어: 프롬프트 구성, 요약 또는 잘라내기에만 초점을 맞춘 도구는 토큰을 줄일 수 있지만, 라우팅 정책, 도구 관리 또는 다중 모델 관찰 가능성을 중앙화하지 않을 수 있습니다.
자체 호스팅 프록시/게이트웨이 솔루션: 커스텀 또는 오픈소스 게이트웨이/프록시는 API 호환성과 로깅을 중앙화할 수 있지만, 토큰 압축, 도구 실행 및 프라이빗 모델 배포는 추가 구현 노력이 필요합니다.