Edgee AI Gateway란 무엇인가요?

Edgee는 애플리케이션과 다양한 대규모 언어 모델(LLM) 제공업체 사이에 위치하도록 설계된 지능형 AI 게이트웨이입니다. 핵심 혁신은 토큰 압축에 있으며, 이는 의미론적 의미와 의도를 엄격하게 보존하면서 엣지에서 프롬프트를 지능적으로 최적화하여 중복을 제거합니다. OpenAI, Anthropic, Gemini와 같은 서비스에 도달하기 전에 입력 크기를 줄임으로써 Edgee는 운영 비용을 직접적으로 절감하며, 종종 입력 토큰 사용량을 최대 50%까지 줄이고 전반적인 LLM 비용과 지연 시간을 낮춥니다.

이 게이트웨이는 최신 AI 트래픽 관리를 위한 중요한 인텔리전스 계층 역할을 합니다. 단일하고 친숙한 OpenAI 호환 API 아래에서 200개 이상의 모델에 대한 액세스를 통합하여 개발자가 제공업체를 쉽게 전환하고, 고급 라우팅을 구현하고, 개인 정보 보호 제어를 시행하고, 비용을 원활하게 관리할 수 있도록 합니다.

Edgee는 조직이 강력하고 최첨단 모델을 효율적으로 활용할 수 있도록 보장하여 AI 확장을 비용 효율적이고 관리 가능하게 만듭니다.

주요 기능

Edgee는 최적화, 제어 및 호환성을 중심으로 하는 강력한 기능군을 제공합니다:

• 토큰 압축: 의미 보존이나 컨텍스트 손실 없이 엣지에서 프롬프트를 지능적으로 압축하여 입력 토큰을 최대 50%까지 줄입니다.
• 범용 LLM 호환성: OpenAI, Anthropic, Gemini, xAI, Mistral 등과 호환되는 단일 API 계층으로 작동하여 제공업체 전환을 용이하게 합니다.
• 비용 거버넌스 및 가시성: 사용자 지정 메타데이터(예: 기능, 팀, 프로젝트)로 요청을 태그 지정하여 사용량을 세부적으로 추적합니다. 비용 급증에 대한 실시간 비용 경고 기능이 포함되어 있습니다.
• 엣지 도구 및 모델: 지연 시간을 줄이기 위해 엣지에서 공유 또는 사용자 지정 비공개 도구 호출을 지원하며, 분류 또는 수정과 같은 사전 처리 작업을 위해 작고 빠른 모델을 배포할 수 있습니다.
• 자체 키 사용(BYOK): 편의를 위해 Edgee의 키를 사용하거나 직접적인 청구 제어 및 사용자 지정 모델 구성 액세스를 위해 자체 제공업체 키를 연결할 수 있는 유연성을 제공합니다.
• 응답 정규화: 다양한 LLM 제공업체 전반의 응답을 표준화하여 통합을 단순화하고 제공업체 변경에 대한 애플리케이션 아키텍처의 미래를 보장합니다.

Edgee AI Gateway 사용 방법

Edgee를 시작하는 과정은 게이트웨이를 애플리케이션의 기존 LLM 호출 구조에 통합하는 것을 포함합니다. 이 프로세스는 친숙한 OpenAI SDK 패턴을 활용하여 최소한의 중단만 발생하도록 설계되었습니다.

1. 통합: 직접적인 LLM 제공업체 호출을 Edgee API 엔드포인트(https://api.edgee.ai)를 대상으로 하는 호출로 대체합니다.
2. API 키 설정: Edgee API 키를 얻습니다. 편의를 위해 Edgee 키를 사용하거나 청구 제어를 위해 Edgee 대시보드 내에서 자체 제공업체 키를 구성할 수 있습니다.
3. 압축 활성화: 요청을 할 때 페이로드에서 enable_compression: true 플래그를 설정하거나(또는 적절한 SDK 메서드 사용) 토큰 최적화를 활성화합니다.
4. 거버넌스를 위한 태깅: 비용 추적을 위해 관련 태그를 요청에 추가합니다. 예를 들어, SDK 호출에서 tags: ['feature:reports', 'team:analytics']를 포함할 수 있습니다.
5. 모니터링: Edgee 대시보드를 사용하여 트래픽, 지연 시간, 오류 및 태그별 비용 분석을 모니터링하고 예상치 못한 지출에 대한 경고를 설정합니다.

이 통합된 접근 방식을 통해 요청의 model 매개변수만 변경하여 다른 모델을 테스트하거나 제공업체를 전환할 수 있으며, 이 모든 과정에서 압축 및 거버넌스의 이점을 누릴 수 있습니다.

사용 사례

Edgee는 높은 볼륨, 긴 컨텍스트 또는 비용 제어가 주요 관심사인 시나리오에서 특히 유용합니다.

1. 대규모 RAG 파이프라인: LLM에 대용량 문서나 광범위한 컨텍스트 창을 자주 전달하는 검색 증강 생성(RAG) 시스템의 경우, Edgee의 압축은 정확한 검색에 필요한 컨텍스트를 유지하면서 쿼리당 비용을 대폭 절감합니다.
2. 다중 턴 에이전트 워크플로: 긴 대화 기록을 유지하는 복잡한 AI 에이전트의 경우, 누적된 컨텍스트 기록을 모델에 보내기 전에 압축하면 지연 시간이 최소화되고 여러 턴에 걸친 비용 증가를 방지할 수 있습니다.
3. 스타트업/SMB를 위한 비용 최적화: 높은 볼륨의 일상적인 LLM 작업(예: 요약, 분류)을 실행하는 회사는 핵심 애플리케이션 로직을 다시 작성하거나 덜 유능한 모델로 다운그레이드할 필요 없이 즉각적이고 측정 가능한 절감 효과(최대 50%)를 얻을 수 있습니다.
4. 제공업체에 구애받지 않는 개발: 유연성이 필요한 기능을 구축하는 팀은 Edgee API를 기준으로 개발하여 특정 제공업체의 가격 구조나 기능 세트에 얽매이지 않도록 보장하고, 주어진 순간에 가장 성능이 좋거나 가장 저렴한 모델로 트래픽을 동적으로 라우팅할 수 있도록 합니다.
5. 데이터 개인 정보 보호 및 사전 처리: 엣지에서 모델을 사용하면 핵심 프롬프트가 외부 LLM 제공업체에 전송되기 전에 민감한 데이터를 로컬에서 수정, 분류 또는 보강하여 개인 정보 보호 규정 준수를 강화할 수 있습니다.

FAQ

Q: Edgee는 의미 손실 없이 정확히 어떻게 토큰을 압축하나요? A: Edgee는 프롬프트 구조와 의미론을 분석하여 중복 토큰, 불필요한 단어 또는 지나치게 장황한 문구를 식별하고 제거하는 독점 알고리즘을 사용합니다. 이 프로세스는 LLM이 정확한 생성을 위해 필요로 하는 핵심 의도와 필요한 컨텍스트를 보존하도록 설계되었습니다.

Q: 압축 기능이 필수인가요, 아니면 Edgee를 통합 API 게이트웨이로만 사용할 수 있나요? A: 압축 기능은 선택 사항입니다. Edgee를 비용 거버넌스를 갖춘 통합 지능형 라우팅 계층으로만 사용하거나, 절감 효과를 극대화하기 위해 선택적으로 또는 보편적으로 압축을 활성화할 수 있습니다.

Q: Edgee API를 통해 지원되는 LLM 제공업체는 무엇인가요? A: Edgee는 OpenAI, Anthropic, Google Gemini, xAI, Mistral을 포함한 모든 주요 제공업체를 지원합니다. 목표는 표준화된 API 인터페이스를 통해 200개 이상의 모델에 대한 호환성을 제공하는 것입니다.

Q: 비용 경고가 발생하면 어떻게 되나요? A: 구성된 지출 임계값(예: feature:reports가 24시간 동안 $500 지출)을 초과하면 Edgee는 구성된 알림 채널로 경고를 보냅니다. 이를 통해 비용이 통제 불능 상태가 되기 전에 엔지니어링 또는 재무 팀이 즉시 조사할 수 있습니다.

Q: LLM 제공업체에 직접 청구하기 위해 내 API 키를 사용할 수 있나요? A: 예, Edgee는 자체 키 사용(BYOK) 모델을 지원합니다. 이를 통해 사용량이 제공업체 계정으로 직접 청구되므로 제공업체별 청구 및 속도 제한에 대한 최대 제어 권한을 갖게 됩니다.