Edgee

Edgeeとは？

Edgeeは、アプリケーションやコーディングエージェントとLLMプロバイダーの間に位置するエッジネイティブAIゲートウェイです。主な役割は、モデルプロバイダーに到達する前にプロンプトを圧縮し、トークン使用量を削減（これによりコストとレイテンシを低減）することです。意図は保持されます。

単一のOpenAI互換APIを公開し、200+モデルへのリクエストルーティングを可能にし、ルーティングポリシー、コストコントロール、プライベートモデル、共有ツール、観測可能性のための「エッジインテリジェンス」レイヤーを追加します。

主な機能

• プロンプトのトークン圧縮: LLMプロバイダーにリクエストを送る前にプロンプトサイズを削減し、長文コンテキスト、RAGパイプライン、マルチターンエージェント実行でトークン数を低減。
• OpenAI互換ゲートウェイAPI: 200+モデルにトラフィックをルーティングする単一APIインターフェースを提供し、プロバイダーごとの個別統合を不要に。
• コーディングエージェント向け透明プロキシモード: エージェントのコード変更なしで動作し、初回リクエストから圧縮を適用。
• ルーティングポリシーとコストコントロール: リクエストのルーティング方法とモデル使用の管理にエッジレベルのコントロールを追加。
• エッジ上のツール: Edgeeが管理する共有ツールの呼び出しをサポートし、ユーザやプロバイダに近い場所にプライベートツールをデプロイして制御を強化しレイテンシを低減。
• 独自キー持ち込みまたはEdgee管理キー: 利便性のためにEdgeeのキーを使ったり、課金制御とカスタムモデル設定のためにプロバイダーキーを接続。
• 観測可能性: レイテンシ、エラー、使用状況（モデルごと、アプリごと、環境ごと）を追跡。
• サーバーレスオープンソースLLMによるプライベートモデルデプロイ: 需要に応じてサーバーレスオープンソースモデルをデプロイし、同じゲートウェイAPIで公開プロバイダと併用。

Edgeeの使い方

1. Edgee CLIのインストール: サイトに表示されるインストールコマンドを実行（curl -fsSL https://install.edgee.ai | bash）。
2. エージェントやアプリをEdgeeに接続: コーディングエージェントの場合、CLI/launchフローを使って透明プロキシとして接続し、コード変更なしでトークン圧縮を実現。
3. ゲートウェイAPI経由でリクエスト送信: アプリケーションやエージェントがOpenAI互換インターフェースでEdgeeにリクエストを送り、Edgeeがトークン圧縮と設定されたルーティング、ツール、コントロールを適用。
4. 結果の監視: Edgeeの観測可能性を使って、モデルごと、アプリごと、環境ごとのレイテンシ、エラー、使用状況/コストを確認。

ユースケース

• 繰り返し長文コンテキストのコーディングエージェント: コーディングアシスタントのプロンプトを圧縮し、マルチターンコーディングセッションと長文インタラクションのトークン消費を削減。
• RAGパイプライン: 検索拡張生成フローでのLLM呼び出し前にEdgeeを配置し、取得コンテキストを含むプロンプトのトークン量を削減。
• 複数LLMプロバイダーを使うアプリケーション: OpenAI互換ゲートウェイAPIで一度統合し、Edgee経由で複数モデルにリクエストをルーティングしてプロバイダーごとのロジック管理を省略。
• 使用状況とコストの可視化が必要なチーム: 観測可能性でモデルごと、アプリごと、環境ごとのレイテンシ、エラー、使用状況/コストを分解。
• プライベートモデルとカスタムツールのデプロイ: サーバーレスオープンソースLLMとプライベートツールを同じゲートウェイAPIで公開し、エッジでモデルとツール実行を制御。

FAQ

Edgeeは既存エージェントのプロキシですか？

Edgeeはコーディングエージェント向け透明プロキシとして動作し、初回リクエストからトークン圧縮を有効化、コード変更不要です。

EdgeeはOpenAI互換APIを使いますか？

はい。サイトでは単一のOpenAI互換APIの背後に位置すると記載。

Edgeeはどうやってコストを削減しますか？

LLMプロバイダーに到達前にプロンプトを圧縮してトークン使用量を削減し、特に長文コンテキストとマルチターンエージェントで請求額とレイテンシを低減。

独自のプロバイダーAPIキーを使えますか？

サイトでは利便性のためにEdgeeのキーを使ったり、課金制御とカスタムモデル用に独自のプロバイダーキーを接続可能と記載。

Edgeeの観測可能性で何を表示できますか？

Edgeeの観測可能性には、モデルごと、アプリごと、環境ごとのレイテンシ、エラー、使用状況/コストが含まれます。

代替案

• プロバイダー固有のSDK統合: ゲートウェイ経由のルーティングではなく、1つ以上のLLMプロバイダーと直接統合します。シンプルになる場合がありますが、各プロバイダーごとに個別の処理が必要で、モデル間の共有コントロールが少なくなるのが一般的です。
• ゲートウェイなしのRAGおよびプロンプト最適化レイヤー: プロンプト構築、要約、切り詰めに特化したツールはトークンを削減できますが、ルーティングポリシー、ツール管理、多モデル監視の集中化はできません。
• セルフホスト型プロキシ/ゲートウェイソリューション: カスタムまたはオープンソースのゲートウェイ/プロキシでAPI互換性とログを集中化できますが、トークン圧縮、ツール実行、私有モデルデプロイには追加の実装作業が必要です。