クエリ対応コンテキスト圧縮
現在のユーザーの質問に対してプロンプトの各セグメントをスコアリングし、その質問への回答に関連性の低いコンテキストを削除します。
SuperCompress
SuperCompressは、LLM向けのクエリ対応コンテキスト圧縮ツールです。推論前に入力トークンを削減し、答えに重要な根拠を保持します。オープンソースで、CPUで動作し、ホスト型APIとPythonパッケージで利用できます。
概要
SuperCompressは、LLMアプリケーション向けのクエリ対応コンテキスト圧縮ツールです。アプリとモデルの間に入り、ユーザーの現在の質問に最も関連するプロンプト部分を選択することで、推論前に入力トークンを削減します。
この製品は、チャットボット、RAGパイプライン、サポートコパイロット、AI検索、エージェントループなどの長文コンテキストワークフロー向けに設計されています。ソースでは、MITのオープンソース、CPU専用、約5Kパラメータであり、ホスト型APIとローカルのPythonパッケージが利用可能と説明されています。
機能
推論前のプロンプト前処理
モデル呼び出しの前に、チャット履歴、RAGチャンク、サポート会話の記録、ツールトレース、ログ、その他の長文コンテキスト入力をサポートします。
圧縮レポートと診断
トークン数、削減トークン数、保持率、圧縮リスクレベルを返し、チームがロールアウト前やログ上で影響を確認できるようにします。
ホスト型とローカルのワークフロー
ホスト型APIとローカルのPythonパッケージを提供し、ドキュメントではcurl、JSON、フォームエンコードのリクエストオプションが示されています。
ダッシュボードとテストワークフロー
コンテキストを試し、キーを作成し、従量課金の使用状況を確認できるインタラクティブなプレイグラウンドとダッシュボードを備えています。
統合ガイダンス
OpenAI、LangChain、Express.js、Vercel AI SDK、ローカルモデル呼び出し向けの統合パスをドキュメント化しています。
ユースケース
チャットボットと会話型AI
各リクエストをモデルに送る前に、チャット履歴や繰り返しの会話状態を短縮し、コンシューマー向けAIアプリが時間経過によるトークン増加を抑えられるようにします。
検索拡張生成
RAGパイプラインで取得した文章やドキュメントチャンクを圧縮し、コンテキストウィンドウを超えずに最も関連性の高い根拠をモデルに見せます。
サポートコパイロット
サポート会話の記録、チケット履歴、ナレッジベースの抜粋を、コパイロットやエージェントツールがLLMを呼び出す前に削減します。
エージェントループとツールトレース
エージェントワークフローでターンをまたいで蓄積されるツールトレース、中間出力、ログを整理します。
プロンプト圧縮の評価
自分のプロンプトに対して製品をテストし、元のコンテキストと圧縮後のコンテキストを比較し、ロールアウト前に保持された内容と削除された内容を確認します。
Pros and Cons
Pros
- モデル呼び出しの後ではなく、前にトークンコストとレイテンシを対象にしています。
- コンテキスト末尾を機械的に切り詰めるのではなく、答えに重要な根拠を保持します。
- CPUで動作し、GPUを必要としません。
- ホスト型とローカルの両方の利用パスを提供します。
- 削減トークン数や重要保持率など、測定可能な出力フィールドを提供します。
Cons
- 価格ページは収集されたソースには含まれていなかったため、公開プランの詳細はダッシュボードに限られます。
- ドキュメントにはcompiler modeとfixed-ratio modeの両方が示されており、用途に応じて適切なワークフローを選ぶ必要がある場合があります。
- ソースには、ダッシュボードとドキュメント以外の詳細なデプロイ、セキュリティ、チーム管理に関する情報はほとんどありません。
FAQ
SuperCompressはどのように使いますか？
SuperCompressは、ホスト型HTTP APIまたはPythonパッケージのいずれかで利用できます。ドキュメントには、ダッシュボードのAPIキーを使ったクイックスタートと、Pythonおよびcurlの例が示されています。
SuperCompressはローカルで動作しますか、それともホスト型APIのみですか？
ドキュメントによると、SuperCompressはホスト型APIではcompiler modeで動作し、ローカルのPythonパッケージではcompress_context()、compress_for_turn()、compress_detailed()のような圧縮関数をサポートしています。
どのツールやモデルスタックに対応していますか？
ソースには、OpenAI、Claude、Gemini、ローカルモデル呼び出しがサポート対象として挙げられており、ドキュメントではOpenAI、LangChain、Express.js、Vercel AI SDK向けの統合が記載されています。
出力には何が含まれますか？
ドキュメントでは、クエリ対応のcompilerが推論前にコンテキストを圧縮し、圧縮後のテキスト、削減トークン数、保持された重要度の割合、圧縮リスクなどの出力フィールドがあると説明されています。
料金情報はありますか？
ドキュメントでは、ホスト型APIはダッシュボード経由で従量課金され、プランの上限は月間トークン上限であると説明されています。料金ページは確認できなかったため、ソース上で見えるのはダッシュボードのプラン名のみです。
Quick Facts
- カテゴリ
- 開発者ツール
- 製品タイプ
- LLM向けクエリ対応コンテキスト圧縮ツール
- プラットフォーム
- ホスト型APIとPythonパッケージ
- 実行環境
- CPU専用；GPU不要
- ライセンス
- MIT
- ソースドメイン
- supercompress.dev
SuperCompressの代替品
AakarDev AI
AakarDev AIは、AIプロバイダーのアクセス管理、プロジェクト別設定、ログ、分析を1つのダッシュボードで管理できるチーム向けツールです。BYOKに対応し、OpenAI、Google Gemini、Anthropic、Groq、Mistral AI、Perplexity AIをサポートします。
CreateOS Sandbox
CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。
Arduino VENTUNO Q
Arduino VENTUNO Qは、AI・ロボティクス向けのエッジAIコンピューターです。AI推論と決定論的制御を1枚に集約し、Arduino App Labに対応します。
ByteAsk
ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。
Codex Plugins
Codex Plugins は、再利用可能なスキル、アプリ連携、MCPサーバーを Codex app や Codex CLI で使えるワークフローにまとめます。接続サービスの作業や共有チームワークフローを拡張できます。
hob
hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。