ngrok.ai

ngrok.ai は、単一URLでクラウドまたはローカルのLLMへのトラフィックをルーティング、保護、管理するホスト型AIゲートウェイです。開発者はアプリのインフラを作り直さずに、モデルアクセスの標準化、スコープ付き制御の追加、利用状況の監視ができます。

大規模言語モデル

AI APIデザイン

AI開発者ツール

ウェブサイトを訪問

概要

ngrok.ai は、大規模言語モデルへのトラフィックをルーティング、保護、管理するためのホスト型AIゲートウェイです。サイトでは、公開プロバイダー、カスタムエンドポイント、自分で運用するモデルを含む、あらゆるモデル向けの単一ゲートウェイとして説明されています。

主な目的は、チームがアプリを単一のURLに向け、既に使い慣れたSDKをそのまま使い続けながら、インフラを作り直すことなくアクセス制御、可観測性、ルーティング、フォールバック動作を追加できるようにすることです。

機能

複数のモデルソースを統合ルーティング

公開モデルプロバイダー、カスタムエンドポイント、セルフホストモデルへのリクエストを、単一のホスト型ゲートウェイ経由で送信できます。

SDKにやさしいセットアップ

対応するSDKではゲートウェイをベースURLとして使い、アプリを作り直す代わりにAPIキーを差し替えてリクエストをルーティングできます。

プライベートなローカルモデル接続

公開IPやインバウンドポートを使わずにローカルモデルへプライベートに接続し、ゲートウェイ経由で到達可能な状態を保てます。

スコープ付きアクセス制御

アプリや開発者ごとに個別のアクセスキーを割り当て、各キーが呼び出せるプロバイダーやモデルを制限できます。

呼び出し全体の可観測性

ルーティングされたトラフィック全体のトークン、レイテンシ、エラー、支出を追跡し、ゲートウェイの利用状況を把握できます。

フォールバックと再試行の処理

健全な代替先を定義し、モデルやキーが遅くなったり失敗したりした際に、リクエストを再ルーティングまたは再試行できます。

ユースケース

アプリ内でモデルアクセスを標準化する
アプリケーションを単一のゲートウェイURLに向け、各モデルプロバイダーを個別に接続する代わりに、対応SDK経由でリクエストをルーティングします。
ローカルからクラウドへのフォールバック経路を構築する
まずセルフホストモデルにトラフィックを送信し、ローカルモデルが利用できない場合や適していない場合に公開プロバイダーへフォールバックします。
ローカルモデルをプライベートに接続する
公開IPを公開したりインバウンドポートを開けたりせずに、プライベートなモデルをゲートウェイ経由で到達可能に保ちます。
スコープごとにチームアクセスを管理する
アプリや開発者ごとに個別のアクセスキーを作成し、それぞれが呼び出せるモデルやプロバイダーを制限します。
ルーティングされた利用状況とコストを監視する
トークン、レイテンシ、エラー、支出を確認して、ルーティングされたトラフィックの挙動とコストの発生箇所を把握します。

Pros and Cons

Pros

公開プロバイダー、カスタムエンドポイント、セルフホストモデルを1つのゲートウェイに集約できます。
一般的なSDKで、ベースURLを差し替えるだけのシンプルなワークフローに対応しています。
アプリや開発者ごとに分けたスコープ付きアクセス制御を備えています。
トークン、レイテンシ、エラー、支出などの利用状況の詳細を可視化します。
公開IPやインバウンドポートなしでローカルモデルへのプライベート接続をサポートします。
モデルやキーに問題がある場合でも、リクエストを流し続けやすくする再ルーティングと再試行の動作を追加します。

Cons

提供された料金ページは404を返すため、収集されたソースの範囲ではサイトに完全な料金ページが現在公開されていません。
確認したページでは主な機能は示されていますが、統合、制限、実装詳細を完全に網羅するドキュメント一式は提供されていません。
一部の高度な動作は、明示的な設定例や運用上の制約ではなく、高レベルで説明されています。

FAQ

ngrok.ai の使い始め方は？

ホスト型ゲートウェイとして設定します。ソースでは、ベースURLを https://gateway.ngrok.ai に変更し、APIキーを差し替えて、リクエストをゲートウェイ経由でルーティングするよう案内しています。

サイトではどのような統合が示されていますか？

ソースには、OpenAI SDK、Anthropic SDK、Vercel AI SDK の例への対応が示されており、API、Terraform、CLI、またはカスタムツールから呼び出せると書かれています。提供されたページには、完全な統合ディレクトリは公開されていません。

ローカルモデルとクラウドプロバイダーの両方で使えますか？

このゲートウェイは、公開プロバイダーと、自分で運用するモデルの両方にルーティングできます。ソースでは、公開IPやインバウンドポートなしでゲートウェイから到達できるローカルLLMについても言及しています。

プラットフォームでは何を監視・制御できますか？

製品説明によると、ルーティングされた呼び出し全体でトークン、レイテンシ、エラーを確認できます。また、プロバイダーダッシュボードでは支出が表示され、ゲートウェイではアプリ、開発者、モデル単位のアクセス制御が追加されるとされています。

ngrok.ai の料金体系は？

料金テキストでは、ルーティング、可観測性などをまとめた単一の定額料金があり、ngrokキーを使用する場合は100万トークンあたり0.05ドルに推論コストが加わると説明されています。また、サブスクリプションや契約期間の縛りはないとも記載されています。

Quick Facts

カテゴリ: AIゲートウェイ / 開発者向けツール
プラットフォーム: ホスト型Webサービス
主な利用者: AI製品を開発する開発者とチーム
ソースドメイン: ngrok.ai
デプロイモデル: APIアクセス付きの単一ホスト型ゲートウェイ
料金モデル: クレジット付きの従量課金。サブスクリプションや契約期間の縛りは記載なし

ngrok.aiの代替品

AakarDev AI

AakarDev AIは、AIプロバイダーのアクセス管理、プロジェクト別設定、ログ、分析を1つのダッシュボードで管理できるチーム向けツールです。BYOKに対応し、OpenAI、Google Gemini、Anthropic、Groq、Mistral AI、Perplexity AIをサポートします。

ByteAsk

ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。

CreateOS Sandbox

CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。

hob

hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。

Ably Chat

Ably Chatは、カスタムのリアルタイムチャットアプリを構築できるチャットAPIプラットフォームです。ルーム単位のメッセージ、入力中表示、プレゼンス、リアクション、メッセージ更新に対応し、利用量ベースの料金も選べます。

Manta AI

Manta AIは、URLからアプリの挙動を把握し、回帰を検出し、スクリプトやセレクタ管理なしでテストを生成できる自律型Webアプリテストツールです。