3つの推論モード
可観測性、マネージドサーバーレスアクセス、予約済みキャパシティのどれが必要かに応じて、お客様自身のプロバイダーアカウント、Inferock Serve、またはInferock Dedicatedを通じて呼び出しをルーティングできます。
推論の可観測性と説明責任
Inferockは、計測されたゲートウェイを通じて選択した大規模言語モデルの呼び出しをルーティングするチームと開発者向けの、推論に関する説明責任と可観測性のサービスです。3つの運用モードに対応しています。お客様のプロバイダーキーで行う呼び出し向けのInferock Watch、Inferockを通じた前払い方式のサーバーレス推論向けのInferock Serve、合意に基づいて構成される予約済みキャパシティ向けのInferock Dedicatedです。
観測対象となる各呼び出しについて、リクエスト経路、応答、処理時間、利用量、コスト情報、失敗の詳細などの証跡を記録します。これにより、利用できない応答や失敗した応答を調査し、実際に利用可能な推論の実効コストを把握できます。想定される機密ルートは、検証済みの機密ワークロードを通じてコンテンツをエンドツーエンドで暗号化して扱う設計ですが、ルートの適格性はモデルと構成によって異なり、通常のInferock Watch接続には適用されません。
説明責任を伴う推論機能
呼び出しごとの計測
Callsワークフローで、呼び出しごとの品質に関する分析結果、処理時間、トークン使用量、利用可能なコストデータ、プロバイダーの応答、記録された失敗の証跡を確認できます。
監査可能なレシート
レシートと台帳記録を使用して、プラットフォーム手数料の明細、クレジットの利用状況、使用量、リトライ、失敗、請求関連の証跡を切り分けられます。
適格性が確認された機密ルート
想定される機密ルートは、クライアントと検証済みの機密ワークロードの間でコンテンツを暗号化した状態に保つ設計です。モデルと構成ごとに適格性を示す証拠が必要です。
対象となる失敗への定められた救済
Inferock Serveでは、合意した条件に基づき、対象となる客観的なプロバイダー障害に対して、上限付きの現金以外のサービスクレジットを提供できる場合があります。Dedicatedのサービスレベルとクレジットは合意によって定められます。
開発者向けワークフローとドキュメント
ドキュメントでは、アカウントとキーのセットアップ、最初の呼び出し、モデルID、料金、レシート、クレジット、受付制限、トラブルシューティングについて説明しています。
実用的な用途
プロバイダー連携アプリケーションを監視する
プロバイダーキーを接続して計測された呼び出しを確認し、プロバイダーとの請求関係を変更せずに、品質に関する分析結果、処理時間、利用量、コストの可視性、リクエストが失敗した箇所を把握します。
サーバーレス推論を実行する
プロバイダーAPIキーを直接管理せずに、チームが前払いサービスを通じてモデルアクセスと独立した計測を必要とする場合に、Inferock Serveを使用します。
失敗した呼び出しを調査する
利用できない応答やプロバイダー障害をレポートから基盤となる呼び出しまで追跡し、記録された証跡と、該当するサービスクレジットのステータスを確認します。
利用可能な応答のコストを分析する
アプリケーションが実際に利用できた応答の呼び出しと請求対象の呼び出しを比較し、リトライや利用できない出力の影響も含めて、推論の実効コストを評価します。
専用キャパシティを計画する
ワークロードに予約済みキャパシティ、合意した構成、プロビジョニング前に定めるサービス条件が必要な場合は、Inferockと要件を相談します。
Pros and Cons
Pros
- 応答、処理時間、利用量、コスト情報、失敗の証跡を含む、呼び出しごとの独立したレシートを提供します。
- 顧客所有のプロバイダーキー、前払い方式のサーバーレス推論、専用キャパシティという、明確に分かれた導入方法を提供します。
- Inferock ServeとInferock Dedicatedの利用状況に関する可観測性を含み、Inferock Watchではユーザー自身のプロバイダーキーを使用する場合に無料で可観測性を利用できます。
- 合意した条件に基づき、条件を満たすInferock Serveの失敗に対する上限付きの現金以外のクレジットなど、対象となる失敗への救済を文書化しています。
Cons
- モデル、リージョン、キャパシティ、サービス条件の利用可否は確認が必要であり、アカウントを作成しただけではアクセスは保証されません。
- 想定される機密ルートは一律の暗号化を保証するものではなく、通常のInferock Watch接続には適用されません。
- 一部の証跡はInferockを通じてルーティングまたは観測されたトラフィックについてのみ利用でき、プロバイダーの請求書記録に代わるものではありません。
FAQ
Inferockを使い始めるにはどうすればよいですか？
登録後、Inferock Watch、Inferock Serve、Inferock Dedicatedのいずれかを選択します。Watchはお客様のプロバイダーキーを使用します。ServeはInferockを通じた前払い方式で、モデルとサービス条件はオンボーディング時に確認されます。Dedicatedは、プロビジョニング前に合意に基づいて構成と料金が決定されます。
Inferockの各製品では、料金とセットアップ方法がどのように異なりますか？
Inferock Watchはお客様自身のプロバイダーキーで無料で利用でき、プロバイダーの利用料金は別途請求されます。Inferock Serveは前払い方式で、実際のサプライヤー費用に対して合計10%のサービス手数料がかかります。Inferock Dedicatedは、合意したキャパシティ見積もりに基づいて料金が決まります。
推論呼び出しが失敗するとどうなりますか？
Inferockは、リクエスト経路、プロバイダーの応答、処理時間、利用量、請求コンテキスト、失敗の証跡を記録します。生成されるレポートでは、何が失敗したか、その費用、そしてその事象がレポートのみの対象か、Inferock Serveのサービスクレジットの対象となり得るかを確認できます。
Inferockを介した推論はエンドツーエンドで暗号化されますか？
想定される機密ルートでは、クライアントと検証済みの機密ワークロードの間でコンテンツをエンドツーエンドに暗号化する設計になっており、モデルはそのワークロード内で復号済みのコンテンツを処理します。このルートは、正確なモデルと構成に関する証拠による適格性確認が必要です。この保護は通常のInferock Watch接続には適用されません。
自分のワークフローには、どのInferockのオプションが適していますか？
Inferock Watchはお客様のプロバイダーアカウントを使用し、Inferock Watchの料金なしで可観測性を提供します。Inferock ServeはプロバイダーAPIキーを直接用意せずに、対応モデルへアクセスできます。Dedicatedは、合意に基づいてワークロード用のキャパシティを予約します。
Quick Facts
- カテゴリ
- AI推論の可観測性
- モード
- Inferock Watch、Inferock Serve、Inferock Dedicated
- 主な利用者
- 個人開発者、プロダクトチーム、企業
- アクセスモデル
- Webアカウント、Watch用のプロバイダーキー、前払い方式のServe、または合意したDedicatedキャパシティ
- ドキュメント
- クイックスタート、呼び出し、レシート、クレジット、料金、制限、サポートガイド
- ウェブサイト
- inferock.ai
Inferockの代替品
PromptScout
PromptScoutは、ChatGPT、Gemini、Google AI Overviews、Perplexityで自社や競合がどう言及されるかを追跡し、ソース分析とサイト監査を組み合わせて、次に直すべき内容・訴求・サイト対応を判断できます。
Sleek Analytics
Sleek Analyticsは、Cookieバナー不要で導入も簡単なプライバシー重視のWeb解析ツール。リアルタイム訪問者追跡、Core Web Vitals、収益アトリビューションに対応。
MacSpoof
MacSpoofはmacOSのMACアドレス変更ツール。Wi‑FiのMACを変更/ランダム化して再接続し、公衆Wi‑Fiでの端末記録を抑えるのに役立ちます。
ClawTick
ClawTickは、CLI、ダッシュボード、REST APIからジョブをスケジュールできるAIエージェント自動化プラットフォームです。LangChain、CrewAI、webhook、カスタムワークフローの監視、アラート、ログ管理に対応。
OpenFlags
OpenFlagsは、現代的なJavaScriptチーム向けのオープンソースでセルフホスト型のfeature flagプラットフォームです。ローカル評価、段階的ロールアウト、対象別の公開を、データを自社環境に保持したまま実現します。
SecAIQ Watch
SecAIQ Watchは、macOS・Linux・Windows上のAIアシスタント、コーディングエージェント、ローカルモデル、MCPサーバーを監視するローカルの読み取り専用ダッシュボードです。ネットワーク通信、権限、検出事項、ファイルアクセス、トークン使用量を可視化し、観測データをクラウドサービスへ送信しません。