RunInfra

RunInfra は、GPU のベンチマーク、対応ランタイムの最適化、管理 API の提供またはセルフホスト用のエクスポートで、オープンソースモデルを本番推論スタックへ変換します。

概要

RunInfra は、オープンソースモデルを本番推論スタックへ変換するためのプラットフォームです。ワークロードを記述すると、サービスが GPU をベンチマークし、互換性のあるサービングエンジンを比較し、対応ランタイムパスを調整し、管理 API か、チームが確認して所有できるエクスポート可能なスタックのいずれかを生成します。

サイトでは、モデルサービング、レイテンシとコストの確認、GPU の選定、チャット、音声、埋め込み、検索などのワークロードにわたるデプロイ計画にこの製品が使われている様子が示されています。料金はクレジットベースで、Core はセルフサーブの月額プラン、Enterprise は専用インフラ、コンプライアンス、カスタムボリューム、セルフホストまたはカスタム GPU デプロイのサポートを追加します。

主要機能

GPU とエンジンの विकल्पをベンチマーク

RunInfra は、説明されたワークロードに対してサービングエンジンと GPU ターゲットを比較し、候補をベンチマークしてから経路を選択します。サイトでは、エンジン、GPU クラス、p95 レイテンシ、スループット、VRAM、コストの比較が表示されます。

モデルのランタイムパスを調整

この製品は、サポートされる範囲で最適化ステップを適用します。具体的には、量子化、カーネル調整、KV キャッシュ再利用、Speculative Decoding、Prefix Caching、FlashAttention v2、バッチ処理関連のサービング設定などです。ホームページでは、これらはユーザーが手で書く手動設定ではなく、チューニングワークフローの一部として示されています。

検証可能な結果を生成

1 回の実行は、検証可能なベンチマークレシートとデプロイキットで終了します。サイトでは、このスタックは隠されておらず、デプロイ前に再現または変更できると説明しています。

管理デプロイとエクスポートに対応

RunInfra は、本番 API エンドポイントへのデプロイまたはセルフホスト用スタックのエクスポートができます。ホームページでは、管理されたエンドポイント、エクスポート可能な Docker とデプロイ用ファイル、RunInfra、RunPod、Modal でのデプロイ例が表示されています。

最適化ワークフロー全体をカバー

料金ページでは、Core に OpenAI 互換 API エンドポイント、エージェントチャット、プラン、ベンチマーク、無制限パイプライン、バージョン管理が含まれると記載されています。これは、計画、テスト、提供までを 1 つのシステムでカバーするワークフローであることを示しています。

エンタープライズ向けの制御とプライベートインフラを追加

Enterprise には、セルフホストおよびカスタム GPU デプロイ、監査ログ、RBAC、専用サポート、B200/H200 GPU へのアクセスが追加されます。セキュリティページでは、暗号化、ロギング、インシデント対応などの文書化された管理も追加されています。

RunInfra の一般的な使い方

新しいモデルのサービング構成を選ぶ
RunInfra を使ってモデルを選び、GPU 候補を比較し、デプロイ前にレイテンシ、スループット、VRAM、コストを検証します。これは、デフォルトの GPU 選択ではなく、証拠に基づくサービング選択を行いたいチームに適しています。
レイテンシまたはコスト向けにワークロードを最適化する
チャット、音声、埋め込み、検索のワークロードを記述すると、プラットフォームが最適化されたサービングパスを生成します。ホームページでは、Qwen、Whisper、BGE 系のワークロード例が示されています。
ホスト型推論からセルフホストデプロイへ移行する
サービスにスタックのホストを任せたいときは管理されたエンドポイントから始め、後で自分の環境で実行する必要が出たら同じランタイムキットをエクスポートします。サイトでは、RunInfra、RunPod、Modal でのデプロイと、ダウンロード可能なスタックファイルが示されています。
エンタープライズの調達とセキュリティ要件を満たす
プライベートインフラ、監査ログ、RBAC、文書化されたセキュリティ体制が必要なエンタープライズチームは、Core ではなく Enterprise プランを利用できます。セキュリティページと料金ページで、これらの制御とサポート体制が説明されています。
最適化実行を追跡・レビューする
ベンチマーク結果の再現可能な記録を求めるチームは、レシートとバージョン管理されたパイプラインのワークフローを利用できます。料金ページでは無制限パイプラインとバージョン管理が記載されており、ホームページでは前後比較の指標付きベンチマークレシートが表示されています。

Pros and Cons

Pros

ベンチマーク、チューニング、デプロイを 1 つのワークフローにまとめています。
レイテンシ、スループット、VRAM、コストなどの測定可能な出力で選択されたスタックを表示します。
管理されたエンドポイントとエクスポート可能なデプロイ成果物の両方をサポートします。
Core プランでは、ユーザー単位の料金なしのクレジットモデルを採用しています。
プライベートインフラ、コンプライアンス、サポート向けの Enterprise オプションを提供します。

Cons

公開サイトでは、統合機能、対応クラウド、いくつかのワークフロー制限についての詳細が部分的にしか示されていません。
セルフホストデプロイ、カスタム GPU、RBAC、監査ログなどの高度な制御は、Core ではなく Enterprise に紐づいています。
ホームページと料金ページには、包括的な制限表や対応デプロイ先の完全な一覧は掲載されていません。

FAQ

RunInfra は何をするサービスですか？

RunInfra は、説明された推論ワークロードを対象のオープンモデルにマッチさせ、GPU オプションをベンチマークし、デプロイ経路またはエクスポート可能なスタックを生成します。出力は管理されたエンドポイントとして利用することも、別の環境に持ち出してセルフホストすることもできます。

RunInfra の料金体系はどのようになっていますか？

料金ページでは、Core はセルフサーブの月額クレジットプランとして、Enterprise は専用インフラ、コンプライアンス、カスタムのクレジット量、契約条件向けとして示されています。Core には、最適化、デプロイ、エージェント用の共有クレジット残高が含まれます。

どのモデルとエンジンがサポートされていますか？

ホームページと料金ページでは、オープンソースモデルと、vLLM や SGLang などの一般的なサービングエンジン、さらに OpenAI 互換の API エンドポイントがサポートされていることが示されています。また、Llama、Qwen、Mistral、Whisper、Gemma、DeepSeek などのモデルファミリーも表示されています。

スタックをエクスポートしたりセルフホストしたりできますか？

この製品は、RunInfra 上で管理されたエンドポイントをデプロイすることも、Dockerfile、compose.yaml、k8s/deployment.yaml、serve.py、benchmark.md、runinfra.yaml などのファイルを含む実行可能なスタックをエクスポートすることもできます。サイトでは、自分の RunPod アカウントや Modal ワークスペースにデプロイするオプションも表示されています。

RunInfra はセキュリティを重視するチーム向けですか？

RunInfra のセキュリティページでは、このサービスは SOC 2 Type II のアテストを受けており、通信中は TLS、主要データベースとオブジェクトストレージの保存時には AES-256 暗号化を使用し、ロールベースのアクセス制御を備えていると説明されています。Enterprise には、料金ページで監査ログと RBAC が含まれます。

Quick Facts

カテゴリ: AI インフラストラクチャ
主な用途: オープンソースモデルの推論スタックを最適化してデプロイすること
料金モデル: クレジットベースの Core プランと Enterprise 契約料金
デプロイ: 管理 API エンドポイントまたはエクスポート可能なスタック
公開サイト: runinfra.ai
セキュリティ: SOC 2 Type II のアテスト取得、暗号化と RBAC を文書化

RunInfraの代替品

AakarDev AI

AakarDev AIは、AIプロバイダーのアクセス管理、プロジェクト別設定、ログ、分析を1つのダッシュボードで管理できるチーム向けツールです。BYOKに対応し、OpenAI、Google Gemini、Anthropic、Groq、Mistral AI、Perplexity AIをサポートします。

Skills Janitor

Skills Janitorは、Claude CodeとOpenAI Codexのskillsを監査・追跡・管理するGitHubホストのスラッシュコマンド集。重複、壊れたリンク、未使用skillsを見つけて、自己完結型コマンドで整理できます。

ByteAsk

ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。

CreateOS Sandbox

CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。

hob

hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。

Ably Chat

Ably Chatは、カスタムのリアルタイムチャットアプリを構築できるチャットAPIプラットフォームです。ルーム単位のメッセージ、入力中表示、プレゼンス、リアクション、メッセージ更新に対応し、利用量ベースの料金も選べます。