レシピベースのモデル起動
モデルID、GPU要件、セットアップ手順、サービング用フラグを含むモデル固有のレシピを使用します。`iwant up MODEL`で最新のレシピバージョンが選択されます。
iwantとは？
iwantは、ユーザー自身のGoogle CloudアカウントでベアメタルGPU上にオープンウェイト言語モデルを起動するオープンソースのコマンドラインツールです。モデルレシピを使用してハードウェアとサービング構成を選択し、要求されたキャパシティをプロビジョニングしてモデルをダウンロード・読み込みし、OpenAI互換のmodels APIが応答するまで待機します。
起動後、iwantはcurlまたはOpenAI互換アプリケーションで使用できるサーバーURLとAPIキーを提供します。ユーザーはプランをプレビューし、キャパシティオプションを選択し、稼働中のデプロイメントを確認し、SSHで接続し、完了後にクラスターを削除できます。クラウドインフラの料金は削除するまでユーザーのアカウントに請求されるため、Google Cloudの認証情報、クォータ、キャパシティ、リソースのライフサイクルを管理できるユーザーを対象としています。
主な機能
クラウドGPUのプロビジョニング
ユーザーのGoogle CloudアカウントでベアメタルGPUのキャパシティをプロビジョニングし、別途ホスト型推論アカウントを必要とせずにサービング環境を構成します。
OpenAI互換エンドポイント
サーバーの準備完了を報告する前にmodels APIが応答することを確認し、クライアント設定用のサーバーURLとAPIキーを表示します。
起動オプション
プランを確認する`--dry-run`、スポットキャパシティを使用する`--spot`、リージョン選択、カスタムアイドルタイマー、出力の抑制、APIキーの任意設定に対応します。
デプロイメント管理
デプロイメントの確認、稼働中のクラスターへの接続、認証情報の検証、リソースの削除を行う`iwant list`、`iwant ssh`、`iwant auth`、`iwant down`を提供します。
モデルのダウンロードと検出オプション
認証が必要なモデルやアクセス制限付きモデルのダウンロードに`HF_TOKEN`を渡せます。また、`/models`エンドポイントで提供中のモデルIDを確認できます。
ユースケース
オープンウェイトモデルのテスト
レシピとキャパシティプランをプレビューし、GCPでGPUをプロビジョニングして、インフラをユーザーのクラウドアカウント内に保持したまま、返されたURLとキーを通じてプロンプトを送信します。
自己管理型推論へのアプリケーション接続
既存のOpenAI互換アプリケーションを生成されたベースURLに接続し、アプリケーションの一般的なリクエストパターンを変更せずに提供中のモデルIDを使用します。
より大規模なモデル構成の実行
選択したモデルの文書化された要件が単一GPU構成を超える場合に、8基のH100またはH200 GPUなど、より大規模なマルチGPU構成のレシピを使用します。
短期間のGPU実験
キャパシティの選択肢を試し、一時的なデプロイメントの存続期間を管理する際に、`--spot`、リージョン選択、ドライラン、設定可能なアイドル時の削除を使用します。
アクティブなクラスターの管理
`iwant list`でデプロイメントを確認し、`iwant ssh`で接続し、運用上のアクセスやクリーンアップが必要なくなったら`iwant down`で名前付きクラスターを削除します。
Pros and Cons
Pros
- 簡潔なCLIワークフローでオープンウェイトモデルを起動できます。
- 既存のクライアントやcurlリクエストに適したOpenAI互換エンドポイントを返します。
- レシピファイルにモデル固有のハードウェア要件とサービング要件が記録されています。
- ドライラン、スポットキャパシティ、アイドル時の削除設定、SSHアクセス、クラスター管理コマンドを備えています。
Cons
- 現在のドキュメントではGCPがサポート対象のクラウドとして示されているため、他のプロバイダーについては入手可能な証拠で確認されていません。
- GPUのプロビジョニング、モデルのダウンロード、読み込みには時間がかかり、スポットキャパシティは回収される可能性があります。
- ユーザーはクラウド料金の負担と、完了後にリソースを明示的に削除する責任を負います。
FAQ
モデルを起動するには何が必要ですか？
付属のシェルインストーラーでiwantをインストールし、Google Cloud CLIで認証します。課金が有効で、L4クォータと利用可能なキャパシティがあるGoogle Cloudプロジェクトが必要です。ソースからインストールする場合はPython 3.10以降がサポートされています。
モデルの起動はどのように行われますか？
`iwant up MODEL`を実行すると、GPUをプロビジョニングし、サーバーを設定して、models APIが応答するまで待機します。コマンドは、OpenAI互換クライアントまたは直接APIリクエストで使用できるサーバーURLとAPIキーを出力します。
iwantがサポートしているクラウドプロバイダーはどこですか？
現在サポートされているクラウドはGCPです。リージョンを選択し、スポットキャパシティをリクエストできるほか、プロビジョニング前に起動プランでリソース要件を確認できます。
デプロイメントを停止してコストを管理するにはどうすればよいですか？
`iwant down`を実行して対話形式でクラスターを選択するか、スクリプトから`iwant down EXACT_CLUSTER_NAME`を実行します。クラウドリソースを削除するまで、ユーザーのアカウントで課金が継続します。
利用できるモデルとGPU構成はどのようなものですか？
リポジトリには、gpt-oss-20b、DeepSeekの各種モデル、mimo-v2.6-flash、ling-3.0-flash-fp8、step-3.7-flashの各種モデルなどのレシピが含まれています。記録されているハードウェア構成は1基のL4 GPUから8基のH100またはH200 GPUまでですが、リポジトリ上の情報はすべての起動で利用できることを保証するものではありません。
Quick Facts
- カテゴリー
- 開発者向けツール
- インターフェース
- コマンドラインインターフェース
- サポート対象クラウド
- Google Cloud Platform（GCP）
- インストール
- シェルインストーラー、またはソースからPython 3.10以降
- エンドポイント形式
- OpenAI互換API
- ソース
- github.com/narevai/iwant
iwantの代替品
AakarDev AI
AakarDev AIは、AIプロバイダーのアクセス管理、プロジェクト別設定、ログ、分析を1つのダッシュボードで管理できるチーム向けツールです。BYOKに対応し、OpenAI、Google Gemini、Anthropic、Groq、Mistral AI、Perplexity AIをサポートします。
ByteAsk
ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。
CreateOS Sandbox
CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。
GitBot
GitBotは、Claude Code、Codex、OpenCodeを活用した再利用可能なコーディングボットを作成できるローカルブラウザワークスペースです。永続スレッドと権限設定で、リポジトリ内の作業を効率化します。
hob
hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。
Ably Chat
Ably Chatは、カスタムのリアルタイムチャットアプリを構築できるチャットAPIプラットフォームです。ルーム単位のメッセージ、入力中表示、プレゼンス、リアクション、メッセージ更新に対応し、利用量ベースの料金も選べます。