ローカルでのオフライン推論
APIキーや継続的なサービス料金なしでモデルをローカルかつオフラインで実行でき、推論をデバイス内で完結させられます。
概要
NobodyWhoは、対応デバイス上で大規模言語モデルをローカルかつ効率的に実行するための推論エンジンです。外部APIにリクエストを送らずにチャットモデル推論が必要なアプリ向けのオンデバイスAIとして位置付けられています。
READMEでは、オフライン動作、GGUF形式モデルのサポート、Kotlin、Swift、Python、Flutter、React Native、Godotを含む複数のクライアントプラットフォームとの互換性が強調されています。また、Hugging Faceや直接URLからモデルを読み込む方法に加え、VulkanまたはMetalによるGPUアクセラレーション推論のサポートも記載されています。
機能
幅広いモデル互換性
Gemma、Qwen、Mistralなどのチャットモデルや、単一のモデルファミリーに縛られないその他のGGUFベースLLMに対応しています。
型安全なツール呼び出し
関数シグネチャを定義すると、エンジンがツール呼び出し用の構造化グラマーを自動生成するため、手動でスキーマを作成する必要がありません。
マルチモーダル入力対応
ホストアプリで対応している場合、画像や音声情報をモデルに送信でき、マルチモーダルプロンプトを利用できます。
組み込みの音声ワークフロー
Kokoro、Pocket TTS、Supertonic、Whisperを含む、ローカルのテキスト読み上げおよび音声認識コンポーネントを使用できます。
柔軟なモデル読み込み
Hugging Faceや任意のURLからモデルを読み込めるため、アプリをリモートのモデルファイルやダウンロード元に向けやすくなります。
ユースケース
オフラインチャット体験
ホスト型LLM APIにデータを送信せずに、デバイス上でユーザーのプロンプトに応答するアプリを構築できます。オフライン動作や外部依存の削減が必要な場合に便利です。
ツール利用型アプリワークフロー
コードから関数を公開し、NobodyWhoに呼び出し用の構造化グラマーを生成させることで、LLMを活用したアクションをアプリに追加できます。
クロスプラットフォームアプリ開発
Swift、Flutter、React Native、Kotlin、Pythonなどの対応スタックでモバイルまたはデスクトップアプリを作成し、同じローカル推論レイヤーに接続できます。
音声対応アシスタント
音声認識による文字起こしや、生成応答のための音声読み上げなど、ローカル音声機能とチャットを組み合わせて、1つのデバイス内ワークフローにできます。
カスタムモデル読み込み
ホスト型APIエンドポイントではなく特定のモデルアセットをアプリに指定したい場合に、Hugging Faceや直接URLからモデルを読み込めます。
Pros and Cons
Pros
- ローカルかつオフラインで動作するため、クラウドAPIへの依存を減らせます。
- Kotlin、Swift、Python、Flutter、React Native、Godotを含む複数のアプリ開発スタックをサポートしています。
- GGUF形式のモデルに対応し、Hugging Faceまたは任意のURLから読み込めます。
- 構造化されたツール呼び出しに加え、テキスト読み上げや音声認識などの音声関連機能を備えています。
- リポジトリのライセンス文言では、変更に関する記載条件に従う限り、商用およびプロプライエタリ利用が無料で許可されています。
Cons
- ソースには詳細なベンチマーク、メモリ要件、対応デバイス一覧がないため、性能の見通しはまだ不明です。
- 一部のプラットフォーム対応の詳細は高レベルに要約されており、機能の一致状況や制限はバインディングごとに異なる場合があります。
- Web exportはうまく動かすのがより難しいと説明されており、README内で関連Issueが参照されています。
FAQ
NobodyWhoにはAPIキーが必要ですか？
NobodyWhoは、APIキーや隠れた料金なしでローカル実行できます。そのため、対応デバイスとプラットフォーム上でのオフライン利用向けに設計されています。
どのプラットフォームをサポートしていますか？
READMEには、Kotlin、Swift、Python、Flutter、React Native、Godotが記載されており、それぞれのドキュメントリンクも用意されています。
どのようなモデルを使用できますか？
Gemma、Qwen、MistralなどのチャットLLMや、GGUF形式のその他のモデルをサポートしており、Hugging Faceまたは直接URLからモデルを読み込めます。
モバイルで使用できますか？
READMEによると、デスクトップはすべてのバインディングでサポートされており、AndroidはKotlin、Godot、Flutter、React Nativeで、iOSはSwift、Flutter、React Nativeでサポートされています。
NobodyWhoは商用プロジェクトで無料利用できますか？
リポジトリのライセンス欄では、NobodyWhoはプロプライエタリおよび商用プロジェクトで無料で使用できますが、リポジトリ内のコードを改変した版はオープンソース化する必要があるとされています。
Quick Facts
- カテゴリ
- 開発者ツール / AI推論
- ソースドメイン
- github.com
- 主な用途
- デバイス上でのローカルLLM推論
- 対応プラットフォーム
- Kotlin、Swift、Python、Flutter、React Native、Godot
- モデル形式
- GGUF
- ライセンス注記
- 商用利用は無料で許可。改変したリポジトリコードはオープンソース化が必要
NobodyWhoの代替品
AakarDev AI
AakarDev AIは、AIプロバイダーのアクセス管理、プロジェクト別設定、ログ、分析を1つのダッシュボードで管理できるチーム向けツールです。BYOKに対応し、OpenAI、Google Gemini、Anthropic、Groq、Mistral AI、Perplexity AIをサポートします。
ByteAsk
ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。
CreateOS Sandbox
CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。
hob
hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。
Ably Chat
Ably Chatは、カスタムのリアルタイムチャットアプリを構築できるチャットAPIプラットフォームです。ルーム単位のメッセージ、入力中表示、プレゼンス、リアクション、メッセージ更新に対応し、利用量ベースの料金も選べます。
Manta AI
Manta AIは、URLからアプリの挙動を把握し、回帰を検出し、スクリプトやセレクタ管理なしでテストを生成できる自律型Webアプリテストツールです。