ページングされたSSD KVキャッシュ
oMLXはKVキャッシュブロックをRAMにのみ保持する代わりに、safetensors形式でSSD上に保存します。ホットブロックはメモリに残り、コールドブロックはディスクへ移動し、以前に見たプレフィックスはリクエスト間やサーバー再起動後でも復元できます。
oMLX
oMLXは、Apple Silicon搭載Mac向けにMLXで構築されたネイティブmacOS推論サーバーです。SSD対応KVキャッシュ、連続バッチ処理、OpenAI・Anthropic互換エンドポイントを搭載し、Claude CodeやCursorなどに対応します。
oMLXができること
oMLXは、Apple Silicon搭載MacでローカルLLMを使うためのネイティブmacOS推論サーバーです。MLX上に構築されており、セッション中にコーディングエージェントがコンテキストを無効化したときに発生する、繰り返しの再計算を減らすよう設計されています。
主な差別化要素はページングされたSSD KVキャッシュで、キャッシュブロックをディスクに保持することで、以前使用したプレフィックスをリクエスト間やサーバー再起動後でもすばやく復元できます。さらに、連続バッチ処理、マルチモデル提供、ローカルツールやクライアント向けのOpenAI互換・Anthropic互換APIも備えています。
主な機能
連続バッチ処理
サーバーはmlx-lmのBatchGeneratorを通じて同時リクエストを処理するため、複数の生成処理が1つのリクエストの後ろで待つ必要がありません。ホームページでは、8×の同時実行で最大4.14×の高速化が報告されています。
ネイティブmacOSアプリとダッシュボード
oMLXには、サーバーの開始、停止、監視のためのネイティブmacOSメニューバーアプリが含まれています。付属のダッシュボードはモデル管理、チャット、リアルタイムメトリクスをサポートし、アプリは署名済み、Notarization済み、自動更新対応です。
複数モデルの提供
ダッシュボードでは、LLM、VLM、embedding、rerankerを含む複数のモデル種類を同時に提供できます。メモリが逼迫した場合のLRU退避や、インターフェースからのモデル閲覧/ダウンロードにも対応しています。
そのまま使えるAPI互換性
oMLXは、/v1/chat/completionsや/v1/messagesを含むOpenAI互換およびAnthropic互換の両方のAPIを公開します。サイトによると、Claude Code、OpenClaw、Cursor、その他のOpenAI互換クライアント向けのドロップインバックエンドとして動作できます。
ツール呼び出しとMCP対応
本製品は、JSON、Qwen、Gemma、GLM、MiniMaxなどの主要なツール呼び出し形式に加え、MCP統合と、出力が大きすぎる場合のツール結果のトリミング設定をサポートします。
oMLXの実用的な使い方
繰り返しのコンテキスト変化を伴うコーディングエージェントを実行する
以前のコンテキストを何度も見直すコーディング支援ツールのローカルバックエンドとしてoMLXを使います。SSD対応キャッシュは、エージェントが進路を修正するたびに再計算するのではなく、過去のプレフィックスを保持して復元するよう設計されています。
既存の開発者ツールをローカルモデルサーバーに接続する
ドロップインAPI対応を使って、Claude Code、OpenClaw、CursorをローカルmacOS推論サーバーに接続します。サイトによると、ダッシュボードは各ツール向けの正確な設定コマンドを生成できます。
1台のMacで複数のローカルモデルを集約する
チャット用のLLM、画像対応作業用のVLM、検索タスク用のembeddingやrerankerモデルなど、複数のモデル種類を同じマシンで提供します。ダッシュボードでは、モデルの閲覧、ダウンロード、管理を一元的に行えます。
ネイティブmacOSインターフェースからローカル推論を操作する
メニューバーアプリとWebダッシュボードを使って、別のデスクトップアプリに切り替えることなく、サーバーの起動、状態監視、リアルタイムメトリクスの確認を行えます。これは、作業中もローカル推論を常に利用できるようにしたい人に便利です。
既存のローカルモデルキャッシュを再利用する
すでにHugging FaceのキャッシュフォルダやLM Studioディレクトリにあるモデルを再利用し、追加のダウンロードなしでローカル提供します。これにより、ディスク上にすでにローカルモデルのライブラリを持つユーザーにもoMLXは適しています。
Pros and Cons
Pros
- KVキャッシュブロックをSSDに保持するため、長いコーディングセッション中にプレフィックスが繰り返されても完全な再計算を避けやすくなります。
- OpenAI互換とAnthropic互換の両方のエンドポイントをサポートしているため、既存クライアントの接続が容易です。
- 標準のHugging Faceキャッシュの場所やLM Studioのフォルダを再利用できるため、再ダウンロードや重複ストレージを減らせます。
- 署名済みでNotarization済みのネイティブmacOSアプリとして動作し、メニューバーUI、Webダッシュボード、自動更新を備えています。
- 連続バッチ処理により同時リクエストをサポートし、ホームページでは公開済みのバッチ高速化が示されています。
Cons
- Apple SiliconとmacOS 15+に限定されるため、クロスプラットフォームのサーバーではありません。
- ソースでは、大きなモデルを快適に使うには64GB以上のRAMが推奨されているため、メモリ容量の少ないMacでは重いワークロードにあまり向かない可能性があります。
- 最も強い性能主張はM3 Ultra 512GBシステムで示されており、より低性能なハードウェアでは結果が同じとは限りません。
FAQ
oMLXは何に使われますか？
oMLXはMLXで構築されたネイティブmacOS推論サーバーです。Claude Code、OpenClaw、Cursorなどのツールがローカルのバックエンドに接続できるよう、OpenAI互換およびAnthropic互換のエンドポイントを公開します。
oMLXにはどのようなハードウェアが必要ですか？
ソースによると、oMLXはmacOS 15+で動作するApple Silicon搭載Macをサポートします。最小RAMは16GBで、より大きなモデルを快適に使うには64GB以上が推奨されています。
oMLXはClaude Code、OpenClaw、Cursorで使えますか？
はい。ホームページでは、oMLXはClaude Code、OpenClaw、Cursor向けのドロップインバックエンドとして動作し、localhost:8000上の任意のOpenAI互換クライアントでも使用できると説明されています。
モデルをもう一度ダウンロードする必要がありますか？
いいえ。FAQによると、oMLXは標準のHugging Faceキャッシュを読み込むため、共有キャッシュの場所にすでにダウンロード済みのモデルを再ダウンロードせずに再利用できます。LM Studioのフォルダやカスタムディレクトリにも対応しています。
どのような種類のモデルがサポートされていますか？
サイトによると、Hugging Face上のMLX形式のモデルであれば、LLM、VLM、embedding、rerankerモデルを含めてサポートされており、いくつかの推論モデル形式も自動処理されます。
Quick Facts
- カテゴリ
- 開発者向けツール
- プラットフォーム
- Apple Silicon搭載Mac、macOS 15+
- 主なワークフロー
- SSD対応KVキャッシュと連続バッチ処理によるローカルLLM推論
- API互換性
- OpenAI互換およびAnthropic互換エンドポイント
- ソースドメイン
- omlx.ai
- ライセンス
- Apache 2.0
oMLXの代替品
ByteAsk
ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。
CreateOS Sandbox
CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。
hob
hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。
Manta AI
Manta AIは、URLからアプリの挙動を把握し、回帰を検出し、スクリプトやセレクタ管理なしでテストを生成できる自律型Webアプリテストツールです。
SonOf
SonOfは、リポジトリとPMツールに接続し、コードベースと周辺の製品コンテキストを監査して、承認済みの作業をシニアエンジニアのレビュー付きで公開済みチケットに変えます。
Ghost
Ghostは、チャット、コード生成、コマンドラインでのタスク実行に対応したターミナル向けAIアシスタントです。無料モデルを同梱し、Linux、macOS、Windowsで使えます。オープンソースです。