UStackUStack
Manifest icon

Manifest

Manifest 是 OpenClaw 的開源 LLM 路由器:攔截查詢本地評分後分流到最划算模型,並追蹤 token 成本與用量限制。

Manifest

Manifest 是什麼?

Manifest 是 OpenClaw 的開源 LLM 路由器。它攔截您的查詢,並將每個請求發送到它判定最划算的模型,以降低 token 使用成本。

根據專案頁面,Manifest 在您的機器上本地執行查詢評分(不到 2ms),然後將請求路由到最適合的模型。它還追蹤 token 和訊息成本,並可設定用量限制或警示。

主要功能

  • 本地查詢評分用於路由決策:Manifest 在不到 2ms 內本地分析每個查詢,然後轉發請求。
  • 路由到最划算的模型:Manifest 不將所有流量發送到單一模型,而是為每個請求選擇最適合的模型。
  • 每則訊息成本追蹤:頁面描述測量訊息的 token 成本,並提供監控節省的指引。
  • 用量限制與警示:當預算超支時,您可設定限制或警示。
  • 注重隱私的遙測:頁面指出 Manifest 不收集您的內容;僅使用遙測中繼資料,並在裝置上執行查詢評分。它也提及「雲端版本」作為盲代理,以架構支持隱私。
  • 相容 OpenTelemetry 的遙測:Manifest 使用 OpenTelemetry 標準收集與匯出遙測資料。
  • 開源且可檢視:Manifest 完全開源,設計為可檢視、擴充及自架(無黑盒)。
  • 原生 OpenClaw 外掛:安裝描述為一指令設定,無需編碼。

如何使用 Manifest

  1. 使用頁面描述的一指令安裝器,將 Manifest 安裝為原生 OpenClaw 外掛。
  2. 設定 OpenClaw 使用 Manifest,以便在模型選擇前攔截請求。
  3. 開始透過 OpenClaw 發送請求;Manifest 會本地評分每個查詢並路由到選定模型。
  4. 檢視 Manifest 產生的成本與 token 資料,然後設定用量限制或警示以維持預算。
  5. 若匯出遙測,請使用專案描述的 OpenTelemetry 格式,整合至您的可觀測性工作流程。

使用情境

  • 查詢複雜度不一時降低支出:當某些任務較小(或需較低能力)而其他較複雜時,Manifest 可將每個請求路由到更划算的模型。
  • 活躍部署中強制預算:團隊可設定用量限制或警示,讓成本暫停或在達到支出門檻時觸發通知。
  • 符合隱私限制運作:若偏好裝置上決策,頁面指出查詢評分在您的機器上進行,且不收集內容(僅遙測中繼資料)。
  • 監控與稽核模型使用成本:透過追蹤每則訊息成本並經 OpenTelemetry 匯出遙測,您可了解 token 支出隨時間變化。
  • 自架或檢視路由邏輯:由於 Manifest 開源並支持檢視/自架,開發者可檢討並調整行為以適應其環境。

常見問題

Manifest 會收集我的內容嗎?

頁面指出 Manifest 不收集您的內容,僅使用遙測中繼資料。查詢評分也在您的機器上進行。

Manifest 如何決定使用哪個模型?

Manifest 在本地分析每個查詢(不到 2ms,依頁面所述),並根據本地評分將請求路由到最適合/最划算的模型。

我能監控 token 和成本使用量嗎?

可以。頁面描述追蹤 token/訊息成本,並提供當預算超支時設定限制或警示的功能。

Manifest 是開源嗎?

是的。頁面表示 Manifest 完全開源,可檢視、擴充或自架。

遙測如何處理?

Manifest 使用 OpenTelemetry 標準收集與匯出遙測資料。頁面也強調僅收集遙測中繼資料以保障隱私。

替代方案

  • 自管 LLM 路由服務:不使用 OpenClaw 外掛,你可以運行自己的路由服務,按請求選擇模型,以自訂路由與評分控制為代價,犧牲便利性。
  • 基於 OpenTelemetry 的無路由可觀測性:若主要目標是監控成本與模型用量,可專注遙測/可觀測性工具,而非模型選擇與路由。
  • 單模型部署搭配手動選擇:某些設定將所有請求路由至單一模型(或要求客戶端選擇)。這較簡單,但不會依成本效益每查詢切換模型。
  • 其他 AI 代理/閘道方式:依你的技術堆疊,你可能使用 AI 閘道/代理模式中介請求,不過工作流程可能與 Manifest 描述的 OpenClaw 外掛模式不同。
Manifest | UStack