Manifest

Cos'è Manifest?

Manifest è il router open source per LLM di OpenClaw. Intercetta le tue query e invia ogni richiesta al modello che ritiene la scelta più conveniente in termini di costi, con l'obiettivo di ridurre i costi di utilizzo dei token.

Secondo la pagina del progetto, Manifest esegue la valutazione delle query localmente sulla tua macchina (in meno di 2 ms) e quindi instrada la richiesta al modello più adatto. Inoltre, traccia i costi di token e messaggi, con la possibilità di impostare limiti di utilizzo o avvisi.

Caratteristiche Principali

• Valutazione locale delle query per le decisioni di instradamento: Manifest analizza ogni query localmente in meno di 2 ms prima di inoltrare la richiesta.
• Instradamento al modello più conveniente: Invece di inviare tutto il traffico a un singolo modello, Manifest seleziona il modello più appropriato per ogni richiesta.
• Tracciamento dei costi per messaggio: La pagina descrive la misurazione del costo dei token per i messaggi e fornisce indicazioni per monitorare i risparmi.
• Limiti di utilizzo e avvisi: Puoi impostare limiti o avvisi quando il budget viene superato.
• Telemetria focalizzata sulla privacy: La pagina afferma che Manifest non raccoglie il tuo contenuto; utilizza solo metadati di telemetria e esegue la valutazione delle query sul dispositivo. Menziona anche una “versione cloud” descritta come proxy cieco per supportare la privacy per architettura.
• Telemetria compatibile con OpenTelemetry: Manifest utilizza lo standard OpenTelemetry per raccogliere ed esportare i dati di telemetria.
• Open source e ispezionabile: Manifest è completamente open source, progettato per essere ispezionabile, estendibile e auto-ospitabile (nessun black box).
• Plugin nativo per OpenClaw: L'installazione è descritta come un setup con un solo comando, senza necessità di codice.

Come Usare Manifest

1. Installa Manifest come plugin nativo per OpenClaw usando l'installer con un solo comando descritto nella pagina.
2. Configura OpenClaw per usare Manifest in modo che le richieste vengano intercettate prima della selezione del modello.
3. Inizia a inviare richieste tramite OpenClaw; Manifest valuterà ogni query localmente e la instraderà al modello selezionato.
4. Esamina i dati sui costi e token generati da Manifest, quindi imposta limiti di utilizzo o avvisi per rimanere entro il tuo budget.
5. Se esporti la telemetria, usa il formato OpenTelemetry descritto dal progetto per integrarla nel tuo workflow di osservabilità.

Casi d'Uso

• Riduci le spese quando le query variano in complessità: Quando alcuni task sono piccoli (o richiedono meno capacità) e altri sono più impegnativi, Manifest può instradare ogni richiesta a un modello più conveniente.
• Imposta budget in deployment attivi: I team possono fissare limiti di utilizzo o avvisi in modo che i costi si interrompano o scattino notifiche al raggiungimento delle soglie di spesa.
• Opera con vincoli di privacy: Se preferisci decisioni on-device, la pagina afferma che la valutazione delle query avviene sulla tua macchina e il contenuto non viene raccolto (solo metadati di telemetria).
• Monitora e audita i costi di utilizzo dei modelli: Tracciando il costo di ogni messaggio ed esportando la telemetria via OpenTelemetry, puoi capire come varia la spesa in token nel tempo.
• Auto-ospita o ispeziona la logica di instradamento: Essendo open source e supportando ispezione/auto-ospitalità, gli sviluppatori possono rivedere e adattare il comportamento al loro ambiente.

FAQ

Manifest raccoglie il mio contenuto?

La pagina afferma che Manifest non raccoglie il tuo contenuto e utilizza solo metadati di telemetria. Descrive inoltre la valutazione delle query come eseguita sulla tua macchina.

Come decide Manifest quale modello usare?

Manifest analizza ogni query localmente (in meno di 2 ms, secondo la pagina) e instrada la richiesta al modello più adatto/efficiente in base a quella valutazione locale.

Posso monitorare quanti token e costi vengono usati?

Sì. La pagina descrive il tracciamento del costo di token/messaggi e fornisce funzionalità per impostare limiti o avvisi quando il budget viene superato.

Manifest è open source?

Sì. La pagina dice che Manifest è completamente open source e può essere ispezionato, esteso o auto-ospitato.

Come viene gestita la telemetria?

Manifest utilizza lo standard OpenTelemetry per raccogliere ed esportare i dati di telemetria. La pagina enfatizza la privacy affermando che raccoglie solo metadati di telemetria.

Alternative

• Servizi di routing LLM self-managed: Invece di un plugin OpenClaw, potresti eseguire il tuo servizio router che seleziona i modelli per richiesta, scambiando comodità per controllo personalizzato su routing e scoring.
• Osservabilità basata su OpenTelemetry senza routing: Se il tuo obiettivo principale è monitorare costi e utilizzo dei modelli, puoi concentrarti su tooling di telemetria/osservabilità anziché selezione e routing dei modelli.
• Deployment single-model con selezione manuale del modello: Alcune configurazioni instradano tutte le richieste a un modello (o richiedono al client di scegliere). È più semplice ma non mira a switchare modelli per query in base all'efficacia sui costi.
• Altri approcci AI proxy/gateway: A seconda del tuo stack, potresti usare un pattern AI gateway/proxy per mediare le richieste, anche se il workflow potrebbe differire dal modello plugin OpenClaw descritto da Manifest.