Harbor

Che cos'è Harbor?

Harbor è un CLI e un'app companion per configurare ed eseguire uno stack LLM locale con servizi precollegati. È pensato per ridurre il lavoro manuale di configurazione di backend dei modelli, frontend e strumenti di supporto, così gli utenti possono avviare uno stack funzionante con un singolo comando harbor up.

Il progetto supporta backend di modelli locali come Ollama, llama.cpp e vLLM, e può avviare servizi correlati come Open WebUI, SearXNG per la web search, Speaches per la chat vocale e ComfyUI per la generazione di immagini. Harbor include anche strumenti per coding e workflow agentici, dove harbor launch può collegare strumenti host a un backend e a un modello gestiti da Harbor senza modificare manualmente le impostazioni del provider.

Funzionalità principali

• Avvio dello stack con un solo comando: harbor up avvia i servizi selezionati con orchestrazione Docker Compose e wiring tra servizi già configurato.
• Supporto per più backend di modelli: Harbor può მუშაობare con backend come Ollama, llama.cpp, vLLM e altri motori di inference supportati menzionati nei materiali del progetto.
• Servizi companion già collegati: frontend e utility come Open WebUI, SearXNG, Speaches e ComfyUI sono configurati per funzionare insieme invece di essere impostati separatamente.
• Integrazione con agenti di coding: harbor launch può avviare o rilevare un backend compatibile con OpenAI, collegare un modello a una CLI o editor host e mantenere lo strumento in esecuzione nella directory del progetto corrente.
• Gestione di config e argomenti: Harbor può ricordare o scrivere la configurazione per servizi e strumenti host, inclusi argomenti specifici del backend come le impostazioni di llama.cpp.
• App companion e documentazione: il repository include un'app, materiale di riferimento per il CLI, guide di installazione, documentazione del catalogo dei servizi e guide per workflow locali.

Come usare Harbor

Una configurazione tipica inizia installando Harbor tramite le guide di installazione del progetto, quindi eseguendo harbor up con i servizi desiderati. Da lì, puoi aprire le interfacce collegate come Open WebUI o aggiungere servizi extra come la web search o la chat vocale secondo necessità.

Per i workflow di coding, useresti harbor launch per selezionare un backend e un modello, poi avvieresti uno strumento host supportato come un agente CLI o un editor, con Harbor che gestisce i dettagli della connessione. La documentazione copre anche la selezione dei servizi, la configurazione e gli strumenti host supportati.

Casi d'uso

• Sperimentazione locale con LLM: avvia un backend e un'interfaccia chat insieme, così puoi testare i modelli in locale senza assemblare manualmente ogni componente.
• Workflow RAG con supporto web: aggiungi SearXNG e Open WebUI così un assistente locale può cercare sul web e usare le fonti recuperate nello stesso ambiente.
• Interazione locale basata sulla voce: avvia Speaches insieme al resto dello stack quando vuoi speech-to-text o text-to-speech in una configurazione AI locale.
• Workflow di generazione immagini: includi ComfyUI insieme ai backend dei modelli quando ti serve uno stack locale che copra sia servizi di generazione testo sia immagini.
• Setup per coding agent: collega una CLI o un editor di coding supportato a un backend gestito da Harbor così lo strumento può usare un modello AI senza configurazione separata per singolo tool.

FAQ

Harbor richiede configurazione manuale per ogni servizio? No. La descrizione del progetto enfatizza servizi precollegati e una configurazione in un solo comando per portare online lo stack.

Harbor può essere usato con strumenti e agenti di coding? Sì. I materiali descrivono harbor launch come un modo per collegare strumenti host supportati a un backend e a un modello Harbor.

Quali backend sono menzionati? La fonte cita esplicitamente Ollama, llama.cpp, vLLM, Docker Model Runner e MLX/OMLX nel contesto dei motori di inference supportati e delle opzioni per macOS.

Harbor fornisce solo interfacce chat? No. Fa anche riferimento a servizi di supporto per web search, chat vocale, generazione immagini e strumenti per workflow di coding.

Alternative

• Configurazione manuale con Docker Compose: simile nel risultato, ma richiede di assemblare e collegare i servizi da soli invece di usare i comandi preconfigurati di Harbor.
• Runner locali per un singolo servizio: strumenti focalizzati su un solo backend, come un model server, possono essere più semplici se non ti serve uno stack completo con frontend e servizi aggiuntivi.
• Frontend chat dedicati: applicazioni centrate su una web UI per interagire con i modelli possono essere adatte quando hai già l'infrastruttura backend in place.
• Template generici per stack AI self-hosted: altri template o starter kit possono coprire parti del workflow, ma Harbor enfatizza l'orchestrazione via CLI e la connettività tra servizi per l'uso locale dell'AI.