Harbor

Qu’est-ce que Harbor ?

Harbor est un CLI et une app compagnon pour configurer et lancer un stack local de LLM avec des services préconfigurés. Il est conçu pour réduire le travail manuel de configuration des backends de modèles, des frontends et des outils associés, afin que les utilisateurs puissent démarrer avec un stack fonctionnel via une seule commande harbor up.

Le projet prend en charge des backends de modèles locaux comme Ollama, llama.cpp et vLLM, et peut lancer des services associés comme Open WebUI, SearXNG pour la recherche web, Speaches pour le chat vocal et ComfyUI pour la génération d’images. Harbor inclut aussi des outils pour le code et les workflows d’agents, où harbor launch peut connecter des outils hôte à un backend et à un modèle gérés par Harbor sans modifier à la main les paramètres du provider.

Fonctionnalités clés

• Démarrage du stack en une commande : harbor up lance les services sélectionnés avec l’orchestration Docker Compose et le câblage entre services déjà configurés.
• Prise en charge de plusieurs backends de modèles : Harbor peut fonctionner avec des backends comme Ollama, llama.cpp, vLLM et d’autres moteurs d’inférence pris en charge mentionnés dans les supports du projet.
• Services compagnons préconnectés : Des frontends et utilitaires comme Open WebUI, SearXNG, Speaches et ComfyUI sont configurés pour fonctionner ensemble plutôt que séparément.
• Intégration d’agent de codage : harbor launch peut démarrer ou détecter un backend compatible OpenAI, connecter un modèle à un CLI ou éditeur hôte et laisser l’outil tourner dans le répertoire du projet courant.
• Gestion de la configuration et des arguments : Harbor peut mémoriser ou écrire la configuration des services et des outils hôte, y compris des arguments propres au backend comme les paramètres de llama.cpp.
• App compagnon et documentation : Le dépôt inclut une app, une documentation de référence du CLI, des guides d’installation, la documentation du catalogue de services et des guides pour les workflows locaux.

Comment utiliser Harbor

Une configuration classique commence par l’installation de Harbor à l’aide des guides d’installation du projet, puis par l’exécution de harbor up avec les services souhaités. Ensuite, vous pouvez ouvrir les interfaces connectées comme Open WebUI ou ajouter des services supplémentaires comme la recherche web ou le chat vocal selon les besoins.

Pour les workflows de codage, vous utiliseriez harbor launch pour sélectionner un backend et un modèle, puis démarrer un outil hôte pris en charge comme un agent CLI ou un éditeur, Harbor prenant en charge les détails de connexion. La documentation couvre aussi la sélection des services, la configuration et les outils hôte pris en charge.

Cas d’usage

• Expérimentation locale de LLM : Démarrer ensemble un backend et une interface de chat pour tester des modèles en local sans assembler manuellement chaque composant.
• Workflows RAG avec accès au web : Ajouter SearXNG et Open WebUI pour qu’un assistant local puisse rechercher sur le web et exploiter les sources récupérées dans le même environnement.
• Interaction locale par la voix : Lancer Speaches avec le reste du stack quand vous voulez de la reconnaissance vocale ou de la synthèse vocale dans une configuration d’IA locale.
• Workflows de génération d’images : Inclure ComfyUI avec les backends de modèles quand vous avez besoin d’un stack local couvrant à la fois les services de génération de texte et d’images.
• Configuration d’un agent de codage : Connecter un CLI ou éditeur de codage pris en charge à un backend géré par Harbor afin que l’outil puisse utiliser un modèle d’IA sans configuration séparée pour chaque outil.

FAQ

Harbor nécessite-t-il une configuration manuelle pour chaque service ? Non. La description du projet met l’accent sur des services préconfigurés et une configuration en une seule commande pour mettre le stack en ligne.

Peut-on utiliser Harbor avec des outils et des agents de codage ? Oui. Les supports décrivent harbor launch comme un moyen de connecter des outils hôte pris en charge à un backend et à un modèle Harbor.

Quels backends sont mentionnés ? La source mentionne explicitement Ollama, llama.cpp, vLLM, Docker Model Runner et MLX/OMLX dans le contexte des moteurs d’inférence pris en charge et des options macOS.

Harbor fournit-il uniquement des interfaces de chat ? Non. Il fait aussi référence à des services de support pour la recherche web, le chat vocal, la génération d’images et des outils pour les workflows de codage.

Alternatives

• Configuration manuelle avec Docker Compose : Similaire dans le résultat, mais vous devez assembler et relier les services vous-même au lieu d’utiliser les commandes préconfigurées de Harbor.
• Exécuteurs locaux de modèle monosurvice : Des outils centrés sur un seul backend, comme un serveur de modèle, peuvent être plus simples si vous n’avez pas besoin d’un stack complet avec frontends et services annexes.
• Frontends de chat dédiés : Des applications centrées sur une interface web pour interagir avec un modèle peuvent convenir si vous avez déjà l’infrastructure backend en place.
• Modèles généraux de stack IA auto-hébergée : D’autres modèles de stack ou kits de démarrage peuvent couvrir une partie du workflow, mais Harbor met l’accent sur l’orchestration pilotée par CLI et la connectivité entre services pour l’IA locale.