Harbor

¿Qué es Harbor?

Harbor es una CLI y app complementaria para configurar y ejecutar un stack local de LLM con servicios ya conectados. Está diseñado para reducir el trabajo manual de configurar backends de modelos, frontends y herramientas de apoyo, para que los usuarios puedan empezar con un stack funcional mediante un solo comando harbor up.

El proyecto admite backends de modelos locales como Ollama, llama.cpp y vLLM, y puede poner en marcha servicios relacionados como Open WebUI, SearXNG para búsqueda web, Speaches para chat por voz y ComfyUI para generación de imágenes. Harbor también incluye herramientas para flujos de trabajo de programación y agentes, donde harbor launch puede conectar herramientas del host a un backend y modelo administrados por Harbor sin editar manualmente la configuración del proveedor.

Funciones clave

• Inicio del stack con un solo comando: harbor up inicia los servicios seleccionados con orquestación de Docker Compose y conexiones entre servicios ya configuradas.
• Compatibilidad con múltiples backends de modelos: Harbor puede funcionar con backends como Ollama, llama.cpp, vLLM y otros motores de inferencia compatibles mencionados en los materiales del proyecto.
• Servicios complementarios preconectados: Frontends y utilidades como Open WebUI, SearXNG, Speaches y ComfyUI se configuran para trabajar juntos en lugar de configurarse por separado.
• Integración con agentes de programación: harbor launch puede iniciar o detectar un backend compatible con OpenAI, conectar un modelo a una CLI o editor del host y mantener la herramienta en ejecución en el directorio actual del proyecto.
• Gestión de configuración y argumentos: Harbor puede recordar o escribir la configuración de servicios y herramientas del host, incluidos argumentos específicos del backend como ajustes de llama.cpp.
• App complementaria y documentación: El repositorio incluye una app, material de referencia de la CLI, guías de instalación, documentación del catálogo de servicios y guías para flujos de trabajo locales.

Cómo usar Harbor

Una configuración típica comienza instalando Harbor con las guías de instalación del proyecto y luego ejecutando harbor up con los servicios que quieras. A partir de ahí, puedes abrir las interfaces conectadas como Open WebUI o añadir servicios extra como búsqueda web o chat por voz según sea necesario.

Para flujos de trabajo de programación, usarías harbor launch para seleccionar un backend y un modelo, y luego iniciar una herramienta compatible del host, como un agente CLI o un editor, mientras Harbor gestiona los detalles de conexión. La documentación también cubre la selección de servicios, la configuración y las herramientas del host compatibles.

Casos de uso

• Experimentación local con LLM: Inicia un backend y una interfaz de chat juntos para probar modelos localmente sin ensamblar manualmente cada componente.
• Flujos de trabajo RAG con acceso a la web: Añade SearXNG y Open WebUI para que un asistente local pueda buscar en la web y usar las fuentes recuperadas en el mismo entorno.
• Interacción local por voz: Levanta Speaches junto con el resto del stack cuando quieras speech-to-text o text-to-speech en una configuración local de IA.
• Flujos de trabajo de generación de imágenes: Incluye ComfyUI junto con los backends de modelos cuando necesites un stack local que cubra tanto servicios de generación de texto como de imágenes.
• Configuración de agente de programación: Conecta una CLI o editor de programación compatible a un backend gestionado por Harbor para que la herramienta pueda usar un modelo de IA sin configuración separada por herramienta.

Preguntas frecuentes

¿Harbor requiere configuración manual para cada servicio?
No. La descripción del proyecto enfatiza servicios preconectados y una configuración con un solo comando para poner en marcha el stack.

¿Se puede usar Harbor con herramientas y agentes de programación?
Sí. Los materiales describen harbor launch como una forma de conectar herramientas del host compatibles a un backend y modelo de Harbor.

¿Qué backends se mencionan?
La fuente menciona explícitamente Ollama, llama.cpp, vLLM, Docker Model Runner y MLX/OMLX en el contexto de motores de inferencia compatibles y opciones de macOS.

¿Harbor solo ofrece interfaces de chat?
No. También menciona servicios de apoyo para búsqueda web, chat por voz, generación de imágenes y herramientas para flujos de trabajo de programación.

Alternativas

• Configuración manual con Docker Compose: Similar en resultado, pero requiere que ensamblen y conecten los servicios por tu cuenta en lugar de usar los comandos preconfigurados de Harbor.
• Runners locales de modelo de un solo servicio: Las herramientas centradas solo en un backend, como un servidor de modelos, pueden ser más simples si no necesitas un stack completo con frontends y servicios auxiliares.
• Frontends de chat dedicados: Las aplicaciones centradas en una interfaz web para interactuar con modelos pueden encajar cuando ya tienes infraestructura de backend en su lugar.
• Plantillas generales de stacks de IA autoalojados: Otras plantillas o kits iniciales pueden cubrir partes del flujo de trabajo, pero Harbor pone el foco en la orquestación mediante CLI y la conectividad entre servicios para uso local de IA.