Harbor

Что такое Harbor?

Harbor — это CLI и companion app для настройки и запуска локального LLM-стека с заранее подключенными сервисами. Он призван сократить ручную работу по конфигурации модельных backend-ов, frontend-ов и вспомогательных инструментов, чтобы пользователи могли запустить рабочий стек одной командой harbor up.

Проект поддерживает локальные model backend-ы, такие как Ollama, llama.cpp и vLLM, а также может запускать связанные сервисы вроде Open WebUI, SearXNG для web search, Speaches для voice chat и ComfyUI для image generation. Harbor также включает инструменты для coding и agent workflows, где harbor launch может подключать host tools к backend-у и модели под управлением Harbor без ручного редактирования настроек provider-ов.

Ключевые возможности

• Запуск стека одной командой: harbor up запускает выбранные сервисы с оркестрацией Docker Compose и уже настроенной связью между сервисами.
• Поддержка нескольких model backend-ов: Harbor может работать с backend-ами, включая Ollama, llama.cpp, vLLM и другие поддерживаемые inference engines, упомянутые в материалах проекта.
• Заранее связанные companion-сервисы: Frontend-ы и утилиты вроде Open WebUI, SearXNG, Speaches и ComfyUI настраиваются для совместной работы, а не отдельно друг от друга.
• Интеграция coding agent-ов: harbor launch может запускать или определять OpenAI-compatible backend, подключать модель к host CLI или editor-у и оставлять инструмент работать в текущем каталоге проекта.
• Работа с конфигом и аргументами: Harbor может запоминать или записывать конфигурацию для сервисов и host tools, включая backend-specific аргументы, такие как настройки llama.cpp.
• Companion app и документация: Репозиторий включает app, CLI reference, руководства по установке, документацию по каталогу сервисов и гайды по локальным workflows.

Как использовать Harbor

Обычно настройка начинается с установки Harbor по руководствам из проекта, затем запускается harbor up с нужными сервисами. После этого можно открыть связанные интерфейсы, такие как Open WebUI, или добавить дополнительные сервисы, например web search или voice chat, по необходимости.

Для coding workflows используется harbor launch, чтобы выбрать backend и модель, а затем запустить поддерживаемый host tool, например CLI agent или editor, при этом Harbor берет на себя детали подключения. Документация также описывает выбор сервисов, конфигурацию и поддерживаемые host tools.

Сценарии использования

• Локальные эксперименты с LLM: Запустите backend и chat interface вместе, чтобы тестировать модели локально без ручной сборки каждого компонента.
• RAG workflows с доступом к web: Добавьте SearXNG и Open WebUI, чтобы локальный assistant мог искать в web и использовать найденные источники в одной среде.
• Локальное взаимодействие через голос: Поднимите Speaches вместе с остальным стеком, когда нужен speech-to-text или text-to-speech в локальной AI-настройке.
• Image generation workflows: Включите ComfyUI рядом с model backend-ами, когда нужен локальный стек, покрывающий и текст, и image generation сервисы.
• Настройка coding agent-а: Подключите поддерживаемый coding CLI или editor к backend-у под управлением Harbor, чтобы инструмент мог использовать AI-модель без отдельной настройки для каждого инструмента.

FAQ

Требует ли Harbor ручной настройки для каждого сервиса? Нет. Описание проекта делает акцент на заранее подключенных сервисах и однокомандной настройке для запуска стека.

Можно ли использовать Harbor с coding tools и agents? Да. В материалах harbor launch описан как способ подключать поддерживаемые host tools к backend-у и модели Harbor.

Какие backend-ы упоминаются? В исходном тексте явно упомянуты Ollama, llama.cpp, vLLM, Docker Model Runner и MLX/OMLX в контексте поддерживаемых inference engines и macOS-вариантов.

Harbor предоставляет только chat interfaces? Нет. Также упоминаются вспомогательные сервисы для web search, voice chat, image generation и инструменты для coding workflows.

Альтернативы

• Ручная настройка через Docker Compose: Похоже по результату, но требует самостоятельно собирать и связывать сервисы вместо использования преднастроенных команд Harbor.
• Локальные runner-ы одной модели/сервиса: Инструменты, сосредоточенные только на одном backend-е, например model server, могут быть проще, если вам не нужен полный стек с frontend-ами и дополнительными сервисами.
• Отдельные chat frontend-ы: Приложения, ориентированные на web UI для работы с моделями, подходят, когда backend-инфраструктура уже есть.
• Универсальные шаблоны self-hosted AI-стека: Другие шаблоны или starter kit-ы могут покрывать часть workflow, но Harbor делает акцент на CLI-оркестрации и межсервисной связности для локального AI.