Harbor

O que é o Harbor?

Harbor é um CLI e app companion para configurar e executar um stack local de LLM com serviços pré-integrados. Ele foi projetado para reduzir o trabalho manual de configurar backends de modelos, frontends e ferramentas de apoio, permitindo que os usuários comecem com um stack funcional por meio de um único comando harbor up.

O projeto oferece suporte a backends de modelos locais como Ollama, llama.cpp e vLLM, e pode iniciar serviços relacionados como Open WebUI, SearXNG para pesquisa na web, Speaches para chat por voz e ComfyUI para geração de imagens. O Harbor também inclui ferramentas para coding e fluxos de trabalho de agentes, nas quais harbor launch pode conectar ferramentas do host a um backend e modelo gerenciados pelo Harbor sem editar manualmente as configurações do provedor.

Principais recursos

• Inicialização do stack com um comando: harbor up inicia os serviços selecionados com orquestração via Docker Compose e integração entre serviços já configuradas.
• Suporte a múltiplos backends de modelos: o Harbor pode funcionar com backends como Ollama, llama.cpp, vLLM e outros motores de inferência suportados mencionados nos materiais do projeto.
• Serviços companion pré-conectados: frontends e utilitários como Open WebUI, SearXNG, Speaches e ComfyUI são configurados para funcionar em conjunto, em vez de separados.
• Integração com agentes de código: harbor launch pode iniciar ou detectar um backend compatível com OpenAI, conectar um modelo a um CLI ou editor do host e manter a ferramenta em execução no diretório atual do projeto.
• Tratamento de configuração e argumentos: o Harbor pode lembrar ou gravar configurações para serviços e ferramentas do host, incluindo argumentos específicos do backend, como as definições do llama.cpp.
• App companion e documentação: o repositório inclui um app, material de referência do CLI, guias de instalação, documentação do catálogo de serviços e guias para fluxos de trabalho locais.

Como usar o Harbor

Uma configuração típica começa com a instalação do Harbor usando os guias de instalação do projeto e, em seguida, executando harbor up com os serviços que você deseja. A partir daí, você pode abrir as interfaces conectadas, como o Open WebUI, ou adicionar serviços extras como pesquisa na web ou chat por voz conforme necessário.

Para fluxos de trabalho de código, você usaria harbor launch para selecionar um backend e um modelo e então iniciar uma ferramenta do host suportada, como um agente de CLI ou um editor, com o Harbor cuidando dos detalhes da conexão. A documentação também aborda seleção de serviços, configuração e ferramentas do host suportadas.

Casos de uso

• Experimentação local com LLM: inicie um backend e uma interface de chat juntos para testar modelos localmente sem montar manualmente cada componente.
• Fluxos RAG com suporte à web: adicione SearXNG e Open WebUI para que um assistente local possa pesquisar na web e usar as fontes recuperadas no mesmo ambiente.
• Interação local por voz: suba o Speaches com o restante do stack quando quiser speech-to-text ou text-to-speech em uma configuração local de IA.
• Fluxos de geração de imagens: inclua o ComfyUI junto aos backends de modelos quando precisar de um stack local que cubra serviços de geração de texto e de imagem.
• Configuração de agente de código: conecte um CLI ou editor de código suportado a um backend gerenciado pelo Harbor para que a ferramenta possa usar um modelo de IA sem configuração separada por ferramenta.

FAQ

O Harbor exige configuração manual para cada serviço?
Não. A descrição do projeto destaca serviços pré-integrados e uma configuração em um único comando para colocar o stack no ar.

O Harbor pode ser usado com ferramentas e agentes de código?
Sim. Os materiais descrevem harbor launch como uma forma de conectar ferramentas do host suportadas a um backend e modelo do Harbor.

Quais backends são mencionados?
A fonte menciona explicitamente Ollama, llama.cpp, vLLM, Docker Model Runner e MLX/OMLX no contexto de motores de inferência suportados e opções para macOS.

O Harbor fornece apenas interfaces de chat?
Não. Ele também referencia serviços de suporte para pesquisa na web, chat por voz, geração de imagens e ferramentas para fluxos de trabalho de código.

Alternativas

• Configuração manual com Docker Compose: semelhante no resultado, mas exige que você monte e conecte os serviços por conta própria em vez de usar os comandos pré-configurados do Harbor.
• Executores locais de modelo de serviço único: ferramentas focadas apenas em um backend, como um servidor de modelo, podem ser mais simples se você não precisar de um stack completo com frontends e serviços adjacentes.
• Frontends de chat dedicados: aplicações centradas em uma UI web para interação com modelos podem ser uma boa opção quando você já tem a infraestrutura de backend pronta.
• Templates gerais de stack de IA auto-hospedada: outros templates ou kits iniciais de stack podem cobrir partes do fluxo de trabalho, mas o Harbor enfatiza orquestração via CLI e conectividade entre serviços para uso local de IA.