Harbor

Harbor 是什麼？

Harbor 是一款 CLI 與搭配應用，用來設定並執行具備預先串接服務的本機 LLM 堆疊。它旨在減少手動設定模型後端、前端與支援工具的工作量，讓使用者只要透過單一 harbor up 指令，就能啟動可運作的堆疊。

此專案支援本機模型後端，例如 Ollama、llama.cpp 與 vLLM，並可啟動相關服務，如 Open WebUI、用於網頁搜尋的 SearXNG、用於語音聊天的 Speaches，以及用於圖片生成的 ComfyUI。Harbor 也包含寫作與代理工作流程的工具，其中 harbor launch 可將主機工具連接到由 Harbor 管理的後端與模型，無需手動編輯供應商設定。

主要功能

• 一指啟動堆疊：harbor up 會以已配置好的 Docker Compose 協調與跨服務連接，啟動所選服務。
• 支援多種模型後端：Harbor 可搭配包含 Ollama、llama.cpp、vLLM，以及專案資料中提到的其他受支援推論引擎。
• 預先連接的搭配服務：Open WebUI、SearXNG、Speaches 與 ComfyUI 等前端與工具都已設定好可共同運作，而非分開配置。
• 程式編寫代理整合：harbor launch 可啟動或偵測相容 OpenAI 的後端，將模型連接到主機 CLI 或編輯器，並在目前專案目錄中維持工具執行。
• 設定與參數處理：Harbor 可記住或寫入服務與主機工具的設定，包括像 llama.cpp 設定這類後端特定參數。
• 搭配應用與文件：儲存庫包含應用程式、CLI 參考資料、安裝指南、服務目錄文件，以及本機工作流程指南。

如何使用 Harbor

典型設定會先依專案的安裝指南安裝 Harbor，接著執行 harbor up 並選擇你要的服務。之後，你可以開啟已連接的介面，例如 Open WebUI，或視需要加入額外服務，如網頁搜尋或語音聊天。

若是程式編寫工作流程，則可使用 harbor launch 選擇後端與模型，接著啟動支援的主機工具，例如 CLI 代理或編輯器，由 Harbor 負責連線細節。文件也涵蓋服務選擇、設定與支援的主機工具。

使用情境

• 本機 LLM 實驗：同時啟動後端與聊天介面，讓你無需手動組裝各元件即可在本機測試模型。
• 支援網頁的 RAG 工作流程：加入 SearXNG 與 Open WebUI，讓本機助理可在同一環境中搜尋網頁並使用檢索來源。
• 語音式本機互動：當你需要本機 AI 設定中的語音轉文字或文字轉語音時，可連同其餘堆疊一起啟動 Speaches。
• 圖片生成工作流程：當你需要同時涵蓋文字與圖片生成服務的本機堆疊時，可將 ComfyUI 與模型後端一起加入。
• 程式編寫代理設定：將支援的寫作 CLI 或編輯器連接到 Harbor 管理的後端，讓工具可使用 AI 模型，而無需為每個工具單獨設定。

FAQ

Harbor 需要為每個服務手動設定嗎？ 不需要。專案描述強調預先串接的服務，以及以單一指令即可將堆疊上線。

Harbor 可以搭配寫作工具與代理使用嗎？ 可以。資料將 harbor launch 描述為一種把支援的主機工具連接到 Harbor 後端與模型的方法。

提到了哪些後端？ 原文明確提到 Ollama、llama.cpp、vLLM、Docker Model Runner，以及 MLX/OMLX，作為受支援推論引擎與 macOS 選項的脈絡。

Harbor 只提供聊天介面嗎？ 不是。它也提到用於網頁搜尋、語音聊天、圖片生成的支援服務，以及寫作工作流程工具。

替代方案

• 手動 Docker Compose 設定：結果類似，但需要你自行組裝與串接服務，而不是使用 Harbor 的預先配置指令。
• 單一服務本機模型執行器：若你不需要包含前端與附加服務的完整堆疊，只聚焦單一後端（例如模型伺服器）的工具會更簡單。
• 專用聊天前端：以網頁 UI 進行模型互動為主的應用，在你已具備後端基礎設施時可能很適合。
• 通用自架 AI 堆疊範本：其他堆疊範本或入門套件可能涵蓋部分工作流程，但 Harbor 強調以 CLI 驅動的協調與跨服務連接，供本機 AI 使用。