Harbor

Harbor 是什么？

Harbor 是一款 CLI 和配套应用，用于搭建并运行带有预配置服务的本地 LLM 技术栈。它旨在减少手动配置模型后端、前端和辅助工具的工作量，让用户只需一个 harbor up 命令就能启动可用的技术栈。

该项目支持 Ollama、llama.cpp 和 vLLM 等本地模型后端，并可启动 Open WebUI、用于网页搜索的 SearXNG、用于语音聊天的 Speaches 以及用于图像生成的 ComfyUI 等相关服务。Harbor 还包含用于编码和 agent 工作流的工具，其中 harbor launch 可以将主机工具连接到由 Harbor 管理的后端和模型，而无需手动编辑提供方设置。

主要特性

• 一条命令启动技术栈：harbor up 通过 Docker Compose 编排启动所选服务，且跨服务连接已预先配置。
• 支持多种模型后端：Harbor 可与 Ollama、llama.cpp、vLLM 以及项目资料中提到的其他支持的推理引擎配合使用。
• 预连接的配套服务：Open WebUI、SearXNG、Speaches 和 ComfyUI 等前端与工具已设置为协同工作，而不是分别单独配置。
• 编码 agent 集成：harbor launch 可启动或检测一个兼容 OpenAI 的后端，将模型连接到主机 CLI 或编辑器，并让工具在当前项目目录中运行。
• 配置与参数处理：Harbor 可以记住或写入服务和主机工具的配置，包括像 llama.cpp 设置这类特定后端参数。
• 配套应用与文档：仓库包含应用、CLI 参考资料、安装指南、服务目录文档以及本地工作流指南。

如何使用 Harbor

典型流程是先根据项目的安装指南安装 Harbor，然后运行你需要的服务对应的 harbor up。之后，你可以打开已连接的界面，例如 Open WebUI，或按需添加网页搜索、语音聊天等额外服务。

对于编码工作流，你可以使用 harbor launch 选择后端和模型，然后启动受支持的主机工具，例如 CLI agent 或编辑器，由 Harbor 处理连接细节。文档还覆盖了服务选择、配置以及受支持的主机工具。

使用场景

• 本地 LLM 试验：将后端和聊天界面一起启动，这样你可以在本地测试模型，而无需手动组装各个组件。
• 支持 Web 的 RAG 工作流：添加 SearXNG 和 Open WebUI，让本地助手可以搜索网页，并在同一环境中使用检索到的来源。
• 基于语音的本地交互：当你希望在本地 AI 环境中使用语音转文字或文字转语音时，可将 Speaches 与其余技术栈一起启动。
• 图像生成工作流：在需要同时覆盖文本和图像生成服务的本地技术栈时，可将 ComfyUI 与模型后端一并包含进来。
• 编码 agent 配置：将受支持的编码 CLI 或编辑器连接到由 Harbor 管理的后端，使工具无需为每个工具单独配置即可使用 AI 模型。

常见问题

Harbor 是否要求为每个服务手动配置？ 不需要。项目说明强调了预连接服务以及通过单命令即可让技术栈运行起来。

Harbor 能用于编码工具和 agent 吗？ 可以。资料将 harbor launch 描述为一种将受支持的主机工具连接到 Harbor 后端和模型的方法。

提到了哪些后端？ 源文明确提到了 Ollama、llama.cpp、vLLM、Docker Model Runner，以及在支持的推理引擎和 macOS 选项语境下的 MLX/OMLX。

Harbor 只提供聊天界面吗？ 不是。它还提到了用于网页搜索、语音聊天、图像生成的辅助服务，以及用于编码工作流的工具。

替代方案

• 手动 Docker Compose 搭建：输出结果类似，但需要你自己组装和连接各项服务，而不是使用 Harbor 的预配置命令。
• 单服务本地模型运行器：如果你不需要包含前端和附加服务的完整技术栈，只专注于某一后端的工具会更简单。
• 专用聊天前端：当你已经具备后端基础设施时，专注于模型交互网页界面的应用会很适合。
• 通用自托管 AI 技术栈模板：其他技术栈模板或启动套件可能覆盖工作流的部分环节，但 Harbor 强调的是面向本地 AI 使用的 CLI 驱动编排和跨服务连接。