Harbor

Harbor란?

Harbor는 사전 연결된 서비스로 로컬 LLM 스택을 설정하고 실행하는 CLI 및 동반 앱입니다. 모델 백엔드, 프런트엔드, 지원 도구의 수동 구성을 줄여, 사용자가 단일 harbor up 명령으로 바로 동작하는 스택을 시작할 수 있도록 설계되었습니다.

이 프로젝트는 Ollama, llama.cpp, vLLM 같은 로컬 모델 백엔드를 지원하며, 웹 검색용 Open WebUI, SearXNG, 음성 채팅용 Speaches, 이미지 생성용 ComfyUI 같은 관련 서비스도 함께 실행할 수 있습니다. 또한 코딩 및 에이전트 워크플로를 위한 도구도 포함하며, harbor launch를 사용하면 공급자 설정을 직접 수정하지 않고도 호스트 도구를 Harbor가 관리하는 백엔드와 모델에 연결할 수 있습니다.

주요 기능

• 한 번에 스택 시작: harbor up은 Docker Compose 오케스트레이션과 서비스 간 연결이 이미 구성된 상태로 선택한 서비스를 시작합니다.
• 여러 모델 백엔드 지원: Harbor는 Ollama, llama.cpp, vLLM 및 프로젝트 자료에 언급된 기타 지원 추론 엔진과 함께 동작할 수 있습니다.
• 미리 연결된 동반 서비스: Open WebUI, SearXNG, Speaches, ComfyUI 같은 프런트엔드와 유틸리티를 따로 설정하지 않고 함께 동작하도록 구성합니다.
• 코딩 에이전트 통합: harbor launch는 OpenAI 호환 백엔드를 시작하거나 감지하고, 모델을 호스트 CLI나 에디터에 연결한 뒤 현재 프로젝트 디렉터리에서 도구를 실행 상태로 유지할 수 있습니다.
• 설정 및 인자 처리: Harbor는 llama.cpp 설정 같은 백엔드별 인자를 포함해 서비스와 호스트 도구의 설정을 기억하거나 기록할 수 있습니다.
• 동반 앱 및 문서: 저장소에는 앱, CLI 레퍼런스 자료, 설치 가이드, 서비스 카탈로그 문서, 로컬 워크플로 가이드가 포함됩니다.

Harbor 사용 방법

일반적인 설정은 프로젝트의 설치 가이드를 따라 Harbor를 설치한 다음, 원하는 서비스와 함께 harbor up을 실행하는 방식으로 시작합니다. 이후 Open WebUI 같은 연결된 인터페이스를 열거나, 필요에 따라 웹 검색이나 음성 채팅 같은 추가 서비스를 더할 수 있습니다.

코딩 워크플로에서는 harbor launch를 사용해 백엔드와 모델을 선택한 뒤, Harbor가 연결 세부 정보를 처리하도록 하면서 CLI 에이전트나 에디터 같은 지원되는 호스트 도구를 시작합니다. 문서에는 서비스 선택, 설정, 지원 호스트 도구도 함께 설명되어 있습니다.

사용 사례

• 로컬 LLM 실험: 백엔드와 채팅 인터페이스를 함께 시작해 각 구성 요소를 수동으로 조립하지 않고도 로컬에서 모델을 테스트할 수 있습니다.
• 웹 연동 RAG 워크플로: SearXNG와 Open WebUI를 추가해 로컬 어시스턴트가 같은 환경에서 웹을 검색하고 가져온 소스를 활용할 수 있게 합니다.
• 음성 기반 로컬 상호작용: 로컬 AI 환경에서 음성-텍스트 변환이나 텍스트-음성 변환이 필요할 때 Speaches를 나머지 스택과 함께 실행합니다.
• 이미지 생성 워크플로: 텍스트와 이미지 생성 서비스를 모두 포함하는 로컬 스택이 필요할 때 모델 백엔드와 함께 ComfyUI를 포함합니다.
• 코딩 에이전트 설정: 지원되는 코딩 CLI나 에디터를 Harbor가 관리하는 백엔드에 연결해, 도구별 개별 설정 없이 AI 모델을 사용할 수 있게 합니다.

FAQ

Harbor는 모든 서비스에 대해 수동 구성이 필요한가요?
아니요. 프로젝트 설명은 사전 연결된 서비스와 단일 명령 설정으로 스택을 실행하는 방식을 강조합니다.

Harbor를 코딩 도구와 에이전트에 사용할 수 있나요?
네. 자료에서는 harbor launch를 지원되는 호스트 도구를 Harbor 백엔드와 모델에 연결하는 방법으로 설명합니다.

어떤 백엔드가 언급되나요?
소스에는 지원 추론 엔진 및 macOS 옵션 문맥에서 Ollama, llama.cpp, vLLM, Docker Model Runner, MLX/OMLX가 명시적으로 언급됩니다.

Harbor는 채팅 인터페이스만 제공하나요?
아니요. 웹 검색, 음성 채팅, 이미지 생성, 코딩 워크플로용 도구도 함께 언급합니다.

대안

• 수동 Docker Compose 설정: 결과는 비슷하지만, Harbor의 사전 구성 명령 대신 사용자가 직접 서비스들을 조립하고 연결해야 합니다.
• 단일 서비스 로컬 모델 러너: 모델 서버 같은 하나의 백엔드에만 집중하는 도구는 프런트엔드와 보조 서비스가 포함된 전체 스택이 필요 없을 때 더 단순할 수 있습니다.
• 전용 채팅 프런트엔드: 이미 백엔드 인프라가 갖춰져 있다면, 모델 상호작용용 웹 UI에 중점을 둔 애플리케이션이 적합할 수 있습니다.
• 일반 셀프호스팅 AI 스택 템플릿: 다른 스택 템플릿이나 스타터 킷도 워크플로의 일부를 다룰 수 있지만, Harbor는 로컬 AI 사용을 위한 CLI 중심 오케스트레이션과 서비스 간 연결성을 강조합니다.