UStackUStack
Manifest icon

Manifest

Manifest는 OpenClaw용 오픈소스 LLM 라우터로, 쿼리를 가로채 로컬에서 점수화해 비용 효율 모델로 라우팅하고 토큰 비용을 추적합니다.

Manifest

Manifest란 무엇인가요?

Manifest는 OpenClaw용 오픈소스 LLM 라우터입니다. 쿼리를 가로채 각 요청을 가장 비용 효율적인 모델로 보내 토큰 사용 비용을 줄입니다.

프로젝트 페이지에 따르면, Manifest는 로컬 머신에서 쿼리 점수화(2ms 미만)를 수행한 후 가장 적합한 모델로 라우팅합니다. 또한 토큰 및 메시지 비용을 추적하며 사용 한도나 알림 설정이 가능합니다.

주요 기능

  • 라우팅 결정のための 로컬 쿼리 점수화: Manifest는 요청을 전달하기 전에 2ms 미만으로 각 쿼리를 로컬에서 분석합니다.
  • 가장 비용 효율적인 모델로 라우팅: 모든 트래픽을 단일 모델로 보내지 않고 요청별로 가장 적합한 모델을 선택합니다.
  • 메시지별 비용 추적: 페이지에서 메시지 토큰 비용 측정 및 절감 모니터링 지침을 설명합니다.
  • 사용 한도 및 알림: 예산 초과 시 한도나 알림을 설정할 수 있습니다.
  • 프라이버시 중심 텔레메트리: 페이지에서 Manifest는 콘텐츠를 수집하지 않고 텔레메트리 메타데이터만 사용하며 온디바이스 쿼리 점수화를 수행한다고 명시합니다. 또한 아키텍처상 프라이버시를 지원하는 “클라우드 버전”을 언급합니다.
  • OpenTelemetry 호환 텔레메트리: Manifest는 OpenTelemetry 표준을 사용해 텔레메트리 데이터를 수집 및 내보냅니다.
  • 오픈소스 및 검사 가능: Manifest는 완전 오픈소스로 검사, 확장, 자체 호스팅이 가능합니다(블랙박스 없음).
  • 네이티브 OpenClaw 플러그인: 페이지에서 코딩 없이 한 명령어 설치로 설명합니다.

Manifest 사용 방법

  1. 페이지에 설명된 한 명령어 설치기로 Manifest를 네이티브 OpenClaw 플러그인으로 설치합니다.
  2. OpenClaw를 Manifest를 사용하도록 구성해 모델 선택 전에 요청이 가로채지도록 합니다.
  3. OpenClaw를 통해 요청을 보내기 시작하세요; Manifest가 각 쿼리를 로컬에서 점수화해 선택된 모델로 라우팅합니다.
  4. Manifest가 생성한 비용 및 토큰 데이터를 검토하고 예산 내로 유지하기 위해 사용 한도나 알림을 설정합니다.
  5. 텔레메트리를 내보낼 경우 프로젝트에서 설명한 OpenTelemetry 형식을 사용해 관찰 워크플로에 통합합니다.

사용 사례

  • 쿼리 복잡도에 따른 지출 절감: 일부 작업이 작거나(능력 적게 필요) 다른 작업이 까다로울 때 Manifest가 각 요청을 더 비용 효율적인 모델로 라우팅합니다.
  • 활성 배포에서 예산 강제: 팀이 사용 한도를 설정해 지출 임계값 도달 시 비용 일시정지나 알림을 트리거할 수 있습니다.
  • 프라이버시 제약 하 운영: 온디바이스 의사결정을 선호할 경우 페이지에서 쿼리 점수화가 로컬 머신에서 이뤄지고 콘텐츠가 수집되지 않으며(텔레메트리 메타데이터만) 한다고 명시합니다.
  • 모델 사용 비용 모니터링 및 감사: 각 메시지 비용 추적과 OpenTelemetry를 통한 텔레메트리 내보내기로 토큰 지출 변화를 파악할 수 있습니다.
  • 라우팅 로직 자체 호스팅 또는 검사: Manifest가 오픈소스이며 검사/자체 호스팅을 지원하므로 개발자가 환경에 맞게 검토 및 조정할 수 있습니다.

자주 묻는 질문

Manifest가 내 콘텐츠를 수집하나요?

페이지에서 Manifest는 콘텐츠를 수집하지 않고 텔레메트리 메타데이터만 사용하며 쿼리 점수화가 로컬 머신에서 이뤄진다고 명시합니다.

Manifest가 어떤 모델을 사용할지 어떻게 결정하나요?

Manifest는 각 쿼리를 로컬에서 분석(페이지 기준 2ms 미만)하고 그 점수화에 기반해 가장 적합/비용 효율적인 모델로 요청을 라우팅합니다.

토큰 및 비용 사용량을 모니터링할 수 있나요?

네. 페이지에서 토큰/메시지 비용 추적을 설명하고 예산 초과 시 한도나 알림 설정 기능을 제공합니다.

Manifest는 오픈소스인가요?

네. 페이지에서 Manifest는 완전 오픈소스로 검사, 확장, 자체 호스팅이 가능하다고 합니다.

텔레메트리는 어떻게 처리되나요?

Manifest는 OpenTelemetry 표준을 사용해 텔레메트리 데이터를 수집 및 내보냅니다. 페이지에서 텔레메트리 메타데이터만 수집해 프라이버시를 강조합니다.

대안

  • 자체 관리 LLM 라우팅 서비스: OpenClaw 플러그인 대신 요청별 모델을 선택하는 자체 라우터 서비스를 운영할 수 있으며, 라우팅 및 점수화에 대한 사용자 지정 제어를 위해 편의성을 희생합니다.
  • 라우팅 없는 OpenTelemetry 기반 관찰 가능성: 비용 및 모델 사용량 모니터링이 주요 목표라면 모델 선택 및 라우팅 대신 텔레메트리/관찰 가능성 도구에 집중할 수 있습니다.
  • 수동 모델 선택을 통한 단일 모델 배포: 일부 설정은 모든 요청을 하나의 모델로 라우팅하거나 클라이언트가 선택하도록 합니다. 이는 더 간단하지만 비용 효율에 따라 쿼리별 모델 전환을 목표로 하지 않습니다.
  • 기타 AI 프록시/게이트웨이 접근 방식: 스택에 따라 AI 게이트웨이/프록시 패턴을 사용해 요청을 중재할 수 있지만, Manifest가 설명하는 OpenClaw 플러그인 모델과 워크플로가 다를 수 있습니다.
Manifest | UStack