Manifest

Что такое Manifest?

Manifest — open source LLM router для OpenClaw. Он перехватывает запросы и направляет каждый из них в модель, которую определяет как наиболее выгодную по стоимости, чтобы снизить затраты на токены.

Согласно странице проекта, Manifest выполняет оценку запросов локально на вашей машине (менее 2 мс), а затем маршрутизирует запрос в наиболее подходящую модель. Он также отслеживает затраты на токены и сообщения, с возможностью установки лимитов или уведомлений.

Ключевые возможности

• Локальная оценка запросов для маршрутизации: Manifest анализирует каждый запрос локально менее чем за 2 мс перед пересылкой.
• Маршрутизация в наиболее выгодную модель: Вместо отправки всего трафика в одну модель Manifest выбирает наиболее подходящую для каждого запроса.
• Отслеживание затрат по сообщениям: Страница описывает измерение затрат на токены для сообщений и рекомендации по мониторингу экономии.
• Лимиты использования и уведомления: Можно установить лимиты или уведомления при превышении бюджета.
• Телметрия с фокусом на приватность: Страница указывает, что Manifest не собирает ваш контент; используется только метаданные телеметрии, оценка запросов происходит на устройстве. Также упоминается «cloud version» как blind proxy для обеспечения приватности по архитектуре.
• Телметрия, совместимая с OpenTelemetry: Manifest использует стандарт OpenTelemetry для сбора и экспорта данных телеметрии.
• Open source и проверяемый: Manifest полностью open source, предназначен для проверки, расширения и самостоятельного хостинга (без чёрных ящиков).
• Нативный плагин OpenClaw: Установка описана как однокомандная настройка без кодирования.

Как использовать Manifest

1. Установите Manifest как нативный плагин OpenClaw с помощью однокомандного установщика, описанного на странице.
2. Настройте OpenClaw для использования Manifest, чтобы запросы перехватывались до выбора модели.
3. Начните отправлять запросы через OpenClaw; Manifest оценит каждый локально и маршрутизирует в выбранную модель.
4. Просмотрите данные о затратах и токенах от Manifest, затем установите лимиты или уведомления для соблюдения бюджета.
5. При экспорте телеметрии используйте формат OpenTelemetry, описанный проектом, для интеграции с вашим workflow мониторинга.

Сценарии использования

• Снижение расходов при разной сложности запросов: Когда одни задачи простые (или требуют меньших возможностей), а другие сложные, Manifest маршрутизирует каждый запрос в более выгодную модель.
• Контроль бюджета в активных развертываниях: Команды могут установить лимиты или уведомления, чтобы затраты приостанавливались или срабатывали оповещения при достижении порогов.
• Работа с ограничениями приватности: Если предпочитаете принятие решений на устройстве, страница указывает, что оценка запросов происходит на вашей машине, контент не собирается (только метаданные телеметрии).
• Мониторинг и аудит затрат на модели: Отслеживая затраты по каждому сообщению и экспортируя телеметрию через OpenTelemetry, можно понять изменения расходов на токены со временем.
• Самостоятельный хостинг или проверка логики маршрутизации: Поскольку Manifest open source и поддерживает проверку/самохостинг, разработчики могут изучить и адаптировать поведение под свою среду.

FAQ

Собирает ли Manifest мой контент?

Страница указывает, что Manifest не собирает ваш контент и использует только метаданные телеметрии. Оценка запросов также происходит на вашей машине.

Как Manifest решает, какую модель использовать?

Manifest анализирует каждый запрос локально (менее 2 мс, согласно странице) и маршрутизирует в наиболее подходящую/выгодную модель на основе этой локальной оценки.

Можно ли мониторить использование токенов и затрат?

Да. Страница описывает отслеживание затрат на токены/сообщения и предоставляет функции для установки лимитов или уведомлений при превышении бюджета.

Manifest open source?

Да. Страница подтверждает, что Manifest полностью open source и может быть проверен, расширен или самостоятельно размещён.

Как обрабатывается телеметрия?

Manifest использует стандарт OpenTelemetry для сбора и экспорта данных телеметрии. Страница также подчёркивает приватность, указывая на сбор только метаданных телеметрии.

Альтернативы

• Самостоятельно управляемые сервисы маршрутизации LLM: Вместо плагина OpenClaw вы можете запустить собственный сервис маршрутизации, который выбирает модели для каждого запроса, жертвуя удобством ради пользовательского контроля над маршрутизацией и оценкой.
• Наблюдение на базе OpenTelemetry без маршрутизации: Если ваша основная цель — мониторинг затрат и использования моделей, сосредоточьтесь на инструментах телеметрии/наблюдения вместо выбора и маршрутизации моделей.
• Развертывания с одной моделью и ручным выбором: Некоторые конфигурации направляют все запросы в одну модель (или требуют выбора от клиента). Это проще, но не стремится переключать модели для каждого запроса на основе выгодности по стоимости.
• Другие подходы AI-прокси/шлюзов: В зависимости от вашего стека вы можете использовать шаблон AI-шлюза/прокси для посредничества запросов, хотя рабочий процесс может отличаться от модели плагина OpenClaw, описанной в Manifest.