Представляем Mercury 2: Самая быстрая в мире модель для рассуждений

Что такое Mercury 2?

Mercury 2 — это революционная большая языковая модель (LLM) для рассуждений, разработанная Inception и специально созданная для устранения узких мест задержки, которые мешают современным производственным ИИ-приложениям. В отличие от традиционных моделей, которые полагаются на медленное, последовательное авторегрессионное декодирование (по одному токену за раз), Mercury 2 использует новую архитектуру на основе диффузии. Это позволяет ей генерировать ответы посредством параллельного уточнения, сходясь к конечному результату всего за несколько шагов. Основная цель Mercury 2 — сделать производственный ИИ мгновенным, гарантируя, что сложные многоэтапные задачи рассуждения могут выполняться в рамках бюджетов задержки в реальном времени без ущерба для качества.

Этот фундаментальный сдвиг в методологии декодирования приводит к производительности, превышающей 1000 токенов в секунду на современных графических процессорах NVIDIA, что делает ее значительно быстрее (более чем в 5 раз) многих ведущих оптимизированных по скорости моделей. Разделяя высококачественные рассуждения и высокую задержку, Mercury 2 переопределяет кривую соотношения качества и скорости, делая сложный ИИ доступным для чувствительных к задержке пользовательских интерфейсов, где на счету каждая миллисекунда.

Ключевые особенности

Mercury 2 выделяется благодаря своим архитектурным инновациям и показателям производительности:

• Рассуждения на основе диффузии: Генерирует токены посредством параллельного уточнения, а не последовательно, что приводит к значительному увеличению скорости инференса.
• Исключительная скорость: Достигает более 1009 токенов/сек на графических процессорах NVIDIA Blackwell, обеспечивая отзывчивость даже при высокой конкуренции.
• Качество уровня рассуждений: Обеспечивает качество, сопоставимое с ведущими оптимизированными по скорости моделями, сохраняя при этом задержку в реальном времени.
• Настраиваемые рассуждения: Предлагает гибкость в настройке уровня рассуждений, требуемого для конкретных задач.
• Большое контекстное окно: Поддерживает длину контекста в 128K, что позволяет обрабатывать сложные документы и долгосрочное взаимодействие.
• Встроенное использование инструментов: Встроенные возможности для взаимодействия с внешними системами и функциями.
• JSON-вывод, согласованный со схемой: Обеспечивает надежную генерацию структурированных данных, критически важную для интеграции в программные конвейеры.
• Оптимизированный профиль задержки: Сосредоточен на улучшении задержки p95 и согласованном поведении отклика к отклику под нагрузкой.

Как использовать Mercury 2

Начало работы с Mercury 2 включает интеграцию ее в существующие рабочие процессы ИИ с акцентом на приложения, где критически важны скорость и сложные рассуждения. Поскольку Mercury 2 разработана для производственного развертывания, пользователи обычно получают к ней доступ через конечную точку API, предоставляемую Inception.

1. Доступ и интеграция: Получите учетные данные для доступа к API сервиса Mercury 2. Интегрируйте конечную точку в бэкенд вашего приложения, аналогично интеграции любого другого крупного поставщика LLM.
2. Промпт-инжиниринг: Создавайте промпты, которые используют ее возможности рассуждения. Для задач, требующих структурированного вывода (например, извлечение данных или генерация кода), используйте функцию вывода JSON, согласованного со схемой.
3. Настройка параметров: Настройте такие параметры, как tunable_reasoning (если доступно), чтобы сбалансировать вычислительные затраты и глубину анализа, требуемую для конкретного взаимодействия с пользователем.
4. Фокус на развертывании: Развертывайте Mercury 2 в контурах, чувствительных к задержке, таких как интерактивные помощники по кодированию, голосовые агенты в реальном времени или высоконагруженные агентские рабочие процессы, где совокупная задержка пагубно сказывается на пользовательском опыте.

Варианты использования

Mercury 2 специально позиционируется для революционизации приложений, где пользовательский опыт определяется мгновенной обратной связью:

1. Интерактивное кодирование и редактирование: Для разработчиков, использующих такие инструменты, как Zed, Mercury 2 предоставляет автодополнение, предложения по следующему редактированию и возможности рефакторинга, которые ощущаются мгновенными, бесшовно интегрируясь в мыслительный процесс разработчика, а не прерывая его.
2. Агентские рабочие процессы в масштабе: В сложных агентских системах, которые связывают десятки вызовов инференса (например, автономная оптимизация кампаний или сложная обработка данных), низкая задержка на вызов Mercury 2 позволяет выполнить больше шагов в рамках общего бюджета задачи, что приводит к превосходным конечным результатам.
3. Голосовые интерфейсы и HCI в реальном времени: Голосовые интерфейсы требуют самых строгих бюджетов задержки. Mercury 2 обеспечивает качество уровня рассуждений в голосовых помощниках и разговорном ИИ, гарантируя, что генерация текста успевает за естественными темпами речи, делая взаимодействие похожим на человеческое и плавным.
4. Конвейеры поиска и RAG с низкой задержкой: При выполнении многошагового поиска, переранжирования и суммаризации (RAG) Mercury 2 позволяет разработчикам вставлять сложные шаги рассуждения в цикл поиска, не превышая целевых задержек менее секунды, предоставляя немедленные, интеллектуальные ответы на основе проприетарных данных.

FAQ

В: Как преимущество в скорости Mercury 2 отражается на экономии затрат? О: Хотя основное преимущество заключается в снижении задержки, более быстрый инференс означает, что задачи завершаются быстрее, что потенциально сокращает общее время вычислений, необходимое на запрос, что может привести к снижению эксплуатационных расходов, особенно при больших объемах.

В: Совместима ли Mercury 2 со стандартной инфраструктурой NVIDIA? О: Да, Mercury 2 оптимизирована для современных графических процессоров NVIDIA, демонстрируя высокую производительность на новейшем оборудовании, таком как графические процессоры NVIDIA Blackwell, что обеспечивает масштабируемость для корпоративных развертываний.

В: Могу ли я использовать Mercury 2 для задач, требующих высокой фактической точности, например, для юридического обобщения? О: Mercury 2 обеспечивает качество уровня рассуждений, сопоставимое с ведущими моделями. Для задач, требующих высокой фактической обоснованности, используйте ее большое контекстное окно в 128K в сочетании с конвейерами генерации с дополненной выборкой (RAG) для обеспечения того, чтобы рассуждения основывались на проверенных, предоставленных документах.

В: Какова структура ценообразования для Mercury 2? О: Опубликованная структура ценообразования очень конкурентоспособна: $0,25 за 1 миллион входных токенов и $0,75 за 1 миллион выходных токенов, что отражает ее ориентацию на высокопроизводительное производственное использование.

В: Чем архитектура диффузии отличается от стандартного декодирования трансформера? О: Стандартные модели декодируют последовательно (слева направо, по одному токену за раз). Mercury 2 использует диффузию для одновременной генерации нескольких токенов и уточняет весь черновик за несколько шагов, фундаментально изменяя кривую скорости, избегая последовательных узких мест.