NVIDIA Nemotron 3.5 Super VL

NVIDIA Nemotron 3.5 Super VL 是開放且可自訂的多模態模型，協助開發者打造專用 AI 代理，支援推理、工具使用及文字、圖片、文件與影片理解，並可透過 NVIDIA NeMo 進行後訓練。

Обзор

NVIDIA Nemotron 3.5 Super VL — открытая и настраиваемая мультимодальная модель для специализированных AI-агентов. Она предназначена для многоэтапных корпоративных рабочих процессов, которым могут требоваться рассуждение, вызовы инструментов, соблюдение политик и интерпретация текста, изображений, документов и видео.

Архитектура смеси экспертов со 120 млрд параметров активирует 12 млрд параметров на токен. Модель может выступать мультимодальным компонентом рассуждения в более широкой системе Nemotron наряду с небольшими моделями для высокообъёмных текстовых задач и более крупными моделями для сложного планирования и оркестрации. Разработчики могут адаптировать её с помощью NVIDIA NeMo для работы с данными, инструментами и операционными процедурами конкретной предметной области.

Основные возможности

Архитектура MoE с гибкой ёмкостью

Использует архитектуру смеси экспертов со 120 млрд параметров, активируя 12 млрд параметров на токен и сочетая общую ёмкость модели с более избирательными вычислениями.

Мультимодальное рассуждение для агентов

Объединяет рассуждение, следование инструкциям и использование инструментов с пониманием текста, изображений, документов и видео в одной модели.

Понимание изображений и документов

Поддерживает рабочие процессы с документами, в которых интерпретируются таблицы, диаграммы и макеты страниц, а также поиск, проверка и анализ инцидентов в видео.

Настройка рабочих процессов

Может дополнительно обучаться на данных организации, интерфейсах инструментов, рабочих процедурах и политиках с помощью NVIDIA NeMo.

Оптимизация вывода

Использует спекулятивное декодирование LiLiCorr, квантование NVFP4 с дистилляцией с учётом квантования, предсказание нескольких токенов и повторное использование контекста для повышения эффективности вывода.

Заявленная пропускная способность

В статье о запуске сообщается о скорости свыше 600 выходных токенов в секунду на конечной точке агентских задач Artificial Analysis Intelligence Index и до 5-кратно более высокой пропускной способности по сравнению с другими открытыми моделями этой категории размера на одном GPU; результаты зависят от указанного теста и условий развёртывания.

Практические варианты использования

Агенты для программирования
Тестирование и проверка кода, анализ ошибок и рекомендации по исправлению в рабочих процессах, объединяющих рассуждение и использование инструментов.
Веб-исследования
Поиск на веб-сайтах, объединение информации из нескольких источников и проверка ответов перед выдачей результата.
Интеллектуальный анализ документов
Чтение таблиц, диаграмм и макетов страниц для извлечения информации и создания сводок или отчётов по сложным документам.
Анализ кибербезопасности
Выявление уязвимостей и первичная сортировка угроз безопасности, чтобы команды могли расставлять приоритеты в работе по устранению проблем.
Понимание видео
Извлечение информации из видео для поиска, проверки содержимого и анализа инцидентов.

Pros and Cons

Pros

Объединяет рассуждение, следование инструкциям, использование инструментов и мультимодальное понимание в одной модели.
Поддерживает настройку под предметные данные, инструменты, политики и рабочие процессы через NVIDIA NeMo.
Охватывает различные задачи агентов, включая написание кода, веб-исследования, анализ документов, кибербезопасность и понимание видео.
Использует избирательную архитектуру смеси экспертов и несколько оптимизаций вывода, предназначенных для эффективных агентских рабочих нагрузок.

Cons

В предоставленном источнике отсутствует полная карточка модели с описанием требований к развёртыванию, поддерживаемых платформ, выходных данных, лицензирования или известных ограничений.
Заявленные показатели скорости и пропускной способности относятся к конкретным тестам и не должны рассматриваться как универсальные гарантии производительности.
Цены и условия распространения в предоставленных материалах не указаны.

FAQ

Для каких рабочих процессов предназначен Nemotron 3.5 Super VL?

Nemotron 3.5 Super VL предназначен для специализированных многошаговых рабочих процессов с агентами, которые объединяют рассуждение, использование инструментов и понимание текста, изображений, документов или видео. Примеры включают написание кода, веб-исследования, анализ документов, кибербезопасность и анализ видео.

Могут ли организации настраивать модель?

Модель можно дополнительно обучать с помощью NVIDIA NeMo, используя данные, инструменты, политики и рабочие процессы организации. В источнике также указаны контролируемая тонкая настройка, низкоранговая адаптация и обучение с подкреплением как методы настройки; открытые наборы данных опубликованы на Hugging Face.

Какие модальности поддерживает модель?

Модель объединяет рассуждение, следование инструкциям, использование инструментов и мультимодальное понимание в одной модели, поэтому рабочий процесс может обрабатывать текстовые и визуальные входные данные без отдельных текстовых и визуально-языковых моделей для этих возможностей.

Как обеспечивается эффективность вывода?

В источнике описывается оптимизация развёртывания с помощью таких методов, как спекулятивное декодирование LiLiCorr, квантование NVFP4 с дистилляцией с учётом квантования, предсказание нескольких токенов и повторное использование контекста. Разработчикам предлагается NVIDIA NIM для оптимизированного развёртывания, однако предоставленные материалы не содержат полной конфигурации развёртывания или матрицы поддерживаемых платформ.

Quick Facts

Категория: Мультимодальная AI-модель
Основные пользователи: Разработчики и организации, создающие специализированных AI-агентов
Архитектура: Смесь экспертов со 120 млрд параметров; 12 млрд параметров активируются на токен
Понимание входных данных: Текст, изображения, документы и видео
Настройка: Дополнительное обучение с помощью NVIDIA NeMo, включая контролируемую тонкую настройку, низкоранговую адаптацию и обучение с подкреплением
Домен источника: developer.nvidia.com