Gemini Embedding 2

Что такое Gemini Embedding 2?

Gemini Embedding 2 — первая полностью мультимодальная модель встраиваний Google на базе архитектуры Gemini. Она отображает текст, изображения, видео, аудио и документы в единое пространство встраиваний, обеспечивая рабочие процессы поиска и классификации для нескольких типов медиа.

Модель предназначена для обработки семантики более чем на 100 языках и упрощает мультимодальные конвейеры, генерируя один тип векторного представления для разных видов входных медиа.

Ключевые возможности

• Полное мультимодальное покрытие входов (текст, изображения, видео, аудио, документы): Создает встраивания для нескольких типов медиа, чтобы приложения могли искать и классифицировать данные со смешанным контентом.
• Единое пространство встраиваний: Текст, изображения, видео, аудио и документы отображаются в одно пространство для поддержки мультимодального поиска и анализа.
• Понимание перемешанных модальностей в одном запросе: Принимает несколько модальностей вместе (например, изображение + текст), чтобы улавливать связи между разными медиа.
• Высокие лимиты по модальностям: Поддерживает до 8192 входных токенов для текста, до 6 изображений на запрос (PNG/JPEG), до 120 секунд видео (MP4/MOV) и нативное встраивание аудио без промежуточной транскрипции.
• Встраивания документов из PDF: Прямо встраивает PDF до 6 страниц, без предварительного преобразования контента в другой формат.
• Гибкие размерности выходных встраиваний через Matryoshka Representation Learning (MRL): Поддерживает уменьшение от стандартных 3072 размерностей; Google рекомендует 3072, 1536 или 768 для наивысшего качества.

Как использовать Gemini Embedding 2

Gemini Embedding 2 доступна в public preview через Gemini API и Vertex AI. Для начала используйте интерактивные Gemini API и Vertex AI Colab notebooks от Google, чтобы генерировать встраивания для ваших входов.

Для быстрого тестирования Google предоставляет легковесную демо multimodal semantic search, где можно проверить работу встраиваний для задач поиска.

Сценарии использования

• Мультимодальный семантический поиск: Извлекайте релевантные элементы, когда пользователи смешивают модальности запроса (например, поиск текстом по индексу с изображениями, аудио или документами).
• Retrieval-Augmented Generation (RAG) по медиа: Используйте встраивания для извлечения контекста из разнородных источников (документы + медиа) и передачи в последующие рабочие процессы генерации.
• Анализ настроений на смешанном контенте: Встраивайте медиа для поддержки конвейеров классификации или кластеризации, где вход включает текст вместе с изображениями или другими модальностями.
• Кластеризация данных для разнородных наборов: Создавайте единое представление по типам медиа, чтобы группировать связанные элементы даже из разных форматов.
• Понимание документов + медиа для аналитики: Встраивайте PDF (до 6 страниц) и комбинируйте с другими модальностями в одном конвейере для поддержки поиска и классификации.

FAQ

Gemini Embedding 2 только для текста?

Нет. Это полностью мультимодальная модель встраиваний, отображающая текст, изображения, видео, аудио и документы в единое пространство.

Какие платформы поддерживаются для public preview?

Google сообщает, что Gemini Embedding 2 доступна в public preview через Gemini API и Vertex AI.

Какие размеры входов поддерживает модель?

Страница указывает лимиты по модальностям: 8192 токена для текста, до 6 изображений на запрос, до 120 секунд видео (MP4/MOV) и до 6 страниц для PDF. Аудио обрабатывается нативно для встраивания.

Можно ли отправлять несколько модальностей вместе?

Да. Модель нативно понимает перемешанный вход, так что можно передавать несколько модальностей (например, изображение + текст) в одном запросе.

Можно ли изменить размерность встраиваний?

Да. Gemini Embedding 2 использует Matryoshka Representation Learning (MRL) для уменьшения от стандартных 3072 размерностей, с рекомендацией Google 3072, 1536 и 768 для наивысшего качества.

Альтернативы

• Модели встраиваний только для текста: Если ваше приложение использует только текст, модель встраиваний только для текста может быть проще; однако она не сможет нативно встраивать изображения, видео, аудио или документы в то же пространство.
• Отдельные встраивания для каждой модальности: Некоторые рабочие процессы используют разные модели встраиваний для каждой модальности и затем комбинируют результаты на этапе извлечения; это может быть сложнее, чем единое мультимодальное пространство встраиваний.
• Другие мультимодальные подходы к встраиваниям: Альтернативные типы решений также могут генерировать встраивания для нескольких типов медиа, но Gemini Embedding 2 специально акцентирует единое пространство встраиваний и чередуемые мультимодальные запросы.
• Пайплайны индексации и извлечения с использованием провайдеров встраиваний: Если у вас уже есть настройка векторного поиска на основе встраиваний, вы можете рассмотреть замену на мультимодального провайдера/модель встраиваний; ключевое отличие — поддерживает ли модель полностью мультимодальные унифицированные встраивания.