TurboQuant

Что такое TurboQuant?

TurboQuant — набор алгоритмов квантования с теоретическим обоснованием для сжатия высокоразмерных векторов, используемых системами больших языковых моделей (LLM) и векторными поисковыми движками. Основная цель — уменьшить узкие места по памяти, особенно в хранилище KV-кэша, без потери точности поведения модели.

Подход решает распространённое ограничение традиционного векторного квантования: оно уменьшает размер векторов, но вводит дополнительный «оверхед по памяти» из-за необходимости вычисления и хранения констант квантования в полной точности. TurboQuant разработан для устранения этого оверхеда и повышения эффективности как для сжатия KV-кэша, так и для поиска сходства в векторном поиске.

Ключевые особенности

• Экстремальное сжатие векторов для узких мест KV-кэша: Уменьшает размер пар ключ-значение, чтобы снизить нагрузку на память, замедляющую поиск сходства.
• Нулевая потеря точности (как заявлено для TurboQuant): Метод сжатия обеспечивает значительное уменьшение размера модели без ущерба производительности ИИ в тестах.
• Первичное сжатие на базе PolarQuant (случайное вращение + стандартный квантователь): Начинает со случайного вращения векторов для упрощения их геометрии, затем применяет качественный квантователь для захвата основной информации.
• 1-битная коррекция остатков с QJL для устранения смещения: Использует минимальный дополнительный шаг сжатия (1 бит) с алгоритмом QJL, чтобы убрать смещение от первого этапа.
• Включённые алгоритмы (QJL и PolarQuant): Результаты TurboQuant зависят от Quantized Johnson-Lindenstrauss (QJL) и PolarQuant, представленных как отдельные методы.

Как использовать TurboQuant

1. Определите потребности в сжатии векторов в LLM или пайплайне поиска, например, сжатие тензоров KV-кэша или уменьшение векторов для поиска сходства.
2. Примените двухэтапную схему TurboQuant: сначала этап PolarQuant (случайное вращение + качественное квантование), затем 1-битную коррекцию остатков на базе QJL.
3. Используйте QJL для представления знакового бита без оверхеда, где применимо: он генерирует знак (+1 или -1) для каждого числа вектора без хранения констант квантования, в отличие от традиционных методов.
4. Проверьте поведение attention-score и качество поиска в вашей модели, поскольку метод ориентирован на точный расчёт attention-score (процесс определения важных частей ввода).

Сценарии применения

• Сжатие KV-кэша LLM для снижения затрат на память: Уменьшает размер хранения ключ-значение, ускоряя retrieval в attention и снижая зависимость от памяти.
• Повышение пропускной способности векторного поиска: Сжимает векторы для быстрых поисков сходства, ускоряя retrieval в масштабе за счёт снижения нужд в памяти и пропускной способности.
• Снижение рисков потери точности от оверхеда традиционного квантования: Используйте TurboQuant, когда предыдущие методы добавляют оверхед из-за хранимых констант.
• Стабильность attention-score в квантованных трансформерах: Применяйте шаг коррекции QJL для устранения смещения от квантования, что обеспечивает точный расчёт attention-score.

FAQ

TurboQuant — это один алгоритм или набор методов?

Источник представляет TurboQuant как подход к сжатию и также вводит Quantized Johnson–Lindenstrauss (QJL) и PolarQuant как методы, используемые для достижения результатов TurboQuant.

Какую проблему решает TurboQuant по сравнению с традиционной векторной квантизацией?

Традиционные методы могут добавлять дополнительные затраты памяти, требуя расчёта и хранения констант квантизации в полной точности для многих блоков данных. TurboQuant представлен как «оптимальный» способ устранения этих затрат.

Как TurboQuant избегает необходимости в константах квантизации полной точности для QJL?

Источник описывает QJL как использующий преобразование Джонсона-Линденштраусса, которое сводит каждое число результирующего вектора к единственному битовому знаку (+1 или -1), и называет это представлением с нулевыми затратами памяти, при этом применяя специальный оценщик для сохранения точности.

Где применяется TurboQuant в системе LLM?

Статья явно упоминает две цели: сжатие KV-кэша и поиск сходства в векторном поиске, используемый в системах大规模ного поиска и ИИ.

Когда используется PolarQuant в TurboQuant?

TurboQuant использует PolarQuant как первый этап: начинается с случайного поворота вектора для упрощения геометрии, а затем применяется стандартный качественный квантизатор по частям вектора.

Альтернативы

• Традиционные методы векторной квантизации: В целом они сжимают высокоразмерные векторы, но могут нести дополнительные затраты памяти на хранение констант квантизации — это ключевой недостаток, который TurboQuant стремится устранить.
• Другие подходы к сжатию векторов для поиска по сходству: Если главная цель — более быстрый поиск с меньшим объёмом памяти, можно рассмотреть общие техники сжатия векторов; главное отличие — в компромиссе между затратами памяти и сохранением сходства/точности.
• Общие стратегии квантизации/оптимизации KV-кэша: Альтернативные методы повышения эффективности модели могут напрямую целить память KV-кэша, но не следуют двухэтапной схеме TurboQuant с коррекцией остатков QJL.
• Индексацию сходства на основе аппроксимации без квантизации: В некоторых системах можно снизить память и задержки, изменив структуры поиска/индексации вместо сжатия векторов, что смещает акцент с квантованных представлений на выбор индексации.