Grok Speech to Text and Text to Speech APIs

Что такое Grok Speech to Text (STT) и Text to Speech (TTS)?

Grok Speech to Text (STT) и Grok Text to Speech (TTS) — это автономные аудио-API от xAI для преобразования речи в текст и текста в речь. Они предназначены для того, чтобы разработчики могли добавлять голосовые возможности в свои приложения с использованием REST- и WebSocket-эндпоинтов.

Цель Grok STT — создание точных транскриптов с опциями структурированного вывода. Grok TTS фокусируется на преобразовании текста в речь с естественной, выразительной подачей и точным контролем просодии через speech tags.

Ключевые возможности

• Точная транскрипция с низкой задержкой: Генерируйте транскрипты из больших аудиофайлов с помощью REST API и транскрибируйте речь в реальном времени через WebSocket API.
• Таймстампы на уровне слов и диаризация спикеров: Включает идентификаторы спикеров на уровне слов через диаризацию для разделения и идентификации спикеров в предварительно записанном и потоковом аудио.
• Поддержка многоканального аудио: Транскрибируйте многоканальные аудиофайлы с разделением спикеров через тот же API.
• Обратная нормализация текста (при включенной форматизации): Преобразует разговорный язык в структурированный, правильно отформатированный вывод для чисел, дат и валют (например, преобразует «мой номер телефона...» в ожидаемую отформатированную форму).
• Многоязычное распознавание речи: Поддерживает 25+ языков и позволяет seamless переключаться между языками.
• Speech tags для выразительного TTS: Используйте встроенные и обертывающие speech tags, такие как [laugh], [sigh], [whisper], , и , для контроля подачи.
• REST и WebSocket для генерации TTS: Создавайте речь из текста с помощью REST для пакетной генерации и используйте WebSocket для вывода речи в реальном времени.

Как использовать Grok Speech to Text (STT) и Text to Speech (TTS)

1. Начните с консоли xAI API и используйте предоставленные эндпоинты для STT или TTS.
2. Для транскрипции выбирайте REST, если нужно транскрибировать большие аудиофайлы, и WebSocket для низкозадержанной транскрипции в реальном времени.
3. Для TTS отправляйте текст через REST для генерации речи или используйте WebSocket для вывода речи в реальном времени.
4. Если нужны структурированные транскрипты, включите форматизацию для обратной нормализации текста. Для выразительности TTS добавляйте speech tags для контроля просодии.

Сценарии использования

• Голосовые агенты и интерактивные ассистенты: Транскрибируйте речь пользователя в реальном времени и передавайте полученный текст в логику диалога или workflow.
• Транскрипция встреч или звонков поддержки в реальном времени: Используйте диаризацию и идентификаторы спикеров на уровне слов для атрибуции частей разговора правильным спикерам.
• Инструменты доступности: Преобразуйте разговорный язык в правильно структурированный текст (включая числа, даты и валюту) с опциональной поддержкой нескольких языков.
• Подкасты и рабочие процессы аудиопроизводства: Генерируйте транскрипты из длинных записей (пакетная транскрипция) и используйте TTS для преобразования скриптов или структурированного текста обратно в аудио.
• Интерактивные аудиоопыты: Комбинируйте контролируемый TTS (speech tags для акцента, пауз и выразительных подсказок) с транскрипцией для поддержки двустороннего голосового взаимодействия.

FAQ

Какие эндпоинты доступны для транскрипции и генерации речи?
Grok STT и Grok TTS поддерживают REST-эндпоинты для пакетных запросов и WebSocket-эндпоинты для низкозадержанного или реального времени использования.

Поддерживает ли Grok STT идентификацию спикеров?
Да. API включает диаризацию спикеров и идентификаторы спикеров на уровне слов для предварительно записанного и потокового аудио в реальном времени.

Доступна ли форматизация или структурированный вывод для транскриптов?
Да. При включенной форматизации Grok STT применяет обратную нормализацию текста для преобразования разговорного языка в структурированный вывод для чисел, дат и валют.

Сколько языков поддерживает Grok STT?
Страница указывает поддержку 25+ языков и отмечает, что переключение между языками происходит без сбоев.

Как контролировать стиль подачи TTS?
Grok TTS предоставляет speech tags (например [laugh], [sigh], [whisper], , и ), которые можно включать в текст для контроля просодии и эмоций.

Альтернативы

• API Speech-to-text (общая категория): Другие провайдеры STT предлагают транскрипцию по REST/WebSocket с опциями вроде диаризации и пунктуации/форматирования. Сравнивайте по задержке, качеству диаризации и обработке обратной нормализации текста.
• API Text-to-speech с разметкой/тегами (общая категория): Многие TTS API поддерживают SSML-подобную или кастомную разметку для влияния на просодию. Сравнивайте выразительность тегов, поддерживаемые элементы управления и необходимость REST vs реального времени по WebSocket.
• Создание кастомных аудиопайплайнов (общая категория): Некоторые команды собирают компоненты ASR и форматирования самостоятельно (отдельная транскрипция + нормализация). Это увеличивает сложность интеграции, но даёт больше контроля над каждым шагом.
• Использование платформы для разговорного голоса vs автономные API: Вместо отдельных конечных точек STT/TTS можно взять end-to-end платформы голосовых агентов. Это обычно меняет гибкость автономных API на более интегрированный рабочий процесс.