AssemblyAI

Qu’est-ce qu’AssemblyAI ?

AssemblyAI propose des modèles Speech AI pour convertir l’audio parlé en texte et extraire des informations à partir des données vocales. Le site met en avant les capacités de transcription audio-texte en streaming et des invites/configurations de modèles conçues pour capturer plus que de simples transcriptions — comme les hésitations, les rôles des locuteurs, les termes clés, les indices de marquage audio et les alternances de langues.

Le produit est destiné aux équipes développant des applications vocales, y compris les agents vocaux. Le site référence également des ressources de documentation comme la transcription en temps réel et un SDK LiveKit pour aider les développeurs à intégrer le traitement vocal dans les flux de travail vocaux.

Fonctionnalités clés

• Transcription audio-texte en streaming pour agents vocaux en temps réel : Conçue pour transcrire en continu au fur et à mesure que la parole est produite, adaptée aux flux de travail d’agents vocaux plutôt qu’au traitement par lots uniquement.
• Invites contextuelles : Les invites peuvent être adaptées pour conserver des détails comme la précision des dosages de médicaments et inclure des éléments spécifiques de la transcription (par ex., hésitations, répétitions, reprises, bégaiements et langage informel).
• Capture des hésitations (hésitations et interruptions parlées) : Les exemples montrent des transcriptions conservant les hésitations (par ex., « euh », « hum »), répétitions, reprises et bégaiements pour une analyse conversationnelle ou clinique.
• Marquage audio pour les événements non verbaux : Les invites peuvent demander des marques pour des événements comme les sons système (par ex., un « bip ») afin de conserver les informations non verbales ou de signalisation importantes.
• Étiquetage des rôles des locuteurs : Les invites peuvent exiger l’étiquetage de chaque tour de parole avec des rôles (par ex., « INFIRMIER », « PATIENT ») pour structurer les conversations multi-locuteurs.
• Extraction de termes clés/contrôle orthographique : Le site inclut des exemples où les termes clés (par ex., orthographe de noms propres comme « Kelly Byrne-Donoghue ») sont gérés via des invites.
• Détection de langue et support des alternances : Les exemples montrent la conservation de la langue telle quelle lors des passages entre anglais et espagnol.

Comment utiliser AssemblyAI

1. Choisir un flux de travail vocal comme la transcription en temps réel ou un flux d’agents vocaux (le site référence la documentation sur la transcription en temps réel et un SDK LiveKit).
2. Sélectionner la sortie souhaitée pour votre transcription : texte brut, ou sorties structurées incluant hésitations, marques audio non verbales, rôles des locuteurs, termes clés ou alternances de langues.
3. Utiliser les exemples d’inivites/configurations pour demander le format de transcription et le niveau de détail adaptés à votre cas d’usage (par ex., histoires cliniques axées sur les médicaments vs. analyse conversationnelle).

Cas d’usage

• Transcription de conversations d’agents vocaux avec comportement verbal détaillé : Produire des transcriptions incluant hésitations, répétitions, reprises et bégaiements pour une analyse conversationnelle ultérieure.
• Transcription de style histoire clinique conservant les détails des médicaments : Générer des transcriptions où les noms et dosages de médicaments sont capturés avec précision et les hésitations conservées comme données significatives.
• Transcription d’appels ou IVR avec marquage d’événements audio : Inclure des marques pour les événements non verbaux comme les invites système ou bips afin que les transcriptions reflètent la signalisation dans l’audio.
• Entretiens multi-locuteurs avec attribution de rôles : Étiqueter chaque tour avec un rôle de locuteur (par ex., infirmier vs. patient) pour structurer les transcriptions en vue de révision ou de documentation.
• Conversations bilingues avec alternances en milieu de phrase : Conserver les schémas de langues parlées lors des alternances anglais/espagnol plutôt que de tout normaliser en une seule langue.

FAQ

• AssemblyAI supporte-t-il la transcription en temps réel pour les agents vocaux ? Le site met en avant la transcription audio-texte en streaming destinée aux flux de travail d’agents vocaux et référence des ressources sur la « transcription en temps réel ».

• La transcription peut-elle inclure plus que du texte brut ? Oui. Les exemples montrent des invites demandant hésitations, marques audio non verbales, gestion de noms propres/termes clés, étiquetage des rôles des locuteurs et conservation des alternances de langues.

• Comment les hésitations sont-elles gérées dans les transcriptions ? Le site montre des exemples où les invites indiquent au modèle d’inclure les hésitations, répétitions, reprises et bégaiements dans la transcription.

• Les rôles des locuteurs peuvent-ils être inclus dans la sortie ? Le site inclut un exemple demandant des tours de parole étiquetés avec des rôles (par ex., « Locuteur [Infirmier] », « Locuteur [Patient] »).

• La détection de langue et les alternances sont-elles prises en charge ? Le site inclut des exemples indiquant la détection de langue et la conservation naturelle des alternances anglais/espagnol.

Alternatives

• API Speech-to-text d’autres fournisseurs cloud : Elles proposent généralement une transcription en streaming et des fonctionnalités similaires à la diarisation, mais varient en fiabilité pour conserver les disfluences, les balises d’événements audio ou les sorties structurées pilotées par prompt.
• Ensembles d’outils open-source de reconnaissance vocale : Utiles pour une transcription auto-hébergée, mais nécessitent un travail supplémentaire pour reproduire le formatage piloté par prompt (disfluences, rôles des locuteurs, préservation du code-switching) affiché sur le site d’AssemblyAI.
• Plateformes d’agents vocaux avec transcription intégrée : Certaines intègrent directement la transcription dans les frameworks d’agents ; comparez la configurabilité de leur formatage de transcript et leur support des mêmes éléments (ex. : disfluences et balisage).
• Pipelines audio-vers-texte généralistes (outils de transcription par lots) : Souvent mieux adaptés aux fichiers enregistrés/lots ; un outillage différent peut être nécessaire pour les cas d’usage en temps réel avec agents vocaux mis en avant pour AssemblyAI.