AssemblyAI

AssemblyAI 是什么？

AssemblyAI 提供语音 AI 模型，用于将口语音频转换为文字，并从语音数据中提取洞察。网站强调流式语音转文字功能，以及专为捕捉不止纯文本转写内容的模型提示/配置——如口吃、说话者角色、关键词、音频标记提示和代码切换。

该产品定位于构建语音应用的团队，包括语音代理。网站还提及文档资源，如实时转写和 LiveKit SDK，帮助开发者将语音处理集成到语音工作流中。

主要功能

• 实时语音代理的流式语音转文字：设计为在语音产生时持续转写，支持语音代理工作流，而非仅批量处理。
• 上下文感知提示：可定制提示以保留细节，如药物剂量准确性，并包含特定转写元素（例如，填充词、重复、重启、口吃和非正式表达）。
• 口吃捕捉（口语“犹豫”和中断）：示例显示生成保留填充词（例如，“um”、“uh”）、重复、重启和口吃的转写，用于对话或临床分析。
• 非语音事件的音频标记：提示可请求为事件（如系统声音“beep”）添加标记，以保留重要非语言或信号信息。
• 说话者角色标注：提示可要求为每个说话轮次标注角色（例如，“NURSE”、“PATIENT”），以结构化多说话者对话。
• 关键词提取/拼写控制：网站包含示例，通过提示处理关键词（例如，专有名词拼写如“Kelly Byrne-Donoghue”）。
• 语言检测和代码切换支持：示例显示在说话者从英语切换到西班牙语时保持原样。

如何使用 AssemblyAI

1. 选择语音工作流，如实时转写或语音代理流程（网站提及实时转写文档和 LiveKit SDK）。
2. 选择转写输出：纯文本，或包含口吃、非语音音频标记、说话者角色、关键词或代码切换的结构化输出。
3. 使用提示/配置示例，请求与用例相关的转写格式和细节级别（例如，药物相关的临床病史 vs. 对话分析）。

使用场景

• 带详细说话行为的语音代理对话转写：生成包含填充词、重复、重启和口吃的转写，用于下游对话分析。
• 保留药物细节的临床病史式转写：生成准确捕捉药物名称和剂量、保留口吃作为有意义数据的转写。
• 带音频事件标记的通话或 IVR 转写：包含非语音事件标签，如系统提示或 beeps，使转写反映音频中的信号。
• 带角色归属的多说话者访谈：为每个轮次标注说话者角色（例如，护士 vs. 患者），以结构化转写用于审查或文档。
• 句子中途语言切换的双语对话：保留英语/西班牙语代码切换中的口语语言模式，而非标准化为单一语言。

常见问题

• AssemblyAI 支持语音代理的实时转写吗？ 网站强调专为语音代理工作流的流式语音转文字，并提及“real-time transcription”资源。

• 转写可以包含不止纯文本吗？ 是的。示例显示提示请求口吃、非语音音频标记、专有名词/关键词处理、说话者角色标注和代码切换保留。

• 转写中如何处理口吃？ 网站显示示例，其中提示指示模型在转写中包含填充词、重复、重启和口吃。

• 输出可以包含说话者角色吗？ 网站包含示例，请求为说话轮次标注角色（例如，“Speaker [Nurse]”、“Speaker [Patient]”）。

• 支持语言检测和代码切换吗？ 网站包含示例，表明支持语言检测并保留自然的英语/西班牙语代码切换。

替代方案

• 其他云提供商的语音转文本 API：通常提供流式转写和说话人分割等功能，但保留口吃、音频事件标签或结构化提示驱动输出的可靠性可能有所不同。
• 开源语音识别工具包：适用于自托管转写，但可能需要额外工作来重现 AssemblyAI 网站展示的提示驱动格式（口吃、说话人角色、代码切换保留）。
• 内置转写的语音代理平台：某些平台将转写直接集成到代理框架中；比较其转写格式的可配置性，以及是否支持相同的转写元素（例如口吃和标签）。
• 通用音频转文本管道（批量转写工具）：通常更适合录制/批量文件；AssemblyAI 强调的实时语音代理用例可能需要不同的工具。