TADA icon

TADA

TADA 是 Hume AI 的开源语音语言模型,支持文本与语音一一对齐生成,更适合构建高速度、高可靠性的语音系统,适用于端侧部署与长文本语音应用。

TADA

同步文本与音频的开源语音生成

TADA 是 Text-Acoustic Dual Alignment 的缩写,是 Hume AI 的开源语音语言模型,通过让文本和音频一一同步来生成语音。该模型被定位为对 LLM 驱动的文本转语音系统常见局限的一种回应:音频序列比文本序列密得多,这会使生成过程更慢、也更不稳定。

Hume 表示,TADA 通过一种新的分词方案解决了这种不匹配问题,该方案将声学表示直接对齐到文本 token。公司在文中称,这样既能实现快速语音生成、具有竞争力的语音质量和几乎为零的内容幻觉,又能保持足够轻量,适合端侧部署。此次发布包含代码、预训练模型以及完整的分词器和解码器,当前模型覆盖英语及另外七种语言。

核心能力

文本与语音一一对齐

采用文本-声学双对齐方案,将每个文本 token 映射到对应的声学向量,使语音与文本保持同步。

内置内容可靠性

从设计上避免内容跳漏和幻觉词;模型在 1,000+ 条 LibriTTSR 测试样本上评估为零幻觉。

快速语音生成

在 Hume 的评估中,实时因子为 0.09,文章称这比同等级的基于 LLM 的 TTS 系统快 5 倍以上。

适合端侧部署的轻量占用

采用轻量级架构,文章称其体积足够小,可用于手机和边缘设备的端侧部署。

支持 Speech Free Guidance

包含 speech free guidance 方法,用于减少语音生成与文本生成同时输出时的差距。

开源模型发布

作为基于 Llama 的 10 亿参数和 30 亿参数模型发布,并附带音频分词器和解码器,便于实验和适配。

实际用途

  • 可靠的文本转语音管线

    适合需要更强内容保真度的 TTS 系统团队,因为该模型旨在让文本和语音保持同步,并避免文本跳漏或幻觉词。

  • 移动端与边缘部署

    适用于需要低延迟端侧语音的产品,因为 Hume 将该架构描述为足够轻量,可用于手机和边缘设备。

  • 长文本语音体验

    有助于开发长篇叙述或对话式语音体验的开发者,文章强调其上下文效率优于传统方法。

  • 敏感生产环境

    适用于医疗、金融和教育等受监管或敏感场景,文章强调这些场景需要更高的生产可靠性和更少的边缘情况处理。

  • 研究与微调工作流

    适合扩展语音模型的研究人员和开发者,因为 Hume 正在开放模型、分词器和解码器,并邀请围绕新模态和应用开展进一步工作。

Pros and Cons

Pros

  • 一一对齐设计旨在减少文本跳漏和幻觉内容。
  • Hume 报告称其在 1,000+ 样本的 LibriTTSR 评估集上没有幻觉。
  • 该模型被描述为比传统基于 LLM 的 TTS 系统更快、上下文效率更高。
  • 其占用体积被描述为足够轻量,适合移动端和边缘部署。
  • 代码、预训练模型以及分词器/解码器现已在开源许可下提供。

Cons

  • 文章称该模型是针对语音续写进行预训练的,因此助手类场景需要进一步微调。
  • Hume 指出,在较长的生成过程中偶尔会出现说话人漂移,尽管其拒绝采样策略降低了这一问题。
  • 当前版本覆盖英语和另外七种语言,因此与更广泛的多语言系统相比,语言覆盖仍然有限。

FAQ

TADA 是什么?

TADA 是来自 Hume AI 的开源语音语言模型。来源说明称,当前版本包括 10 亿参数和 30 亿参数的基于 Llama 的模型,以及完整的音频分词器和解码器。

TADA 可以直接用于助手场景吗?

文章说明,TADA 以语音续写为训练目标,因此助手类场景需要进一步微调。Hume 也邀请正在开发语音模型的开发者就其微调数据与他们联系。

此版本支持哪些语言?

Hume 表示,当前版本支持英语以及另外七种语言。

如何访问模型和代码?

博客称,TADA 采用开源许可发布,代码和预训练模型现已可通过 Hugging Face、GitHub 以及 arXiv 论文链接获取。

文章中提到的主要限制是什么?

文章提到一个长文本限制:虽然模型支持超过 10 分钟的上下文,但 Hume 观察到在长时间生成中偶尔会出现说话人漂移,并建议通过重置上下文来作为解决办法。

Quick Facts

类别
开源语音语言模型
公司
Hume AI
核心流程
用于语音生成的文本-声学双对齐
发布形式
基于 Llama 的 10 亿和 30 亿参数模型,外加分词器和解码器
访问方式
开源许可;代码和预训练模型现已可用
覆盖范围
英语及另外七种语言