TADA icon

TADA

TADA 是 Hume AI 的開源語音語言模型,支援文字與聲學一對一對齊的語音生成,適合開發者與研究者打造更快速、更可靠的語音系統,亦可用於裝置端與長篇語音應用。

TADA

具同步文字與音訊的開源語音生成

TADA 是 Text-Acoustic Dual Alignment 的縮寫,是 Hume AI 的開源語音語言模型,透過將文字與音訊一對一同步來生成語音。該模型被定位為回應 LLM-based text-to-speech 系統常見限制的一種方案:音訊序列遠比文字序列密集,這會使生成速度變慢,也更不穩定。

Hume 表示,TADA 透過一種新的 tokenization schema 解決這種不匹配問題,將聲學表示直接對齊到文字 token。公司在文章中指出,這可帶來快速的語音生成、具競爭力的語音品質,以及幾乎為零的內容幻覺,同時保有足夠輕量的體積以便在裝置端部署。這次釋出包含程式碼、預訓練模型,以及完整的 tokenizer 與 decoder,目前模型涵蓋英文與另外七種語言。

核心能力

文字與音訊一對一對齊

採用文字與聲學雙重對齊方案,將每個文字 token 對應到相應的聲學向量,使語音與文字保持同步。

內建內容可靠性

透過架構設計來避免跳字與幻覺詞,並在 1,000+ 個 LibriTTSR 測試樣本上評估為零幻覺。

快速語音生成

在 Hume 的評估中以 0.09 的即時因子執行,文章稱其比同級的 LLM-based TTS 系統快超過 5 倍。

適合裝置端的輕量足跡

採用輕量化架構,文章表示其體積足夠小,適合在手機與邊緣裝置上部署。

支援 Speech Free Guidance

包含 Speech Free Guidance 方法,用於降低語音生成與文字生成同時輸出時的落差。

開源模型釋出

以 1B 與 3B 參數的 Llama-based 模型形式釋出,並附帶音訊 tokenizer 與 decoder,方便實驗與調整。

實際應用

  • 可靠的文字轉語音流程

    適合正在建立需要更高內容保真度的 TTS 系統的團隊,因為此模型旨在讓文字與語音保持同步,並避免跳字或幻覺詞。

  • 行動與邊緣部署

    適合需要低延遲裝置端語音的產品,因為 Hume 將其架構描述為足夠輕量,可用於手機與邊緣裝置。

  • 長篇語音體驗

    有助於開發長篇旁白或對話式語音體驗的開發者,因為文章強調其相較傳統方法具有更好的上下文效率。

  • 敏感的生產環境

    適用於醫療、金融與教育等受監管或敏感情境,文章強調此模型的生產可靠性以及更少需要處理的邊界情況。

  • 研究與微調工作流程

    適合延伸語音模型的研究者與開發者,因為 Hume 正在釋出模型、tokenizer 與 decoder,並邀請針對新模態與應用進一步研究。

Pros and Cons

Pros

  • 一對一對齊的設計旨在減少跳過文字與幻覺內容。
  • Hume 在其 1,000+ 筆樣本的 LibriTTSR 評估集中回報零幻覺。
  • 此模型被描述為比傳統 LLM-based TTS 系統更快且更具上下文效率。
  • 其體積被描述為足夠輕量,適合行動裝置與邊緣部署。
  • 程式碼、預訓練模型,以及 tokenizer/decoder 目前皆可在開源授權下取得。

Cons

  • 文章指出模型是以語音續寫為預訓練目標,因此助理情境需要進一步微調。
  • Hume 提到在長時間生成時偶爾會出現說話者漂移,但其 rejection sampling 策略可降低這個問題。
  • 當前版本涵蓋英文與另外七種語言,因此相較於更廣泛的多語言系統,語言覆蓋仍有限。

FAQ

TADA 是什麼?

TADA 是來自 Hume AI 的開源語音語言模型。來源內容指出,當前版本包含 1B 和 3B 參數的 Llama-based 模型,以及完整的音訊 tokenizer 和 decoder。

TADA 可以直接用於助理用途嗎?

文章說 TADA 是以語音續寫為訓練目標,若要用於助理情境則需要進一步微調。Hume 也邀請正在開發語音模型的開發者聯絡其微調資料相關資訊。

這個版本支援哪些語言?

Hume 表示,當前版本支援英文以及另外七種語言。

要如何存取模型與程式碼?

部落格表示,TADA 採用開源授權,程式碼與預訓練模型目前可透過 Hugging Face、GitHub 與 arXiv 論文連結取得。

文章中提到的主要限制是什麼?

文章提到一項長篇限制:雖然模型支援超過 10 分鐘的上下文,Hume 仍觀察到在長時間生成時偶爾會出現說話者漂移,並建議以重設上下文作為替代做法。

Quick Facts

分類
開源語音語言模型
公司
Hume AI
核心工作流程
用文字與聲學雙重對齊進行語音生成
釋出形式
1B 與 3B 的 Llama-based 模型,外加 tokenizer 與 decoder
存取方式
開源授權;程式碼與預訓練模型目前可取得
涵蓋範圍
英文與另外七種語言