NVIDIA PersonaPlex：具有任何角色和聲音的自然會話式 AI

什麼是 NVIDIA PersonaPlex？

NVIDIA PersonaPlex 代表了會話式人工智慧領域的重大飛躍，旨在解決會話自然度與角色自訂之間的長期取捨。傳統的 AI 系統通常建立在 ASR→LLM→TTS 級聯結構上，雖然提供語音和角色靈活性，但會導致互動僵硬，特點是出現尷尬的停頓和不佳的輪流轉換。相反，先前的全雙工模型雖然實現了自然的流程，但僅限於單一、固定的聲音和角色。PersonaPlex 打破了這一限制，將這兩種功能整合到統一的單一模型架構中。它允許使用者從多樣化的聲音庫中進行選擇，同時僅透過文字提示即可定義任何所需的角色——從睿智的老師到專業的客服專員。

這項創新確保對話不僅在內容上準確，而且在動態上像人類一樣自然。PersonaPlex 擅長維持會話節奏、準確處理打斷，並利用後續語句（如「嗯哼」或「喔」）來表示積極傾聽。透過提供高度自訂化和真實的會話動態，PersonaPlex 使 AI 互動感覺真正直觀且引人入勝，超越了腳本式回應，實現了真實、特定角色的對話。

關鍵特性

• 全雙工操作： PersonaPlex 可以同時聆聽和說話，透過消除級聯系統中固有的延遲來實現低延遲互動。單一模型會隨著使用者的說話即時更新其狀態，立即串流回應。
• 透過文字提示自訂角色： 使用者可以使用自然語言文字提示來定義 AI 的角色、知識庫和行為指令，從而實現無限的角色扮演可能性（例如，銀行專員、奇幻角色、技術專家）。
• 聲音自訂化： 該系統接受一個聲音提示（音訊嵌入）來捕捉和複製特定的語音特徵、說話風格和韻律，確保所選聲音的一致性。
• 先進的會話動態： 它能準確地模擬和重現人類的會話提示，包括優雅地處理打斷、提供上下文相關的後續語句，以及維持適當的情緒基調（例如，在緊急情況下的壓力）。
• 統一架構： 透過使用單一整合模型而非獨立的 ASR、LLM 和 TTS 組件，PersonaPlex 實現了卓越的連貫性和響應能力，從而提高了任務遵循度和整體會話品質。

如何使用 NVIDIA PersonaPlex

使用 PersonaPlex 涉及定義控制其行為的兩個核心輸入：所需的角色和所需的聲音。

1. 定義角色（文字提示）： 輸入詳細的自然語言描述，指定 AI 的身份、功能、所需知識和會話風格。例如：「您是 First Neuron 銀行的客服專員 Sanni Virtanen。請驗證在邁阿密發生的拒絕交易。」
2. 選擇聲音（聲音提示）： 提供音訊嵌入或選擇預定義的聲音設定檔。這決定了模型在互動過程中將使用的語音特徵、口音和韻律。
3. 進行全雙工對話： 設定完成後，系統會持續聆聽並同時說話。使用者可以打斷 AI，模型會透過暫停、讓出發言權或使用後續語句適當回應，同時保持定義的角色和聲音。

這種設定允許在各種互動場景中快速部署，從複雜的技術故障排除到簡單的客戶支援。

使用案例

1. 超逼真的客戶服務培訓： 公司可以使用具有特定口音、個性和嚴格遵守合規腳本的專員來模擬複雜、高風險的客戶互動（例如，銀行詐欺、醫療分診），為受訓人員提供真實、可打斷的練習。
2. 沉浸式教育導師： 創建歷史人物、科學導師或語言夥伴，他們可以與學生進行深入、自然的對話，同時保持角色一致性並立即回答後續問題。
3. 先進的遊戲和虛擬世界： 開發具有持久、複雜個性的非玩家角色 (NPC)，他們可以與玩家進行非腳本、動態的對話，對玩家的意外行為或打斷做出真實反應。
4. 個人化數位助理： 超越簡單的命令執行，創造在一天中能保持一致、偏好的聲音和角色的伴侶或助理，以類人般的會話流程提供建議或陪伴。
5. 緊急情況模擬和角色扮演： 透過模擬高壓場景（如太空船反應爐核心範例），訓練急救人員或技術團隊，其中 AI 夥伴必須在壓力下保持緊迫感、技術準確性和角色連貫性。

常見問題

問：與舊模型相比，PersonaPlex 如何處理打斷？ 答：PersonaPlex 是全雙工的，旨在即時檢測和響應打斷。與必須等待 ASR 輸出才能處理輪次變化的級聯系統不同，PersonaPlex 的統一模型允許它在檢測到使用者語音時立即暫停其語音串流，自然地讓出發言權，或在適當時插入上下文相關的後續語句。

問：我可以使用自己的聲音作為角色嗎？ 答：是的，該架構支援使用聲音提示，這是一個捕捉語音特徵的音訊嵌入。這使得模型能夠模仿特定聲音的風格和韻律來生成語音，前提是提供了必要的音訊輸入。

問：PersonaPlex 的角色是否僅限於訓練數據中出現的角色（如助理或客服）？ 答：不是。其關鍵優勢在於泛化能力。如太空緊急情況範例所示，PersonaPlex 能夠對超出標準訓練分佈的角色保持連貫性和適當的語氣，這在很大程度上依賴於文字提示中提供的詳細說明。

問：與 Moshi 等其他全雙工模型相比，主要優勢是什麼？ 答：主要優勢在於將自然度與固定身份區分開來。雖然 Moshi 實現了自然的流程，但它將使用者鎖定在單一聲音/角色中。PersonaPlex 實現了相同的自然流程，同時允許透過簡單的文字和聲音提示動態自訂聲音和角色。

問：在哪裡可以找到 PersonaPlex 的研究論文和程式碼？ 答：相關的研究論文和模型權重可透過專案頁面上引用的官方 NVIDIA 研究連結取得，研究人員可以審閱其方法論並可能取得實施細節。