UStackUStack
Wallie icon

Wallie

Wallie 是開源 AI streamer 框架,結合即時視覺、可設定人格、聊天室互動、文字轉語音與虛擬角色輸出,適合 Twitch、YouTube、Kick 的 VTuber 風格直播。

Wallie

Wallie 是什麼?

Wallie 是一個開源 AI streamer 框架,可用即時視覺、可設定的人格系統、聊天室互動、文字轉語音,以及同步唇形的虛擬角色流程來執行虛擬主播或 VTuber。它設計為在創作者自己的電腦上本機執行,並連接 Twitch、YouTube 和 Kick 等串流平台。

這個專案著重讓主播表現得像一個持續存在的角色,而不是短暫的展示迴圈。根據 repository,Wallie 可以追蹤進行中的主題、將較早的對話摘要化以免失去上下文、對螢幕上的內容做出反應,並透過語音、OBS 與 VTube Studio 輸出。

主要功能

  • 可替換的 AI、語音與聊天室服務供應商 — 這個框架支援多種 LLM、TTS 與聊天室選項,使用者可依不同 profile 混搭供應商而不必更動程式碼。
  • 結構化的人格設計 — Profile 包含身份細節、聲線特質、幽默風格、髒話程度、口頭禪、禁忌主題、觀點與額外備註,有助於建立更一致的角色。
  • 即時視覺流程 — Wallie 可透過 vision 元件回應螢幕內容,並包含在不需要旁白時的跳過行為。
  • 長時間直播記憶處理 — 滾動式摘要器會將較早的回合壓縮成筆記,並把這些筆記回灌到 prompts 中,讓主播在較長直播中維持連貫性。
  • 以直播為核心的輸出路由 — 這個專案設定為先透過 TTS 輸出語音,再送入 OBS 或虛擬音源線,並透過 VTube Studio 支援 Live2D avatar。
  • 瀏覽器式設定 — 原始碼描述此系統可透過瀏覽器設定,能更輕鬆調整 profiles、平台與其他設定,而不必每次都編輯程式碼。

如何使用 Wallie

典型設定流程會先選擇一個 persona,再選擇 LLM 與 TTS 供應商,並連接想要的聊天平台與 avatar 流程。這個專案在 repository 中提供安裝腳本與快速開始路徑,顯示它是為使用者自己的電腦設計的本機安裝流程。

設定完成後,使用者在直播期間執行 Wallie,它會讀取聊天室與視覺輸入,生成具角色風格的回應,並將語音輸出到 OBS 或虛擬音源線。使用者也可以視需要切換 profiles、更新人格設定與更換供應商。

使用情境

  • 具有持續角色的 VTuber 直播 — 創作者可以執行一個擁有明確觀點、幽默感與背景故事的角色,而不是使用一般聊天機器人語氣。
  • 可感知畫面的直播旁白 — vision 流程可幫助主播針對螢幕上可見的內容發表評論,例如瀏覽器、應用程式或遊戲,而不只是回應聊天室。
  • 長篇直播 — 記憶與摘要系統適合時間夠長、容易出現上下文漂移問題的直播。
  • 離線或自架實驗 — 列出的本機選項,例如 Ollama 與 Piper,讓這個專案也適合想避免只依賴雲端服務的使用者。
  • 客製化主播原型 — 開發者或技術型創作者可將這個框架作為基礎,建構與測試不同的 AI streamer 人格與工作流程。

常見問題

Wallie 只支援單一直播平台嗎? 不是。repository 提到支援 Twitch、YouTube 和 Kick。

Wallie 可以搭配本機模型或語音嗎? 可以。原始碼列出 Ollama 作為本機 LLM 選項,Piper 作為本機 TTS 選項。

Wallie 支援 avatar 嗎? 可以。這個專案提到可透過 VTube Studio 支援 Live2D avatar。

這是一個現成的 SaaS 產品嗎? 不是。它是一個在使用者電腦上執行、並透過專案設定進行配置的開源框架。

替代方案

  • 通用型 AI 聊天機器人覆蓋層 — 這類工具較簡單,主要著重於聊天室回覆或基本直播互動,但通常不包含這裡所描述的相同人格結構、記憶處理與視覺工作流程。
  • 使用腳本對話的傳統 VTuber 軟體 — 依賴手動控制的虛擬角色與直播工具可能更容易操作,但無法根據聊天室與螢幕內容即時生成角色行為。
  • 由多個獨立元件組成的自訂 streamer 堆疊 — 有些創作者會自行整合 LLM、TTS、OBS 自動化與虛擬角色工具。這種方式很有彈性,但 Wallie 將這些部分整合為單一框架。
  • 僅支援語音的直播 AI 陪伴 — 這類工具可以產生即時評論,但通常較不著重於虛擬角色整合與直播專用編排。