UStackUStack
Wallie icon

Wallie

Wallie 是一款开源 AI 直播框架,支持实时视觉、可配置人格、聊天互动、TTS 与头像输出,适合在 Twitch、YouTube 或 Kick 上打造 VTuber 风格或 AI 驱动直播。

Wallie

什么是 Wallie?

Wallie 是一款开源 AI 直播框架,用于运行虚拟主播或 VTuber,支持实时视觉、可配置人格系统、聊天互动、文本转语音以及唇同步头像工作流。它旨在运行在创作者自己的本地机器上,并连接 Twitch、YouTube 和 Kick 等直播平台。

该项目的重点是让主播表现得像一个持续存在的角色,而不是一个短暂的演示循环。根据仓库说明,Wallie 可以追踪持续中的话题,将较早的对话总结起来以避免丢失上下文,响应屏幕上的内容,并将输出路由到语音、OBS 和 VTube Studio。

主要功能

  • 可切换的 AI、语音和聊天提供方 — 该框架支持多种 LLM、TTS 和聊天选项,用户可按不同配置文件混用提供方,而无需改动代码库。
  • 结构化人格设计 — 配置文件包含身份信息、声音特征、幽默风格、粗口程度、口头禅、禁忌话题、观点和附加备注,有助于塑造更一致的角色。
  • 实时视觉管线 — Wallie 可通过视觉组件对屏幕内容作出反应,并在不需要旁白的情况下提供跳过行为。
  • 长会话记忆处理 — 滚动式总结器会将较早的轮次压缩为笔记,并将这些笔记反馈回提示词中,从而让主播在更长时间的会话中保持连贯性。
  • 面向直播的输出路由 — 项目设置为先通过 TTS 输出语音,再进入 OBS 或虚拟声卡,并通过 VTube Studio 支持 Live2D 头像。
  • 基于浏览器的配置 — 源码描述该系统可通过浏览器进行配置,便于在不每次都编辑代码的情况下调整配置文件、平台和其他设置。

如何使用 Wallie

典型的设置流程是先选择一个人格,再选择 LLM 和 TTS 提供方,并连接所需的聊天平台和头像工作流。项目在仓库中包含安装脚本和快速入门路径,说明它采用的是在用户自己机器上的本地安装流程。

完成设置后,用户在直播期间运行 Wallie,它会读取聊天和视觉输入,生成角色驱动的回应,并将语音输出到 OBS 或虚拟声卡。用户可以根据需要切换配置文件、更新人格设置并更换提供方。

使用场景

  • 带有持续角色的 VTuber 直播 — 创作者可以运行一个拥有明确观点、幽默感和背景故事的角色,而不是使用通用的聊天机器人声音。
  • 可感知屏幕内容的直播解说 — 视觉管线可帮助主播评论屏幕上可见的内容,例如浏览器、应用或游戏,而不只是回应聊天。
  • 长时间直播 — 记忆和总结系统适合会因上下文漂移而出现问题的长时直播。
  • 离线或自托管实验 — 列出的本地选项,如 Ollama 和 Piper,使该项目也适合希望避免只依赖云服务的用户。
  • 自定义主播原型 — 开发者或技术型创作者可以把该框架作为基础,用于构建和测试不同的 AI 主播人格与工作流。

常见问题

Wallie 只适用于一个直播平台吗? 不是。仓库提到它支持 Twitch、YouTube 和 Kick。

Wallie 可以使用本地模型或本地语音吗? 可以。源码列出了 Ollama 作为本地 LLM 选项,以及 Piper 作为本地 TTS 选项。

Wallie 支持头像吗? 支持。项目提到可通过 VTube Studio 支持 Live2D 头像。

这是一个现成的 SaaS 产品吗? 不是。它是一个开源框架,运行在用户自己的机器上,并通过项目设置进行配置。

替代方案

  • 通用 AI 聊天机器人覆盖层——这类工具更简单,主要聚焦于聊天回复或基础直播互动,但通常不包含这里所述的同样人格结构、记忆处理和视觉工作流。
  • 带脚本对话的传统 VTuber 软件——依赖手动控制的头像与直播工具可能更容易上手,但不会根据聊天和屏幕上下文生成实时角色行为。
  • 由独立组件搭建的自定义主播技术栈——一些创作者会把 LLM、TTS、OBS 自动化和头像工具组合成自己的方案。这种方式很灵活,但 Wallie 将这些部分打包成了一个统一框架。
  • 仅语音的直播 AI 伙伴——这类工具可以生成响应式评论,但通常不太侧重头像集成和面向直播的编排。