マルチモーダルな配信反応ループ
Wallie は画面の視覚、チャットを含む音声入力、言語生成、テキスト読み上げを組み合わせ、断片的な応答ではなく配信中にリアルタイムで反応できるようにします。
Wallie
Wallieは、画面を見てチャットを聞き、設定したペルソナでライブ解説を生成するオープンソースAI streamer。自分のキーでローカル実行でき、顔出しなし配信や自律配信、リアルタイム反応に最適です。
オープンソースのAI streamer
Wallie は、画面上で起きていることを見て聞き、チャットを読み取り、設計されたペルソナでライブ解説を生成するオープンソースの AI streamer プロジェクトです。主な目的は、自律型配信や顔出しなし配信を、短いデモ風の AI bot よりも継続的で反応のよいものにすることです。
リポジトリでは、ペルソナ、音声、言語モデル、プラットフォーム、アバターを選べるブラウザ設定型のワークフローが説明されています。その後、Wallie は OBS や仮想ケーブルなどの配信ツールと音声合成を通じて出力をルーティングしつつ、ユーザー自身のキーを使ってユーザーのマシン上でシステムを動作させます。
主な機能
構造化されたペルソナ設計
ペルソナシステムでは、単一のプロンプトに頼るのではなく、アイデンティティ、声のトーン、ユーモアのスタイル、決め台詞、意見、NG トピックなどのキャラクター要素を定義できます。
長時間セッションのメモリ管理
ローリング要約、セッションノート、セッション横断メモリにより、長時間配信でも文脈を保持し、以前の話題を見失いにくくします。
反応フィルタリングと繰り返し制御
アテンション処理と重複排除の仕組みにより、繰り返しを減らし、質問ループを抑制し、画面変化に反応すべきか無視すべきかを判断します。
差し替え可能なプロバイダーと出力
複数の LLM、TTS、チャット、アバターの विकल्पに対応しており、OpenAI、Anthropic、Google Gemini、Groq、Ollama、Fish Audio、ElevenLabs、Piper、Twitch、YouTube、Kick、VTube Studio などの例があります。
ローカルで管理するセットアップ
このプロジェクトはブラウザで設定でき、ユーザー自身のキーを使って自分のマシン上で動作することを前提にしています。
実用例
自律型ライブ配信
ゲームプレイ、ブラウジング、デスクトップ操作にコメントしながら、選んだペルソナを長時間維持するライブAI streamerを構築できます。
顔出しなしコンテンツ制作
AI がカメラ前の人間の代わりに声と反応を担当する、顔出しなしコンテンツを作成できます。
長時間の解説セッション
メモリと重複排除の仕組みを使って、長時間配信で同じ内容を繰り返したり、以前の話題の流れを見失ったりするのを防げます。
アバター主導の配信表示
OBS、仮想ケーブル、Live2D アバターを組み合わせ、AI の出力が音声と視覚の両方を駆動する配信環境を構成できます。
プロバイダーとワークフローの検証
ブラウザからさまざまな LLM、TTS、プラットフォームの組み合わせを試し、ローカル、プレミアム、または完全オフラインのワークフローに合わせられます。
Pros and Cons
Pros
- 画面視覚、チャット/音声入力、ペルソナ設計、音声出力を 1 つの配信ワークフローにまとめています。
- 単一のプロンプトに頼らず、人格、メモリ、ペース配分、反応フィルタリングを構造的に制御できます。
- LLM、TTS、チャット、アバターの各層で複数のプロバイダー選択に対応しています。
- ローリング要約とセッションノートにより、長時間セッション向けに文脈保持を考慮して設計されています。
- ユーザー自身のキーを使ってローカルのマシン上で動作するため、セルフホスト型のワークフローに適しています。
Cons
- このプロジェクトは GitHub リポジトリとして提供されているため、価格やライセンスは製品の購入ページではなくリポジトリ内で確認する必要があります。
- 公開 README の統合情報は広めに記載されているため、実際のセットアップの難易度は選ぶモデル、音声、チャット、アバターのプロバイダーによって変わります。
FAQ
Wallieはローカルで動作しますか？
Wallieは自分のキーを使ってローカルのマシン上で動作するように設計されています。README には、ブラウザベースのダッシュボードとプロフィールシステムを通じたセットアップと利用方法も示されています。
Wallieは何に使われますか？
ソースでは、Wallieは画面の動きに反応し、チャットを聞き、ペルソナを使い、OBS または仮想ケーブル向けに音声を出力するAI streamerとして説明されています。顔出しなしコンテンツ、自律型AI配信、リアルタイム解説を目的としています。
Wallieはどの程度カスタマイズできますか？
README では、Wallieはブラウザから設定でき、LLM、TTS、チャット、アバターの各 विकल्पを差し替え可能とされています。具体的なセットアップ手順は、製品名ではなくガイドと README に記載されています。
Wallieの価格はいくらですか？
リポジトリページ自体には商用製品としての価格は記載されていません。オープンソースの GitHub プロジェクトであるため、価格情報は製品ページでは提供されていません。
Quick Facts
- カテゴリ
- AIストリーミング / 開発者ツール
- ソースドメイン
- github.com
- 製品タイプ
- オープンソースのリポジトリ
- 主な用途
- 顔出しなしコンテンツ、自律型AI配信、リアルタイム解説
- 実行環境
- ユーザーのマシン上でローカル実行
- リポジトリ言語
- Pythonベースのプロジェクト構成
Wallieの代替品
Codex Plugins
Codex Plugins は、再利用可能なスキル、アプリ連携、MCPサーバーを Codex app や Codex CLI で使えるワークフローにまとめます。接続サービスの作業や共有チームワークフローを拡張できます。
PXZ AI
画像、動画、音声、ライティング、チャットのツールを統合したオールインワンAIプラットフォームで、創造性とコラボレーションを高めます。
Gemma AI
Gemma AIは、プッシュ通知の代わりに予定に合わせて電話でリマインドする通話型リマインダーアプリです。Googleカレンダー同期と会話形式の操作に対応。
Claude Overlay
Claude Overlay は、Claude Code 用の Windows デスクトップオーバーレイです。画面内容を読み取り、質問・確認・編集依頼を今のアプリを離れずに行えます。
Spotit
SpotitはmacOSアプリ。別アプリで行き詰まると画面を読み取り、声の質問と表示ガイドでクリック箇所を提示します。
AakarDev AI
AakarDev AIは、AIプロバイダーのアクセス管理、プロジェクト別設定、ログ、分析を1つのダッシュボードで管理できるチーム向けツールです。BYOKに対応し、OpenAI、Google Gemini、Anthropic、Groq、Mistral AI、Perplexity AIをサポートします。