ESP-Mosaico icon

ESP-Mosaico

ESP-Mosaicoは、ESP32-S31を基盤に、デバイス上のAgent、タッチ画面、拡張ペリフェラルを統合したモジュール型AIoT・組み込み開発ボード。自然言語やPCのAIコーディングAgentで、実機アプリの構築・テスト・デプロイを支援します。

ESP-Mosaico

AI支援による組み込み開発のための開発ボード

ESP-Mosaicoは、Espressif ESP32-S31を基盤とする、AIoTおよび組み込み開発向けのモジュール型開発デバイスです。デバイス上のAgent、タッチインターフェース、ネットワーク接続、プラグイン式ペリフェラルを1つのハードウェアプラットフォームに統合し、開発者はアイデアの検証から実機での運用まで反復できます。

本製品は、関連する2つのワークフローに対応しています。Chat Codingでは、自然言語を使ってデバイス上の機能を作成または調整します。一方、Vibe Codingでは、PC上のAIコーディングAgentをシミュレーター、デバッグツール、実機と組み合わせ、コーディング、デプロイ、テスト、フィードバックを行います。拡張インターフェースにはRGBマトリクスライトなどのモジュールを接続でき、物理的なインタラクションや視覚効果を伴うプロジェクトに対応します。

主な機能

ESP32-S31開発プラットフォーム

ESP32-S31は最大320 MHzのデュアルコアRISC-V処理を提供し、Wi-Fi 6、Bluetooth 5.4(LE + BR/EDR)、Thread 1.4、Zigbee 3.0を統合しています。ネットワーク接続型組み込みプロジェクトのハードウェア基盤となります。

タッチインターフェースと拡張インターフェース

480 × 480 OLEDタッチディスプレイ、Type-C高速USB 2.0ポート、2つの20ピン拡張インターフェースを搭載しています。工場出荷時にインストールされたESP-Clawファームウェアは、タッチアプリケーション、オンボードペリフェラル、デバイス上のAgentランタイムを統合します。

デバイス上の会話型プログラミング

Chat Codingでは、バインドしたWeChatアカウントまたはその他の対応プラットフォームからテキストリクエストを送信したり、デバイス上で音声を入力したりできます。ESP-Clawには、簡単な質問、機能作成、スキル検索、メモリ、計画、スケジュールタスクなどの組み込みスキルタイプが用意されています。

実機向けAI開発ワークフロー

Vibe Codingは、PC上のAIコーディングAgent、リポジトリドキュメント、ESP-GSPシミュレーター、デバッグツール、実機を組み合わせて開発ループを構築します。まずUIとインタラクションを確認し、その後実機にデプロイしてテストできます。

モジュール式ペリフェラル拡張

拡張モジュールを介してペリフェラルを接続できます。8×8 RGBマトリクスライトモジュールには64個のWS2812C-2020-V6 RGBピクセルが搭載され、ピクセルパターン、アニメーション、ステータスフィードバックに使用できます。モジュールは左側または右側に差し込むことができ、メインボードはEEPROMを通じてモジュールと取り付け側を識別します。

ユースケース

  • 自然言語でデバイス機能を作成

    Chat Codingで小規模な機能や自動化要件を説明し、Agentが完成させた機能をWorkに保存して、繰り返し実行したり、さらに変更したりできます。デバイス上で画面グラフィックス、スケジュールタスク、Lua自動化をすばやく試したいクリエイターに適しています。

  • 組み込みアプリケーションの開発とデバッグ

    PC上のAIコーディングAgentにesp-mosaico-vibeリポジトリと、Snakeの実装などの具体的なタスクを与えます。まずESP-GSPシミュレーターでUI、インタラクション、視覚効果を確認し、その後結果を実機に書き込んで調整します。

  • カスタムハードウェアとI/Oを接続

    2つの20ピン拡張インターフェースを使ってペリフェラルを接続します。電源、USB-Serial-JTAG、UART、または汎用GPIOとして初期化できるピンについて、インターフェース定義に従い、センサー、アクチュエーター、その他のI/Oプロジェクトを構築します。

  • ピクセル照明効果とステータス表示を作成

    8×8 RGBマトリクスライトモジュールをメインボードの側面に差し込み、ピクセルアニメーション、表情、アイコン、簡易情報表示、動作ステータスの通知を作成します。付属プログラムで64個のRGBピクセルを制御でき、メインボードは取り付け側を識別できます。

  • オーディオビジュアライゼーションのプロトタイプを構築

    工場出荷時にインストールされたファームウェアのBluetoothオーディオアプリケーションを使ってスマートフォンに接続し、オプションの8×8ライトマトリクスと組み合わせて音楽ビジュアライゼーションアプリケーションを実行します。マイクモードでは、周囲の音をリアルタイムの照明効果に変換することもできます。

Pros and Cons

Pros

  • デバイス上のAgent、タッチアプリケーション、オンボードペリフェラル、拡張可能なハードウェアを1つの開発プラットフォームに統合しています。
  • 会話型の開発とPCベースのAI Agent開発ワークフローの両方に対応しています。後者では、まずシミュレーターでUIとインタラクションを検証できます。
  • Wi-Fi 6、Bluetooth 5.4、Thread 1.4、Zigbee 3.0によるワイヤレス接続を提供します。
  • 工場出荷時にインストールされたファームウェアには、カメラ、ギャラリー、設定、Bluetoothオーディオなどのタッチアプリケーションが含まれ、スキル、Lua拡張、MCP機能にも対応しています。

Cons

  • Chat Codingのテキストまたは音声ワークフローは、Wi-Fi、バインドした対応プラットフォーム、利用可能なASRおよびLLMサービスに依存します。オンラインAI機能には、対応するサービス設定も必要です。
  • 8×8 RGBマトリクスライトモジュールの表示解像度はモジュールあたり8 × 8であるため、シンプルなパターン、ステータス表示、ピクセルスタイルのコンテンツに適しています。
  • カメラ拡張モジュールは左側のスロットでのみ使用でき、拡張ボードを取り付ける際はインターフェースの向きを確認する必要があります。

FAQ

Vibe Codingを始めるにはどうすればよいですか?

PC上のAIコーディングAgentを、esp-mosaico-vibeリポジトリ、ESP-GSPシミュレーター、デバッグツール、実機と組み合わせて、開発、デプロイ、テストを行います。ガイドでは、任意で使用できるAgentの例としてCodex、Claude Code、OpenCode、Traeが挙げられています。データ転送に対応したUSBケーブルでデバイスをコンピューターに接続してください。

Chat Codingを使用する前に何を準備する必要がありますか?

まず、Vibe ModeでMosaico-Claw Ideaをインストールまたは起動し、Wi-Fi設定を完了して、デバイスをWeChatまたはその他の対応プラットフォームにバインドします。バインドしたプラットフォームからテキストで会話を送信するか、デバイスのClawアプリで入力欄を長押しして音声を入力します。Chat Codingには、利用可能なASRおよびLLMサービスも必要です。

AIとネットワークサービスはどのように設定しますか?

同じローカルネットワーク上で、デバイスの設定ページに表示されるIPアドレスを使ってコントロールパネルを開き、Wi-Fi、LLM、ASR、ネットワークAPIサービス、および一部のスキルとLuaオプションを設定します。設定変更後は、デバイスを手動で再起動する必要があります。工場から提供されるASRおよびLLMキーは基本的な利用体験に対応しています。クォータを使い切った場合や、より高いコーディング性能が必要な場合は、自分のモデル認証情報を設定してください。

8 × 8 RGBマトリクスライトモジュールを取り付けるにはどうすればよいですか?

RGBマトリクスライトモジュールは、メインボードの左側または右側に接続できます。EEPROMにより、メインボードはモジュールの種類と取り付け側を識別できます。取り付け前にデバイスの電源を切り、メインボードの2列構成の側面コネクターの下段にモジュールを差し込み、向きを確認してください。初回のテストでは低輝度を推奨します。

Quick Facts

カテゴリー
AIoT・組み込み開発ボード
コアプラットフォーム
Espressif ESP32-S31
プロセッサ
デュアルコアRISC-V、最大320 MHz
ディスプレイとインターフェース
480 × 480 OLEDタッチディスプレイ、2つの20ピン拡張インターフェース、Type-C高速USB 2.0
ワイヤレス接続
Wi-Fi 6、Bluetooth 5.4(LE + BR/EDR)、Thread 1.4、Zigbee 3.0
開発ワークフロー
Chat CodingとVibe Coding

ESP-Mosaicoの代替品