ライブ交通カメラ入力
Studio CityにあるUS-101の5車線を映すCaltrans公開カメラの映像を、音楽パフォーマンスのソースとして使用します。
交通カメラをブラウザの楽器に変える
The 101 Plays Itselfは、Studio CityのUS-101にあるCaltrans公開交通カメラを基にした、ブラウザベースの視聴覚音楽実験です。高速道路5車線のライブ交通を捉え、車両の動きを合成音へ変換するため、変化する道路上の活動そのものが、あらかじめ作曲された楽譜ではなく素材になります。
システムは道路上に車線形状のサンプリングパッチを配置し、通過する車両を検出・追跡して、ブラウザ内で音を生成します。車線位置が音程を決め、車両の種類が音色を選び、速度が音の保持時間を調整し、車両の大きさが音量に影響します。車線変更によって音程が変化し、道路上の位置によってステレオ配置が決まります。ライブカメラがオフラインの場合は、録画版を利用できます。
特徴
ブラウザベースの車両検出
1秒あたり15回、車線ごとに設けられた10個のサンプリングパッチを読み取り、車両が監視ラインを横切ったことを検出します。
交通から音へのマッピング
車線、車両、速度、大きさ、車線変更、道路上の位置を、音程、音色、音の長さ、音量、音程の変化、ステレオ配置に対応付けます。
車両追跡と音色
カメラ映像内の車両を追跡し、トラックやバスを他の車両と区別して異なる音響処理を行います。
ライブ音声合成
サンプル、ループ、事前録音された音声ではなく、Web Audio APIを使ってブラウザ内で音を合成します。
楽器コントロール
2つの楽器を同時に演奏でき、選択可能な楽器パッドと最大16の同時発音に対応します。
用途
アンビエントリスニング
道路上の車両からリズムと音程が生まれる、変化する高速道路の活動を、アンビエントかつデータ駆動型のパフォーマンスとして聴きます。
クリエイティブテクノロジーの参考例
コンピュータービジョンによって、動き、分類、空間データをどのように音へ変換できるかを示す具体例として、このプロジェクトを活用します。
インタラクティブなデータソニフィケーションの研究
車線位置、速度、車両の種類、カメラの視点が、視聴覚システムの出力にリアルタイムでどのように影響するかを探ります。
録画再生
ライブカメラを利用できない場合や、一定の条件で試聴したい場合に、録画された昼間のテイクを使用します。
Pros and Cons
Pros
- 通常の音楽ソースを必要とせず、リアルタイムの公開交通を音楽に変換します。
- 隠れた作曲ルールではなく、観察可能な交通変数によって音の仕組みを説明できます。
- 検出、追跡、合成をブラウザ内で行い、ライブ生成にサンプル、ループ、録音を使用しません。
- 録画による代替モードを備え、交通が流れる中で聴き手が楽器を変更できます。
Cons
- ライブ体験は、Caltrans公開カメラとネットワーク接続が利用できるかどうかに左右されます。
- 情報源には、ブラウザ、デバイス、アクセシビリティに関する完全な互換性仕様が記載されていません。
- 録画モードは固定されたテイクであり、ユーザー自身の交通風景をインタラクティブに再生するものではありません。
FAQ
The 101 Plays Itselfとは何ですか？
The 101 Plays Itselfは、Studio CityのUS-101にあるCaltrans公開交通カメラを使用します。ブラウザがカメラ映像を解析し、検出した車両の動きから音を生成します。
交通がどのように音楽になるのですか？
ライブモードでは、車両が見えないサンプリングラインを横切ると音が鳴ります。車線位置が音程を決め、車両の種類によって音色が変わり、速度が音の長さに影響し、車両の大きさが音量に影響します。車線変更は音程を変化させ、道路上の位置がステレオ配置をコントロールします。
ライブカメラがオフラインのときも使えますか？
はい。カメラを利用できない場合、サイトでは同じ高速道路を録画した3分間のバージョンを提供しています。録画ページでは、2分45秒の昼間の録画で、動画の再生中にブラウザで音声が合成されると説明されています。
音声はどこで生成されますか？
このページによると、検出と合成はすべてブラウザ内で実行され、ブラウザのオーディオ機能が使われます。合成にはWeb Audio APIを使用し、生成される音にサンプル、ループ、事前録音されたテイクは使用しません。
どのような操作ができますか？
このページはブラウザでの試聴を想定しています。2つの楽器を同時に演奏でき、楽器パッドを選択できるほか、最大16音まで対応します。ただし、完全なブラウザまたはデバイス互換性一覧については、情報源に記載がありません。
Quick Facts
- カテゴリー
- ブラウザベースの視聴覚音楽実験
- 交通ソース
- Caltrans公開カメラ、Studio CityのUS-101
- ライブ対象
- 5車線
- 音声技術
- ブラウザ内でのWeb Audio APIによる合成
- 検出と追跡
- YOLO11およびByteTrack
- 録画モード
- 昼間の録画、約3分
The 101 Plays Itselfの代替品
AI Song Maker
AI Song Makerは、テキストや歌詞から楽曲を生成できるWebベースのAI音楽生成ツールです。ボーカル除去、トラック延長、セクション置換にも対応し、料金プランではクレジット、ダウンロード、商用利用条件を案内しています。
LALAL.AI
LALAL.AIは、ステム分離、音声ノイズ除去、音声変換に対応したAI音声処理プラットフォーム。ブラウザで音声・動画をアップロード、プレビュー、ダウンロードでき、プレミアムやエンタープライズにも対応。
Kits AI
Kits AIは、ボイスクローン、ボーカル生成、ボーカル処理に対応したAI音楽制作プラットフォーム。Freeプランと有料プラン、Windowsデスクトップアプリを提供し、スタジオ向けの制作ワークフローに最適です。
ElevenMusic
ElevenMusicは、楽曲の発見、リミックス、オリジナル曲作成ができるWebベースの音楽プラットフォーム。ムードタグ付きのプロンプト生成や、ライブラリ・生成結果・プレイリストのアカウント保存にも対応。
Hedra
Hedraは、動画・画像・音声コンテンツの企画と制作に対応するAIクリエイティブプラットフォーム。ブランド要素を再利用し、制作を効率化したいクリエイターやチームに最適です。
MusiKey Authentication
MusiKeyは、従来のパスワードを暗号化された楽曲に置き換えることで安全な認証を実現する、クロスプラットフォーム対応のデスクトップアプリケーションです。