UStackUStack
RadianceKit icon

RadianceKit

RadianceKitは、写真や動画を取り込み、Apple Siliconでローカル学習し、編集と書き出しまで1つで完結できる3D Gaussian Splatting対応のMac向けネイティブアプリです。

RadianceKit

RadianceKitとは?

RadianceKitは、3D Gaussian Splatting対応のネイティブMacアプリです。写真や動画を取り込み、MetalのGPU計算を使ってApple Silicon上でシーンをローカル再構築し、その後のプレビュー、編集、書き出しまでを1つのワークフローで行えます。

このアプリは、クラウド処理、Python、あるいは別々のアラインメントや書き出し手順に依存するツールチェーンの、完全な代替として位置づけられています。Mac上で写真のようにリアルな3Dシーンを作成しつつ、データを自分の端末内に保ちたい人向けに設計されています。

主な機能

  • Apple Silicon向けネイティブGPU学習 — RadianceKitは、Metalを使ってM1、M2、M3、M4のMac上でGaussian Splattingの学習を実行するため、処理はクラウドではなくローカルで行われます。
  • 1つのアプリで完結するワークフロー — コマンドライン設定なしで、同じアプリ内からメディアの取り込み、カメラ位置の整列、モデル学習、再構築結果の確認、書き出しまで行えます。
  • シンプルモードとエキスパートモード — シンプルモードは素早く始められるガイド付きフローを提供し、エキスパートモードではプロジェクトナビゲーター、対話式3Dビューポート、リアルタイムの損失カーブ、詳細な学習・書き出しコントロールを利用できます。
  • 対話式Gaussianエディタ — ブラシツールを使って3Dビュー上で領域を直接選択・削除でき、不要なアーティファクトや再構築の一部を取り除くのに役立ちます。
  • 複数の書き出しオプション — シーンはPLY、圧縮PLY、SPZ、glTF、.splat、SOGとして書き出せるほか、オービット動画やスタンドアロンのWebビューアを作成するオプションもあります。
  • ローカル処理とプライバシー — アプリはユーザーのMac上でシーンを処理し、学習のためにクラウドへのアップロードを必要としません。

RadianceKitの使い方

一般的なワークフローは、アプリを開いて写真または動画を取り込むところから始まります。RadianceKitはその後、カメラを整列し、MacのApple Silicon GPU上でGaussian Splattingシーンを学習し、再構築結果をリアルタイムで確認できるようにします。

そこから、ユーザーはシンプルな作業向けのガイドモードと、パラメータ調整や詳細確認向けのエキスパートレイアウトを切り替えられます。シーンの準備が整ったら、エディタでモデルを整理し、共有、保存、Web表示に適した形式で書き出せます。

使用例

  • Macでの写真測量風シーン再構築 — Macを離れることなく、普通の写真や動画を探索可能な3Dシーンに変換できます。
  • ローカル3Dキャプチャワークフロー — クラウドへのアップロードを望まない場合や、元データをローカルに保ちたい場合に、端末上で再構築を実行できます。
  • 再構築結果の整理 — アプリ内のブラシエディタを使って、浮遊アーティファクト、不要な物体、その他の不要領域を削除できます。
  • 技術検証とパラメータ調整 — エキスパートモードで学習曲線を確認し、より制御された再構築作業のために設定を調整できます。
  • 対話型出力の共有 — シーンをWebビューアやオービット動画として書き出し、閲覧者側に追加ソフトを必要とせずに発表やレビューに使えます。

FAQ

  • RadianceKitはクラウド処理を必要としますか? いいえ。学習はMetalによるApple Silicon GPU計算を使ってMac上でローカル実行されます。
  • Pythonやコマンドラインツールは必要ですか? いいえ。アプリは、取り込み、学習、編集、書き出しまでを1つのMacアプリ内で完結するワークフローとして提供されています。
  • どのMacが対応していますか? ソースによると、RadianceKitはmacOS 26 Tahoe以降を搭載したApple Silicon Mac(M1以降)を必要とし、大きなシーンでは16 GBのRAMを推奨しています。
  • どのようなファイルを取り込めますか? .mp4、.mov、.m4v、.aviなどの動画に加え、.jpg/.jpeg、.png、.heic、.tiff/.tif、.bmpなどの一般的な写真形式を取り込めます。また、.ply、.spz、.splatなどの既存のsplatや、シーンおよびカメラのバンドルも開けます。
  • 360度映像に直接対応していますか? まだです。ページでは、Insta360の.insvや、ステッチ済みの360度equirectangular映像は現時点では直接サポートされていないと説明しています。

代替案

  • クラウドベースのNeRFまたは写真測量サービス — ローカルGPU計算に依存せずに再構築できますが、メディアのアップロードとオンライン処理ワークフローが必要です。
  • デスクトップ写真測量アプリケーション — 従来の写真測量ツールは画像ベースの再構築に重点を置き、Gaussian Splattingとは異なるアラインメントや書き出しのワークフローを採用する場合があります。
  • PythonベースのGaussian Splattingツールチェーン — 技術ユーザー向けにより低レベルな制御を提供することがありますが、パッケージ化されたMacアプリの外でセットアップが必要です。
  • その他の3Dキャプチャ・再構築アプリ — 近接するアプリでは、取り込みから書き出しまでの完全なGaussian Splattingパイプラインよりも、キャプチャ、スキャン、編集を優先する場合があります。