MCAPベースのマルチモーダルパイプライン
動画、状態、アクション、タイムスタンプ、メタデータを含む複数の記録システム由来のマルチモーダルエピソードを処理し、v1の入出力境界としてMCAPを使用します。
HFlow
HFlowは、ロボティクスと物理AI向けのマルチモーダルなデータ品質管理、処理、拡張、キュレーション用のオープンソースSDKです。記録済みエピソードを品質確認済みで検索可能なデータセットへ変換します。
概要
HFlowは、ロボティクスと物理AI向けのマルチモーダルなデータ品質管理、処理、拡張、キュレーション用のオープンソースSDKです。ドキュメントでは、取り込まれた記録を正規化された品質確認済みの検索可能なデータセットへ変換する本番グレードのデータツールとして説明されています。
このプロジェクトは、ロボティクスの一般的なデータ課題に焦点を当てています。記録には、複数システム由来の動画、状態、アクション、タイムスタンプ、メタデータが含まれることがありますが、チームには品質を検証し、変換を実行し、provenanceを追跡し、マニフェストをキュレーションする信頼できる方法が必要です。HFlowは、標準的なMCAPエピソードを中心に、そのライフサイクルを提供し、Pythonベースの処理ステップ、カタログに裏付けられた証跡、DuckDB SQLによるキュレーションを実現します。
機能
拡張可能な処理ステップ
組み込みのチェックを実行したり、自分のPython変換、チェック、ラベル、拡張を追加したりできます。既存の処理コードは自分の環境のまま利用できます。
provenanceとバージョン追跡
各出力がどのように生成されたかを、provenanceデータ、スキーマとツールのバージョン、利用可能な場合のソースURI、ステップバージョンに紐づくカタログ記録で追跡できます。
可視化されたオーケストレーション
Airflow DAGとしてワークフローをグラフ表示し、定期実行中のタスク状態、ログ、再試行、再実行をチームが確認できます。
検索可能なカタログとキュレーション
メタデータ、品質証跡、タグ、バージョンスタンプ、成果物の場所をParquetカタログに保存し、各記録を開かずにDuckDBでコーパス全体の प्रश्नに答えられます。
柔軟なデプロイモデル
Docker Composeを使うローカルのシングルテナント環境と、既存のAirflow 3環境へのデプロイの両方をサポートし、データプレーンをコントロールプレーンの関心事から分離できます。
ユースケース
記録済みエピソードのデータ品質管理
カメラのフリーズ、ストリームのずれ、トピック欠落、重複エピソードなどの問題を確認してから下流へ流すことで、取り込まれたロボット記録の品質を検証します。
既存処理コードの移植と形式化
変換、チェック、ラベル、拡張を追加しつつ、基盤のPythonコードとステップロジックは馴染みのある形のまま、既存のスクリプトをより監査可能なパイプラインに変換します。
コーパスのキュレーションとマニフェスト作成
カタログを照会し、品質証跡を確認し、各MCAPファイルを読み込まずにバージョン固定の出力を書き出すことで、学習や分析向けのキュレーション済みデータセットマニフェストを作成します。
ローカルからスケジュール実行へのパイプライン運用
開発中は同じパイプラインをローカルで動かし、その後Airflow 3環境でスケジュールして、定期実行と監視を行います。
データセットの監査とトラブルシューティング
provenance、ステップバージョン、成果物の場所をパイプライングラフとカタログ記録をたどって確認し、結果がどのように生成されたかを調査します。
Pros and Cons
Pros
- 動画、状態、アクション、タイムスタンプ、メタデータを含む、マルチモーダルなロボティクスデータ向けに特化して構築されています。
- 処理コードをPythonのまま維持でき、既存コードも小さなアダプターで差し込めるため、書き換えが不要です。
- provenance、スキーマ、ツールのバージョン、カタログメタデータを記録して、データセットの監査と再現を支援します。
- 生成されたAirflow 3 DAGを通じて、ローカル開発と定期実行の両方をサポートします。
- 記録そのものを読み込まずに、DuckDBでコーパスレベルのメタデータと品質証跡を照会できます。
Cons
- リポジトリはpre-v1のため、採用を検討する際には実装状況と残作業が重要です。
- オープンソースのリポジトリにはホスト型のコントロールプレーンは含まれていません。本文ではホスト型プラットフォームへの関心に触れていますが、これはここでは実装されておらず、pre-v1のコミットメントでもありません。
- ここで提供されたソース本文には、完全な統合先一覧や詳細なコネクターの範囲は含まれていません。
FAQ
HFlowは何のためのものですか？
HFlowは、ロボティクスと物理AI向けのマルチモーダルなデータ品質管理、処理、拡張、キュレーション用のオープンソースSDKです。記録済みのロボットやセンサーデータを対象とし、キュレーション済みデータセットへ体系的に変換したいチーム向けです。
HFlowは本番利用できますか？
リポジトリではHFlowはpre-v1と説明されており、コアとなるライフサイクルはエンドツーエンドで動作します。ローカルで試すことは可能で、現在の詳細については実装状況や未解決の課題を参照するよう案内されています。
HFlowは何を処理し、何を生成しますか？
HFlowは、対応する標準MCAPファイルごとに1つのマルチモーダルエピソードから始まります。変換、品質チェック、ラベル付け、拡張を実行し、その後、正規化されたMCAP出力、provenance、成果物、キュレーション用のParquetカタログを書き出せます。
HFlowはどのように実行できますか？
オープンソースのデプロイは、同梱のDocker Composeランタイムを使ったシングルテナントのワークスペースとして実行することも、すでに運用しているAirflow環境内で生成されたAirflow 3 DAGとして実行することもできます。リポジトリにはローカルのクイックスタートとバンドルされたクイックスタートも記載されています。
HFlowはどのような統合に対応していますか？
抽出したページ本文には、固定された統合先カタログは記載されていません。ただし、Python変換、Airflow 3 DAG生成、キュレーション用のDuckDB SQL、MCAP形式、そしてMCAPデータを開くためのFoxgloveやRerunなどのツールとの互換性については言及されています。
Quick Facts
- カテゴリ
- 開発者向けツール
- ドメイン
- github.com
- プラットフォーム
- オープンソースのGitHubリポジトリ
- 主な利用者
- ロボティクスおよび物理AIチーム
- 実行環境
- Airflow 3 DAG生成対応のPython SDK
- データ形式
- MCAPエピソード
HFlowの代替品
ByteAsk
ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。
Manta AI
Manta AIは、URLからアプリの挙動を把握し、回帰を検出し、スクリプトやセレクタ管理なしでテストを生成できる自律型Webアプリテストツールです。
Mindcase
Mindcaseは、Webサイトや主要オンラインプラットフォームから構造化データを抽出できるWebデータAPIとコンソールです。プロンプトまたはAPIでクリーンな行データを取得でき、前払いのレコード単位課金に対応します。
CreateOS Sandbox
CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。
hob
hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。
Ably Chat
Ably Chatは、カスタムのリアルタイムチャットアプリを構築できるチャットAPIプラットフォームです。ルーム単位のメッセージ、入力中表示、プレゼンス、リアクション、メッセージ更新に対応し、利用量ベースの料金も選べます。