Sentinel

Was ist Sentinel?

Sentinel ist Avea Robotics’ Teleoperationssoftware für Fernsteuerung, Datenerfassung und Deployment. Sie ist für Robotik-Teams entwickelt, die Roboter aus der Distanz bedienen und dabei Steuersignale sowie Sensordaten mit geringer Latenz streamen.

Die Plattform wird als einheitliches System für Physical-AI-Workflows positioniert. Laut Website unterstützt sie Echtzeitsteuerung, immersives Remote-Viewing, haptisches Feedback und Multi-Feed-Video-Streaming und kann für das Deployment mit der URDF eines Roboters und der Joint-Control-API integriert werden.

Hauptfunktionen

• Echtzeit-Robotersteuerung: Ermöglicht eine reibungslose Fernbedienung mit einer Latenz von bis zu 10 Millisekunden, was für präzise Teleoperation wichtig ist.
• Immersive View: Bietet Tiefenwahrnehmung für Remote-Operatoren und hilft dabei, Entfernungen besser einzuschätzen und Roboter aus der Ferne zu manipulieren.
• Haptisches Feedback: Gibt haptische Signale in Echtzeit zurück, sodass Operatoren während der Teleoperation die Interaktion mit der Umgebung spüren können.
• Multi-Feed-Streaming: Streamt bis zu 6 Full-HD-Videofeeds, ohne den Betrieb zu beeinträchtigen, und unterstützt so die Überwachung aus mehreren Kameraperspektiven.
• Unterstützung von Roboterplattformen: Führt Unterstützung für 6-DoF-Standardroboter, 6-DoF-Industrieroboterarme, 7-DoF-Full-Arm-Retargeting und humanoide Roboter auf.
• Datenerfassung und lokale Speicherung: Kann Roboter-Gelenkzustände, Kamera-Feeds, Punktwolken, RGB-Streams und Heatmaps erfassen, wobei Video- und Datenstreams verschlüsselt und lokal gespeichert werden.

So verwenden Sie Sentinel

Ein typischer Workflow beginnt mit einem Demo- oder Assessment-Call, bei dem das Team Sentinel testet, indem es Roboter in Aveas Büro aus der Ferne teleoperiert. Danach stellt der Kunde die URDF des Roboters und die Joint-Control-API bereit, damit Sentinel in den bestehenden Robotik-Stack integriert werden kann.

Sobald die Verbindung hergestellt ist, startet das Team den Sentinel-Docker-Container und beginnt, den Roboter aus der Ferne zu teleoperieren. Avea gibt außerdem an, das Team des Kunden zu schulen und nach dem Deployment fortlaufenden Support zu bieten.

Anwendungsfälle

• Datenerfassung für Physical-AI-Training: Operatoren steuern Roboter aus der Ferne, um markierte Bewegungs- und Sensordaten für das Training und die Verbesserung von Modellen zu erzeugen.
• Remote-Einsatz in realen Umgebungen: Teams können Roboter in verschiedenen Umgebungen betreiben, ohne physisch an der Maschine anwesend zu sein.
• Überwachte Autonomie: Menschliche Operatoren überwachen autonomes Verhalten und greifen bei Bedarf ein, um Systeme unter Kontrolle zu halten.
• Integrationstests für Roboter: Robotik-Teams können Sentinel vor einer breiteren Einführung mit verschiedenen Roboterarchitekturen validieren.
• Teleoperation humanoider oder Multi-DoF-Systeme: Teams, die mit bimanualer Steuerung, Torso- oder Lokomotionskontrolle arbeiten, können die Plattform für komplexere Robotik-Setups nutzen.

FAQ

Welche Hardware unterstützt Sentinel?
Sentinel unterstützt eine wachsende Anzahl an Roboter-Hardwareplattformen und Sensoren. Laut Website ist die aktuellste Liste in der Dokumentation verfügbar.

Welche Daten kann Sentinel erfassen?
Laut Website kann Sentinel Roboter-Gelenkzustände, Kamera-Feeds und Punktwolken erfassen. Außerdem unterstützt es das Streaming von RGB-Kameras und Heatmaps.

Kann Sentinel mit benutzerdefinierten Robotern arbeiten?
Ja. Laut Website ist Sentinel flexibel ausgelegt und kann für benutzerdefinierte Roboterarchitekturen und Integrationsanforderungen besprochen werden.

Sind die Daten verschlüsselt?
Ja. Laut Website sind die Video- und Datenstreams von Sentinel Ende-zu-Ende verschlüsselt, und die Daten werden lokal erfasst und gespeichert.

Alternativen

• Manuelle Teleoperations-Setups auf Basis von Custom Tooling: Diese können für einzelne Teams oder Prototypen funktionieren, erfordern jedoch meist mehr interne Integration und Wartung als eine dedizierte Plattform.
• Allgemeine Robotik-Middleware und Control Stacks: Tools in dieser Kategorie helfen dabei, Roboterhardware und Software zu verbinden, sind aber nicht immer auf Fernteleoperation, Videostreaming oder das Bedienerlebnis ausgerichtet.
• Autonomie-first Robot-Management-Systeme: Diese priorisieren autonome Ausführung und Flottenmanagement statt menschlich unterstützter Fernsteuerung und Intervention.
• Allgemeine Remote-Access- oder Videokonferenz-Tools: Sie können Remote-Transparenz bieten, aber keine roboterspezifische Steuerung, kein Joint-State-Handling und keine Teleoperations-Workflows.