Sentinel

Что такое Sentinel?

Sentinel — это ПО Avea Robotics для удалённого управления роботами, сбора данных и развертывания. Оно создано для робототехнических команд, которым нужно управлять роботами на расстоянии, передавая управляющие сигналы и данные с датчиков с низкой задержкой.

Платформа позиционируется как единая система для рабочих процессов Physical AI. На сайте указано, что она поддерживает управление в реальном времени, иммерсивный удалённый просмотр, тактильную обратную связь и потоковую передачу видео с нескольких источников, а также может интегрироваться с URDF робота и API управления суставами для развертывания.

Ключевые функции

• Управление роботом в реальном времени: Обеспечивает плавное удалённое управление с задержкой, заявленной на уровне всего 10 миллисекунд, что важно для точной телеоперации.
• Иммерсивный просмотр: Даёт восприятие глубины удалённым операторам, помогая оценивать расстояние и управлять роботами на расстоянии.
• Тактильная обратная связь: Возвращает тактильные сигналы в реальном времени, чтобы операторы могли ощущать взаимодействие с окружающей средой во время телеоперации.
• Потоковая передача с нескольких источников: Передаёт до 6 видеопотоков Full HD без влияния на работу, что поддерживает мониторинг с разных ракурсов.
• Поддержка роботических платформ: Указана поддержка стандартных 6-DoF роботов, 6-DoF промышленных манипуляторов, full-arm retargeting на 7-DoF и гуманоидных роботов.
• Сбор данных и локальное хранение: Может собирать состояния суставов робота, видеопотоки с камер, point clouds, RGB-потоки и heatmaps; видеопотоки и потоки данных шифруются и сохраняются локально.

Как использовать Sentinel

Типичный процесс начинается с демо или ознакомительного звонка, на котором команда тестирует Sentinel, удалённо управляя роботами в офисе Avea. После этого заказчик передаёт URDF робота и API управления суставами, чтобы Sentinel можно было интегрировать с существующим стеком робота.

После подключения команда запускает Docker-контейнер Sentinel и начинает удалённое управление роботом. Avea также заявляет, что обучает команду заказчика и предоставляет постоянную поддержку после развертывания.

Сценарии использования

• Сбор данных для обучения Physical AI: Операторы удалённо управляют роботами, чтобы генерировать размеченные данные о движении и данные с датчиков для обучения и улучшения моделей.
• Удалённое развертывание в реальных условиях: Команды могут управлять роботами в разных средах без физического присутствия рядом с машиной.
• Автономия под надзором: Операторы следят за автономным поведением и вмешиваются при необходимости, чтобы держать системы под контролем.
• Тестирование интеграции роботов: Робототехнические команды могут проверять Sentinel на разных архитектурах роботов перед более широким внедрением.
• Телеоперация гуманоидов или многозвенных систем: Команды, работающие с управлением двухрукими системами, туловищем или локомоцией, могут использовать платформу для более сложных конфигураций роботов.

FAQ

Какое оборудование поддерживает Sentinel? Sentinel поддерживает растущий набор робототехнических аппаратных платформ и датчиков. На сайте указано, что самый актуальный список доступен в документации.

Какие данные может собирать Sentinel? Согласно сайту, Sentinel может собирать состояния суставов робота, видеопотоки с камер и point clouds. Также поддерживаются потоковая передача RGB-камер и heatmaps.

Может ли Sentinel работать с кастомными роботами? Да. На сайте указано, что Sentinel создан с учётом гибкости и его можно обсуждать для кастомных архитектур роботов и требований к интеграции.

Данные шифруются? Да. На сайте указано, что видеопотоки и потоки данных Sentinel шифруются end-to-end, а данные собираются и хранятся локально.

Альтернативы

• Ручные системы телеоперации, собранные на кастомных инструментах: Они могут подойти для отдельных команд или прототипов, но обычно требуют больше внутренней интеграции и поддержки, чем специализированная платформа.
• Универсальные робототехнические middleware и управляющие стеки: Инструменты этой категории помогают связывать аппаратную и программную часть робота, но не всегда ориентированы на удалённую телеоперацию, видеостриминг или опыт оператора.
• Системы управления роботами с приоритетом автономности: Они делают упор на автономное выполнение и управление парком роботов, а не на удалённое управление и вмешательство человека в контуре.
• Универсальные инструменты удалённого доступа или видеоконференций: Они могут обеспечивать удалённую видимость, но не дают специфичного для роботов управления, работы с состояниями суставов или рабочих процессов телеоперации.