Gemini Robotics 2

Gemini Robotics 2 是 Google DeepMind 的机器人模型家族，支持全身控制、灵巧操作与跨不同机器人形态的任务推理，并提供可在本地运行的选项，适合连接受限或低延迟场景。

概述

Gemini Robotics 2 是 Google DeepMind 的物理 AI 机器人模型家族。此次发布聚焦三种模型：用于视觉-语言-动作控制的 Gemini Robotics 2、用于具身推理的 Gemini Robotics ER 2，以及用于在机器人硬件上本地执行的 Gemini Robotics On-Device 2。

该系统旨在帮助机器人理解指令、推理任务，并在广泛的不同形态中与物理世界交互。来源展示了其在人形机器人、双臂机器人、手和夹爪上的应用示例，包括全身运动、灵巧物体处理以及机器人之间的协作。

功能

通用机器人控制

可控制不同形状和尺寸的机器人，从桌面系统到完整人形机器人，同一模型能够跨不同形态扩展。

视觉-语言-动作控制

将视觉和语言输入转化为运动动作，使机器人能够根据指令在物理世界中执行操作。

全身协同

将控制扩展到人形机器人的全身运动，包括在杂乱环境中的迈步、下蹲、弯腰和保持平衡。

灵巧操作

支持通过手和夹爪进行灵巧操作，包括五指、22 自由度的手以及标准双指夹爪。

多步任务规划

使用具身推理模型来规划多步骤任务、与人类沟通，并在数分钟内跟踪进度。

本地部署与适配

包含一个针对本地执行优化的端侧模型，可利用少量数据快速适配新的机器人形态。

使用场景

全身家用或工作区任务
人形机器人可以执行需要走到物体旁、蹲下或弯腰抓取，并将其放置到杂乱房间中的目标位置的任务。
灵巧物体处理
带五指手或平行夹爪的机器人可以执行打结、封装拉链袋或紧密装入容器等精细操作。
长时程任务执行
推理层可以将多步骤指令拆分为更小的动作，监控进度，并在较长任务中某一步失败时进行恢复。
多机器人协作
当单个机器人无法独立完成工作时，多台机器人可以在共享工作流上协作，并使用推理模型来组织协同。
本地机器人部署
必须在没有互联网连接或低延迟云访问的情况下运行的机器人平台，可以使用本地模型进行本地控制和适配。

Pros and Cons

Pros

涵盖广泛的机器人形态，包括桌面系统、双臂机器人、人形机器人、手和夹爪。
将控制与推理模型结合，使机器人能够规划、执行并跟踪更长的任务序列。
支持更适合杂乱、人造环境的全身运动，而不是静态的仅机械臂控制。
在延迟或连接受限时提供可用于本地执行的端侧选项。

Cons

来源提到，全身运动仍在向更高速度发展，而更高级的操作仍然具有挑战性，尤其是多指灵巧任务。
公开信息中关于集成、部署细节以及除早期访问和预览访问之外的正式可用性并不完整。

FAQ

Gemini Robotics 2、ER 2 和 On-Device 2 有什么区别？

Gemini Robotics 2 是用于机器人控制的视觉-语言-动作模型。Gemini Robotics ER 2 是具身推理模型，负责规划多步任务并与人类沟通；而 Gemini Robotics On-Device 2 是本地、高效的 VLA 模型，可在机器人硬件上运行，无需依赖网络延迟或互联网连接。

Gemini Robotics 2 如何提供？

Google DeepMind 表示，Gemini Robotics ER 2 可在 Google AI Studio 上使用，并在 Gemini Enterprise Agent Platform 中提供私测。VLA 和 On-Device 模型向早期访问合作伙伴开放。

它可以控制哪些类型的机器人？

页面将 Gemini Robotics 2 描述为一种用于全身控制和灵巧操作的模型，适用于从桌面机器人到完整人形机器人以及双臂系统等不同类型的机器人。

它支持哪些类型的任务？

该公告强调了行走、蹲下、伸展、保持平衡以及操控物体等全身动作，也包括用手和夹爪进行的灵巧动作，例如打结、封口拉链袋以及紧密装箱。

本地运行模型在什么情况下会有用？

来源称，这个本地运行模型适用于需要在本地执行的场景，包括没有网络延迟或互联网连接的情况。它还可以用几个小时的数据适配新的机器人形态。

Quick Facts

类别: 世界模型与物理 AI
产品家族: Gemini Robotics 2
来源域名: deepmind.google
主要模型类型: VLA、具身推理（VLM）、端侧 VLA
可用性: ER 2 可在 Google AI Studio 上使用，并在 Gemini Enterprise Agent Platform 中提供私测；VLA 和 On-Device 向早期访问合作伙伴开放
典型机器人形态: 桌面机器人、双臂机器人、人形机器人、手、夹爪