Gemini Robotics 2 icon

Gemini Robotics 2

Gemini Robotics 2 是 Google DeepMind 的機器人模型系列,支援全身控制、靈巧操作與跨不同機器人型態的任務推理;並提供可在本機執行的選項,適合連線或延遲受限情境。

Gemini Robotics 2

概覽

Gemini Robotics 2 是 Google DeepMind 的物理 AI 機器人模型系列。此次發布聚焦三個模型:用於視覺-語言-動作控制的 Gemini Robotics 2、用於具身推理的 Gemini Robotics ER 2,以及可在機器人硬體上本機執行的 Gemini Robotics On-Device 2。

此系統旨在協助機器人理解指令、推理任務,並在多種不同機器人型態上與實體世界互動。來源示範了其在人形機器人、雙臂機器人、手部與夾爪上的應用,範例包括全身移動、靈巧物件處理,以及機器人之間的協作。

功能

通用機器人控制

可控制不同形狀與尺寸的機器人,從桌上型系統到完整人形機器人,讓同一模型能跨不同機器人型態擴展。

視覺-語言-動作控制

將視覺與語言輸入轉換為動作指令,使機器人能根據指令在實體世界中行動。

全身協調

將控制延伸到人形機器人的全身動作,包括在雜亂環境中的行走、蹲下、彎腰與平衡。

靈巧操作

支援使用手部與夾爪進行靈巧操作,包括五指、22 自由度的手,以及標準雙指夾爪。

多步驟任務規劃

使用具身推理模型來規劃多步驟任務、與人類溝通,並追蹤數分鐘內的進度。

本機部署與適應

包含針對本機執行最佳化的裝置端模型,並能以少量數小時資料快速適應新的機器人型態。

使用情境

  • 全身家用或工作空間任務

    人形機器人可以執行需要走到物體旁、蹲下或彎腰取物,並將其放置到雜亂房間中目標位置的任務。

  • 靈巧物件處理

    配有五指手或平行夾爪的機器人可以進行繩結、封好 ziplock 袋或緊密裝入容器等精細操作。

  • 長時程任務執行

    推理層可以將多步驟指令拆解為較小動作、監控進度,並在較長任務中某一步失敗時進行恢復。

  • 多機器人協作

    當單一機器人無法獨立完成工作時,多個機器人可在共享工作流程中協調作業,並使用推理模型組織協作。

  • 本機機器人部署

    必須在沒有網際網路連線或低延遲雲端存取的情況下執行的機器人平台,可使用本機模型進行本機控制與適應。

Pros and Cons

Pros

  • 涵蓋廣泛的機器人型態,包括桌上型系統、雙臂機器人、人形機器人、手部與夾爪。
  • 將控制與推理模型結合,使機器人能夠規劃、執行並追蹤較長的任務序列。
  • 支援全身動作,較適合雜亂的人造環境,而非僅限於靜態的單臂控制。
  • 在延遲或連線受限時,提供可本機執行的選項。

Cons

  • 來源指出,全身動作仍在朝更高速度發展,而更進階的操作仍然具有挑戰性,尤其是多指靈巧任務。
  • 公開資訊對整合方式、部署細節,以及除早期存取與預覽存取外的一般可用性說明仍不完整。

FAQ

Gemini Robotics 2、ER 2 和 On-Device 2 有什麼差別?

Gemini Robotics 2 是用於機器人控制的視覺-語言-動作模型。Gemini Robotics ER 2 是具身推理模型,負責規劃多步驟任務並與人類溝通;Gemini Robotics On-Device 2 則是可在本機、效率優化的 VLA 模型,可在不依賴網路延遲或網際網路連線的情況下於機器硬體上執行。

Gemini Robotics 2 如何提供使用?

Google DeepMind 表示,Gemini Robotics ER 2 可在 Google AI Studio 上使用,並在 Gemini Enterprise Agent Platform 的私人預覽中提供。VLA 與 On-Device 模型則提供給早期存取合作夥伴。

它能控制哪些類型的機器人?

此頁面將 Gemini Robotics 2 描述為可用於全身控制與靈巧操作的模型,適用於從桌上型機器人到完整人形機器人與雙臂系統等不同機器人。

它支援哪些類型的任務?

公告重點包括走路、蹲下、伸展、平衡以及物件操作等全身動作,也包括用手和夾爪進行的靈巧動作,例如打結、封好 ziplock 袋,以及緊密裝填。

什麼時候本機模型會有用?

來源指出,本機模型適用於需要在本機執行的情境,包括沒有網路延遲或網際網路連線的情況。它可用數小時的資料適應新的機器人型態。

Quick Facts

類別
世界模型與物理 AI
產品系列
Gemini Robotics 2
來源網域
deepmind.google
主要模型類型
VLA、具身推理(VLM)、裝置端 VLA
可用性
ER 2 於 Google AI Studio 上提供,並在 Gemini Enterprise Agent Platform 中提供私人預覽;VLA 與 On-Device 提供給早期存取合作夥伴
典型機器人形式
桌上型機器人、雙臂機器人、人形機器人、手部、夾爪