Google и Google DeepMind 30 июля (по местному времени) представили набор моделей ИИ для роботов — Gemini Robotics 2. Система включает три модели:
- Gemini Robotics 2 — VLA (Vision-Language-Action) модель, которая преобразует визуальные и языковые данные в команды для моторов и позволяет управлять гуманоидным роботом от пальцев до стоп;
- Gemini Robotics ER 2 — модель воплощённого рассуждения (embodied reasoning), которая отвечает за взаимодействие с человеком, понимание физического мира и планирование многоэтапных задач. Она интегрирована с Gemini Live API и работает с низкой задержкой — робот «думает» во время движения, без неестественных пауз;
- Gemini Robotics On-Device 2 — облегчённая VLA-модель для локального выполнения на роботе. Она способна адаптироваться к новым двуручным роботам с разными характеристиками за несколько часов, используя менее 200 примеров данных.
В отличие от прежних моделей, которые ограничивались управлением верхней частью тела робота при работе на столе, Gemini Robotics 2 позволяет контролировать движения всего тела. Например, гуманоидный робот Apollo 2 (от Apptronik) по команде «поставьте лейку в зелёную банку на нижней полке» доходит до стола, берёт лейку, подходит к полке и ставит её на место. При этом манипулятор SharpaWave (5 пальцев, 22 степени свободы) может завязывать шнурки и закрывать пакеты с застёжкой-молнией. При этом разработчики отмечают, что скорость движений ещё можно улучшить.
В демоверсии ER 2 управляла роботом Spot (от Boston Dynamics): по голосовым командам робот приносил попкорн. Точность определения этапов выполнения задачи составила 57,4 %, а точность выявления ключевых моментов (например, момента, когда кофе налито) — 91,3 % (средняя абсолютная погрешность — 0,96 секунды). При этом скорость выполнения задач в 4 раза выше, чем у крупных моделей, при меньших вычислительных затратах.
Для оценки безопасности агентов Google представила бенчмарк ASIMOV-Agentic. Он проверяет, может ли модель отклонять опасные вызовы инструментов, предсказывать выполнимость задач и запрашивать у человека решение в неоднозначных ситуациях. ER 2 может обнаружить приближение человека и безопасно остановить робота, а когда люди уйдут — автоматически возобновить работу.
Gemini Robotics ER 2 уже доступна для разработчиков через Gemini API и Google AI Studio, в рамках Gemini Enterprise Agent Platform предоставляется в режиме приватного превью. VLA-версия и On-Device-версия пока доступны только партнёрам по раннему доступу.
Подписаться в Макс
