Google DeepMind представила модель ИИ Gemini Robotics On-Device, которая позволяет роботам выполнять сложные задачи без подключения к облачным сервисам.
В отличие от предыдущих решений, требующих постоянного интернет-соединения, Gemini Robotics On-Device выполняет все вычисления локально прямо на устройстве. Это важно для работы в условиях нестабильной связи, а также для защиты данных.
Разработчики отметили, что модель демонстрирует высокую адаптивность, осваивая новые действия всего за 50–100 демонстраций. В ходе тестов роботы выполняли сложные манипуляции, включая расстегивание сумок и складывание одежды, демонстрируя точность движений.
Изначально система обучалась на роботе ALOHA, но затем ее перенесли на гуманоидного робота Apollo от Apptronik и двурукий манипулятор Franka FR3. Это подтверждает универсальность архитектуры и способность модели адаптироваться к разным аппаратным платформам.
Оценка производительности Gemini Robotics On-Device по сравнению с флагманской облачной моделью Gemini Robotics и предыдущей лучшей автономной моделью. Изображение: Google
Модель также справляется с незнакомыми объектами и задачами. Например, Franka FR3 выполнял сборку на промышленном конвейере с деталями, которые не встречались в обучающих сценариях. Это демонстрирует способность системы к обобщению и работе в реальных условиях.
Google также представила комплект для разработки ПО, позволяющий исследователям и компаниям тестировать систему как в симуляторе MuJoCo, так и в реальной среде — с возможностью демонстрации новых задач через дистанционное управление.
Робот под управлением автономной модели Gemini Robotics On-Device
Однако компания предупреждает, что локальная версия Gemini Robotics On-Device не включает встроенные механизмы безопасности, которые присутствуют в облачной версии. Разработчикам рекомендуется самостоятельно интегрировать системы защиты и контроллеры безопасности.
На обложке: кадр из демонстрационного видео
