Гуманоид Unitree G1 с GPT Astra справился с уборкой на незнакомой кухне

Исследователи Стэнфордского университета и Калтеха представили HomeBody — систему, в которой мультимодальная модель GPT Astra планирует действия робота Unitree G1 и вызывает готовые навыки навигации и манипуляции. В незнакомой кухне робот смог собрать продукты, выбросить указанные упаковки и достать предмет из ящика без обучения под конкретное помещение.

Исследователи Стэнфордского университета и Калифорнийского технологического института (Caltech) представили HomeBody — архитектуру управления гуманоидным роботом Unitree G1. В ней визуально-языковая модель (VLM) GPT Astra напрямую вызывает структурированными командами готовые навыки навигации, захвата и размещения предметов, а также открытия ящиков.

Авторы убрали из цепочки отдельную обученную модель «зрение — язык — действие» (VLA), обычно преобразующую высокоуровневый план в команды роботу. При этом GPT Astra не управляет приводами непосредственно: низкоуровневое движение и обработку ошибок выполняют специализированные модули, которые возвращают модели результаты операций.

Перед выполнением задания робот исследует новое помещение. HomeBody объединяет изображения с камер, данные LiDAR и SLAM, положения суставов и выбранные маршруты, формируя пространственную память и цифрового двойника кухни в NVIDIA Isaac Sim. Благодаря этому система может учитывать объекты, вышедшие из поля зрения, и менять план после неудачного действия.

В демонстрациях G1 собирал пакеты с кофе, выбрасывал заданные упаковки, открывал ящик и доставал оттуда лекарство. Обучение под конкретную кухню и дополнительная настройка управляющей политики не применялись. Среди ограничений прототипа авторы называют задержки удалённой GPT Astra, расходы на подготовку цифрового двойника и API, перегрев сервоприводов пальцев и необходимость ноутбука с видеокартой RTX 4090 для локальных компонентов.