NVIDIA и Hugging Face добавляют модели и фреймворки для роботов в открытую библиотеку LeRobot

Компании интегрируют в LeRobot — открытую библиотеку Hugging Face для робототехники — модель NVIDIA Isaac GR00T 1.7 для человекоподобных роботов и фреймворк Isaac Teleop. Позже к ним планируют добавить модель Cosmos 3, что должно упростить разработчикам полный цикл создания роботов на открытых инструментах.

Компании NVIDIA и Hugging Face объявили о расширении сотрудничества в области физического ИИ. В LeRobot — открытую библиотеку Hugging Face для обучения, запуска и совместного использования наборов данных, моделей и рабочих процессов для роботов — интегрируют открытую модель NVIDIA Isaac GR00T 1.7 и фреймворк Isaac Teleop.

Isaac GR00T 1.7 — это открытая vision language action (VLA) модель для человекоподобных роботов, сочетающая восприятие, рассуждение и действие. Isaac Teleop — фреймворк для телеуправления, который используется, в частности, при сборе данных. Также заявлено, что позже к LeRobot планируют подключить NVIDIA Cosmos 3 — модель мира (world model) для физического ИИ.

По задумке компаний, эти интеграции дают разработчикам стандартизированный сквозной путь: собирать и приводить к единому формату данные, обучать и дообучать базовые модели для роботов, оценивать их работу и разворачивать через открытые рабочие процессы. Сотрудничество, как утверждается, связывает около 3 млн разработчиков в области робототехники со стороны NVIDIA и порядка 16 млн создателей ИИ-решений в экосистеме Hugging Face.

Тома Вольф (Thomas Wolf), сооснователь и научный директор Hugging Face, отметил, что открытый исходный код позволяет превращать передовые исследования в то, что можно изучать, адаптировать и развивать, а появление GR00T 1.7 и Isaac Teleop в LeRobot даёт возможность обучать и оценивать роботов на общих моделях, данных и рабочих процессах. Подробности об использовании инструментов совместно с LeRobot доступны в анонсе NVIDIA.