Mistral представила Robostral Navigate — модель на 8 млрд параметров для навигации роботов по одной камере

Французская компания Mistral AI, разработчик больших языковых моделей, выпустила свою первую модель для навигации роботов. Robostral Navigate управляет роботом в незнакомом окружении, используя только одну обычную RGB-камеру без лидара и датчиков глубины.

Французская компания Mistral AI, известная своими большими языковыми моделями, представила Robostral Navigate — свою первую модель для так называемой воплощённой навигации (embodied navigation), то есть автономного перемещения роботов в сложном окружении.

Модель содержит около 8 млрд параметров и, по данным разработчика, позволяет роботу ориентироваться в незнакомом пространстве, используя только одну обычную RGB-камеру — без лидара и датчиков глубины. Задачи задаются на естественном языке. Mistral подчёркивает, что модель не привязана к конкретному оборудованию (hardware agnostic) и обучалась целиком на симулированных данных с последующей донастройкой методом обучения с подкреплением.

На эталонном тесте R2R-CE (Room-to-Room in Continuous Environments), проверяющем выполнение навигационных инструкций в окружениях, не встречавшихся при обучении, Robostral Navigate достигает 76,6% успешных прохождений на наборе validation unseen и 79,4% на validation seen. По утверждению компании, это превосходит как лучшие подходы с одной камерой, так и системы, использующие датчики глубины или несколько камер.

Сроки и условия доступности модели Mistral пока не назвала.