Black Forest Labs открыла веса 7-миллиардной модели FLUX 3 Action для управления роботами

Black Forest Labs выпустила FLUX 3 Action — модель с 7 млрд параметров, которая по изображениям с камер, состоянию робота и текстовой команде формирует последовательность управляющих действий. Модель заняла первое место в тесте RoboLab-120 с результатом 42,9%; разработчик также заявляет ускорение до 3,95 раза относительно Cosmos 3 Nano в протестированных конфигурациях.

Black Forest Labs, разработчик семейства генеративных моделей FLUX, представила FLUX 3 Action — модель с открытыми весами для управления роботами. Она получает изображения с нескольких камер, данные о состоянии робота и текстовую инструкцию, после чего совместно предсказывает следующие управляющие команды и будущие видеокадры.

Модель содержит 7 млрд параметров и построена на основе мультимодальной FLUX 3, обученной на видео, изображениях и аудио. В таблице RoboLab-120, охватывающей 120 задач в симуляторе Isaac Sim, FLUX 3 Action занимает первое место с долей успешно выполненных испытаний 42,9%. По данным Black Forest Labs, оптимизированные варианты модели работают до 3,95 раза быстрее Cosmos 3 Nano на протестированных графических ускорителях.

Коллекция на Hugging Face включает базовые веса для адаптации, а также готовые политики для роботов SO-101 и установок на основе набора данных DROID. Модели распространяются по лицензии FLUX Kommunity License 1.0. Для варианта DROID требуется около 32 Гбайт видеопамяти в формате BF16; квантование FP8 и выгрузка текстового кодировщика позволяют использовать видеокарты с 24 Гбайт памяти.