Mistral представила мультимодальную модель Large 4 с 1,05 трлн параметров

Французская Mistral AI выпустила предварительную версию Mistral Large 4 — мультимодальной модели с открытыми весами и контекстным окном до миллиона токенов. Компания называет ее самой производительной моделью этого класса, разработанной за пределами Китая, однако это утверждение пока не подтверждено независимыми оценками.

Французская компания Mistral AI представила Mistral Large 4 — мультимодальную модель с открытыми весами на основе архитектуры Mixture of Experts. Она содержит 1,05 трлн параметров, из которых при обработке запроса активируются 49 млрд, а также визуальный энкодер на 1,6 млрд параметров. Максимальный объем контекста составляет один миллион токенов.

Модель выпущена в режиме публичного предварительного тестирования и поддерживает вызов функций, структурированный вывод, обработку документов, пакетные запросы и работу в составе агентов. По данным WIRED, внутри компании проект получил прозвище Le Chonk; особое внимание при обучении уделялось программированию, киберзащите, производственным и инженерным задачам. Финальную версию Mistral планирует выпустить до конца октября.

Mistral утверждает, что Large 4 стала наиболее производительной моделью с открытыми весами, созданной за пределами Китая, и приблизилась по возможностям к ведущим закрытым моделям. Это позиция самой компании, требующая независимой проверки.