Исследователи представили общий каркас моделей мира JEPA-Anything для семи областей

Команда PhAI Labs и нескольких университетов разработала JEPA-Anything — предметно-независимую схему обучения моделей мира на основе архитектуры JEPA. Подход испытали на задачах компьютерного зрения, биологии, медицины, управления, молекулярной динамики, физического моделирования и прогнозирования погоды. Речь идет не об одной сети с общими весами, а об общем предиктивном ядре с отдельными адаптерами и энкодерами для каждой области.

Исследователи из PhAI Labs, Китайского университета Гонконга, Стэнфордского, Оксфордского и других университетов описали в препринте JEPA-Anything общий подход к построению моделей мира. Он развивает JEPA (Joint-Embedding Predictive Architecture) — семейство архитектур, которые предсказывают скрытые представления состояний вместо восстановления исходных данных.

Ключевое нововведение — ортогональная предиктивная факторизация: целевое скрытое состояние разделяется на взаимодополняющие компоненты, для каждой из которых используется отдельный предиктор. Затем частичные прогнозы объединяются в полное состояние, пригодное для планирования и многошагового моделирования.

JEPA-Anything проверили в семи областях. По данным авторов, метод превзошел сопоставимую базовую JEPA во всех десяти тестах динамических систем, а в среде Interventional Pong снизил ошибку прогнозирования одиночных воздействий на 34,8%. В четырех задачах молекулярной динамики он показал наименьшую ошибку среди сравниваемых методов, однако результаты управления роботами оказались неоднородными: улучшение получено только в двух из трех сред.

В биологическом эксперименте модель предложила проверить сочетание сигнальной молекулы IL-18 с блокировкой фермента CD73 при раке печени. Комбинация усилила противоопухолевую активность в клеточных культурах, органоидах и фрагментах опухолей пациентов, а также в опытах на мышах. Эти доклинические результаты не подтверждают эффективность или безопасность возможной терапии для людей.

Работа опубликована 17 сентября 2026 года и пока имеет статус препринта. Авторы отмечают, что разделение скрытого состояния на факторы само по себе не доказывает причинно-следственные связи, а надежность модели при смещении распределения еще предстоит оценить. Исходный код доступен под лицензией Apache 2.0.