Новые разделы!
ИИ, квантовые вычисления и много других интересных тем

Заходите в ЦИТадель!
Век живи — век учись

Microsoft представила RDMA поверх USB4 для распределённого запуска ИИ-моделей на нескольких ПК

Microsoft показала предварительную реализацию RDMA поверх USB4, позволяющую распределять инференс больших ИИ-моделей между несколькими Windows-ПК. Компания опубликовала исходный код провайдера NetworkDirect и экспериментальной версии llama.cpp. Необходимая сборка Windows Insider пока не выпущена и появится позднее.

Microsoft представила предварительную версию RDMA поверх USB4 для прямого обмена данными между несколькими Windows-ПК. RDMA, или удалённый прямой доступ к памяти, уменьшает число промежуточных копирований и задержку при передаче данных между системами.

Новый программный провайдер использует DMA-кольца контроллеров USB4 и предоставляет приложениям стандартный интерфейс Windows NetworkDirect. Для демонстрации Microsoft подготовила экспериментальную версию llama.cpp, которая распределяет модель и вычисления между компьютерами, применяя тензорный параллелизм.

В лабораторном тесте три мини-ПК с процессорами AMD Ryzen AI Max+ 395, графикой Radeon 8060S и 128 Гбайт унифицированной памяти на каждом запустили 4-битную версию модели Qwen3-235B-A22B. При соединении компьютеров по полносвязной схеме USB4 со скоростью 40 Гбит/с Microsoft получила около 18,5 токена в секунду. В собственной конфигурации AMD зафиксировала 21,98 токена в секунду при генерации.

Провайдер NetworkDirect для USB4 и тестовый код уже опубликованы с открытым исходным кодом. Однако необходимая экспериментальная сборка Windows Insider ещё готовится. В текущей версии технология отключена по умолчанию, требует тестового режима подписи драйверов и временного отключения Secure Boot, поэтому Microsoft рекомендует использовать отдельные тестовые компьютеры.

Для кластера нужны как минимум два ПК с управляемыми Windows портами USB4. Каждый компьютер должен быть напрямую соединён со всеми остальными: в системе из трёх узлов каждому ПК требуются два порта и два кабеля USB4. Последовательное подключение устройств не рекомендуется из-за резкого снижения производительности.

Источник: techcommunity.microsoft.com

Связь с редакцией