NVIDIA выпустила PAIR для распределения локального ИИ-инференса между компьютерами

NVIDIA выпустила бета-версию Personal AI Router (PAIR) — открытого маршрутизатора, распределяющего независимые запросы к ИИ-моделям между совместимыми компьютерами в локальной сети. PAIR поддерживает системы локального инференса Ollama и LM Studio и позволяет приложениям обращаться к нескольким узлам через единую конечную точку.

NVIDIA выпустила бета-версию Personal AI Router (PAIR) для распределения параллельных запросов инференса между компьютерами в одной локальной сети. PAIR не заменяет движок запуска моделей: Ollama или LM Studio обрабатывает запрос на выбранной машине, а маршрутизатор управляет размещением задания и возвращает ответ исходному приложению.

Узлы обнаруживаются посредством mDNS и подключаются после подтверждения пользователем. При выборе машины планировщик учитывает доступность движка и требуемой модели, число активных заданий и загрузку GPU; обмен между узлами защищён взаимной аутентификацией TLS (mTLS).

PAIR распределяет только независимые запросы: один запрос полностью выполняется на одном узле. Система не объединяет видеопамять нескольких GPU, не разделяет одну модель между машинами и не ускоряет единственный последовательный запрос. Основное назначение проекта — многопользовательские и многоагентные сценарии с несколькими одновременными обращениями к моделям.

В демонстрации NVIDIA выполнение задания с пятью подагентами заняло в среднем 18 минут на одной машине и 8 минут 48 секунд на трёх узлах. Компания подчёркивает, что это результат конкретной конфигурации, а не универсальный тест производительности.

Бета-версия доступна для Windows, Linux и macOS. В число заявленного совместимого оборудования входят GeForce RTX 20-й серии и новее, рабочие станции RTX PRO, DGX Spark и компьютеры Apple с процессорами M4 и новее. Исходный код PAIR опубликован под лицензией Apache 2.0.