NVIDIA представила открытый маршрутизатор NeMo Switchyard для ИИ-агентов

NVIDIA представила NeMo Switchyard — открытый прокси-сервер и библиотеку на Rust, которые распределяют запросы ИИ-агентов между языковыми моделями с учетом задачи, стоимости и задержки. Проект поддерживает форматы API OpenAI и Anthropic, но пока имеет статус pre-alpha и не предназначен для промышленной эксплуатации.

NVIDIA представила NeMo Switchyard — открытый прокси-сервер и библиотеку для маршрутизации запросов между несколькими большими языковыми моделями (LLM). Система может выбирать модель для каждого запроса или отдельного этапа работы агента, учитывая ее возможности, стоимость, задержку и состояние инфраструктуры.

Switchyard принимает запросы в форматах OpenAI Chat Completions, OpenAI Responses и Anthropic Messages, преобразует их в формат выбранного поставщика и возвращает ответ через ожидаемый приложением API. Отделение логики маршрутизации от конкретных конечных точек позволяет менять модели и поставщиков без переработки интеграции агента.

В комплект входят классификатор запросов, поэтапная маршрутизация на основе действий и ошибок агента, механизм эскалации с менее дорогой модели на более мощную, а также интерфейсы для собственных алгоритмов. Сервер регистрирует выбранную модель, причины решения, расход токенов, задержку и результат вызова.

Исходный код опубликован на GitHub под лицензией Apache 2.0. Репозиторий помечен как pre-alpha: разработчики предупреждают о возможных значительных изменениях API и алгоритмов и пока не рекомендуют использовать Switchyard в промышленной среде.