NVIDIA представила Open Agent Safety Platform для многоуровневой защиты ИИ-агентов

NVIDIA представила Open Agent Safety Platform — открытое ПО и эталонную архитектуру для контроля ИИ-агентов от тестирования до эксплуатации. В состав решения входят изолированная среда выполнения OpenShell и проект Sentry для независимого мониторинга агентов на процессорах обработки данных BlueField-4.

NVIDIA представила Open Agent Safety Platform, объединяющую программные и аппаратные механизмы управления безопасностью ИИ-агентов. Ключевые ограничения предлагается применять за пределами модели и управляющего агентом приложения — на уровне среды выполнения и вычислительной инфраструктуры.

Основной программный компонент платформы, OpenShell, распространяется с открытым исходным кодом по лицензии Apache 2.0. Он запускает агентов в изолированных средах и позволяет с помощью декларативных политик ограничивать доступ к файлам, системным вызовам, сети и учетным данным. OpenShell рассчитан на процессоры NVIDIA Vera, но может быть адаптирован для платформ Arm и Intel.

Эталонная архитектура NVIDIA Sentry предусматривает отдельный сторожевой механизм на процессорах обработки данных BlueField-4 (DPU). Он должен независимо от агента отслеживать его действия и применять политики безопасности; по заявлению NVIDIA, при выходе за установленные границы Sentry сможет изолировать и остановить агента за миллисекунды.

Документация OpenShell, исходный код и наборы навыков для агентов уже доступны. При этом NVIDIA предупреждает, что ряд других описанных компонентов и функций пока находится на различных стадиях разработки, а сроки их выпуска могут измениться.