NVIDIA продвигает CPU Vera для агентных ИИ-нагрузок в дата-центрах

Компания NVIDIA описала, как её процессор Vera ускоряет агентные ИИ-сценарии, где между шагами модели заметную роль играет работа центрального процессора. Vera несёт 88 ядер Olympus и до 1,2 ТБ/с пропускной способности памяти LPDDR5X. Производитель приводит показатели прироста в «песочницах» и пример с сервисом Perplexity.

Компания NVIDIA опубликовала технический материал о процессоре Vera, который она позиционирует как центральный процессор для агентных ИИ-нагрузок в дата-центрах. Речь идёт о сценариях, где так называемые агентные системы превращают рассуждения модели в действия через многошаговые процессы — вызовы инструментов, выполнение кода, поиск данных, оркестрацию и обработку результатов.

Ключевой тезис NVIDIA: по мере масштабирования агентных систем производительность зависит не только от ускорения на GPU, но и от работы CPU, которая происходит между шагами модели. Вызовы инструментов, поиск, исполнение кода и запуск изолированных сред («песочниц») находятся на пути обработки запроса, поэтому центральный процессор перестаёт быть фоновой инфраструктурой и напрямую влияет на пропускную способность и отзывчивость.

По данным производителя, Vera сочетает 88 собственных ядер Olympus, до 1,2 ТБ/с пропускной способности памяти LPDDR5X и монолитную сетевую топологию (mesh), что помогает удерживать производительность на ядро при высокой нагрузке. Технология NVIDIA Spatial Multithreading формирует 176 потоков с разделяемыми ресурсами ядра для предсказуемой пропускной способности при масштабировании.

NVIDIA сообщает, что в нагруженных агентных сценариях Vera показала более чем 1,8-кратную производительность в «песочницах» по сравнению с процессорами архитектуры x86. В приведённом примере с сервисом Perplexity рабочий процесс клонирования репозитория и запуска тестов выполнялся примерно в 1,5 раза быстрее, а параллельные «песочницы» запускались ощутимо оперативнее.