OpenAI представила режим Ultrafast для GPT-5.6 Sol со скоростью до 750 токенов в секунду

OpenAI начала ограниченное тестирование режима Ultrafast, ускоряющего генерацию GPT-5.6 Sol до 750 выходных токенов в секунду. Новый режим работает на оборудовании Cerebras и, по данным компании, превосходит стандартную обработку по скорости до 14 раз.

OpenAI представила Ultrafast — новый режим обработки запросов к флагманской модели GPT-5.6 Sol. Он запускается прежде всего в OpenAI API и обеспечивает до 750 выходных токенов в секунду, что, по оценке компании, до 14 раз быстрее стандартного режима.

Вычисления выполняются на оборудовании Cerebras — разработчика специализированных систем для ускорения ИИ. OpenAI рассматривает Ultrafast как решение для задач, чувствительных к задержкам, включая анализ инцидентов, голосовые интерфейсы, поддержку пользователей и интерактивные исследования.

Пока режим доступен только ограниченной группе заказчиков. OpenAI намерена расширять доступ по мере увеличения вычислительных мощностей.

Источник: openai.com

Связь с редакцией