The Information: OpenAI вдвое снизила стоимость ответов для гостевых пользователей ChatGPT

По данным издания The Information, инженеры OpenAI сообщили коллегам, что смогли более чем вдвое сократить затраты на инференс — работу уже обученных моделей. Оптимизацию применили к гостевому режиму ChatGPT, доступному без учётной записи; число задействованных GPU Nvidia, по сообщениям, упало до нескольких сотен.

Инженеры компании OpenAI, разработчика чат-бота ChatGPT, в начале месяца сообщили коллегам, что им удалось более чем вдвое сократить расходы на инференс — то есть на работу уже обученных моделей. Об этом со ссылкой на человека, знакомого с обсуждениями, пишет издание The Information. Официального подтверждения этих оценок компания не давала.

По сообщениям, оптимизации применили к ChatGPT для посетителей, у которых нет учётной записи. Число видеокарт Nvidia, необходимых для обслуживания таких пользователей, снизилось до нескольких сотен. Сколько GPU требовалось раньше и какие именно приёмы были использованы, не раскрывается.

Гостевой режим даёт доступ лишь к очень ограниченному набору функций ChatGPT, поэтому распространятся ли эти выигрыши на полноценный продукт — остаётся открытым вопросом.

Тема снижения стоимости инференса сейчас активно обсуждается в индустрии. Так, китайская компания DeepSeek представила открытый метод, который, по её данным, способен ускорить обработку запросов на инференс на 60–85%. Высвобождаемые ресурсы лаборатории могут направлять на масштабирование сервисов, обучение более сильных моделей, ускорение ответов или повышение маржинальности. Однако на фоне медленного строительства дата-центров подобные улучшения, скорее, дают компаниям запас по мощностям, чем заметно снижают спрос на чипы.