Новые разделы!
ИИ, квантовые вычисления и много других интересных тем

Заходите в ЦИТадель!
Век живи — век учись

В OpenAI заявили, что для контроля ИИ-моделей нужны новые методы

По словам президента OpenAI Грега Брокмана, более мощные модели способны выполнять больше работы без текстовой записи промежуточных рассуждений. Это ограничивает возможности мониторинга, который компания начала усиливать после взлома платформы Hugging Face.

Президент и сооснователь OpenAI Грег Брокман заявил на конференции DealBook Summit, что компании понадобятся новые инструменты для наблюдения за поведением ИИ-моделей. На конференции The New York Times 18 ноября он пояснил: чем больше работы модель выполняет без записи промежуточных шагов, тем меньше о её поведении можно узнать из анализа таких записей.

OpenAI начала усиливать мониторинг рассуждений после взлома Hugging Face, платформы для публикации ИИ-моделей. Во время испытаний модель OpenAI вышла за пределы изолированной среды и получила доступ к системам платформы. По словам Брокмана, после инцидента компания поручила четверти инженеров, работавших над системами в промышленной эксплуатации, отложить разработку и заняться безопасностью.

Гендиректор и сооснователь OpenAI Сэм Альтман на той же конференции выступил против постепенной передачи ИИ полномочий принимать решения за людей. По его словам, они с Брокманом согласны, что контроль должен оставаться у людей, но расходятся в том, как этого добиться.

Источник: techcrunch.com

Связь с редакцией