Исследователь Anthropic ушёл из компании, обвинив ИИ-лаборатории в опасной гонке

Джейкоб Коксон покинул Anthropic, заявив, что ведущие ИИ-компании безответственно стремятся создать самоулучшающиеся системы. Руководитель одной из команд Anthropic по безопасности ИИ Эван Хубингер лично оценил вероятность уничтожения человечества искусственным интеллектом в течение следующего десятилетия более чем в 10%.

Джейкоб Коксон, занимавшийся предварительным обучением моделей, объявил об уходе из ИИ-компании Anthropic. Он заявил, что Anthropic и OpenAI, где он работал ранее, безответственно участвуют в гонке по созданию самоулучшающихся систем, которые могут оказаться неподконтрольными людям.

В ответ Эван Хубингер, руководитель одной из команд Anthropic по безопасности ИИ, сообщил, что лично оценивает вероятность уничтожения человечества искусственным интеллектом в течение следующего десятилетия более чем в 10%. По его словам, у Anthropic пока нет плана, гарантирующего безопасность и соответствие целей будущих сверхмощных систем человеческим ценностям.

Это личные оценки исследователей, а не официальный прогноз Anthropic или результат опубликованного исследования. Возможность рекурсивного самоулучшения ИИ пока не реализована.