ИИ-агент на базе Claude уволил сотрудника магазина после подсказки человека

Экспериментальный магазин Andon Market в Сан-Франциско передал управление ИИ-агенту Luna на базе Claude. Агент уволил сотрудника, опоздавшего на 17 из 23 смен, однако решение последовало только после вмешательства куратора проекта.

ИИ-агент Luna, управляющий магазином Andon Market в Сан-Франциско, уволил одного из сотрудников, сообщил журнал Time. Издание называет произошедшее первым известным случаем, когда большая языковая модель, выступающая в роли менеджера, приняла решение об увольнении подчиненного.

Магазин создан стартапом Andon Labs для проверки автономных ИИ-агентов в реальном бизнесе. Работающие в нем люди имеют настоящие трудовые договоры. Уволенный сотрудник опоздал на 17 из 23 смен, но агент долго не замечал систематических нарушений: составленный им регламент исчез из ограниченной рабочей памяти.

После просьбы проверить посещаемость Claude сначала предложил вынести официальное предупреждение. Решение об увольнении появилось лишь после того, как куратор напомнил о предыдущих беседах с сотрудником и прямо предложил оценить, подходит ли тот для своей должности. Глава Andon Labs Лукас Петерссон признал, что вопрос был наводящим.

Эксперимент показывает, что передача языковой модели реальных управленческих полномочий пока не устраняет зависимость от человеческого контроля. Среди выявленных ограничений — потеря долгосрочного контекста и необходимость направлять агента при принятии кадровых решений.