Истец в США спрятал промпт-инъекцию в судебных документах, чтобы повлиять на возможный ИИ-анализ

Судья в Коннектикуте обнаружил в документах истца скрытые инструкции для систем искусственного интеллекта. Они предписывали модели соглашаться с доводами автора, однако суд заявил, что попытка не повлияла на рассмотрение дела.

Судья из Коннектикута Уолтер Спейдер-младший обнаружил в документах истца скрытые инструкции для систем искусственного интеллекта. Текст был оформлен так, чтобы оставаться практически невидимым человеку, но считываться программами, извлекающими содержимое документа.

Истец участвовал в разбирательстве о предполагаемом неправомерном ограничении доступа к медицинским записям. Скрытые команды требовали от возможной ИИ-системы соглашаться с его аргументами, игнорировать прежние отказы суда и выдавать результат, соответствующий требованиям истца.

Судья сообщил, что промпт-инъекция не повлияла на решение: поданные материалы оценили по существу. При этом он назвал такую технику опасной для судебного процесса, поскольку распространение ИИ-инструментов создает новый канал для скрытого воздействия через обрабатываемые ими документы.

Как отмечает Ars Technica, это может быть первым известным в США случаем применения скрытой промпт-инъекции в судебной подаче.