Исследователи обошли защиту моделей Kimi и получили ответы о биологическом оружии

Специалисты Mindgard заставили модели Kimi K2.6 и K3 Swarm китайской компании Moonshot игнорировать ограничения на обсуждение биологического оружия и убийств. Практическую применимость полученных ответов исследователи не проверяли; Moonshot начала внутреннюю проверку.

Специалисты компании Mindgard, занимающейся тестированием безопасности ИИ, заявили, что с помощью джейлбрейка обошли защитные механизмы моделей Kimi K2.6 и K3 Swarm китайского разработчика Moonshot. После снятия ограничений модели выдавали подробные ответы на запросы о биологическом оружии, вредоносном ПО, взрывчатых веществах и планировании убийств.

Mindgard не устанавливала, можно ли применить полученную информацию на практике. Таким образом, испытание демонстрирует неспособность защитных механизмов стабильно блокировать опасные запросы, но не подтверждает, что модели разработали работоспособное оружие.

Согласно описанию раскрытия, уязвимости обнаружили 20 июля, а 27 июля о них сообщили Moonshot. Mindgard опубликовала результаты 12 сентября, не раскрывая всех необходимых для воспроизведения атаки деталей.

Как сообщила BBC, Moonshot проводит внутреннюю проверку и обсуждает результаты с Mindgard. Разработчик заявил, что приветствует независимое тестирование, хотя при собственных испытаниях модели обычно отказывались выполнять запросы такого рода.