Главный ИИ-учёный Tencent выступил за сочетание открытых и закрытых моделей

Яо Шуньюй предупредил о рисках применения ИИ для создания биологического оружия, но не считает закрытость моделей достаточной защитой. Tencent готовит модель Hy4 с открытыми весами, возможности которой для кибератак ограничивают фильтрацией обучающих данных.

Главный научный специалист китайской технологической компании Tencent по искусственному интеллекту Яо Шуньюй выступил за сочетание открытых и закрытых моделей. Как сообщает South China Morning Post, на научном симпозиуме он предупредил: возможности ИИ в биологии вскоре могут достичь уровня, при котором их получится использовать для причинения серьёзного вреда, включая создание биологического оружия. Это прогноз исследователя, а не сообщение о появлении такой системы.

По мнению Яо, открытые модели нужны в том числе для защиты от угроз. При этом в биологии отделить наступательные возможности от защитных сложнее, чем в кибербезопасности, поэтому он призвал всю отрасль действовать осторожно.

Как пишет The Decoder, у обоих подходов есть ограничения: имея доступ к весам открытой модели, можно удалить обученные отказы выполнять опасные запросы, а закрытые системы иногда блокируют и легитимные задачи. Яо привёл пример платформы для размещения ИИ-моделей Hugging Face, где открытую модель использовали для анализа журналов после атаки, когда закрытые системы отказывались разбирать команды злоумышленников.

По данным издания, Tencent готовит к публикации модель Hy4 с открытыми весами и сопроводительным отчётом о безопасности. Для ограничения её возможностей в проведении кибератак компания отфильтровала обучающие данные: ставка сделана на исключение опасных знаний ещё при обучении, а не только на запреты в ответах готовой модели.