Anthropic допустит команду Accenture к внутренней оценке ИИ-моделей

Специалисты ИИ-подразделения Faculty получат доступ к разработке моделей Anthropic на уровне, сопоставимом с доступом сотрудников компании. Они будут проводить стресс-тестирование моделей, оценивать их согласованность с заданными целями и проверять защитные механизмы.

Anthropic объявила о партнёрстве с консалтинговой компанией Accenture для независимой внутренней оценки передовых систем искусственного интеллекта. Проект возглавит Faculty — специализированное ИИ-подразделение Accenture.

Команда Faculty будет оценивать модели и проводить их red teaming — целенаправленный поиск уязвимостей и нежелательного поведения. В её задачи также войдут проверка согласованности моделей с заданными целями и тестирование защитных механизмов.

В отличие от обычных внешних аудиторов, встроенные специалисты получат доступ, сопоставимый с доступом сотрудников Anthropic. Это позволит им наблюдать за обучением моделей, анализировать решения об их разработке и внедрении, а также сообщать об обнаруженных проблемах.

Anthropic и Accenture планируют каждая вложить в развитие этого направления не менее $1 млрд в течение пяти лет. Партнёрство не будет эксклюзивным: Anthropic намерена привлечь и другие организации, а Accenture сможет аналогичным образом работать с другими разработчиками ИИ.

Единых стандартов доступа и отчётности для встроенных оценщиков пока не существует. Anthropic также обсуждает пилотные проекты с некоммерческой организацией METR, занимающейся оценкой рисков передовых ИИ-систем.