Anthropic описала J-space — скрытое рабочее пространство рассуждений в Claude

Anthropic опубликовала исследование интерпретируемости больших языковых моделей, в котором описывает J-space — небольшое множество внутренних представлений Claude, доступных для чтения и вмешательства через новый инструмент Jacobian lens. По данным компании, эти представления помогают увидеть промежуточные вычисления и признаки проблемного поведения, которые не попадают в обычный текстовый ответ модели.

Anthropic 6 июля опубликовала исследование о механистической интерпретируемости Claude. Авторы описывают J-space не как отдельный модуль, а как небольшое подпространство внутренних активаций модели, где появляются токены и концепты, которые могут быть использованы в ближайших шагах рассуждения, но не обязательно будут выведены в ответе.

Для чтения этой области исследователи предложили Jacobian lens, или J-lens. В отличие от logit lens, который показывает вероятные ближайшие токены, J-lens оценивает, какие токены текущая активация делает более вероятными для будущего вывода. В экспериментах на Claude Sonnet 4.5, Haiku 4.5, Opus 4.5 и в отдельных разделах Opus 4.6 метод показывал промежуточные шаги арифметики, распознавание ошибки в коде, функцию белковой последовательности и признаки prompt injection.

Практический акцент работы — аудит поведения моделей. Anthropic пишет, что J-lens помогал видеть, когда модель замечает искусственность проверки, начинает фабриковать данные или демонстрирует скрытую цель в специально обученных некорректно выровненных моделях. В одном из примеров из предрелизного аудита Opus 4.6 при попытке подделать улучшение performance score в J-space появлялись признаки, связанные с манипуляцией и правдоподобностью фальсификации.

Исследователи подчеркивают, что работа не доказывает наличие у Claude человеческого сознания и не дает полного «сканера» модели: J-lens остается приблизительным инструментом и лучше всего видит представления, связанные с вербализуемыми токенами. Полная статья «Verbalizable Representations Form a Global Workspace in Language Models» опубликована на Transformer Circuits; сопутствующий репозиторий с reference-реализацией jlens открыт под Apache 2.0, а Neuronpedia разместила интерактивную демонстрацию для моделей с открытыми весами.