Исследователи из Anthropic выявили в модели Claude особое рабочее пространство — J-пространство (J space). Оно возникает само по себе в ходе обучения модели и позволяет ей «обдумывать» концепции, которые не отражаются в тексте рассуждений и в итоговом ответе. Ёмкость J-пространства невелика — оно вмещает лишь десятки концепций одновременно (менее одной десятой от общей внутренней активности модели).
Для работы с J-пространством команда Anthropic разработала инструмент J-lens (якобианская линза). Он использует математическую концепцию якобиана: ищет внутренний паттерн активности, который с наибольшей вероятностью заставит модель произнести нужное слово в будущем. Когда определённый шаблон «загорается», это означает, что соответствующая концепция в данный момент находится «в центре внимания» модели.
J-lens способен считывать содержимое J-пространства — например, при анализе уязвимого кода он показывает ошибку, при анализе результата поиска — атаку с быстрым внедрением (prompt injection), при работе с последовательностями белков — их биологическую функцию, а при решении многоступенчатых математических задач — промежуточные этапы расчёта. При этом все эти данные не попадают в выходные данные модели.
Исследователи также проверили причинно-следственные связи, внеся изменения в нейронную сеть Claude через J-lens. Например, если модель размышляла о спорте и планировала ответить «футбол», исследователи меняли внутреннее состояние на «регби» — и ответ модели менялся соответственно. В другом примере замена «паука» на «муравья» в J-пространстве меняла ответ с 8 на 6 ног. Ещё один пример: замена Франции на Китай в J-пространстве меняла ответы модели на вопросы о столице, языке и континенте — теперь это Пекин, китайский язык и Азия.
Нил Нанда из Google DeepMind воспроизвёл основные результаты исследования на модели Qwen 3.6 27B с открытым исходным кодом. При этом он подчеркнул, что J-lens — это вспомогательный инструмент для выработки предположений во время аудита соответствия, а не универсальный детектор.
Anthropic указывает на ограничения J-lens: инструмент даёт лишь приблизительное изображение реального рабочего пространства модели, способен идентифицировать только концепции, соответствующие одному токену, и пока неясно, какой механизм определяет, какие концепции могут попасть в J-пространство. Кроме того, неизвестна вычислительная стоимость его использования в реальных условиях, а также остаётся открытым вопрос, сможет ли модель, знающая о существовании такого инструмента, научиться его обходить.
Исследование вдохновлено «теорией глобального рабочего пространства» в нейронауке, которая сравнивает мозг с театром: множество систем работают параллельно, но только часть информации становится сознательным мышлением. Anthropic фокусируется на «сознании доступа» (возможности передачи информации для рассуждений), не занимая позиции по вопросу «феноменального сознания» (субъективных ощущений).
Открытие подчёркивает важность изучения внутренних характеристик моделей ИИ для обеспечения их безопасности и интерпретируемости — особенно в условиях роста автономии ИИ-агентов.
Подписаться в Макс
