Компания Anthropic изучила модель искусственного интеллекта Клод и выявила внутреннюю структуру — J-пространство (J-Space). Оно имеет параллели с глобальной теорией рабочего пространства из нейробиологии: согласно этой теории, мысли становятся доступными для системы, когда попадают в привилегированное рабочее пространство, распределяющее информацию. J-пространство составляет менее 10 % от общей нейронной активности модели. Основная обработка — например, создание грамматики, перевод речи или сопоставление фактов — происходит за пределами этого диапазона.
Для исследования структуры исследователи разработали инструмент J-Lens (якобианскую линзу) — математический фильтр, который скрывает фоновые процессы и позволяет сосредоточиться на текущих внутренних процессах обработки модели. При этом Anthropic подчёркивает, что J-Lens — несовершенный инструмент, способный лишь приблизительно определять структуру рабочего пространства.
J-пространство действует как рабочее пространство, где модель обрабатывает концепции без их явного вывода. Это отличает его от письменного блокнота или процедуры цепочки рассуждений. Например:
- при решении арифметической задачи (32 − 2) модель выполняет вычисления одновременно в тематически независимом предложении, а J-пространство отображает промежуточные математические шаги;
- когда модель сталкивается с понятием «паук», в J-пространстве появляется информация «8 ног», хотя в реальном тексте термин «паук» не появляется;
- в текстах, которые пишет Клод, в J-пространстве появляются термины «апельсин» или «фрукты».
Структура J-Space не была запланирована при создании архитектуры Клода — она развилась самостоятельно в процессе обучения. Это позволяет предположить, что глобальное рабочее пространство с интеллектуальным доступом — эффективный метод организации сложных вычислений. Исследователи также заметили, что J-Lens показывает, когда Клод внутренне классифицирует сценарий как вымышленный или обнаруживает признаки манипулирования данными. При этом открытие относится только к «сознанию доступа» в философском смысле (функциональным и извлекаемым внутренним состояниям), а не к феноменальному сознанию.
Подписаться в Макс
