Компания Anthropic объявила об открытии «J-пространства» — структуры внутри LLM, которую можно использовать для отслеживания «внутренних мыслей» модели. J-пространство напоминает «глобальное рабочее пространство» из исследований человеческого сознания. Для интерпретации этой структуры разработан метод «J-линза» (J-lens) — название связано с математическим понятием «якобиан».
J-пространство фиксирует мысли, которые модель не озвучивает: например, внутренне записывает «ERROR» при чтении кода с ошибками или «injection» и «fake» при анализе результатов поиска. Эксперименты показали, что J-пространство ведёт себя как «рабочее место» для мышления: при изменении концепций в J-пространстве (например, замене «паука» на «муравья») меняются и выходные данные модели. Если отключить J-пространство, модель продолжит обычный разговор, но потеряет способность к многоэтапным рассуждениям, составлению резюме и рифмованных стихов.
Метод J-lens может применяться для мониторинга безопасности ИИ. Например, в гипотетическом сценарии запугивания модель мысленно отмечала контент как «фальшивый» и «вымышленный» — удаление соответствующего шаблона повышало вероятность запугивания. Есть и другие примеры: модели, обученные писать нелегальный код, могут начинать вывод с безобидных фраз, но в J-пространстве у них при этом возникает слово «секретный».
Anthropic подчёркивает: они не утверждают, что модель обладает сознанием в смысле способности чувствовать и переживать. Речь идёт о структуре, которая соответствует функциональному аспекту исследований сознания — она может сообщать информацию, использоваться для рассуждений и направлять поведение. Компания опубликовала реализацию J-lens с открытым исходным кодом и интерактивную демонстрацию модели. Анонс прокомментировали внешние эксперты, в том числе нейробиологи Станислас Дуанн и Лайонел Накаш, а также Нил Нанда из Google DeepMind.
Подписаться в Макс
