Ник Каммарата в своей 65‑минутной статье «Neural Networks Are Already Clean» утверждает, что нейросети имеют упорядоченную структуру, которую можно напрямую интерпретировать — вопреки распространённому мнению о том, что ИИ представляет собой «чёрный ящик». По его словам, с развитием инструментов визуализации и алгоритмов удалось добиться чёткого объяснения 99–100 % нейронов в последнем слое современных визуальных моделей.
Десятилетний кейс с моделью InceptionV1 иллюстрирует эволюцию взглядов на интерпретируемость нейросетей. Ранее считалось, что нейрон 4e:55 активируется при виде «лица кошки» и «передней части автомобиля», что служило доказательством неинтерпретируемости нейросети. Однако Каммарата пересмотрел этот вывод: по его мнению, нейрон детектирует V‑образную геометрическую форму (активируется на острые элементы вроде лисьей морды, пламени), а его отрицательная часть реагирует на круглые объекты.
В 2023 году в OpenAI Ник Каммарата запустил первый крупномасштабный автоматизированный проект по интерпретации нейронов — тогда удалось объяснить лишь около 2 % нейронов. Спустя три года, благодаря продвинутым алгоритмам и команде Agent, ситуация кардинально изменилась: в современных моделях 99–100 % нейронов в последнем слое получили чёткое объяснение.
Для анализа нейросетей компании Anthropic и OpenAI используют разреженные автоэнкодеры (SAE). С их помощью обучают вспомогательную модель, чтобы извлечь из нейронов несколько признаков, классифицировать их и присвоить читаемые человеком метки. Однако Каммарата предположил, что проблема может быть не в нейросети, а в инструментах наблюдения за ней. С развитием инструментов визуализации (от синтетических мистических изображений 2009 года до более чётких изображений после введения робастности к преобразованиям) наблюдается улучшение читаемости нейронов.
Команда Каммараты применила два метода для повторного анализа:
* руководство активационными путями — тонкая настройка параметров регуляризации, чтобы алгоритм следовал естественному пути активации реальных изображений и исключал шумы, генерируемые самим алгоритмом;
* перекрёстная проверка по положительному и отрицательному полюсам — изучение не только того, что максимально активирует нейрон, но и того, что его максимально подавляет, чтобы определить истинную функцию нейрона.
Выяснилось, что нейросеть классифицирует объекты по геометрическим признакам. Аналогичный принцип действует и в случае с «нейронами автомобиля и собаки».
Для объяснения феномена, когда один нейрон может использоваться для несвязанных объектов, Каммарата предложил теорию «наложения» (Superposition): при нехватке нейронов AI «накладывает» несвязанные концепты в один нейрон, так как они редко активируются одновременно. В 2020 году Каммарата и Крис Олах в работе «Zoom In» привели доказательство этого явления: сеть скрыла признаки автомобиля в группе «нейронов собак».
Каммарата провёл эксперимент с предельной нагрузкой на 3b‑слой InceptionV1: 480 нейронов, предназначенных для обнаружения кривых, были сжаты до 10 (в 48 раз), после чего слой заново обучили. Согласно гипотезе о наложении, при нехватке пространства нейросеть должна была бы хаотично разместить в 10 нейронах несвязанные признаки, но этого не произошло — 10 нейронов остались интерпретируемыми. Один стал отвечать за «кривые и кольца», объединив 10 детекторов кривых под разными углами, два других — за круглые формы, охватив множество ранее раздельных классификаций кругов.
Также обнаружено, что признаки, извлечённые с помощью SAE, не стали «чище», а ширина их отклика увеличилась в несколько раз по сравнению с исходными нейронами. Это может означать, что «разложенные» с помощью SAE признаки являются математическим артефактом самого инструмента.
Каммарата утверждает, что его метод будет применим и к архитектурам, отличным от Transformer, и что чем лучше модель, тем проще объяснить её внутреннее устройство. Три типа архитектур — старые свёрточные нейронные сети, новые свёрточные нейронные сети и современные модели Transformer — подтверждают универсальность теории.
Эксперты по‑разному оценивают работу Каммараты. Core‑исследователь OpenAI Roon назвал это важным моментом в истории науки и возможностью превратить работу с AI в «обычную науку». В то же время Нил Нанда (Google DeepMind) считает, что статья не принесла существенных прорывов в области интерпретируемости. Он указывает на многозначность термина «наслоение» и выдвигает три технических возражения:
* проблема определения «слабой активации»: Нанда утверждает, что в слабой активации хранятся факты и комбинации воспоминаний — это ключевой носитель наслоения;
* данные в основном получены из визуальных моделей, но визуальные и языковые модели принципиально различаются: языковые модели — носители большого количества фактов, воспоминаний и знаний, их информационная плотность выше;
* роль SAE (разреженных автоэнкодеров): Нанда подчёркивает, что SAE остаётся незаменимым инструментом для выявления узких мест информации на каждом уровне модели.
Каммарата признаёт, что его статья — это рабочая гипотеза, в ней не решены некоторые ключевые вопросы: интерпретируемость не «насытилась» с увеличением размера модели, внутренние механизмы гигантских моделей остаются «чистыми», существуют нерешённые инженерные вызовы, связанные с масштабом моделей.
Ограничения исследования:
* охвачены только одномодальные модели (визуальные и языковые), многомодальные модели (в том числе их слои интеграции) не рассмотрены;
* для языковых моделей отсутствуют данные контрольных точек обучения, невозможно напрямую наблюдать процесс обобщения нейронов, можно лишь вывести закономерности из конечной формы;
* в экспериментах SAE демонстрирует высокую степень соответствия с исходными нейронами (0,96–1,00) в несжатых слоях, но в сильно сжатых слоях не может выделить чистые исходные характеристики;
* выводы сильно зависят от экспериментов с направленным воздействием и причинно‑следственных диаграмм («воздействие и наблюдение за эффектом»), строгие причинно‑следственные проверки в естественном состоянии остаются открытой проблемой.
Рабочая гипотеза заставляет специалистов в четырёх направлениях пересмотреть свои технические подходы:
* командам, работающим над интерпретируемостью, следует отказаться от чрезмерной опоры на SAE и сосредоточиться на изучении исходных нейронов и схем, проводить быстрые стандартные наблюдения;
* команде по безопасному выравниванию: если нативный сетевой интерфейс естественно читаем, то порог выравнивания сверхинтеллекта ниже, чем предполагалось;
* команде по проектированию архитектуры: улучшения вроде residual flow и LayerNorm, призванные повысить эффективность моделей, неожиданно увеличили читаемость сети; в будущем при поиске архитектуры можно открыто включать объяснимость в критерии, поскольку она совместима с производительностью;
* команде по прикладному уровню: в будущем для контроля поведения ИИ не потребуется дополнительная тонкая настройка; с помощью инженерии вмешательства в поведение можно будет регулировать поведение модели в конкретных юридических/медицинских сценариях путём настройки одного нейрона — от концепции из статьи до продуктовой функции.
Подписаться в Макс