Тайные взаимодействия в GPT-2: новый взгляд на работу языковых моделей

Исследователи выяснили, что при анализе работы языковых моделей (в том числе GPT-2) важно учитывать скрытые эффекты взаимодействия между компонентами модели. Обычно при изучении работы модели оценивают вклад каждого её элемента в итоговый результат. Но авторы показали: при этом учитываются не только прямые эффекты, но и то, как влияние одного элемента зависит от состояния других элементов. Это может приводить к неверным выводам — некоторые компоненты оказываются либо недооценёнными, либо переоценёнными. Учёные предлагают использовать выявленные эффекты как инструмент для более глубокого понимания того, как работают модели, а не пытаться от них избавиться. Это поможет точнее интерпретировать поведение ИИ-систем.