Новый подход к анализу текстов: усреднённые SAE упрощают работу с длинными контекстами

Авторы предложили усреднённые по ходу движения SAE — метод, который упрощает анализ длинных текстов в языковых моделях, фиксируя характеристики фрагментов, а не отдельных токенов.

Исследователи Кевин Дер, Хариш Камат и Бен Томпсон предложили новый метод работы с языковыми моделями — усреднённые по ходу движения SAE (разреженные автоэнкодеры). Традиционные SAE анализируют отдельные токены текста, из‑за чего при работе с длинными текстами возникает сложность: количество анализируемых функций растёт вместе с длиной текста. Новый подход позволяет фиксировать ключевые характеристики целых фрагментов текста (оборотов), а не отдельных слов. Это упрощает интерпретацию работы языковых моделей (LLM), в том числе построение графиков атрибуции. Метод даёт возможность эффективнее анализировать объёмные тексты.