TokenScope: новый инструмент для понимания работы LLM при генерации кода

Исследователи Амирреза Эсмаили и Фатима Фард представили инструмент TokenScope. Он помогает разобраться, как большие языковые модели (LLM) принимают решения при написании кода — на уровне отдельных токенов. С его помощью можно изучать шаблоны внимания, получать метрики на уровне токенов, интерактивно заменять токены, исследовать альтернативные пути генерации кода и анализировать структуру кода с помощью абстрактных синтаксических деревьев. TokenScope объединяет данные о времени декодирования с анализом структуры программы — это даёт возможность глубже изучить поведение LLM.