Научные сотрудники Google Research Зорик Гехман и Джонатан Херциг исследуют парадоксальный феномен: логические рассуждения помогают языковым моделям запоминать простые факты, даже когда не требуется сложных пошаговых решений. В ходе работы учёные выявили два механизма, лежащих в основе этого явления: эффект буфера вычислений и фактическая база данных (фактологический прайминг).
Эффект буфера вычислений заключается в том, что генерация дополнительных токенов увеличивает время вычислений и помогает модели уточнить внутреннее состояние — даже бессмысленные последовательности токенов могут улучшить способность модели вспомнить правильный ответ. Однако у этого эффекта есть пределы: чрезмерное увеличение объёма фиктивного текста снижает отдачу.
Фактологический прайминг работает по принципу «расширяющей активации»: модель генерирует факты, тематически связанные с вопросом, создавая контекстуальный мост для поиска правильного ответа. Например, если спросить у модели имя 10‑го короля Непала, она может сначала перечислить девять предыдущих королей — это «разминает» сеть и помогает вспомнить нужный факт.
Учёные провели серию контролируемых экспериментов, используя модели Gemini‑2.5 (Flash и Pro) и Qwen3‑32B, а также наборы данных SimpleQA Verified и EntityQuestions. Для оценки потенциала рассуждения для запоминания фактов применялась метрика pass@k — она проверяет, существует ли правильный факт в нескольких сгенерированных моделью ответах. Результаты показали, что при включённой функции «рассуждение» модели успешно воспроизводят ответы, которые практически невозможно восстановить при отключённой функции. При этом исследователи также изучили риски, связанные с этим механизмом: поскольку модель сама генерирует промежуточные факты, они могут быть ошибочными.
