5 июля 2026 года Президиум ICML 2026 объявил о выборе двух выдающихся работ — от Alibaba и Университета Цинхуа. Одна из них посвящена dLLM (Diffusion large language model) — архитектуре языковых моделей следующего поколения (к этому направлению относятся, например, Gemini Diffusion от Google и LLaDA от Китайского университета Жэньминь).
Традиционные LLM (например, GPT, Qwen) генерируют текст последовательно — слева направо, токен за токеном. В отличие от них, dLLM может выбирать порядок генерации текста произвольно. Однако исследование показало: при решении логических задач (в математике и программировании) произвольный порядок генерации не улучшает работу модели, а создаёт проблемы. Исследователи назвали это «деградацией энтропии».
Проблема в том, что при произвольном порядке генерации модель обходит сложные логические узлы (например, слова «следовательно», «так») и сначала фокусируется на простых деталях. Когда модель возвращается к сложным узлам, контекст уже установлен — и задача сводится к заполнению пробелов. Эмпирические данные это подтверждают: в задаче генерации кода HumanEval 21,3 % задач можно решить только в порядке слева направо, а в произвольном порядке — лишь 0,6 %. Чем больше свобода выбора последовательности, тем хуже эффективность рассуждения.
Команда предложила решение под названием JustGRPO: на этапе интенсивного обучения принудительно генерировать текст слева направо, используя алгоритм GRPO. Он позволяет модели создавать несколько вариантов ответов на один вопрос и оптимизировать стратегию, сравнивая их преимущества и недостатки. JustGRPO достиг уровня точности 89,1 % в GSM8K (набор тестов для измерения логических способностей больших моделей, включает около 8500 многоэтапных задач по математике для начальной школы). Это лучше результатов сложных алгоритмов обучения с подкреплением для диффузионных моделей (d1, ESPO, SPG, GDPO).
Документ с исследованием можно скачать по ссылке: https://arxiv.org/abs/2601.15165.
Подписаться в Макс
