8 июля в час дня в Сеуле прошла церемония вручения премии ICML 2026 «Проверка временем». Награду получила работа «Асинхронные методы глубокого обучения с подкреплением», которую команда Google DeepMind опубликовала на ICML в 2016 году. Награду лично получил Владимир Мних (Влад) — один из авторов работы. В своей речи он выделил три ключевые идеи, в том числе: «Сдержанность всегда является главной движущей силой инноваций». Также он отметил: «Если бы у нас в то время было достаточно ресурсов, есть большая вероятность, что мы бы вообще не стали выполнять эту работу».
Исследования в области рерайтинга во многом обусловлены ограничениями вычислительной мощности. Когда DeepMind только получил доступ к дата-центру Google, в нём не было графических процессоров — только многоядерные. Это вынудило команду отказаться от DQN и сосредоточиться на асинхронных параллельных решениях. В результате был открыт путь к глубокому масштабированию RL.
Статья A3C объединяет несколько известных идей: асинхронный параллелизм, актёр-критик, многоступенчатый возврат, энтропийная регулярность. Авторы проверили эффект этих идей с помощью сравнительных экспериментов и отшлифовали детали реализации. A3C отличается простотой в понимании и отладке, имеет небольшое количество гиперпараметров и низкую стоимость воспроизведения — это может сделать его эталоном долговечности.
В ходе исследований систематически тестировались четыре алгоритма RL: одноступенчатое Q-обучение, SARSA, многоступенчатое Q-обучение и алгоритм доминирующего актёра-критика. Их сравнивали с DQN в играх Atari. Результаты оказались следующими:
* скорость обучения асинхронных методов либо такая же, как у DQN на GPU, либо выше;
* итерационный цикл исследования сокращён с одной недели обучения на одном GPU до одного дня на многоядерном процессоре.
Был создан набор асинхронных и параллельных систем интенсивного обучения и тренингов: K независимых «участников-обучающихся» работают в потоке процессора. У каждого есть локальный вес модели и независимая среда (например, игра Atari). Участники генерируют опыт, рассчитывают градиенты и регулярно синхронизируют обновления с общим весом без блокировок на чтение и запись.
Фреймворк использовали в проектах DeepMind: это позволило ускорить итерации, увеличить количество экспериментов, исследовать новые направления. Порог для исследований в области интенсивного обучения снизился — теперь их можно проводить даже без ресурсов GPU.
Классическая структура «актёр-критик» работает так: одна модель, один набор весовых коэффициентов, ввод текущего состояния среды, вывод стратегии (выбор действия) и функции ценности (оценка будущих вознаграждений). Исполнитель взаимодействует с средой, собирает данные о переходе состояния, ядро A2C оценивает преимущества. Показатель преимущества отражает, насколько действие лучше или хуже среднего уровня в штате. Для достижения баланса выбрана практика смешивания размеров шагов — это удобно в реализации, модель устойчива к отклонениям и дисперсии.
A3C стал эталоном метода actor-critic, породил множество реализаций с открытым исходным кодом и был стандартным инструментом в DeepMind. Он стал отправной точкой для исследований, проложил путь для IMPALA, APEX и AlphaStar. Вдохновил методы коррекции стратегии: V-trace, Retrace, PPO. Стал базой для вспомогательных задач и модулей памяти.
Однако через 10 лет выяснилось, что расширяемость A3C с увеличением размера модели не идеальна: чем больше модель, тем больше времени требуется для создания опыта и расчёта градиентов. К моменту обновления глобального веса градиент уже истекает. Эту проблему решили в статье IMPALA: там предлагается передавать данные об опыте, а не градиент. IMPALA открыла эру больших моделей deep RL — интенсивное обучение получило возможность расширяться в двух измерениях: вычислительной мощности и масштабе модели.
Влад на ICML 2026 намекнул на текущее состояние отрасли с её крупными моделями. Он упомянул, что наиболее длительный эффект часто достигается за счёт «самых незначительных инноваций», процитировав оценку Ильи Суцкевера: «Самое маленькое новшество оказывает наибольшее влияние». Также он вспомнил закон «увеличения вычислительной мощности и стабильного увеличения дохода». Позже Рич Саттон предложил «горький урок»: побеждают методы, которые могут в полной мере использовать данные и вычислительные мощности.
В этом году ICML установила рекорд — 23 918 обоснованных заявок (в 2025 году было 12 107).
Сегодня углублённое интенсивное обучение интегрировано в промышленные сценарии: согласование моделей на большом языке, физический интеллект, автономное вождение, промышленный контроль. Документ 2016 года остаётся краеугольным камнем крупномасштабного интенсивного обучения. Сегодня он стал стандартным алгоритмом PPO RLHF. Основные компоненты A3C (структура «актёр-критик», оценка преимуществ, закономерность энтропии) систематизированы и популяризированы. Почти все прикладные задачи крупномасштабного интенсивного обучения опираются на эту статью.
Современный воплощённый интеллект находится в ситуации, похожей на ту, что была у deep RL десять лет назад: сложная среда, высокие затраты на НИОКР, разрозненные технические направления. A3C остаётся руководством к действию на десять лет вперёд: не ограничиваться существующими ресурсами, искать оптимальные решения в ограничениях, сначала делать простую базовую модель надёжной, а потом говорить о сложных инновациях.
Подписаться в Макс
