В области обучения роботов появились значимые достижения. Ключевую роль в практическом применении больших моделей и роботов играет не только предварительное, но и последующее обучение (настройка после первоначального обучения). Однако последующее обучение осложнено необходимостью взаимодействия с реальным физическим миром. Раньше для обучения использовали данные с реальных роботов — это было крайне затратно, требовало множества роботизированных систем, учёта износа оборудования, площадей и трудовых ресурсов.
Команда из Пекинского университета и компании «Циюань робототехника» под руководством главного научного сотрудника Дун Хао разработала решение HIL-UMI (Human-In-the-Loop UMI). Оно нацелено на этап исправления ошибок в процессе последующего обучения роботов без использования физического воплощения.
Обучение роботов обходится значительно дороже, чем RLHF (Reinforcement Learning from Human Feedback) для больших языковых моделей. В случае с языковыми моделями RLHF сводится к работе людей за компьютером (маркировка данных), а для роботов требуется реальное взаимодействие с физическим миром.
Один из распространённых методов обучения — DAgger: в процессе обучения человек или алгоритм выступает в роли эксперта и оценивает действия робота. Часто применяется вариант HG‑DAgger (Human‑Gated DAgger): робот работает, а оператор внимательно следит за процессом и вмешивается, когда робот рискует совершить ошибку (например, промахнуться или столкнуться с препятствием), фиксируя правильные траектории. После каждой коррекции необходимо вручную восстанавливать исходное состояние среды. Такой подход крайне медленен и затратен, что серьёзно ограничивает масштабирование сбора данных для последующего обучения.
HIL‑UMI добавляет «модель‑мозг» в процесс сбора данных UMI. В отличие от традиционного сбора данных с помощью UMI (ручной зажим), HIL‑UMI включает модель в процесс ручного сбора. Оператор использует UMI‑зажим (например, для захвата игрушек или складывания полотенец), камера синхронно записывает процесс. Модель в фоновом режиме получает те же данные и инструкции, предсказывает следующие 20 действий. Система в реальном времени сравнивает действия оператора и предсказания модели. Если предсказания близки к реальным действиям — модель освоила задачу. Если есть значительные расхождения — система предупреждает оператора: «Эта часть модели не освоена, с этого момента нужно дополнительно обучить». 
HIL‑UMI создаёт замкнутую систему, которая позволяет модели самостоятельно выявлять свои ошибки («»). Система включает два ключевых компонента:
1. Обнаружение расхождений в действиях (выявление слепых зон): HIL‑UMI параллельно выбирает несколько групп действий и рассчитывает «распределение энергии» (Energy Score). Если действия модели расходятся и сильно отличаются от действий человека, система определяет, что модель находится в «состоянии вне распределения» (OOD), и запускает досбор данных.
2. Оценщик преимуществ (различение эффективных действий и бессмысленных движений): HIL‑UMI оценивает степень продвижения по задаче на основе последовательных кадров и использует обучение с «условиями преимущества» — модель учится выполнять действия, которые существенно продвигают задачу вперёд.
Система обеспечивает динамическое обновление: после каждой итерации с добором данных модель совершенствуется — в следующих циклах сбора данных ранее проблемные ситуации уже не вызывают срабатывания системы, а расхождения с действиями человека смещаются к более сложным сценариям.
Сравним HIL‑UMI с другими подходами:
* Настоящий дистанционный контроль и DAgger: высокая достоверность данных, но высокие затраты, сложность масштабирования.
* Симуляция (Sim2Real) и обучение с подкреплением: низкая стоимость вычислительных ресурсов, возможность генерации большого объёма данных, но сохраняется значительный разрыв между симуляцией и реальностью (Sim‑to‑Real Gap), нельзя использовать для посттренировки на реальном оборудовании.
* Предобучение на больших объёмах видео: большой масштаб данных, но нехватка информации о физической механике и точных измерениях действий, обычно используется для формирования «базовых знаний» модели.
* Традиционный UMI (прямой сбор без модели): низкая стоимость, простота масштабирования, но возможность сбора только положительных примеров, не решает проблему восстановления модели при длинных цепочках ошибок.
HIL‑UMI сочетает низкую стоимость и масштабируемость UMI с целенаправленной коррекцией ошибок DAgger, избегая их недостатков.
Результаты применения HIL‑UMI впечатляют: эффективность повысилась в 5,63 раза. В тестах на четырёх задачах на реальном роботе (складывание полотенца, уборка стола, складывание кубиков, проставление печати) при одинаковом бюджете кадров:
* при обычной микронастройке SFT средний балл выполнения задач (TPS) вырос с 44,3 до 58,0;
* при использовании механизма целенаправленной коррекции HIL‑UMI средний балл достиг 94,8;
* в задачах складывания кубиков и проставления печати достигнут 100% успех.
График демонстрирует изменение прогресса по задачам от базовой модели Base до трёх обновлений Iter1—Iter3: фиолетовый — SFT, оранжевый — HIL‑UMI без механизма преимущества, зелёный — полный HIL‑UMI, справа — средний балл по четырём задачам.
В задаче «уборка стола» HG‑DAgger тратит 412,99 мс на сбор одного эффективного кадра, а HIL‑UMI — 73,40 мс; эффективность сбора данных у HIL‑UMI выше в 5,63 раза.
HIL‑UMI исключает неэффективные затраты времени, связанные с медленными движениями робота, ожиданием оператора и восстановлением обстановки. Дистанционное управление роботом требует высокой квалификации оператора, а управление ручным захватом проще и даёт более качественные данные — это открывает возможность распределённого обучения. В будущем возможно распределённое обучение: сотрудники в разных местах с недорогим оборудованием будут выполнять действия, а данные будут передаваться в единый облачный большой модель.
Главный научный сотрудник компании «Циюань Роботикс» Дун Хао считает, что предварительная и последующая тренировка — это не пропорциональные отношения, а поэтапная замена. Пример: AlphaGo от DeepMind сначала использовал имитационное обучение (предварительная тренировка), а затем — самоигру и масштабное обучение с подкреплением (последующая тренировка). Будущее успеха в робототехнике зависит от масштабируемой последующей тренировки — способности быстро и с низкими затратами построить систему исправления ошибок робота.
Ссылки на материалы:
- статья:
- проект:
Подписаться в Макс