ReWorld: новый подход к обучению моделей автономного вождения

Исследователи представили платформу ReWorld для обучения представлений в моделях действий в мире (WAMs), которые используются в автономном вождении. Особенность ReWorld в том, что она напрямую оптимизирует промежуточные представления — те, что содержат знания о мире, — а не только выходные данные моделей. Платформа работает в двух направлениях: прогнозирует будущее на основе видео и помогает чётко выделять границы, важные для безопасности. В ходе экспериментов на датасетах nuScenes и NAVSIM ReWorld улучшила качество генерации видео на 23,9% по метрике FVD, повысила производительность PDMS с замкнутым циклом с 89,1 до 90,4 и ускорила обучение примерно в 2 раза.