Компания представила модель Robostral Navigate (8B) для роботизированной навигации. Модель позволяет роботам автономно перемещаться в сложных средах — в офисах, жилых и коммерческих зданиях, на открытом воздухе — используя только одну RGB-камеру. При тестировании по стандарту R2R-CE (от помещения к помещению в непрерывной среде) модель достигла 76,6 % успеха в невидимых тестах и 79,4 % — в наблюдаемых. Это превосходит лучший подход с одной камерой на 9,7 балла, а лучшую систему с использованием глубины или нескольких камер — на 4,5 балла.
Robostral Navigate сочетает навигацию на основе наведения и обучение с подкреплением. Метод наведения определяет координаты целевого местоположения на изображении с камеры, учитывая задание и историю наблюдений. Если цель находится за пределами поля зрения камеры, модель переходит к перемещениям в локальной системе координат робота (например, «переместитесь на 2 метра вперёд, на 1,5 метра влево и повернитесь на 25 градусов влево»).
Для обучения модели был создан конвейер генерации данных на основе моделирования — получен набор данных с около 400 000 траекторий в 6000 сценах. Ключевой компонент Robostral Navigate — алгоритм обучения, основанный на префиксном кэшировании. Он объединяет эпизод в единую последовательность и позволяет обучать всем временным шагам за один проход вперёд, сокращая количество обучающих токенов в 22 раза. После этапа обучения под наблюдением производительность модели дополнительно улучшается с помощью алгоритма онлайн-обучения с подкреплением CISPO — это повысило вероятность успеха на 3,2 %.
Модель не опирается на существующие виртуальные машины с открытым исходным кодом. Она инициализируется с помощью vision-language модели, которая умеет наводить курсор на цель, считать и локализовать объекты. Robostral Navigate способна выполнять команды на простом языке, например: «Выйдите из вестибюля, пройдите по коридору, зайдите в кладовую и остановитесь лицом ко второй полке».
Технология имеет большой потенциал для применения в производстве, доставке, логистике и гостиничном бизнесе. Разработчики считают навигацию фундаментальной возможностью для робототехники общего назначения и видят в Robostral Navigate первый шаг к созданию единого воплощённого агента.
Сейчас компания набирает сотрудников — ищет робототехников, учёных-исследователей и инженеров. Подать заявку можно по ссылке: https://jobs.lever.co/mistral?team=Research
Подписаться в Макс
