Большие языковые модели (LLM), такие как ChatGPT, DeepSeek и Qwen, умеют предсказывать следующее слово, а модели генерации видео (например, Seedance и Sora) — следующий кадр. Робот Enlightenment RoboBrain Orca идёт дальше: он способен формировать в «уме» представление о текущем состоянии мира и моделировать его эволюцию — как вперёд, так и назад.
Модель обрабатывает мультимодальные сигналы: зрение, язык, события и намерения выполнить задачу. Так она выясняет, как перемещаются объекты, как меняются сцены, какие последствия будут у действий и какие причинно-следственные связи существуют между событиями. После просмотра видео, картинок, инструкций и описаний событий RoboBrain Orca создаёт внутри себя единое потенциальное пространство представления мира — своего рода «мир в голове» ИИ.
Обучение модели строится на двух путях: неосознанном и сознательном. В ходе неосознанного обучения модель, подобно ребёнку, наблюдает за миром: за падением предметов, ходьбой людей, распахиванием дверей и т. д. Для этого она анализирует множество видеороликов из реальной жизни. Сознательное обучение включает взаимодействие с миром через язык — описание событий, инструкции, вопросы и ответы (VQA). Это помогает модели изучать редкие, но значимые переходы состояний.
Для обучения RoboBrain Orca использованы 125 000 часов видео и 160 миллионов аннотаций к событиям. С ростом объёма данных модель сможет эффективнее выполнять задачи и масштабироваться. Полученные представления могут считывать разные декодеры: например, модель лучше понимает смену состояний при чтении текста, демонстрирует способность интерактивного прогнозирования реальных сцен при чтении изображений, помогает роботам обобщать информацию при чтении действий.
Парадигма мирового обучения от Enlightenment с помощью RoboBrain Orca может стать основой для перехода от физического интеллекта к научным открытиям и моделированию сложных систем. Это ранняя версия мультимодальной модели мира, которая потенциально способна лечь в основу общей базовой модели мира.
Подписаться в Макс
