Новый метод создаёт длинные видеоролики: забывание и адаптация в деле

Исследователи предложили новый подход для создания длинных видеороликов — сеть забывания кадров (FFN). Суть в том, что модель адаптируется к видео в процессе обработки, при этом работает всего с тремя кадрами (прошедшим, текущим и следующим), сохраняя контекст. Ещё авторы ввели метрику, которая помогает понять, насколько новый кадр отличается от предыдущего — это позволяет гибко менять размер обрабатываемого фрагмента видео. Для тестирования разработали датасет EpicTours с роликами пешеходных экскурсий до 3 часов — раньше датасеты содержали только 5‑минутные видео. Метод показал эффективность в задачах сегментации, классификации видео и оценки глубины. Это важный шаг вперёд в обработке длительных видеоматериалов.