Оптимизация качества видео претерпевает существенные изменения: вместо человеческого конвейера постобработки теперь используется агентная система. Она способна понимать задачи, оценивать их, выполнять действия и получать обратную связь. Цель оптимизации — устранение шумов, уменьшение артефактов сжатия и увеличение разрешения видео.
Раньше для решения проблем с качеством применялись разные подходы:
* на рабочей стороне — базовая доработка и редактирование;
* на стороне сервера — алгоритмы суперразделения, уменьшения шума, повышения резкости, уменьшения сжатия;
* на стороне клиента — управление воспроизведением и улучшенная постобработка.
С появлением видео, генерируемого ИИ, возникли новые сложности: нереальные текстуры, аномальные структуры персонажей, несогласованные движения, нестабильные стили. Требования к оптимизации расширились — теперь видео из разных источников, разного качества и с разными сценами должно соответствовать потребительским, распространяемым и коммерческим стандартам и превосходить качество исходного изображения.
Проблемы с качеством изображения различаются в зависимости от типа видео:
* UGC‑видео: размытость, дрожание, шум, повреждения при сжатии;
* прямые трансляции событий: высокая частота кадров, низкая задержка, чёткое движение;
* прямые трансляции электронной коммерции: красота в реальном времени без изменения цвета продукта;
* восстановление старых плёнок: шумоподавление, раскрашивание, наложение эффектов;
* видеоролики AIGC: мерцание, восстановление структуры с сохранением оригинального стиля.
Сложность оптимизации возрастает из‑за необходимости одновременно учитывать множество параметров: чёткость, скорость передачи данных, вычислительную мощность, задержку, точность воспроизведения, согласованность стиля. При этом критерии оценки качества смещаются от объективных показателей (например, PSNR) к субъективной эстетике — например, к оценкам вроде «более кинематографично» или «хорошее качество кожи, но не поддельное».
Система повышения качества изображения Agentic от Volcano Engine предназначена для решения нестандартных задач оптимизации. Она использует способность агента взаимодействовать с набором инструментов generative operator и перестраивает всю цепочку оптимизации. Замкнутый цикл решения видеозадач включает понимание, восприятие, планирование, выполнение и обратную связь. Тенденция заключается в переходе от статических конвейеров к автономным системам, где агенты оценивают задачи, вызывают инструменты и анализируют результаты.
Агент в системе должен:
* использовать мультимодальное понимание больших моделей;
* понимать цели задачи;
* определять приоритеты пользователя (например, точность или текстура, низкая задержка или сложная генеративная обработка);
* разбивать расплывчатые требования (например, «помогите мне сделать видео более чётким») на шаги выполнения с учётом бизнес‑требований и ограничений вычислительной мощности;
* оценивать эффект от ремонта.
Volcano Engine подготовил модели оценки восприятия:
* Q‑Insight — переносит оценку качества изображения с числового оценивания на контент‑анализ, дегенеративное восприятие и сравнительные рассуждения;
* VQ‑Insight — помогает понимать качество видео, созданного с помощью ИИ, с акцентом на моделирование времени, многомерное оценивание и сравнение предпочтений.
Оператор по сборке инструментов Volcano engine отвечает за практическую работу. Расширенный набор инструментов включает снижение шума, суперразделение, повышение резкости, уменьшение сжатия. Агент автоматически комбинирует ссылки на обработку задач на основе видеоконтента, проблем с качеством изображения, бизнес‑требований и ограничений вычислительной мощности, а также изменяет расписание на основе обратной связи.
Ключевой оператор для оптимизации качества изображения — GenVR. Его возможности:
* компенсация потерянных деталей на основе модели Diffusion;
* поддержка бимодального режима «картинка + видео»;
* использование алгоритмов межкадровой согласованности для стабильности динамического изображения и согласованности детализации;
* выполнение базовой шумоизоляции и реконструкция стиля.
GenVR использует визуальные априори из крупномасштабной предварительной подготовки для создания насыщенных текстур и деталей в сложных сценах, поддерживает повышение разрешения и произвольное увеличение. Он нацелен на охват UGC, PGC, AIGC и других сцен контента, снижая затраты на моделирование отдельных вертикальных сцен. Проведена оптимизация логического вывода GenVR (перегонка модели, сокращение, количественная оценка) для снижения затрат на развёртывание. GenVR запустил AI MediaKit, поддерживает вызовы API, подключён к платформе AI SaaS для улучшения видео в один клик.
Пан Инсюэ (старший исследователь алгоритмов в мультимедийной лаборатории Volcano Engine) считает, что GenVR может полностью определить усовершенствование следующего поколения.
Система Agentic превращает оптимизацию качества из изолированного инструмента в базовую возможность в системе производства и распространения видео. Она улучшает качество потребления контента, снижает влияние некачественного видео на эффективность распространения и позволяет платформе избавиться от ограничений, связанных с оборудованием создателей и условиями съёмки.
Однако перед разработчиками стоят три ключевые трудности:
1. Общая стоимость вычислительной мощности и рентабельность инвестиций в коммерческую деятельность (генеративное усиление даёт сильный эффект, но имеет высокую стоимость).
2. Необходимость, чтобы агент стал «актуарием вычислительной мощности» — помогал пользователям определять, какие видео использовать в больших моделях, какие нуждаются в лёгкой обработке, как оптимально использовать ограниченную вычислительную мощность.
3. Необходимость обеспечить достаточную стабильность и точность эстетической оценки.
Система должна оценивать чёткость, естественность, реалистичность и соответствие сцене. Нельзя приравнивать «острее» к «лучше» и «ярче» к «более прозрачному». Необходимо сохранить истинную границу и избежать ложных изменений при генеративном усовершенствовании. Для обычных видеороликов нужна точность цветопередачи, для портретных — сохранение идентификационных характеристик. Сложность повышения качества изображения следующего поколения — в получении точного, сдержанного и ограниченного изображения. Пан Инсюэ полагает, что в будущем агенты станут умнее, эффекты — быстрее, качественнее и приятнее для людей.
Подписаться в Макс
