GeMoE: новый способ оптимизировать работу больших моделей VisionLanguage

Исследователи предложили новый метод GeMoE для оптимизации работы больших моделей VisionLanguage (LVLMS), основанных на архитектуре Mixed of Experts (MoE). В отличие от традиционных методов, которые используют статическую маршрутизацию, GeMoE адаптивно определяет, сколько экспертов должен задействовать каждый элемент данных (токен) — это зависит от сложности токена. Метод оценивает сложность с помощью энтропии стробирования и выстраивает маршрутизацию так, чтобы эффективнее использовать ресурсы. Тесты показали: средняя производительность сохраняется на уровне 99,5% по сравнению со статической маршрутизацией, а частота активации экспертов вырастает на 36,5%.