Тесты на Deepfake: почему они могут вводить в заблуждение?

Исследователи провели аудит тестов на обнаружение глубоких подделок (Deepfake) для видео, изображений и аудио. Они выяснили, что многие тесты не отражают реальные угрозы: детекторы, хорошо показывающие себя в тестах, часто не справляются в реальных условиях. Авторы использовали простую диагностику на основе универсальных моделей с самоконтролем и обнаружили, что такие модели по производительности приближаются к специализированным детекторам. Это ставит под вопрос эффективность существующих тестов и подходов к обнаружению подделок.